IoT: Kiểm soát HoloLens bằng cách sử dụng lông mày của bạn (EMG): 5 bước

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:32

Dự án này là một phần của dự án NASA SUITS của Đại học Colorado Boulder đã được trình bày và thử nghiệm tại NASA JSC vào tháng 4 năm 2019. Đối với dự án năm đó, tôi là trưởng dự án phát triển phần cứng và đây là một trong những đóng góp của tôi. Đọc thêm về thử thách SUITS của NASA tại đây.

Với dự án này, tôi muốn cho phép bất kỳ ai (trong trường hợp này là Phi hành gia EVA) giao diện với Màn hình hiển thị cảnh báo (HUD) được triển khai trong Microsoft HoloLens mà không cần sử dụng cử chỉ tay hoặc đầu vào giọng nói tích hợp sẵn. Tôi đã giải quyết mục tiêu này từ quan điểm trợ năng, tôi muốn phát triển một thiết bị ngoại vi / thiết bị đeo cho phép các phi hành gia EVA giao tiếp với màn hình của họ mà không chiếm liên lạc với điều khiển mặt đất và vì giao diện cử chỉ bằng găng tay có áp suất cao của họ là không hợp lý. Mặc dù đây là miền mà tôi hơi xa lạ, nhưng tôi cũng có thể thấy thiết bị ngoại vi này hữu ích cho những người khuyết tật, cho phép họ sử dụng HoloLens hoặc các thiết bị AR / VR khác và bỏ qua các đầu vào giao tiếp có tính loại trừ hoặc khó khăn.

Mặc dù danh sách vật phẩm cho dự án này tự loại trừ (HoloLens rất đắt!), Thiết bị ngoại vi có thể được sử dụng với các Thiết bị AR / VR khác.

Nếu bạn có bất kỳ câu hỏi nào, muốn cập nhật công việc của tôi hoặc chỉ đưa ra các ý tưởng, hãy làm như vậy trên Twitter của tôi: @ 4Eyes6Senses.

Quân nhu

Microsoft HoloLens (hoặc thiết bị AR / VR khác)

Photon hạt

Cảm biến cơ MyoWare - Cảm biến MyoWare có thể được thay thế bằng các bảng đột phá EMG khác. Nếu bạn không chắc chắn về EMG là gì, tôi khuyên bạn nên đọc thêm về nó ở đây

Miếng đệm cảm biến y sinh

Unity (Miễn phí)

Một số kinh nghiệm tạo dự án trong Unity

Dây điện

Bước 1: Kết nối MyoWare với Photon hạt

Kết nối Particle Photon với bo mạch MyoWare khá đơn giản. Đối với bước này, bạn sẽ cần hàn các kết nối giữa Photon hạt và bảng MyoWare. Đảm bảo bạn có kết nối chắc chắn để dây cáp không bị đứt khi đeo thiết bị. Để tránh đứt, tôi khuyên bạn nên bện dây cáp trước khi hàn chúng vào Photon.

- Hàn một dây vào cổng "+" của bảng MyoWare, sau đó hàn đầu kia của cáp vào chân "3v3" của Photon.

- Hàn một dây vào cổng "-" của bảng MyoWare, sau đó hàn đầu kia của cáp vào chân "GND" của Photon.

- Hàn một dây vào cổng "SIG" của bảng MyoWare, sau đó hàn đầu kia của cáp vào chân "A0" của Photon.

Bước 2: Tải mã lên Photon hạt

Sử dụng IDE của Particle Photon, Tải lên tệp.ino. Đặt bảng MyoWare trên một nhóm cơ và kiểm tra các giá trị để đảm bảo thiết bị của bạn đang hoạt động. Khi xem mã, bạn sẽ nhận thấy rằng có một biến "ngưỡng" đã được đặt sẵn, biến này là giá trị tối thiểu mà MyoWare đọc được từ cơ của tôi khi tôi nhướng mày hoàn toàn. Tôi cũng đặt biến thành "600" vì nó cho phép tôi trò chuyện bình thường khi đeo MyoWare mà không tạo ra bất kỳ hiện tượng dương tính giả nào (kích hoạt tình cờ), bạn có thể muốn thử với các giá trị cho đến khi tìm thấy ngưỡng mong muốn cho mục đích sử dụng của mình.

Bước 3: Vị trí của MyoWare

Đối với dự án NASA SUITS của chúng tôi, tôi đã chọn đặt MyoWare Board phía trên lông mày. Tôi được truyền cảm hứng để đặt MyoWare ở đó sau khi xem dự án "'Sup Brows" do Adafruit thực hiện. Sau một số thử nghiệm, rõ ràng là lông mày là một vị trí tuyệt vời cho dự án cụ thể này. Đó là một vị trí tuyệt vời vì các cảm biến sẽ không bị ảnh hưởng bởi các chuyển động cơ liên tục qua cánh tay, chân và thân mà các phi hành gia EVA thực hiện trong các chuyến đi bộ ngoài không gian.

Bước 4: Kết nối MyoWare với Unity

Bây giờ đã đến bước cuối cùng, hãy kết nối MyoWare với Unity! Bao gồm trong Có thể hướng dẫn này là tập lệnh mà bạn sẽ cần đưa vào dự án Unity của mình. Nhưng trước tiên, bạn sẽ cần thay đổi một vài thứ trong mã. Đầu tiên, bạn cần thêm plugin JSON Object Unity vào dự án của mình. Tiếp theo, bạn sẽ cần thêm id thiết bị và mã truy cập của riêng mình vào dòng 19: grainURI = "https://api.particle.io/v1/devices/[Insert your device id] / Next? Access_token = [Chèn của bạn truy cập thẻ]". Bạn có thể lấy id thiết bị của mình từ IDE Particle, sau hình 2, nhấp vào tab thiết bị của bạn (hộp màu đỏ) và xem bên dưới tên thiết bị của bạn để tìm id của bạn (hộp màu xanh). Tiếp theo, để tìm mã thông báo truy cập của bạn, hãy nhấp vào tab cài đặt trong IDE.

Bước 5: Đã xong

Sau khi kết thúc dự án Unity của bạn, bạn sẽ có một HoloLens được điều khiển bởi EMG!

Nếu bạn có bất kỳ câu hỏi chuyên sâu nào, muốn tìm hiểu về việc nâng cấp con người, muốn theo kịp công việc của tôi hoặc chỉ cần đưa ra các ý tưởng, hãy làm như vậy trên Twitter của tôi:

@ 4Eyes6Senses

Nếu bạn quan tâm đến việc hợp tác với nhóm của chúng tôi cho thử thách NASA SUITS 2019 - 2020, vui lòng gửi email cho tôi theo địa chỉ:

Đặc biệt cảm ơn người mẫu trong bức ảnh đầu tiên, Darren, người cũng đã thử nghiệm thiết kế tại NASA. Một lời cảm ơn khác đến đối tác lập trình của tôi cho dự án AJ, người đã làm cho điều này trở nên khả thi.