Nhận dạng chuyển động tay: 5 bước

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:31

Tổng quat

Trong dự án này, chúng tôi sẽ tạo ra một chiếc găng tay có thể nhận ra một số chuyển động cơ bản của tay, sử dụng MicroBit và một vài cảm biến. Chúng tôi sẽ sử dụng khả năng Bluetooth trên MicroBit, kết hợp với Ứng dụng Android và Máy chủ web để đào tạo mô hình học máy để xác định các chuyển động của tay.

Bắt đầu

Phần lớn nỗ lực liên quan đến dự án này là về phía phần mềm và tất cả mã cần thiết để chạy dự án này đều có sẵn trên GitHub. Cơ sở mã liên quan đến 3 thành phần, mã để tạo tệp HEX cho MicroBit, cơ sở mã Ứng dụng Android dựa nhiều vào ứng dụng MicroBit Blue của Tổ chức MicroBit, với các sửa đổi được thực hiện cho trường hợp sử dụng cụ thể này và máy chủ web có mã cho đào tạo mô hình dựa trên Tensorflow để xác định các chuyển động của tay.

Tiếp theo, chúng ta sẽ xem cách tạo găng tay và kết nối nó với Ứng dụng và Máy chủ web.

Quân nhu

• 1 BBC Microbit
• 1 Giá đỡ pin với 2 pin AAA
• 1 găng tay
• Một bộ dây nhảy, kẹp cá sấu
• Một cảm biến flex
• Một cảm biến lực
• khóa dán
• Băng điện
• Điện thoại Android
• Máy tính / Máy tính xách tay

Bước 1: Bước 1: Thiết lập MicroBit và Pin

• Bắt đầu bằng cách gắn giá đỡ pin vào một miếng khóa dán như trong hình đầu tiên. Sử dụng băng dính điện để gắn chắc chắn ngăn chứa pin vào dây đeo khóa dán.
• Tiếp theo, tạo một vòng lặp bằng băng dính điện sao cho dính ở cả hai mặt và dán nó lên trên bộ pin.
• Dán MicroBit vào vòng băng để gắn chặt MicroBit vào Giá đỡ pin như thể hiện trong hình ảnh thứ hai.

Bước 2: Kết nối cảm biến

• Làm theo sơ đồ mạch hiển thị trong hình ảnh để kết nối cảm biến flex của bạn với Pin 1 của MicroBit và cảm biến lực với Pin 0 của MicroBit.
• Giữ chặt các cảm biến trên Găng tay bằng băng dính điện như trong hình ảnh.

Bước 3: Hoàn thiện phần cứng

• Sử dụng các đầu của dây đai khóa dán để tạo thành một vòng và trượt vòng qua các ngón tay của găng tay, như trong hình.
• Bạn có thể sử dụng dây buộc để cố định các dây trên găng tay để tránh chúng di chuyển quá nhiều.

Trong phần tiếp theo, chúng ta sẽ xem xét cách thiết lập phần mềm.

Bước 4: Thiết lập phần mềm

Ghép nối điện thoại với MicroBit của bạn

1. Để ghép nối điện thoại của bạn, trước tiên hãy đảm bảo bluetooth được bật trên điện thoại của bạn.
2. Bật nguồn MicroBit của bạn và nhấn và giữ cả hai nút A và B. Đồng thời nhấn và thả nút reset trong khi vẫn giữ nút A và B. Lúc này, microbit sẽ chuyển sang chế độ ghép nối.
3. Trên điện thoại, hãy tìm MicroBit của bạn trong danh sách thiết bị bluetooth nơi bạn thường thêm thiết bị Bluetooth mới và bắt đầu ghép nối. Trên MicroBit của bạn, bạn sẽ thấy một mũi tên trỏ đến nút A. Khi bạn nhấn nút này, MicroBit sẽ hiển thị một dãy số là Mã ghép nối mà bạn phải nhập trên điện thoại của mình. Sau khi bạn nhập mã vào điện thoại và chọn cặp, một dấu kiểm sẽ được hiển thị trên MicroBit.
4. Nhấn nút đặt lại trên MicroBit của bạn.

Thiết lập phần mềm

Làm theo hướng dẫn ReadMe trong mỗi thư mục con trên GitHub Repository để thiết lập dự án Ứng dụng Android trong Android Studio, để tạo và flash tệp HEX vào MicroBit của bạn và chạy máy chủ web để chạy Mô hình Máy học.

Bước 5: Sử dụng

Máy chủ web

Mở một thiết bị đầu cuối trong thư mục dự án của Máy chủ Web và chạy `python server.py` để khởi động máy chủ sau khi làm theo hướng dẫn trong ReadMe để cài đặt các phần phụ thuộc

Ứng dụng Android

1. Xây dựng và tạo APK cho Ứng dụng Android từ Android Studio. Chạy ứng dụng sau khi ghép nối điện thoại của bạn với MicroBit (xem bước trước).
2. Trong trang gia tốc kế, bạn có thể đặt url máy chủ web bằng menu cài đặt ở góc trên cùng bên phải. Đảm bảo rằng bạn thay đổi điều này thành IP của Máy chủ Web của bạn.
3. Chờ cho đến khi các kết quả đọc gia tốc kế bắt đầu được điền từ MicroBit. Bạn sẽ thấy các bài đọc thay đổi với tần suất khác nhau. Để thay đổi tần số, nhấn B trên MicroBit. Lý tưởng nhất là bạn có thể sử dụng giá trị tần số là 10 (lấy mẫu đọc 10ms một lần)
4. Khi các bài đọc đang được điền, hãy đặt tên cho cử chỉ của bạn bằng Hộp văn bản có nhãn 'Cử chỉ:' và nhấn nút ghi. Ngay sau khi bạn nhấn nút ghi, hãy chuyển động tay liên tục cho đến khi nút được bật lại.
5. Lặp lại bước 3 để ghi nhiều cử chỉ.
6. Nhấn nút huấn luyện để bắt đầu đào tạo mô hình trên máy chủ. Sau khi quá trình đào tạo được thực hiện (khoảng 15 giây), bạn có thể tiến hành dự đoán.
7. Nhấn nút dự đoán và thực hiện chuyển động / cử chỉ của bạn. Ứng dụng sẽ cố gắng khớp nó với một trong những chuyển động được đào tạo tốt nhất có thể.