Găng tay chuyển đổi cử chỉ sang giọng nói / văn bản: 5 bước

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:31

Ý tưởng / sự thúc đẩy đằng sau việc thực hiện dự án này là để giúp những người gặp khó khăn trong giao tiếp bằng giọng nói và giao tiếp bằng cử chỉ tay hay phổ biến hơn được gọi là ngôn ngữ ký hiệu của Mỹ (ASL). Dự án này có thể là một bước hướng tới việc cung cấp cho những người này cơ hội làm việc với những người khác, những người không thể hiểu ngôn ngữ ký hiệu, trong một môi trường hợp tác. Ngoài ra, dự án này sẽ cho phép họ phát biểu trước công chúng mà không cần sử dụng một phiên dịch viên thực sự. Ban đầu, tôi chỉ cố gắng phát hiện một số cử chỉ dễ dàng hơn như bảng chữ cái A, B, I, v.v. và cũng đã gán một số cử chỉ nhất định cho các từ / lời chào thông thường như 'Xin chào', 'Chào buổi sáng', v.v.

Bước 1: Lắp ráp mạch

Bước 2: Chi tiết dự án

Dự án này bao gồm một chiếc găng tay có thể đeo được với 4 cảm biến linh hoạt được gắn / nhúng vào găng tay - mỗi cảm biến dành cho ngón út, ngón giữa, ngón trỏ và ngón cái. Cảm biến linh hoạt không được sử dụng cho ngón tay đeo nhẫn do các hạn chế về tính khả dụng của các Chân đầu vào tương tự trên Arduino Uno R3 và nói chung do ngón tay không hiển thị chuyển động độc lập bằng ngôn ngữ ký hiệu. Một cảm biến gia tốc MMA8452Q cũng được sử dụng được dán ở mặt sau của lòng bàn tay để đo hướng của bàn tay. Đầu vào từ các cảm biến này được phân tích và sử dụng để cảm nhận cử chỉ. Khi cử chỉ được cảm nhận, ký tự / tin nhắn tương ứng sẽ được lưu vào một biến. Các ký tự và thông điệp này tiếp tục nối với nhau cho đến khi thực hiện một cử chỉ xác định trước nhất định cho biết đã hoàn thành câu. Khi cử chỉ đặc biệt đó được phát hiện, chuỗi câu đã lưu sẽ được Arduino gửi đến Raspberry Pi qua cáp USB. Sau đó, Raspberry Pi gửi chuỗi nhận được đến Amazon Cloud Service có tên Polly để chuyển đổi câu nhận được ở định dạng văn bản sang định dạng giọng nói và sau đó truyền trực tuyến bài phát biểu nhận được trên Loa được kết nối với Raspberry Pi thông qua cáp AUX.

Dự án này chỉ là một bằng chứng về khái niệm và với các thiết bị và kế hoạch tốt hơn và được hiệu chỉnh tốt hơn để phát hiện nhiều cử chỉ và chuyển động tay khác. Hiện tại, chỉ có một số chức năng hạn chế được lập trình trong dự án này, chẳng hạn như để phát hiện cử chỉ cơ bản và chuyển văn bản thành giọng nói.

Bước 3: Mã

Bước 4: Các bước

1. Kết nối cảm biến flex và gia tốc kế MMA8452Q với Arduino theo sơ đồ mạch được cung cấp.

2. Kết xuất chương trình Final_Project.ino (được tìm thấy trong tệp Arduino_code.zip) vào Arduino.

3. Kết nối Arduino với Raspberry Pi bằng cáp USB. (Loại cáp A / B).

4. Khởi động Raspberry Pi, sao chép tệp Raspberry_pi_code.zip vào Raspberry Pi và giải nén nó. Kết nối loa với Raspberry Pi.

5. Sao chép thông tin đăng nhập tài khoản AWS của bạn, tức là aws_access_key_id, aws_secret_access_key và aws_session_token vào tệp ~ /.aws / credentials. Bước này là bắt buộc để giao tiếp với đám mây AWS và sử dụng các dịch vụ AWS.

6. Chạy chương trình seria_test.py được tìm thấy bên trong thư mục đã giải nén ở bước 4.

7. Bây giờ thực hiện các cử chỉ để tạo thành một câu và sau đó thực hiện động tác đặc biệt (Giữ các ngón tay và lòng bàn tay của bạn thẳng và thẳng hàng với lòng bàn tay hướng ra xa bạn, sau đó xoay cổ tay cho nó quay xuống sao cho lòng bàn tay của bạn bây giờ đang quay mặt về phía bạn và đầu ngón tay hướng xuống phía dưới về phía chân của bạn.) để báo hiệu hoàn thành câu.

8. Tiếp tục kiểm tra thiết bị đầu cuối để biết thông tin hữu ích.

9. Và lắng nghe bài phát biểu đã chuyển đổi đang được phát trực tiếp trên loa.

Bước 5: Tham khảo

1.

2.

3.

4.