Huấn luyện viên tiếng Anh cá nhân - Hỗ trợ giọng nói AI: 15 bước

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:33

Dự án này sẽ giúp những sinh viên đang chuẩn bị cho bất kỳ kỳ thi ngôn ngữ nào, nơi họ có thể được đào tạo bằng cách tương tác với Snips AI.

Bước 1: Câu chuyện

Tại sao chúng tôi lại xây dựng cái này?

Từ kinh nghiệm cá nhân của tôi, tôi đã thấy nhiều người chuẩn bị cho các bài kiểm tra ngôn ngữ khác nhau như GRE, TOEFL, IELTS. Họ cần một người giúp họ trong việc ghi nhớ và hiểu các từ. Nói chung, khi một người chuẩn bị cho bất kỳ kỳ thi nào như vậy, họ cần một người để kiểm tra và sửa chữa nếu họ mắc lỗi. Với giải pháp này, chúng tôi có thể giảm thiểu nhân lực bằng cách sử dụng trợ lý giọng nói.

Bước 2: Xây dựng phần cứng

Trước hết, tôi muốn cảm ơn SNIPS và XEM đã hỗ trợ dự án này với Bộ phát triển tương tác giọng nói Snips tuyệt vời (Bộ cơ sở), tôi thực sự cảm thấy có nhiều thông tin khi sử dụng bảng này và có thể đạt được một số dự án phức tạp được tích hợp trong PCB.

Bạn có thể mua Bộ cơ sở tương tác giọng nói Snips với giá 115 đô la và Bộ vệ tinh tương tác giọng nói Snips với giá 85 đô la

Bước 3: Bắt đầu với SNIPS

Trước khi bắt đầu, hãy xem lại những gì bạn cần.

• Raspberry Pi 3B / B + (Khuyến nghị) hoặc Pi 2 Model B (Được hỗ trợ).
• Cáp Micro-USB & Bộ chuyển đổi nguồn Micro-USB cho Raspberry Pi.
• Thẻ Micro SD (Tối thiểu 8 GB) - Cần có hệ điều hành để bắt đầu. Bạn có thể tải xuống Raspbian Stretch và sử dụng hướng dẫn dành cho Mac OS, Linux và Windows Trong trang web Raspberry Pi.
• Bàn phím & Chuột USB và Màn hình HDMI bên ngoài - chúng tôi cũng khuyên bạn nên trang bị bàn phím và chuột USB cũng như màn hình HDMI tiện dụng.
• Kết nối Internet (Ethernet hoặc WiFi)

Bộ cơ sở tương tác giọng nói Snips

Bộ công cụ phát triển tương tác giọng nói Snips cho phép người dùng bắt đầu phát triển giao diện giọng nói và dễ dàng tích hợp Nền tảng giọng nói AI Snips với phần cứng. Snips chạy trên thiết bị, có nghĩa là tất cả các lệnh thoại và dữ liệu của bạn được xử lý cục bộ thay vì được gửi đến đám mây. Quá trình xử lý trên thiết bị này dẫn đến một trợ lý giọng nói ngoại tuyến hoàn toàn an toàn giúp giữ dữ liệu cá nhân của bạn ở chế độ riêng tư.

Bộ cơ sở tương tác giọng nói cho phép bạn chạy toàn bộ Nền tảng giọng nói AI của Snips. Được hỗ trợ bởi Raspberry Pi 3 Model B + và ReSpeaker 2-Mics Pi HAT, nó có khả năng hoạt động như một chiếc loa thông minh tại nhà của bạn. Cùng với bộ sản phẩm này, còn có một loa, một Grove - Cảm biến nhiệt độ & độ ẩm (SHT31), một Grove - Relay, và một cái chốt để treo nó lên tường hoặc tạo một giá đỡ tiện lợi.

Nhưng đó không phải là tất cả! Bộ vệ tinh tương tác giọng nói sẽ mở rộng trạm gốc của bạn đến từng phòng trong nhà và cho phép bạn tương tác với phần cứng dựa trên nơi bạn ra lệnh!

Bộ sản phẩm này bao gồm bo mạch Raspberry Pi3 B +, ReSpeaker 2-Mic Pi HAT, Grove - Relay, Grove - Cảm biến nhiệt độ & độ ẩm (SHT31), Loa 6 Ohm 2W, Thẻ MicroSD, Bộ đổi nguồn với đầu nối Micro USB, Cáp Grove x 2, Đế acrylic bảng điều khiển.

Các bước lắp ráp: (Nội dung từ SNIPS) Hình ảnh sau đây là tổng quan về các bộ phận lắp ráp.

Ở đây các bộ phận lắp ráp được gắn trên bảng điều khiển cơ sở.

Sau đó, tất cả các bộ phận điện tử được gắn trên bảng.

Sau đó, gắn nắp Bảo vệ Acrylic lên trên Grove -Relay.

2 bộ phận này được sử dụng để làm Kit thành giá đỡ để bàn.

Cuối cùng, bạn đã sẵn sàng chơi với Snips.

Bộ tài liệu cung cấp hai cách sắp xếp. Nó có thể được đặt trên một bề mặt nằm ngang như một giá đỡ hoặc có thể được treo trên tường bằng cách sử dụng dây hoặc chỉ. Hãy cẩn thận với Rơle khi bộ được cấp nguồn vì điện áp làm việc sẽ cao.

LƯU Ý: Chúng tôi cũng có Bộ vệ tinh tương tác giọng nói Snips có Raspberry Pi số 0 thay cho Raspberry Pi 3B +

Bước 4: Giao diện với Snips AI (Dự án cơ bản)

• Cấp nguồn cho bộ bằng bộ đổi nguồn mặc định trong bộ hoặc sử dụng bộ chuyển đổi DC 5V-2A với đầu nối Micro USB.
• Bước tiếp theo là cài đặt trợ lý Snips vào Raspberry Pi. Để tiết kiệm thời gian thiết lập của bạn, thẻ MicroSD trong bộ sản phẩm đã được nhấp nháy với hình ảnh hệ thống chức năng đầy đủ, có nghĩa là trợ lý Snips đã sẵn sàng cho các từ kích hoạt của bạn.
• Chúng tôi thực sự khuyên bạn nên nghiên cứu hướng dẫn cài đặt từng bước bằng cách truy cập: https://docs.snips.ai/getting-started/quick-start… và tìm hiểu công cụ sam trong dòng lệnh.
• Kích hoạt trợ lý bằng cách nói "Hey-snips" và làm theo lệnh:

Bạn có thể tìm video về ví dụ được cài đặt sẵn trong bộ cơ sở Tương tác giọng nói Snips bên dưới.

Bước 5: Giao diện với Snips AI (Dự án AI)

Vì vậy, đây là cách nó hoạt động. Đầu tiên, chúng tôi sử dụng từ nóng để bắt đầu nhận dạng Snips. Nó hiểu câu bằng cách sử dụng Snips NLU và xác định ý định. Tiếp theo bằng cách sử dụng ý định, trích xuất các vị trí tương ứng. Với mã hành động, chúng tôi lập trình phản hồi của AI tương ứng với các vị trí.

Bước 6: Tạo ứng dụng và ý định

• Tạo một Trợ lý. Trong trường hợp của tôi, tôi đã tạo một trợ lý có tên JARVIS và với từ nóng JARVIS.
• Tạo Ứng dụng tùy chỉnh hoặc đối với người mới bắt đầu, hãy sử dụng Ứng dụng từ thư viện.
• Tôi đã tạo một Ứng dụng với tên Words
• Tạo Ý định và bắt đầu đào tạo AI. Điều này đóng một vai trò quan trọng trong việc làm cho AI của bạn trở nên mạnh mẽ. Đào tạo nó với tất cả các đầu vào có thể.
• Tạo một khe để xác định các từ. Đặt chỗ trống ở cụm từ mong đợi của câu. Đối với ví dụ của tôi, từ khóa đã cho là tên vị trí và nó được đánh dấu bằng màu xanh lam.
• Sau khi hoàn tất, ASR tùy chỉnh của bạn sẽ sẵn sàng. Thử với các đầu vào. Chúng tôi có thể tìm thấy câu trả lời ở bên phải của bạn, bên dưới trợ lý. Điều này cung cấp cho bạn việc trích xuất giá trị thô, tên mục đích và vị trí.
• Xác định vị trí với nhiều ví dụ hơn như được đưa ra bên dưới
• Cuối cùng, triển khai trợ lý của bạn để trải nghiệm AI được cá nhân hóa của bạn.

Bước 7: Ghi Raspbian vào thẻ SD

Raspbian là bản phân phối Linux được lựa chọn chạy trên Raspberry Pi. Trong hướng dẫn này, chúng tôi sẽ sử dụng phiên bản Lite, nhưng phiên bản Desktop (đi kèm với môi trường đồ họa) cũng có thể được sử dụng.

• Tải xuống Etcher và cài đặt nó.
• Kết nối đầu đọc thẻ SD với thẻ SD bên trong.
• Mở Etcher và chọn từ ổ cứng của bạn tệp.img hoặc.zip Raspberry Pi mà bạn muốn ghi vào thẻ SD
• Chọn thẻ SD mà bạn muốn ghi hình ảnh của mình vào.
• Xem lại các lựa chọn của bạn và nhấp vào 'Flash!' để bắt đầu ghi dữ liệu vào thẻ SD

Kết nối thiết bị với mạng của bạn

• Bật quyền truy cập SSH bằng cách thêm ssh tệp trống, lại được đặt ở gốc của ổ đĩa khởi động trên thẻ SD của bạn.
• Gắn thẻ SD vào Raspberry Pi. Nó sẽ khởi động trong khoảng 20 giây. Bây giờ bạn sẽ có quyền truy cập SSH vào Raspberry Pi của mình. Theo mặc định, tên máy chủ của nó sẽ là raspberrypi.local. Trên máy tính của bạn, hãy mở một cửa sổ dòng lệnh và nhập như sau:

ssh [email protected]

Mật khẩu mặc định là raspberry

Bước 8: Cài đặt Nền tảng Snips

Nếu bạn chưa có, hãy cài đặt Giao diện dòng lệnh Sam trên máy tính của bạn. Mở cửa sổ dòng lệnh và nhập:

sudo npm install -g snips-samor npm install -g snips-sam // Windows

Tìm Raspberry Pi của bạn trên mạng bằng cách chạy:

thiết bị sam

Tiếp theo, thiết lập kết nối với thiết bị. Bạn sẽ được nhắc nhập tên người dùng và mật khẩu của thiết bị (mặc định lần lượt là pi và raspberry):

sam kết nối

Bây giờ chúng tôi đã sẵn sàng cài đặt nền tảng Snips trên Raspberry Pi. Nhập lệnh:

sam init

Bước 9: Định cấu hình phần cứng

Sam cung cấp một số lệnh để dễ dàng thiết lập và cấu hình các thành phần phần cứng. Trong phần này, chúng tôi sẽ thiết lập loa và micrô. Tùy thuộc vào thiết lập của bạn, một số cấu hình tùy chỉnh cần được thực hiện.

thiết lập âm thanh sam

Kiểm tra loa

Để kiểm tra loa đang hoạt động, hãy chạy

loa kiểm tra sam

Nếu mọi thứ hoạt động tốt, bạn sẽ nghe thấy trên loa của mình một giọng nói nói vài từ. Định cấu hình micrô Bạn có thể kiểm tra xem micrô của mình có hoạt động không:

mic kiểm tra sam

Giả sử bạn có loa, nếu bạn có thể nghe rõ những gì mình vừa nói, bạn có thể tiếp tục mà không cần cấu hình thêm micrô.

Khi bạn hài lòng rằng thiết lập phần cứng của mình đang hoạt động, bạn đã sẵn sàng chuyển sang bước tiếp theo, nơi bạn sẽ triển khai trợ lý đầu tiên của mình.

Bước 10: Nhập mô hình AI từ bảng điều khiển

Sau khi bạn đã tạo trợ lý của mình từ các bước trước, hãy đăng nhập vào bảng điều khiển từ cửa sổ đầu cuối bằng cách chạy:

đăng nhập sam

Bạn sẽ được yêu cầu nhập thông tin đăng nhập Bảng điều khiển Snips của mình.

Tiếp theo, cài đặt trợ lý:

trợ lý cài đặt sam

Nếu bạn đã tạo một số trợ lý trong Bảng điều khiển, bạn sẽ được yêu cầu chọn cài đặt trợ lý nào từ danh sách.

Bước 11: Xử lý & Mã hành động

Để Raspberry Pi phản hồi, chúng tôi sẽ phải viết một số mã xử lý. Đây là mã được thực thi khi một sự kiện nhất định xảy ra trên nền tảng Snips, chẳng hạn như khi ý định đã được phát hiện.

Bạn có nhiều phương pháp khác nhau để tạo Trình xử lý tùy thuộc vào chức năng.

Tạo một thư mục trên máy tính mà bạn muốn lưu trữ mã trình xử lý của mình. Từ cửa sổ đầu cuối, thay đổi thư mục đó và nhập:

npm init

Thao tác này sẽ tạo một tệp có tên package.json chứa mô tả dự án của bạn, các phụ thuộc và hơn thế nữa. Tiếp theo, thêm phần phụ thuộc gói mqtt:

npm cài đặt mqtt --save

Bây giờ, hãy tạo một tệp có tên là index.js và dán đoạn mã sau, thay thế biến tên máy chủ bằng tên máy chủ Raspberry Pi của bạn (nếu nó khác với raspberrypi mặc định):

var mqtt = request ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (tên máy chủ); client.on ('connect', function () {console.log ("[Snips Log] Đã kết nối với MQTT broker" + hostname); client.subscribe ('hermes / #');}); client.on ('message', function (topic, message) {if (topic === "hermes / asr / startListening") {onListeningStateChanged (true);} else if (topic === "hermes / asr / stopListening") {onListeningStateChanged (false);} else if (topic.match (/ hermes / / hotword / /.+ / / secure / g)! == null) {onHotwordDetected ()} else if (topic.match (/ hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (message));}}); function onIntentDetected (Ý định) {console.log ("[Nhật ký Snips] Đã phát hiện ý định:" + JSON.stringify (ý định)); } function onHotwordDetected () {console.log ("[Nhật ký Snips] Đã phát hiện từ nóng"); } function onListeningStateChanged (đang nghe) {console.log ("[Nhật ký Snips]" + (đang nghe? "Bắt đầu": "Dừng") + "đang nghe"); }

Chạy mã này bằng Node:

node index.js

Bạn sẽ thấy thông báo kết nối thành công với nhà môi giới Snips MQTT. Như trước đây, hãy thực hiện tương tác bằng giọng nói với Raspberry Pi của bạn:

Hey Snips, thời tiết ở Chennai như thế nào

Bạn sẽ thấy nhật ký cập nhật:

[Nhật ký Snips] Đã kết nối với nhà môi giới MQTT mqtt: //raspberrypi.local

[Nhật ký Snips] Đã phát hiện từ nóng [Nhật ký cắt] Bắt đầu nghe [Nhật ký cắt] Dừng nghe [Nhật ký cắt] Đã phát hiện ý định: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" thời tiết ở chennai như thế nào "," Ý định ": {" Ý định tên ":" searchWeatherForecast "," xác suất ": 0,73845243}," chỗ trống ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" local ", "slotName": "casting_locality "}]}

Bước 12: Khắc phục sự cố

Xóa trợ lý trước nếu có

$ sudo rm -rf / usr / share / snips / Assistant /

Để thay đổi thư mục thành Trợ lý

cd / var / lib / snips / skills /

Sao chép nội dung của repo thành cục bộ

git clone

Để chạy tập lệnh setup.sh

./setup.sh

Kích hoạt môi trường ảo

nguồn venv / bin / kích hoạt

Chạy mã hành động

./action-.py

Để cấp quyền cho Tập lệnh Python

chmod + x action-.py

Bước 13: Bao vây

• Tôi đã sử dụng bao vây được xếp hạng IP cho dự án này
• Đầu tiên, tôi tạo các lỗ cần thiết để gắn mạch & khe cắm cho dây Nguồn và cáp HDMI.
• Sau đó, tôi đặt tất cả Raspberry Pi bên trong vỏ và vặn chặt nó.
• Tôi đã tạo một lỗ nhỏ cho Loa và Micrô và che nó bằng một miếng acrylic nhỏ.
• Kết nối loa với mũ ReSpeaker một cách chắc chắn.
• Cuối cùng, tất cả các vít được gắn chắc chắn và cáp nguồn được cắm qua một khe.
• Đây là cách nhìn cuối cùng của AI: D

Bước 14: Hoạt động của AI

Bạn có thể tìm thấy dữ liệu được theo dõi bằng Snips-watch

Bây giờ là giờ chiếu. Tôi bắt đầu thực hiện với những lời chào đơn giản AI. Hãy xem nó đang hoạt động.

Trainer AI đã được lập trình cho các từ hạn chế. Điều này có thể mở rộng với một chút sửa đổi. Điều này giúp học sinh ghi nhớ nghĩa nhanh hơn so với phương pháp truyền thống.

Chú ý: Dự án này được đào tạo cho khoảng 25 từ. Nó có thể được mở rộng hơn nữa bằng cách thực hiện các chỉnh sửa nhỏ trong mã hành động.

Bạn có thể tìm thấy các tập lệnh Hành động trên Kho lưu trữ Github của tôi đính kèm.

Dự án Repo cho Lời chào AI -

Dự án Repo cho Trainer AI -

Liên kết đến ứng dụng của tôi:

Toàn bộ chi phí thiết lập khoảng $ 115 có thể được mua từ SNIPS và giải pháp này rất rẻ và hiệu quả khi so sánh với các phương pháp truyền thống. Khoảng hơn 100.000 bài kiểm tra đã được thực hiện ở Ấn Độ và sản phẩm này sẽ là sự bổ sung tốt nhất cho người dự thi GRE.

Hãy ủng hộ nếu nó thực sự có ích cho bạn và hãy theo dõi kênh của tôi để biết những dự án thú vị.:) Chia sẻ video này nếu bạn thích. Rất vui khi bạn đã đăng ký: https://console.snips.ai/store/vi/skill_xBKlxnE5K… Cảm ơn bạn đã đọc!