STEM - Điều khiển bằng giọng nói và hình ảnh: 13 bước

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:35

Trong vài năm qua, việc tạo ra thứ gì đó bằng nhận dạng giọng nói hoặc hình ảnh ngày càng trở nên dễ dàng hơn. Cả hai đều đang được sử dụng ngày càng thường xuyên hơn. Và đây là những chủ đề phổ biến trong các dự án DIY. Phần lớn thời gian được tạo bằng phần mềm / API từ một trong các công ty sau:

• Giong noi Google.
• Amazon Alexa.
• Dịch vụ Nhận thức của Microsoft.

Thậm chí còn có một số bộ dụng cụ DIY, chẳng hạn như Google AIY Voice Kit để hỗ trợ những người có sở thích. Hầu hết các sản phẩm này sử dụng Raspberry Pi hoặc bo mạch tương tự. Thật không may, điều này không phù hợp với những người không biết cách xử lý một ngôn ngữ lập trình, chẳng hạn như Python.

Tài liệu hướng dẫn này là về nhận dạng giọng nói và OCR hình ảnh mà không cần bất kỳ kiến thức nào về ngôn ngữ lập trình. Tuy nhiên, tư duy logic vẫn là một yêu cầu. Do đó, sản phẩm Makeblock Neuron được sử dụng, kết hợp với môi trường lập trình dựa trên luồng.

Sản phẩm Neuron này bắt đầu là một dự án Kickstarter vào năm 2017. Đó là một Nền tảng khối xây dựng điện tử sử dụng tất cả các loại 'khối' điện tử có thể được kết nối bằng các đầu nối từ tính. Và về cơ bản có nghĩa là một sản phẩm STEM (Khoa học, Công nghệ, Kỹ thuật và Toán học). Do đó, sản phẩm này tập trung vào tư duy logic và (học) lập trình.

Có khoảng 30 loại khối Neuron khác nhau. Chẳng hạn như các loại máy phát và máy thu, nút bấm, đèn LED, cảm biến và động cơ. Hầu hết các khối chỉ giao tiếp với nhau. Nhưng một trong những khối, khối WiFi, có thể được kết nối với internet. Điều này giúp bạn có thể truy cập các ứng dụng internet như Dịch vụ Nhận thức của Microsoft.

Các bước đầu tiên của sản phẩm Có thể hướng dẫn này bắt đầu với phần giới thiệu ngắn gọn về sản phẩm Neuron và cách lập trình chúng. Điều này bao gồm lập trình dựa trên dòng chảy và một số linh kiện điện tử có sẵn. Tiếp theo là một số ví dụ với tính năng Nhận dạng giọng nói và Tầm nhìn. Và cuối cùng là robot rùa nhỏ. Có thể điều khiển từ xa bằng cần điều khiển. Có thể sử dụng nhận dạng giọng nói với robot này. Tuy nhiên, thời gian phản hồi của điều khiển bằng giọng nói phải được tính đến.

Ngoài ra có một số thông tin kỹ thuật bổ sung. Các bước này cung cấp thông tin cơ bản và cung cấp thông tin chi tiết về sản phẩm Neuron.

G o s s e A d e m a

Bước 1: Bộ khám phá Neuron

Các khối Neuron giống như những viên gạch điện tử và màu sắc của mỗi Neuron cho thấy chức năng chính của nó. Khối năng lượng và thông tin liên lạc có màu xanh lá cây; Các khối đầu vào có màu Vàng; Các khối điều khiển có màu cam; Và các khối đầu ra có màu xanh lam. Mỗi Neuron có chức năng chuyên dụng riêng và chúng bắt đầu giao tiếp với nhau khi chúng được kết nối với nhau.

Sản phẩm bắt đầu như một dự án Kickstarter vào tháng 4 năm 2017. Và sản phẩm có hướng dẫn này sử dụng Bộ công cụ khám phá. Bộ này bao gồm các phần sau:

• WiFi (Neuron)
• Sức mạnh (Neuron)
• Micrô & Loa (USB)
• Bảng điều khiển Led 8x8 RGB (Neuron)
• Cần điều khiển (Neuron)
• Núm (Neuron)
• Trình điều khiển dải dẫn (Neuron)
• Dải đèn LED 50cm (15 đèn LED)
• Bộ điều khiển động cơ DC kép (Neuron)
• Động cơ DC (2x)
• Giá đỡ động cơ (2x)
• Bánh xe (2x)
• Bánh xe nhỏ
• Trình điều khiển động cơ Servo kép (Neuron)
• Động cơ Servo (2x)
• Nhận dạng giọng nói (Neuron)
• Cảm biến Utrasonic (Neuron)
• Bộ phát không dây (Neuron)
• Bộ thu không dây (Neuron)
• Máy ảnh (USB)
• Con trỏ laser
• Bảng thần kinh (4x)
• Dây nam châm 10 cm (2x)
• Dây nam châm 20 cm (2x)
• Cáp Micro USB 20 cm (2x)
• Cáp Micro USB 100 cm (2x)

Bộ tài liệu này chứa tất cả các bộ phận điện tử cho tất cả các loại dự án STEM. Điểm tập trung chính của nó dường như là chế tạo những con rô bốt nhỏ. Nhưng camera và nhận dạng giọng nói mang lại cho nó nhiều khả năng hơn là chỉ có robot.

Mỗi Neuron chứa một nam châm. Và có thể được đặt trên các vật kim loại hoặc trên bảng Neuron được cung cấp.

Phần duy nhất bị "thiếu" trong Bộ công cụ khám phá này là một cảm biến theo dòng. Đây là một phần của Bộ công cụ "Tất cả trong một". Cảm biến này sẽ là một lựa chọn hợp lý hơn, thay vì dải LED hoặc ma trận LED.

Bước 2: Khối nơron

Một số gói Neuron đã được bán thông qua chiến dịch Kickstarter. Và tại thời điểm này, các gói đầu tiên đã có sẵn để bán hàng thường xuyên.

Có khoảng 30 khối khác nhau, có thể được kết nối với nhau bằng các đầu nối từ tính. Điều này tạo ra một dòng các khối. Mà giao tiếp với nhau thông qua Ứng dụng (Android, iOS).

Có một khối nguồn có thể sạc lại cung cấp năng lượng cho tất cả các khối được kết nối. Và tất cả các khối giao tiếp đều có đầu nối micro USB, có thể được sử dụng để cấp nguồn cho các khối. Một chuỗi thường bắt đầu bằng một khối giao tiếp. Và nếu điều này không được cung cấp bởi USB, khối tiếp theo sẽ là khối nguồn.

Năng lượng mà một khối liên lạc có màu xanh lục, và có 5 trong số chúng:

• Quyền lực.
• Máy thu không dây.
• Máy phát không dây.
• Wifi.
• Bluetooth.

Ứng dụng và chương trình Scratch yêu cầu kết nối WiFi hoặc BlueTooth. 2 khối không dây có thể được sử dụng cho các dự án được điều khiển từ xa với khoảng cách ngắn.

Bộ công cụ Explorer chứa ba khối điều khiển màu cam:

• Nút vặn.
• Cần điều khiển.
• Nhận diện giọng nói.

Và hai cảm biến màu vàng:

• Máy ảnh
• Thiết bị cảm biến sóng siêu âm

Các khối điều khiển và cảm biến cung cấp đầu vào cho chương trình của bạn. Núm cho giá trị từ 0 đến 100 và có thể được sử dụng như một bộ điều chỉnh độ sáng hoặc để điều khiển tốc độ của động cơ. Cần điều khiển cung cấp hai giá trị là mười -100 và 100, một giá trị cho mỗi hướng. Cảm biến siêu âm đo khoảng cách tính bằng cm. Giá trị đầu ra nằm trong khoảng từ 0 đến 400.

Năm khối đầu ra màu xanh lam trong bộ này là:

• Dải đèn lái + Dải đèn Led.
• Bảng điều khiển dẫn.
• Trình điều khiển động cơ DC
• Trình điều khiển động cơ Servo
• Micrô và loa

Các khối đầu ra rất khác nhau. Điều này cho phép nhiều loại dự án khác nhau. Như đèn LED, rô bốt di chuyển và / hoặc máy ghi âm.

Tất cả các khối Neuron được liệt kê trên trang Kickstarter.

Bước 3: Lập trình Neuron

Có một số cách để sử dụng các khối Neuron.

1. Ngoại tuyến.
2. Trực tuyến với một ứng dụng.
3. Trực tuyến với mBlock Scratch.

Ngoại tuyến cung cấp một cách dễ dàng để giới thiệu các phần khác nhau. Điều này không yêu cầu lập trình. Lập trình trực tuyến có thể được thực hiện bằng Ứng dụng (Android / iOS) hoặc chương trình máy tính (mBlock 4.0). Khối WiFi có khả năng lưu một chương trình. Chương trình này vẫn chạy cho đến khi bị Ứng dụng dừng lại.

Ứng dụng này dễ sử dụng hơn phần mềm mBlock 4.0. Và không phải tất cả các khối Neuron hiện đều có trong phần mềm mBlock.

Có một số thẻ với các dự án mẫu trong hộp Neuron. Chúng có thể được kết hợp với nhau với sự trợ giúp của Ứng dụng và hiển thị các nguyên tắc cơ bản của các khối khác nhau.

Bước 4: Chế độ ngoại tuyến

Chế độ này chủ yếu là để làm quen với sản phẩm và nó không yêu cầu bất kỳ lập trình nào.

Mỗi cảm biến của khối đầu ra có khả năng cung cấp đầu ra cho các khối gắn bên phải. Và mỗi khối hiển thị có thể nhận tín hiệu đầu vào từ bên trái; Cung cấp đầu ra của nó; Và chuyển tín hiệu đầu vào cho các khối bổ sung được kết nối với bên phải.

Bằng cách này, một chuỗi ngoại tuyến luôn chứa nhiều khối theo một thứ tự cố định: Một khối Power màu xanh lá cây; Một khối (đầu vào hoặc điều khiển) màu vàng hoặc cam; Và một hoặc nhiều khối đầu ra màu xanh lam. Và chế độ ngoại tuyến này chỉ hoạt động từ trái sang phải (với các chữ cái có thể đọc được).

Một khối đầu vào hoặc khối điều khiển kiểm soát tất cả các khối đầu ra sau đây. Và đầu ra phụ thuộc vào loại khối đầu vào. Ví dụ: Núm vặn hoạt động giống như một bộ điều chỉnh độ sáng khi được kết nối với ma trận LED. Và cần điều khiển hiển thị hướng trên ma trận LED. Không thể kết hợp các tín hiệu từ nhiều khối đầu vào ở chế độ ngoại tuyến. Chỉ có tín hiệu của khối cuối cùng được chuyển đến các khối đầu ra.

Việc kết hợp các khối đầu vào và / hoặc điều khiển yêu cầu chế độ trực tuyến (lập trình).

Bước 5: Lập trình dựa trên luồng

Khi các khối Neuron được kết nối với máy tính bảng (iPad), chúng sẽ tự động hoạt động ở chế độ Trực tuyến. Bây giờ tất cả các khối được kết nối có thể được sử dụng để tương tác với nhau. Trong khi môi trường chương trình bổ sung các phép toán logic và toán học.

Tài liệu về lập trình các khối Neuron có tại trang web Makeblock. Ngoài ra còn có một diễn đàn cung cấp nhiều thông tin. Bởi vì sản phẩm này khá mới, có những bản cập nhật và bổ sung thường xuyên cho tài liệu trên trang web Makeblock.

Ứng dụng Neuron sử dụng lập trình dựa trên luồng. Ngoài các khối Neuron cung cấp giá trị đầu ra hoặc yêu cầu giá trị đầu vào, có tất cả các loại nút lập trình khác nhau. Chúng được chia thành một số khu vực và được đặt trên các tab khác nhau bên trong Ứng dụng. Theo mặc định, có 4 tab:

• Căn bản
• Kiểm soát
• Thời gian
• Nâng cao

Các nút lập trình này có thể được sử dụng mà không cần các khối Neuron.

Tài liệu trực tuyến của Makeblock hiển thị các tính năng của giao diện Ứng dụng.

Logic và Toán học

Đây là những chức năng cơ bản. Và có một hoặc hai đầu vào và một giá trị đầu ra. Có một số phép tính và so sánh đơn giản.

Chức năng bật tắt chuyển đổi trạng thái của nó mỗi khi nó nhận được chữ 'Y'.

Con số

Có hai nút số, một nút "cơ bản" và một phiên bản "điều khiển" (chúng nằm trên các tab khác nhau). Phiên bản điều khiển là một số cố định, trong khi số cơ bản có trạng thái 'bật' và 'tắt'. Ví dụ sau đây cho thấy sự khác biệt. Khoảng thời gian bật ('Y') và tắt ('N') mỗi giây. Đầu ra của số màu xanh lá cây là 5 khi đầu vào là 'Y', các giá trị khác là 0.

Nút đường cong hiển thị một đồ thị. Điều đó rất hữu ích để hiển thị các giá trị đầu ra khác nhau. Các chỉ báo hữu ích khác là nhãn và nút chỉ báo.

Sự nối tiếp

Trình tự chạy lặp lại hoặc chỉ một lần khi đầu vào là 'Y'. Điều này cho phép một chuỗi các hành động.

Trình tự nhận được tín hiệu khi công tắc được bật. Đầu ra của chuỗi được chuyển đến một chỉ báo.

Lưu ý màu sắc của các đường: Các đường màu xanh lam cho biết dòng điện hiện tại. Và vòng tròn bên phải của một nút luôn hiển thị đầu ra hiện tại.

Tỉ lệ

Nút tỷ lệ chuyển phạm vi đầu vào thành phạm vi đầu ra. Ví dụ: 0 đến 100 có thể được dịch thành giá trị từ 0 đến 255.

Giá trị trên mức tối đa của phạm vi đầu vào dẫn đến giá trị cao hơn thang đầu ra tối đa! Bộ lọc có thể được sử dụng để giới hạn giá trị.

Van

Đây là một nút chuyển giá trị đầu vào thấp hơn nếu giá trị đầu vào trên là true. Điều này được giải thích tốt nhất bằng một ví dụ:

Nút khoảng thời gian màu xanh lá cây chuyển đổi giữa 0 và 1 mỗi nửa giây. Phần mở rộng của nút này hiển thị trên đồ thị uppper. Nút xung màu tím cho một đầu ra hình sin, với các giá trị từ -255 đến 255. Điều này được hiển thị trên đồ thị bên dưới.

Cả khoảng và xoang đều là đầu vào cho nút van. Và giá trị đầu ra là 0 khi giá trị khoảng thời gian là 'N'. Khi giá trị khoảng là 'Y', giá trị đầu ra bằng giá trị đầu vào xoang. Điều này cho thấy đồ thị ở giữa.

Bước 6: Ví dụ về luồng

Cách tốt nhất để hiển thị lập trình luồng là bằng một ví dụ. Ví dụ này không sử dụng khối Neuron. Và mọi người đều có thể lập trình này sau khi tải xuống Ứng dụng. Mở môi trường mã và tạo một chương trình mới. Chọn '(X)' khi được yêu cầu kết nối và bắt đầu lập trình.

Chỉ cần kéo các nút cần thiết vào vùng chương trình và kết nối các dòng. Nhấp vào nút de để xem các vị trí và để thay đổi các giá trị / cài đặt.

Đầu ra của các nút là 'N' theo mặc định. Nhấn một nút sẽ xuất hiện đầu ra là 'Y'. Đầu ra này được chuyển tiếp đến bộ tạo số ngẫu nhiên. Điều này tạo ra một số mới (mười hai 0 và 100) mỗi khi đầu vào có giá trị 'Y' và chuyển đầu ra cho (các) nút tiếp theo.

Các nút so sánh yêu cầu 2 đầu vào và trả về giá trị 'Y' nếu điều kiện được đáp ứng. Nút so sánh phía trên kiểm tra xem giá trị của cổng A có lớn hơn giá trị của cổng B. Nếu điều này là đúng, đèn sẽ chuyển sang màu xanh lục. Hiện tại đèn dưới có màu xanh lục, vì 21 thấp hơn 23.

Nó đòi hỏi một số thực hành để lập trình theo cách này. Ưu điểm lớn là bạn không phải suy nghĩ về cú pháp của mã. Và mỗi nút hiển thị giá trị đầu ra của nó. Ngoài ra, các đường màu xanh lam đại diện cho luồng dữ liệu.

Bước 7: Kiểm soát hình ảnh

Có hai khối Neuron có thể được gắn vào khối WiFi bằng cáp USB: Máy ảnh và micrô / loa. Cả hai thiết bị đều là thiết bị USB thông thường và có thể kết nối với PC. Máy ảnh yêu cầu một số trình điều khiển bổ sung, nhưng loa hoạt động như một loa USB thông thường.

Một tab và biểu tượng máy ảnh xuất hiện bên trong ứng dụng khi máy ảnh được gắn vào khối WiFi. Biểu tượng mở ra một cửa sổ xem trước với hình ảnh của máy ảnh.

Có một nút ảnh / máy ảnh bên trong tab máy ảnh. Điều này sẽ chụp ảnh khi có tín hiệu đầu vào với giá trị 'Y' (true). Sau khi đặt nút này vào vùng chương trình, nó có ba tùy chọn (nhấp vào nút):

• Khung ảnh
• OCR
• Kiểm tra biểu tượng cảm xúc

Khung ảnh hiển thị đầu ra của nút ảnh. Ba nút tiếp theo cung cấp một "máy ảnh". Máy ảnh chụp ảnh khi nút được nhấn (điều này cho đầu ra là 'Y'). Và điều này được hiển thị bên trong khung ảnh. Hình ảnh được lưu trữ bên trong khối WiFi, nhưng sẽ bị ghi đè khi chụp ảnh mới.

Có thể sử dụng bộ hẹn giờ để nhập vào máy ảnh, nhưng đừng đặt khoảng thời gian quá ngắn (> 1 giây). Nếu không, khối WiFi không thể xử lý dữ liệu và bị treo trong một thời gian.

Nút OCR chuyển hình ảnh sang văn bản. Điều này sử dụng các dịch vụ nhận thức của Microsoft. Khối WiFi phải được kết nối với internet và Ứng dụng phải được kết nối với khối WiFi.

Chương trình tiếp theo sẽ chụp ảnh khi nút được nhấn. Ảnh này được hiển thị và xử lý bởi nút OCR. Đầu ra được so sánh bởi ba nút so sánh văn bản. Các giá trị này kiểm tra các giá trị "một", "hai" và "ba". Và mỗi giá trị hiển thị một hình ảnh khác nhau trên bảng LED. Đầu ra của nút OCR cũng được hiển thị bởi một nút "nhãn". Điều này hiển thị "Không" (Sai) khi không có gì được nhận dạng.

Các đường màu xanh lam cho biết luồng dữ liệu bên trong chương trình. Và 'Y' và 'N' sau mỗi nút đại diện cho giá trị đầu ra của nó. Điều này đơn giản hóa việc khắc phục sự cố trong một chương trình. Thật không may, đầu ra của ma trận LED không được hiển thị trong Ứng dụng.

Tùy chọn nút máy ảnh cuối cùng là kiểm tra biểu tượng cảm xúc. Điều này chuyển các khuôn mặt trên một hình ảnh thành một cảm xúc.

Các ví dụ trên rất đơn giản, nhưng chúng cho thấy nguyên tắc cơ bản. Các khối nơ-ron và logic bổ sung có thể được thêm vào để tạo ra các chương trình phức tạp hơn

Bước 8: Nhận dạng giọng nói (Micrô)

Ngoài máy ảnh, một micrô / loa Neuron có thể được kết nối với khối WiFi. Điều này có thể được sử dụng để ghi và phát lại các đoạn âm thanh. Kết nối Neuron này sẽ cung cấp thêm một tab "âm thanh" trong Ứng dụng.

Nút ghi sẽ chỉ ghi lại âm thanh nếu đầu vào là "Y", điều này yêu cầu một nút hoặc nút chuyển. Đoạn âm thanh đã ghi là đầu ra của nút ghi. Thêm nút "phát âm thanh" sẽ phát ngay đầu ra này. Bạn có thể sử dụng phần này để làm một con vẹt:

Nhấn vào nút micrô sẽ cho 2 tùy chọn: "chuyển giọng nói thành văn bản" và "lưu bản ghi".

Nút "lưu bản ghi" lưu tệp âm thanh trên hệ thống tệp bên trong Khối WiFi. Tệp này được ghi đè mỗi khi bắt đầu ghi mới.

Nút "Phát âm thanh" có thể phát âm thanh đầu vào, nhưng cũng có thể chọn hiệu ứng âm thanh hoặc tệp đã ghi. Nó yêu cầu một kích hoạt đầu vào để bắt đầu âm thanh nhất định. Và nó dừng ngay lập tức khi đầu vào là 'N' (false). Ví dụ sau đây là một loại máy đọc chính tả. Nút phía trên tạo bản ghi âm và nút phía dưới phát bản ghi âm này.

Tùy chọn voice to tekst của nút micrô sử dụng các dịch vụ nhận thức của Microsoft để dịch bản ghi âm sang văn bản. Nút nhãn có khả năng hiển thị đầu ra. Các nút âm thanh ghi và phát không cần thiết để dịch giọng nói thành văn bản. Nhưng những điều này rất hữu ích trong quá trình lập trình để kiểm tra kết quả đầu ra.

Việc gỡ lỗi tính năng này có thể được thực hiện bằng cách đăng nhập vào khối WiFi (tính năng nâng cao).

[2018-01-19 23:00:35] [WARN] Trình xử lý yêu cầu 'máy chủ âm thanh' được gọi:

Có thể kiểm tra nhiều từ. Và nút so sánh hoạt động giống như OCR của máy ảnh.

Đôi khi cùng một từ cho kết quả khác nhau. Ví dụ: "tạm biệt" có thể cung cấp một trong các giá trị sau: "tạm biệt" hoặc "tạm biệt". Điều này yêu cầu nhiều nút văn bản có cùng đầu ra:

Lưu ý: Ngôn ngữ văn bản mặc định là tiếng Anh.

Bước 9: Nhận dạng giọng nói (Neuron)

Đây là một Neuron chuyên dụng để chuyển giọng nói thành văn bản. Nó chấp nhận 22 lệnh được mã hóa cứng bên trong khối và mã Neuron:

var COMMAND = {'Bật đèn': 3, 'Chuyển sang Đỏ': 4, 'Chuyển sang Xanh lam': 5, 'Chuyển sang Xanh lục': 6, 'Chuyển sang Trắng': 7, 'Nhiều ánh sáng hơn': 8, 'Ít ánh sáng hơn': 9, 'Tắt đèn': 10, 'Chuyển tiếp động cơ': 11, 'Đi lùi động cơ': 12, 'Tăng tốc': 13, 'Giảm tốc độ': 14, 'Yêu': 15, 'Cười': 16, 'Giận dữ': 17, 'Buồn': 18, "Rock and roll": 19, "Fire Fire": 20, "Game bắt đầu": 21, "Mùa đông đang đến": 22, "Start": 23, "Shut down": 24};

Khối này chỉ chấp nhận tiếng Anh. Và nó yêu cầu một cách phát âm chính xác. Không có nhiều chỗ cho sai sót. Và ngay cả đầu ra giọng nói dịch giọng nói của google không phải lúc nào cũng kích hoạt lệnh tương ứng. Nhưng sử dụng Google speach vẫn là một điểm khởi đầu tốt. Bắt đầu bằng "Hello Makeblock", "Hello Makeblok" và / hoặc "Helo makeblok". Tiếp theo là "mùa đông đang đến" hoặc "chuyển sang màu xanh lá cây".

Các lệnh này đã được sử dụng trong mã của hình ảnh đầu tiên trong bước này. Chỉ báo ở bên phải của nút lệnh thoại phía trên là 'Y' (true). Điều này cho thấy rằng lệnh đã được nhận dạng.

Cần một số thực hành để làm việc với Neuron này. May mắn thay, khối lặp lại thông báo sau khi nhận được một tin nhắn (Nó chứa một loa và micrô).

Bước 10: Rùa LEGO được điều khiển từ xa

Bộ Neuron Explorer có 2 động cơ DC và 2 động cơ servo. Điều này gọi cho một robot: Một con rùa ba bánh. Nó sử dụng động cơ và bánh xe từ bộ với một số bộ phận LEGO làm khung.

Có 8 chùm tia, theo một cách tròn, được gắn trên đầu của khung này. Các chùm sáng này hỗ trợ cho dải đèn LED. Ba bảng Neuron từ tính được đặt trên đầu 8 chùm tia. Chúng chứa các phần nơ-ron sau:

• Máy thu không dây
• Quyền lực
• Cáp 10 cm
• Trình điều khiển động cơ servo
• Trình điều khiển động cơ DC
• Trình điều khiển dải LED
• Cáp 10 cm

Cáp cuối cùng dài 10 cm được gắn vào cảm biến siêu âm, được đặt trên đầu của con rùa. Đầu này bao gồm bảng Neuron từ tính thứ tư. Cuối cùng, phần đuôi bao gồm một động cơ servo, với một chùm lego được gắn vào nó.

Kết quả chỉ giống như "dây điện và thiết bị điện tử", nhưng tấm chắn rùa bao phủ gần như tất cả các thiết bị điện tử.

Robot có thể được điều khiển bằng phím điều khiển. Điều này yêu cầu khối WiFi (hoặc Bluetooth), Cần điều khiển và Bộ phát không dây. Bộ điều khiển từ xa yêu cầu nguồn điện USB. Chỉ có một khối năng lượng khả dụng, nằm bên trong robot.

Hình ảnh đầu tiên cho thấy một chương trình khả thi cho robot này. Cần điều khiển được kết nối với khối động cơ DC. Lên / xuống cho tốc độ và trái / phải để chỉ hướng.

Đầu ra của cảm biến siêu âm được so sánh với giá trị 100 cm. Nếu khoảng cách lớn hơn, thì màu xanh lục / vàng được hiển thị trên tất cả các đèn LED. Màu sắc chuyển sang đỏ / cam khi khoảng cách giảm xuống dưới 100 cm.

Đuôi sử dụng một nút xung giữa -180 và 180. Một chức năng ABS làm cho giá trị âm dương. Giá trị này được chuyển đến động cơ servo và đuôi bắt đầu vẫy.

Bằng cách kết hợp các khối nơ-ron và các nút chức năng, có thể viết các chương trình phức tạp hơn. Tốc độ của đuôi có thể phụ thuộc vào tốc độ của rô bốt hoặc rô bốt có thể dừng lại nếu cảm biến siêu âm đo được dưới 30 cm.

Bước 11: Turtle 2.0

Con rùa LEGO trước đây có thể được đơn giản hóa bằng cách sử dụng một miếng bìa cứng / gỗ. Tôi đã sử dụng một miếng ván ép 8 mm. Dùng ghép hình để tạo hình tròn có đường kính 19 cm. Khoan tất cả các lỗ bằng mũi khoan 4, 8 mm. Sử dụng máy khoan và ghép hình để tạo các lỗ hình vuông. Những thứ này dành cho bánh xe và dây điện.

Tôi đã sử dụng các bộ phận LEGO để gắn các bộ phận Neuron vào tấm gỗ. Có một số đầu nối tương thích bên trong Explorer Kit. Nhưng cũng có thể sử dụng bu lông m4 cho hầu hết các kết nối.

Hai động cơ điện một chiều (có bánh xe) được gắn vào phía dưới (hình vuông màu đỏ sẫm). Cũng giống như bánh sau (hình chữ nhật màu đen). Một chùm kỹ thuật LEGO được sử dụng để tăng thêm khoảng cách giữa tấm và bánh sau. Ba hình vuông màu tím dành cho bảng Neuron từ tính. Bảng Neuron từ tính thứ tư được sử dụng cho đầu cảm biến siêu âm (hình chữ nhật màu cam). Vòng tròn màu đỏ hiển thị vị trí của dải đèn LED. Sử dụng dây cao su nhỏ (dây khung dệt) để buộc chặt dải đèn LED.

Robot này hoạt động với mã tương tự như LEGO rùa.

Bước 12: Nội bộ phần mềm

Lập trình các khối Neuron rất dễ dàng, không cần phải viết bất kỳ mã nào. Do đó, thông tin sau đây chỉ dành cho người dùng nâng cao. Nó cung cấp một số thông tin chi tiết về hoạt động của sản phẩm Neuron.

Trang Makeblock Github chứa mã Neuron. Bạn có thể tải xuống và khám phá mã. Nó được viết bằng Javascript và sử dụng nodeJS.

Khối WiFi phải được kết nối với internet. Khi Ứng dụng kết nối với SID của khối WiFi, nó sẽ nhận được địa chỉ IP từ khối WiFi. Các khối WiFi hiện hoạt động giống như một cổng vào.

Địa chỉ IP của khối WiFi là 192.168.100.1. Có một máy chủ web chạy trên cổng 80 hiển thị giao diện cấu hình (password = makeblock). Điều này cho phép thay đổi các cài đặt và tùy chọn khác nhau.

Bạn có thể thay đổi múi giờ và / hoặc SSID WiFi. Nhưng hãy cẩn thận, có rất ít tài liệu về các cài đặt khác.

Tab Dịch vụ / Chia sẻ mạng hiển thị tất cả các chia sẻ mạng. Tôi đã tạo một chia sẻ bổ sung "Máy chủ" vào thư mục "/ tmp / run / mountd / mmcblk0p1 / neurons-server". Thư mục này (và các thư mục con) chứa tất cả các tệp nhật ký, âm thanh và hình ảnh.

Điều này giúp bạn có thể duyệt qua tất cả các tệp bằng trình khám phá tệp của Windows. Việc mở chia sẻ "\ 192.168.100.1 / Server" cho phép truy cập đọc vào tất cả các tệp của công cụ Neuron. Bao gồm tệp nhật ký máy chủ:

uuid thiết bị: 6A1BC6-AFA-B4B-C1C-FED62004

thử mqtt.connect kết nối với iot cloud ok… [2018-01-19 22:56:43] [WARN] serverLog - Trình xử lý yêu cầu 'máy chủ âm thanh': {"startRecord"} [2018-01-19 22:56:43] [WARN] serverLog - bắt đầu ghi [2018-01-19 22:56:45] [WARN] serverLog - Trình xử lý yêu cầu 'máy chủ âm thanh': {"stopRecord"} [2018-01-19 22:56:45] [WARN] serverLog - dừng ghi [2018-01-19 22:56:46] [WARN] serverLog - Trình xử lý yêu cầu 'máy chủ âm thanh': {"speakerRecognize"} requestSpeech result: xin chào

Tệp config.js chứa tất cả các cài đặt. Điều này bao gồm Microsoft Keys và cấp nhật ký hiện tại. Chúng có thể được thay đổi, nhưng hãy luôn giữ một bản sao của tệp gốc.

Mức nhật ký mặc định là "WARN". Điều này có thể được thay đổi khi cần thiết:

* `loglevel`: loglevel cần đặt, sẽ không in nhật ký có mức độ ưu tiên thấp hơn mức đặt.

* hiện hỗ trợ loglevel * ** TRACE **, * ** GỠ LỖI **, * ** THÔNG TIN **, * ** CẢNH BÁO **, * ** LỖI **, * ** FATAL **

Tôi đã chia sẻ mạng chỉ đọc. Chia sẻ đọc-ghi giúp bạn có thể đặt các tệp hình ảnh -j.webp

Ngoài ra còn có một máy chủ ssh đang chạy ở cổng 22. Điều này giúp bạn có thể đăng nhập vào Linux shell. Sử dụng Putty để kết nối với 192.168.100.1 và đăng nhập bằng người dùng root và tạo mật khẩu. Nhưng hãy cẩn thận.

Các khối WiFi chạy OpenWrt. Đây là bản phân phối Linux cho các thiết bị nhúng. Phần mềm Neuron nằm trong thư mục "/ tmp / run / mountd / mmcblk0p1 / neurons-server".

Có thể lập trình hầu hết các khối Neuron bằng phần mềm mBlock. Điều này yêu cầu phiên bản 4.0.4 của phần mềm. Các dịch vụ của Microsoft không khả dụng trong phiên bản mới này. Có thể sử dụng Neuron nhận dạng giọng nói, không yêu cầu các dịch vụ này. Phiên bản mBlock 5 không hỗ trợ các khối Neuron tại thời điểm này (januari 2018).

Các khối mã Neuron có sẵn trong phần Robot (màu xanh lam). Và phần mềm mBlock có ưu điểm là không chỉ sử dụng được các khối kết nối. Không có ý nghĩa gì khi sử dụng các khối mà bạn không có, nhưng điều này giúp bạn có thể viết mã mà không cần bất kỳ khối Neuron nào được kết nối.

Mật khẩu mặc định phải được thay đổi khi Neuron được sử dụng trên mạng WiFi mở.

Bước 13: Phần cứng bên trong

Thông tin phần cứng này chỉ dành cho thông tin cơ bản. Nó chưa được xác minh bởi Makeblock!

Hầu hết phần cứng từ các sản phẩm Makeblock đều được ghi chép đầy đủ. Nhưng không có nhiều thông tin phần cứng về sản phẩm Neuron. Có một số hình ảnh trên Kickstarter nhưng điều này cho thấy bên trong của một nguyên mẫu. Sản phẩm này chỉ có một đầu nối USB và sản phẩm thực tế có hai đầu nối USB.

Máy chủ web bên trong khối WiFi tiết lộ phần cứng thực tế được sử dụng cho khối này. Đó là một MediaTek LinkIt Smart 7688. Các tính năng chính của bảng này là:

• Chạy OpenWrt Linux và hỗ trợ phát triển ứng dụng bằng Python, Node.js và các ngôn ngữ lập trình C bản địa.
• Sử dụng MT7688AN làm MPU độc lập và hỗ trợ hai chế độ hoạt động - cổng kết nối IoT và chế độ thiết bị IoT
• Hỗ trợ Wi-Fi, máy chủ USB và thẻ SD.
• Pin-out cho PWM, I2C, SPI, UART, Ethernet và I2S.
• Hỗ trợ RAM lên đến 256MB với bộ nhớ bổ sung thẻ SD.

Hệ thống tệp Linux hiển thị bộ nhớ trong đĩa:

root @ makeblock_linkit: ~ # df -h

Kích thước hệ thống tập tin Đã sử dụng Có sẵn Sử dụng% Gắn trên rootfs 17,9M 644,0K 17,3M 4% / / dev / root 12,8M 12,8M 0 100% / rom tmpfs 61,7M 812,0K 60,9M 1% / tmp / dev / mtdblock6 17,9M 644,0K 17,3M 4% / lớp phủ lớp phủ: / lớp phủ 17,9M 644,0K 17,3M 4% / tmpfs 512,0K 0 512,0K 0% / dev / dev / mmcblk0p1 1,8G 101,4M 1,7G 5% / tmp / run / mountd / mmcblk0p1 /

Có một ổ đĩa có tên mmcblk01 bên trong khối. Tên này chủ yếu được sử dụng cho thẻ nhớ. Có vẻ như có một thẻ SD 2 Gbyte bên trong (1,7 Gbyte + 256 Mbyte cho LinkIt 7688).

Các chân pogo có 4 đầu nối: Một đầu nối cho VCC, một đầu nối đất và hai đầu nối. Các khối Neuron có thể giao tiếp với giao thức I2c. Phải có một bảng tương thích Arduino bên trong mỗi nơ-ron.