AI Với Grove Zero và Codecraft (Scratch 3.0): 5 bước (với Hình ảnh)

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:31

Trong bài viết này, chúng tôi sẽ xây dựng ba dự án sử dụng các chức năng AI của Codecraft, một môi trường lập trình đồ họa dựa trên Scratch 3.0. Codecraft được phát triển và duy trì bởi giáo dục TinkerGen và được sử dụng miễn phí.

AI và tập hợp con của nó, học máy, đã trở thành một phần không thể thiếu trong cuộc sống của chúng ta trong 10 năm qua. Các chương trình giảng dạy trong trường học ở nhiều quốc gia bao gồm kiến thức về AI và máy học, nhưng một giáo viên bình thường có thể khó tạo tài liệu bài giảng để giảng dạy chủ đề này nếu không có công cụ phù hợp. Sử dụng thư viện máy học, ngay cả những thư viện thân thiện với người dùng nhất, chẳng hạn như Keras, để xây dựng một ứng dụng mà sinh viên có thể tương tác, có thể là một nhiệm vụ tốn thời gian và khó khăn. Đây là điểm mà Codecraft có thể giúp ích - nó có một tập hợp phong phú các ứng dụng hỗ trợ máy học mà giáo viên có thể sử dụng để giải thích và chứng minh các khái niệm liên quan đến trí tuệ nhân tạo. Hãy xem chúng!

Bước 1: Tổng quan về tiện ích mở rộng AI

Mở trình chỉnh sửa trực tuyến Codecraft tại

Nhấp vào Chế độ sân khấu và sau đó để Thêm Nút mở rộng ở cuối tab điều hướng khối.

Bạn sẽ thấy có sẵn ba Tiện ích mở rộng AI:

- Dịch vụ nhận thức --- mô hình học máy để xử lý nguồn cấp dữ liệu video trực tiếp và âm thanh

- Máy có thể dạy học --- có thể được sử dụng để đào tạo mô hình phân loại với ảnh được chụp bằng máy ảnh của bạn

- Dịch --- sử dụng máy học để dịch

Trong bài viết này, chúng tôi sẽ tập trung vào Dịch vụ nhận thức và sử dụng các chức năng này để điều khiển phần cứng Grove Zero. Giao tiếp không dây giữa máy tính và Grove Zero vẫn đang được tiến hành và tôi sẽ cập nhật bài viết ngay khi có. Hiện tại, chúng tôi sẽ sử dụng kết nối có dây để chuyển các thông báo giữa mô-đun Grove Zero và máy tính.

Bước 2: Chơi những kẻ xâm lược không gian bằng mũi của bạn

Đối với tác vụ đầu tiên, chúng tôi sẽ chỉ sử dụng chế độ sân khấu mà không có bất kỳ phần cứng nào. Codecraft có vô số ví dụ để bắt đầu lập trình - một trong những ví dụ này là lập trình trò chơi cổ điển Space Invaders trong chế độ Codecraft Stage. Chúng tôi sẽ mở rộng ví dụ này và thêm khả năng điều khiển máy bay chiến đấu trong trò chơi bằng mũi của bạn bằng cách sử dụng dịch vụ Nhận thức.

Bấm vào nút Ví dụ. Ví dụ về Open SpaceInvaders. Chúng ta chỉ cần thay đổi phần liên quan đến chuyển động. Vì vậy, chúng tôi sẽ nhận được vị trí x của mũi trên khuôn mặt được phát hiện trong nguồn cấp dữ liệu video trực tiếp, lưu nó ở vị trí thay đổi. Sau đó, nếu giá trị của pos lớn hơn 50, chúng tôi di chuyển máy bay chiến đấu của chúng tôi sang bên phải, nếu nó nhỏ hơn -50, thì chúng tôi di chuyển máy bay chiến đấu sang bên trái. Đây chính là nó. Hãy thử nó ra! Nếu cảm thấy tốc độ di chuyển của cá chọi quá nhanh, bạn có thể thay đổi x bằng cách… chặn thành một số nhỏ hơn.

Tiếp theo, chúng tôi sẽ mở rộng chức năng này để điều khiển xe Grove Zero và làm cho nó di chuyển tới / lùi / trái / phải.

Bước 3: Điều khiển Grove Zero Car với Codecraft AI

Hãy bắt đầu bằng cách viết mã ở chế độ sân khấu - đây là phần chịu trách nhiệm phân tích nguồn cấp dữ liệu video và xuất các lệnh tới Grove Zero.

1) Chúng tôi thực thi mã trong ảnh chụp màn hình đầu tiên cho đến khi nhấn nút dấu cách. Sau đó, chúng tôi gửi lệnh dừng.

2) Lặp lại bên trong cho đến khi khối, chúng tôi kiểm tra vị trí x và vị trí y của mũi của khuôn mặt được phát hiện và lưu chúng vào các biến tương ứng.

3) Nếu giá trị tuyệt đối của x-pos nhỏ hơn 21 (có nghĩa là nó nằm trong khoảng -20 đến 20, vì vậy gần trung tâm của hình ảnh), thì chúng tôi tiếp tục kiểm tra y-pos để xác định xem ô tô nên đi về phía trước hay phía sau

4) Nếu không, chúng tôi kiểm tra xem ô tô nên đi bên trái hay bên phải

Bây giờ chúng ta hãy chuyển sang tab Thiết bị và viết mã ngắn cho ô tô Grove Zero. Chúng ta sẽ sử dụng khối Khi tôi nhận, khối này có nhiệm vụ nhận lệnh quảng bá nội bộ. Không nên nhầm lẫn với Khi đài nhận, được sử dụng cho giao tiếp Bluetooth. Tham khảo ảnh chụp màn hình để biết chi tiết, mã này khá đơn giản.

Kết nối ô tô Grove Zero đã lắp ráp của bạn với máy tính và nhấn vào nút Connect trong Codecraft. Chuyển sang chế độ gỡ lỗi trực tuyến - điều đó sẽ cho phép Grove Mainboard nhận các lệnh truyền phát qua dây. Sau đó chuyển đến chế độ sân khấu và nhấn vào lá cờ. Chiếc xe sẽ di chuyển ngay bây giờ, hãy thử điều khiển nó bằng mũi của bạn:)

Bước 4: Theo dõi dòng bằng điều khiển bằng giọng nói

Có một bản đồ trong bộ phụ kiện ô tô Grove Zero, ban đầu dùng để chơi mini-game Thu thập tiền xu. Chúng ta có thể sử dụng nó để sử dụng tính năng nhận dạng giọng nói trong Codecraft để ra lệnh cho ô tô về hướng rẽ vào ngã tư.

Phần chế độ sân khấu ở đây ít phức tạp hơn trong ví dụ trước. Những gì chúng tôi làm là:

1) Khi nhận được tin nhắn quảng bá select_direction, nhận dạng đoạn giọng nói và lưu nó trong biến kết quả.

2) Tiếp tục nhận dạng cho đến khi KHÔNG xác định được kết quả.

3) So sánh kết quả với hai chuỗi - "trái" và "phải". Phát thông báo tương ứng tới ô tô Grove Zero.

Mã chạy trong ô tô Grove Zero lần này phức tạp hơn một chút, nhưng về cơ bản nó tuân theo logic sau:

1) Khi bắt đầu, phát tin nhắn chuyển tiếp

2) Khi nhận được tin nhắn chuyển tiếp, hãy bắt đầu theo dòng. Nếu đường truyền bị mất, dừng động cơ và phát sóng

chọn_chọn. Tại đây, mã trong chế độ Giai đoạn bắt đầu được thực thi.

3) Nếu nhận được tin nhắn còn lại, hãy bắt đầu quay sang trái và sau đó chuyển trở lại chế độ theo dòng.

Nếu nhận được thông báo quyền, hãy bắt đầu chuyển sang phải và sau đó chuyển trở lại chế độ theo dòng.

Bước 5: Hậu trường

Các mô hình mạng nơ-ron được sử dụng trong ứng dụng trên đều được chạy cục bộ trong trình duyệt của bạn, điều này có một số lợi thế khác biệt so với việc gửi dữ liệu lên đám mây để xử lý: độ trễ nhỏ hơn và bảo mật tốt hơn. Một số mạng nơ-ron được sử dụng trong các dịch vụ Nhận thức - Phân loại âm thanh cho các lệnh giọng nói (, Phát hiện mốc khuôn mặt, Nhận dạng biểu hiện khuôn mặt và ước tính độ tuổi.

Trong bài viết này, chúng tôi đã khám phá chức năng cơ bản của một trong những phần mở rộng của Codecraft AI - Dịch vụ nhận thức. Có nhiều cách bạn có thể xây dựng dựa trên những ví dụ này để tạo ra các ứng dụng thú vị và thú vị hơn nữa!

Nếu bạn quyết định dùng thử, có thể là với Grove Zero hoặc chỉ sử dụng Chế độ sân khấu, hãy chia sẻ trong phần bình luận bên dưới. Để biết thêm thông tin về dòng Grove Zero, Codecraft và các phần cứng khác dành cho các nhà sản xuất và nhà giáo dục STEM, hãy truy cập trang web của chúng tôi, TinkerGen đã tạo một chiến dịch Kickstarter cho MARK (Make A Robot Kit), một bộ robot để dạy mã hóa, robot, AI!