Bắt đầu với M5StickV AI + IOT Camera: 6 bước (có hình ảnh)

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:32

Tổng quan ngắn gọn

M5StickV là một máy ảnh AI + IOT cực nhỏ có đường kính gần bằng 2 đồng xu, giá khoảng $ 27,00 đối với một số người có vẻ đắt đối với một máy ảnh nhỏ như vậy nhưng nó có một số thông số kỹ thuật khá. Máy ảnh này được trang bị chip AI học máy cực kỳ mạnh mẽ Kendryte K210, một hệ thống tính toán cạnh trên chip với CPU RISC-V lõi kép 64bit và bộ xử lý mạng thần kinh hiện đại, giúp nó trở nên hoàn hảo và sẵn sàng dùng cho:

• Nhận dạng / phát hiện khuôn mặt
• Phát hiện / phân loại đối tượng
• Lấy kích thước và tọa độ của mục tiêu trong thời gian thực
• Lấy một loại mục tiêu được phát hiện trong thời gian thực
• Nhận dạng hình dạng
• Trình mô phỏng trò chơi

M5StickV đi kèm trong một gói đẹp có chứa chính M5StickV và cáp USB-A sang USB-C.

Tính năng phần cứng

SoC - Bộ xử lý RISC-V 64-bit lõi kép Kendryte K210 @ 400MHz với FPU kép độc lập chính xác kép, SRAM 8MB trên chip, Bộ xử lý mạng thần kinh (KPU) @ 0,8Tops, Mảng IO có thể lập trình trường (FPIOA) và hơn

• Bộ nhớ - flash 16MB, khe cắm thẻ nhớ microSD
• Màn hình - Màn hình 1,14 inch SPI với độ phân giải 240 × 135 (trình điều khiển ST7789)
• Máy ảnh - Máy ảnh VGA (640 × 480) qua cảm biến OV7740
• Âm thanh - Bộ khuếch đại âm thanh đơn âm MAX98357, loa
• Cảm biến - Con quay hồi chuyển 3 trục MPU6886, gia tốc kế 3 trục
• USB - 1x cổng USB-C để cấp nguồn và lập trình
• Linh hoạt - Các nút phía trước và bên cạnh (A / B), nút nguồn, đèn LED RGBW
• Mở rộng - Cổng "CONNEXT" 4 chân
• Nguồn cấp
• Pin 200 mAh
• AXP192 PMIC

Thông số kỹ thuật chi tiết hơn có thể được tìm thấy trong trang web chính thức của M5Stack. Trước hết, chúng ta phải tải xuống phiên bản firmware mới nhất.

Bước 1: Cách ghi chương trình cơ sở trên M5StickV

• Kết nối M5StickV với máy tính thông qua cáp Type-C.
• Tải xuống chương trình cơ sở mới nhất cho M5StickV từ liên kết này.

Cho cửa sổ:

Có 3 phương pháp để ghi phần sụn cho hệ điều hành Windows:

Sử dụng công cụ EasyLoader

1. Chọn cổng COM phù hợp
2. Nhấn Ghi
3. Sau khi hoàn thành cập nhật firmware, bạn sẽ thấy rằng nó đã được ghi thành công.

Sử dụng Kflash GUI

1. Mở chương trình cơ sở đã tải xuống bằng nút Mở tệp
2. Chọn bảng là M5StickV
3. Nhấp vào Tải xuống

Sử dụng dấu nhắc lệnh

• Kiểm tra cổng COM cho M5StickV của bạn tại Trình quản lý thiết bị của Windows.
• Trên Windows, bạn cần cài đặt Python3 với pip3 và cả gói pyserial. Bạn có thể tải xuống phiên bản Python mới nhất từ trang web chính thức.
• Mở dấu nhắc lệnh với tư cách quản trị viên và nhập lệnh sau

pip3 cài đặt kflash

Sau khi hoàn tất cài đặt, hãy chạy lệnh sau

kflash.exe -p COM3 M5StickV_Firmware_1022_beta.kfpkg

Đối với Linux:

• Sử dụng Kflash GUI
• Sử dụng thiết bị đầu cuối

Chạy lệnh sau trên thiết bị đầu cuối:

sudo pip3 cài đặt kflash

Sử dụng hình ảnh phần sụn ghi Kflash

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Đối với MacOS:

Mở thiết bị đầu cuối và chạy lệnh sau

sudo pip3 cài đặt kflash

Nếu bạn gặp lỗi sau khi cài đặt, hãy thử lệnh sau:

sudo python -m pip cài đặt kflash

sudo python3 -m pip cài đặt kflash sudo pip cài đặt kflash sudo pip2 cài đặt kflash

Nhập lệnh sau

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Bước 2: Khởi động M5stickV lần đầu tiên

Đối với MacOS và Linux:

1. Mở thiết bị đầu cuối Cài đặt tiện ích màn hình cho MacOS và Linux.
2. Nó có thể được cài đặt bằng lệnh sau:

sudo apt-get install màn hình

Sử dụng tiện ích màn hình kết nối với M5stickV thông qua giao tiếp nối tiếp

sudo screen / dev / ttyUSB0 115200

Nó sẽ in:

[MAIXPY] Pll0: freq: 832000000 [MAIXPY] Pll1: freq: 398666666 [MAIXPY] Pll2: freq: 45066666 [MAIXPY] cpu: freq: 416000000 [MAIXPY] kpu: freq: 398666666 [MAIXPY mở giây] lõi… gc heap = 0x80215060-0x80295060 [MaixPy] init end _ _ _ _ _ _ _ _ | / / | / / | _ _ | / \ / / | _ / \ / / / | / / | / / | | / V / | | _) | / \ _ / / | | / / | | / / / \ | | > <| _ / / / | | | | / _ / _ | | _ /. / U0026quot; | | | | _ | | _ | / _ / / _ / | _ | / _ / / _ / | _ | | _ | M5StickV của M5Stack: https://m5stack.com/ M5StickV Wiki: https://m5stack.com/ Co-op by Sipeed: https://m5stack.com/ [MAIXPY]: result = 0 [MAIXPY]: numchannels = 1 [MAIXPY]: samplerate = 44100 [MAIXPY]: byterate = 88200 [MAIXPY]: blockalign = 2 [MAIXPY]: bitspersample = 16 [MAIXPY]: datasize = 158760 init i2c2 [MAIXPY]: find ov7740

Khi kết nối, nó sẽ tự động nhập Maixpy UI. Bây giờ thiết bị đang chạy mã chương trình mặc định, bạn có thể kết thúc bằng Ctrl + C

Cho cửa sổ

1. Tải xuống PuTTY - một ứng dụng khách SSH và telnet miễn phí cho Windows
2. Cài đặt và mở PuTTY
3. Chọn cổng COM và tốc độ truyền
4. Nhấp vào nút Mở và bạn sẽ xuất hiện màn hình tương tự như trên.
5. Chấm dứt nó bằng Ctrl + C.

Bước 3: In Ví dụ Hello World trên Màn hình của M5StickV

Nhập các lệnh sau vào thiết bị đầu cuối của MacOS và Linux. Đối với Windows sử dụng PuTTY

import lcdlcd.init () lcd.draw_string (100, 100, "hello world", lcd. RED, lcd. BLACK)

Bước 4: MaixPy IDE

MaixPY IDE là phiên bản sao chép của OpenMV IDE. M5StickV hỗ trợ môi trường phát triển OpenMV và MicroPython.

• Tải xuống MaixPy IDE từ đây.
• Cài đặt MaixPy IDE
• Khởi chạy MaixPy IDE
• Chọn mô hình của bảng phát triển - Công cụ-> Chọn Bảng-> M5StickV.
• Nhấp vào nút liên kết Connect màu xanh lá cây ở góc dưới bên trái và chọn cổng kết nối nối tiếp USB, nhấp vào OK.
• Khi nút kết nối chuyển từ màu xanh lá cây sang màu đỏ, nó đã được kết nối thành công.
• Nhấp vào nút Chạy ở góc dưới bên trái để thực thi mã và xác minh nó.
• Nhấp vào tab đầu cuối nối tiếp bên dưới.
• Cuối cùng, bạn sẽ thấy kết quả đầu ra trên cửa sổ MaxPy.

Bước 5: Nhận diện khuôn mặt bằng M5StickV

• Theo mặc định, mô hình nhận diện khuôn mặt và mã chương trình đã được cài đặt sẵn. Đây là cách nó hoạt động.
• Ví dụ về nhận diện khuôn mặt hoạt động khá tốt.
• Để có thể sử dụng các mô hình khác, chúng ta cần ghi nó vào bộ nhớ flash của M5StickV bằng cách sử dụng kflash_gui. Các mô hình khác có thể được tải xuống từ đây. Có một mô hình được đào tạo trước, mạng di động, được đào tạo trước để nhận ra 1000 đối tượng. Nó có thể phát hiện nhiều đồ vật hàng ngày một cách dễ dàng.
• Sao chép mã dưới đây vào MaixPy IDE.

nhập hình ảnh sensorimport nhập KPU dưới dạng kpu sensor.reset () sensor.set_pixformat (sensor. RGB565) sensor.set_framesize (sensor. QVGA) sensor.run (1) task = kpu.load (0x300000) anchor = (1.889, 2.5245, 2.9465, 3.94056, 3.99987, 5.3658, 5.155437, 6.92275, 6.718375, 9.01025) a = kpu.init_yolo2 (task, 0.5, 0.3, 5, anchor) trong khi (True): img = sensor.snapshot () code = kpu.run_yolo2 (task, img) if code: for i in code: print (i) a = img.draw_rectangle (i.rect ()) a = kpu.deinit (task)

• Nhấn nút Run và bảng hiển thị video trực tiếp từ máy ảnh đến MaixPyIDE.
• Độ chính xác là khá tốt khi chúng tôi đang chạy nó trên bảng 27 đô la. Điều này thực sự ấn tượng và mang tính cách mạng.

Bước 6: Kết luận

Tuy nhiên, bảng mạch này không phải là lý tưởng, nó thiếu đầu vào analog, micrô, WiFi và Bluetooth. Tuy nhiên, nó là một máy ảnh tuyệt vời với khả năng AI có thể được sử dụng để nhận dạng khuôn mặt, phát hiện đối tượng hoặc hình dạng và nhiều hoạt động phát hiện khác. Ngoài ra, đây là một bộ công cụ tuyệt vời để bắt đầu với lõi Kendryte K210 RISC-V.

Tôi hy vọng bạn thấy hướng dẫn này hữu ích và cảm ơn vì đã đọc. Nếu bạn có bất kỳ câu hỏi hoặc phản hồi nào? Để lại bình luận bên dưới. Giữ nguyên!