Rạp chiếu phim phản hồi sinh học: 7 bước

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:35

Tác giả dự án

Jessica Ann

Cộng tác viên

• Gregory Hough
• Salud Lopez
• Pedro Peira

Về

Một hệ thống quay video thử nghiệm kết nối não của người tham gia với các chức năng của camera thông qua Tai nghe đầu đọc điện não đồ Neurosky Mindwave. Hệ thống Chiếu phim phản hồi sinh học hoạt động thay cho một nhà quay phim truyền thống, thay vì trao quyền tự quyết định thành phần cho chính người tham gia thông qua giao diện BRAIN to CAMERA tùy chỉnh. Dự án được phát triển với sự cộng tác của những người tham dự hội thảo Gregory Hough, Salud Lopez và Pedro Peira. Bạn có thể đọc kết quả của hội thảo tại:

Cấu hình nguyên mẫu

Hệ thống Rạp chiếu phim phản hồi sinh học có nhiều ứng dụng tiềm năng. Đối với hướng dẫn này, chúng tôi đã chuẩn bị một bản demo của hệ thống xem xét mức độ tập trung / chú ý của người tham gia (một số nguyên duy nhất) và chuyển nó sang vị trí máy ảnh (thông qua xoay và nghiêng) và tiêu điểm máy ảnh (nội bộ thông qua OpenCV). Tất cả điều này có thể thực hiện được nhờ kết nối bluetooth giữa Tai nghe Neurosky EEG Reader và Raspberry Pi.

Raspberry Pi là một máy tính nhỏ được trang bị webcam và các tập lệnh (có sẵn bên dưới) giúp kết nối hoạt động não bộ của người tham gia với cài đặt máy ảnh và vị trí máy ảnh. Vị trí camera động được thực hiện thông qua vi điều khiển Arduino nhận tín hiệu từ Raspberry Pi. Chúng tôi mong muốn được phát triển hơn nữa vì chúng tôi hướng tới việc bao gồm các thông số sóng não bổ sung (tần số liên quan đến nhấp nháy mắt, v.v.) và các chức năng của máy ảnh (tức là màu sắc, độ bão hòa, độ sáng, v.v.).

Dưới đây là các hướng dẫn để xây dựng hệ thống Rạp chiếu phim phản hồi sinh học của riêng bạn.

Chúc bạn thử nghiệm vui vẻ

Bước 1: Nguồn cung cấp

Mọi thứ bạn cần để xây dựng nguyên mẫu Rạp chiếu phim phản hồi sinh học của riêng mình được liệt kê bên dưới.

1. Tai nghe điện não đồ di động Neurosky Mindwave

2. Raspberry Pi B + (b + tốt hơn, nhiều cổng USB hơn, nhưng Model B cũng tốt nếu bạn có hub USB).

   1. Bộ đổi nguồn hoặc Bộ pin Raspberry Pi
   2. Kết nối Wifi Dongle -or- Ethernet (chỉ cần thiết trong quá trình thiết lập)
   3. Bluetooth Dongle xem wiki để biết các dongle tương thích
   4. Thẻ SD (ít nhất 8GB) với NOOBS.

3. Arduino Bất kỳ bảng nào cũng được, sử dụng Uno trong Có thể hướng dẫn này. Cũng lưu ý, bạn chỉ có thể sử dụng I / O trên Pi.

   1. Bộ đổi nguồn Arduino hoặc Bộ pin
   2. Cáp USB A-B
4. Webcam USB
5. Bộ Pan-Tilt mini

6. Màn hình với Ngõ vào HDMI Hoặc sử dụng VNC để điều khiển pi từ xa từ máy tính của bạn [hướng dẫn tại đây]

   Cáp HDmi

7. Bàn phím & Chuột USB khuyên dùng bàn phím và chuột bluetooth để giảm thiểu sử dụng cổng USB.

Bước 2: Thiết lập Raspberry Pi

1. Thiết lập phần cứng

Kết nối bàn phím, chuột, dongle bluetooth, wifi dongle (hoặc ethernet), webcam, màn hình qua cáp HDMI và cấp nguồn cho Raspberry Pi của bạn

2. Thiết lập hệ điều hành

• Bật nguồn và Pi của bạn sẽ khởi động. Cài đặt hệ điều hành Rasbpian, hướng dẫn tại đây:
• Nếu được khởi động và cài đặt Raspian đúng cách, bạn sẽ thấy màn hình chính [Hình trên].

GỢI Ý:

• Nếu tỷ lệ khung hình trên màn hình bị tắt, hãy thử khởi động lại Raspberry Pi của bạn. Nếu nó vẫn tắt, hãy xem ở đây để cập nhật tỷ lệ khung hình theo cách thủ công.
• Nếu bạn mở trình soạn thảo văn bản và các ký tự đặc biệt trên bàn phím của bạn bị ánh xạ sai, hãy xem tại đây để cập nhật cấu hình bàn phím của bạn.
• Kiểm tra kết nối internet của bạn (bạn sẽ cần điều này để cài đặt các thư viện trong quá trình thiết lập). Hãy xem ở đây để được trợ giúp thiết lập wifi.

Bước 3: Kết nối Tai nghe Neurosky

1. Cấu hình Bluetooth

Trước khi Pi có thể kết nối với Neurosky, chúng ta cần thiết lập bluetooth:

Trên màn hình nền, mở "LXTerminal" (gọi tắt là Thiết bị đầu cuối từ đây trở đi). Chạy lệnh này để giải quyết và cập nhật các thiếu sót:

$ sudo apt-get cập nhật

Cài đặt bluetooth bằng lệnh này:

$ sudo apt-get install bluetooth

Cài đặt tiện ích bluetooth trên thanh công cụ trên máy tính để bàn tiện dụng:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Khởi động lại Pi từ Terminal:

$ sudo khởi động lại

2. Kiểm tra kết nối Bluetooth

• Bật tai nghe Neurosky
• Từ quét thiết bị đầu cuối:

quét hcitool

Tai nghe Mindwave nên được liệt kê, lưu ý địa chỉ MAC của tai nghe [hình trên]

3. Cài đặt Thư viện Neurosky

Bây giờ chúng tôi đã sẵn sàng cài đặt các thư viện Neurosky Python và bắt đầu chọn luồng dữ liệu của nó với tập lệnh kiểm tra thư viện:

Từ Terminal, cài đặt tiện ích github:

sudo apt-get install git-core

Kho lưu trữ sao chép github với thư viện Neurosky Python:

sudo git clone

Chúng tôi cần Cập nhật tệp MindwaveMobileRawReader.py bằng địa chỉ MAC của tai nghe của bạn. FYI: Tên tệp phân biệt chữ hoa chữ thường

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Cập nhật địa chỉ MAC được liệt kê trong tệp. Ctrl-X để kết thúc, Y để lưu, Enter để thoát.
• Ghép nối Neurosky và Pi và cho phép tính năng tự động kết nối, nếu được nhắc sử dụng mã PIN "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device đáng tin cậy XX: XX: XX: XX: XX: XX vâng

Cài đặt thư viện Python Bluetooth:

sudo apt-get install python-bluez

Chạy tập lệnh kiểm tra thư viện để đảm bảo Pi có thể xem trước dòng dữ liệu. Bạn sẽ thấy luồng dữ liệu [hình trên]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Bước 4: Kết nối USB Webcam W / Mở CV

1. Cài đặt OpenCV

Từ nhà ga:

$ sudo apt-get install libopencv-dev python-opencv

Khi hoàn tất, hãy tiếp tục:

$ sudo apt-get -f cài đặt

Cho biện pháp tốt:

$ sudo apt-get install libopencv-dev python-opencv

Kiểm tra cài đặt bằng cách nhập thư viện:

$ python

> nhập cv2

2. Kiểm tra OpenCV bằng Python với Webcam USB

• Trên màn hình nền, mở "IDLE" (không mở IDLE3!)
• Từ menu Tệp, chọn Cửa sổ Mới. Sao chép tập lệnh Cv-Blur-Test của chúng tôi vào cửa sổ mới và lưu. Kịch bản có sẵn tại đây:
• Từ menu Run, Chọn Run Module (hoặc Nhấn F5). Có thể mất vài giây để bắt đầu, nhưng bạn sẽ thấy một khung nhỏ xuất hiện cùng với nguồn cấp dữ liệu webcam trực tiếp của mình và video sẽ bị mờ. Xin chúc mừng, OpenCV đã được cài đặt và đang hoạt động thành công với webcam của bạn [Hình trên].

Bước 5: Kết nối Arduino

1. Tải xuống Arduino IDE

Từ nhà ga:

sudo apt-get cài đặt arduino

2. Kết nối Arduino và tải Sketch

• Cắm arduino vào Pi bằng cáp USB A-B.
• Từ menu bắt đầu trên máy tính để bàn, chuyển đến Điện tử và mở Arduino IDE. Sao chép bản phác thảo arduino-serial-pi của chúng tôi vào IDE [Liên kết bên dưới]. Đây là một bản phác thảo rất cơ bản sẽ di chuyển động cơ servo dựa trên đầu vào đến qua nối tiếp. Chúng tôi sẽ gửi dữ liệu qua chuỗi dựa trên đầu ra sóng não, sử dụng bản phác thảo Python ở bước cuối cùng khi chúng tôi kết hợp mọi thứ lại với nhau.

Bản phác thảo Arduino-serial-pi trực tuyến tại đây:

Trong Arduino IDE, đi tới menu Công cụ, chọn Cổng nối tiếp và chọn cổng Arduino được liệt kê, có thể là một cái gì đó giống như / dev / ttyACM0. Ghi chú về cổng

3. Tắt bảng điều khiển nối tiếp

Tải xuống và chạy tập lệnh để tắt bảng điều khiển nối tiếp để kết nối nối tiếp USB có thể chạy trơn tru:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode-setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo khởi động lại

FYI:

Nếu bạn đang sử dụng B +, có thể có đủ I / O để hỗ trợ các servos, (xem tại đây để thiết lập và sử dụng GPIO). Tuy nhiên, tôi quan tâm đến việc bổ sung các thành phần bổ sung cho thí nghiệm từ não sang điện tử trong tương lai. Vì vậy, thiết lập nguyên mẫu ban đầu với arduino đảm bảo nhiều khả năng điện tử đột phá.

Bước 6: Kết hợp tất cả lại với nhau

1. Tập lệnh Python cuối cùng

Trước khi có thể thêm tập lệnh python cuối cùng vào thư mục "python-mindwave-mobile", chúng tôi cần thay đổi quyền của thư mục. Từ nhà ga:

$ chmod a = rwx / home / pi / python-mindwave-mobile

• Mở IDLE và chạy tập lệnh Python cuối cùng của chúng tôi, có sẵn trực tuyến tại đây: https://github.com/PrivateHQ/biofeedback-cinema/ Đảm bảo rằng nó nằm trong thư mục python-mindwave-mobile. FYI: Bạn sẽ cần cập nhật tập lệnh Python của chúng tôi với địa chỉ cổng Arduino thực của bạn.
• Khi bạn chạy tập lệnh này, ba điều bạn sẽ xảy ra: 1) Mức độ chú ý của bạn sẽ được liệt kê trong Python Shell, 2) Một khung nhỏ xuất hiện hiển thị nguồn cấp dữ liệu trực tiếp của webcam với độ mờ thay đổi dựa trên mức độ chú ý, 3) động cơ (s) di chuyển khi mức độ chú ý đang được chuyển đến arduino qua nối tiếp [Video ở trên].

Bước 7: Cải tiến và phát triển

Raspberry Pi có sức mạnh xử lý hạn chế và phải vật lộn để chạy các chức năng OpenCV một cách trơn tru. Đây là điều mà tôi sẽ tiếp tục phát triển và cải thiện. Ngoài ra, tôi dự định bao gồm các thông số sóng não bổ sung (tần số liên quan đến nháy mắt, v.v.) và các chức năng của máy ảnh (tức là màu sắc, độ bão hòa, độ sáng, v.v.) trong các lần lặp lại trong tương lai.