PiTextReader - một trình đọc tài liệu dễ sử dụng cho người khiếm thị: 8 bước (có hình ảnh)

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:34

Tổng quat

Cập nhật: Video ngắn demo:

PiTextReader cho phép người khiếm thị “đọc” văn bản từ phong bì, thư và các vật phẩm khác. Nó chụp nhanh hình ảnh của mục, chuyển đổi thành văn bản thuần túy bằng OCR (Nhận dạng ký tự quang học) và sau đó đọc văn bản bằng cách chuyển văn bản thành giọng nói.

Reader được thiết kế để sử dụng hoàn toàn đơn giản nhất có thể. Không cần Internet, không cần giao diện đồ họa, chỉ một nút. Chỉ cần đặt mục cần đọc lên giá đỡ và nhấn một nút. Sau một lúc, văn bản sẽ được đọc lại cho họ.

Tôi đã thiết kế cái này cho một phụ huynh lớn tuổi bị các vấn đề về thị lực như thoái hóa điểm vàng, nhưng có thể được sử dụng rộng rãi hơn cho bất kỳ ai muốn văn bản in được dịch thành bài phát biểu âm thanh.

Mặc dù vậy, có rất nhiều đầu đọc có sẵn có giá hàng nghìn đô la hoặc dành cho những người am hiểu công nghệ yêu cầu kết nối Internet và sử dụng điện thoại thông minh. Đầu đọc này được thiết kế hoàn toàn độc lập không có internet và không có giao diện nào khác ngoài một nút nhấn lớn.

Ưu điểm

• Một nút để điều khiển
• Không cần kết nối Internet
• Không có giao diện người dùng đồ họa để điều hướng
• Tổng chi phí dưới 100 đô la
• Luôn sẵn sàng đi

Nhược điểm

• OCR có thể bị giới hạn do phông chữ, màu sắc, kích thước văn bản, v.v.
• Giọng nói giống như Stephen Hawking
• Hoạt động tốt nhất cho các phần nhỏ của văn bản màu đen trên giấy trắng.

Bước 1: Phần cứng

• Raspberry Pi 3 (cần mã lực!)
• 8GB + thẻ micro SD
• Nguồn điện DC 5v 2A cho Raspberry
• Máy ảnh Raspberry Pi (Thông thường hoặc NoIR)
• Cáp máy ảnh Raspberry Pi 24 inchhttps://www.adafruit.com/product/1731
• Giá đỡ hoặc vỏ máy ảnhhttps://www.adafruit.com/product/3253 orhttps://www.adafruit.com/product/1434
• Công cụ điều chỉnh ống kính (để lấy nét máy ảnh)
• Loa mono hỗ trợ USB (ưu tiên kích thước nhỏ!)
• Nút nhấn lớn - Khoảnh khắc với đèn LEDhttps://www.adafruit.com/product/1440
• Điện trở 330 ohm cho đèn LED nút trên
• Hộp gỗ 8”x8” x2”từ Michaels hoặc các cửa hàng cung cấp nghệ thuật lớn khác.
• Gỗ phế liệu để xây dựng chân đế máy ảnh:
• Dải phẳng 8”Lx1” Wx1 / 2”T
• Dải phẳng 5”Lx1” Wx1 / 4”T
• Chốt hình vuông 6”Lx1 / 2” x1 / 2”cho hướng dẫn vị trí
• Vít, keo, dây, vật hàn, v.v.

Bước 2: Xây dựng phần cứng

Sử dụng hộp 8”x8”:

1. Khoan lỗ ở phía sau cho dây nguồn.

2. Khoan lỗ ở góc trước bên phải cho nút tạm thời3. (Các) lỗ khoan cho loa. (xem âm thanh bước 12 bên dưới)

4. Tôi đã sử dụng một miếng nhôm 2”x1 / 4” x13”cho giá đỡ máy ảnh, nhưng các dải gỗ cũng hoạt động.

Một. Gắn dải gỗ phẳng 8”vào mặt sau của hộp LID. (hãy chắc chắn rằng nó được gắn vào LID chứ không phải ở dưới cùng của hộp, nếu không bạn sẽ không thể mở nó!)

NS. Gắn dải gỗ phẳng 5”lên trên 8” thẳng đứng bằng vít và keo. LƯU Ý rằng chiều cao của máy ảnh xác định kích thước của tài liệu và tiêu điểm cần thiết. Bạn có thể muốn lên cao hơn cho các tài liệu có diện tích lớn hơn.

5. Cắt một khe 1”x1 / 16” trên đỉnh hộp gần đường thẳng đứng 8”để cáp máy ảnh đi qua.

LƯU Ý: Đối với thiết bị điện tử, tôi khuyên bạn KHÔNG nên lắp vĩnh viễn các thành phần, để bạn có thể dễ dàng thực hiện điều chỉnh.

6. Kết nối cáp máy ảnh 24”với máy ảnh. ĐỪNG KẾT NỐI VỚI RASPBERRY.

Bước 3: Phần cứng Tiếp theo…

7. Gắn máy ảnh hướng xuống từ phần cuối của dải gỗ 5”. Tôi khuyên bạn nên đợi trước khi đặt máy ảnh vào hộp đựng của nó để bạn có thể lấy nét ống kính dễ dàng hơn sau khi chạy!

Để lấy nét ban đầu, hãy sử dụng công cụ Điều chỉnh và xoay ống kính ngược chiều kim đồng hồ 1/4! xoay.

8. Luồn cáp máy ảnh xuống qua khe cắm, sau đó gắn nó vào Pi. (Hãy chắc chắn rằng Pi đang TẮT!)

9. Cài đặt nút tạm thời và kết nối dây giữa nó với chân Pi GPIO 24 và GND. Và kết nối đèn LED của nút thông qua điện trở 220 ohm với chân Pi GPIO 18 và GND.

10. Chạy nguồn điện vào hộp và cắm vào Pi. Bạn cần sử dụng biện pháp giảm căng như keo nóng chảy hoặc tương tự để bịt lỗ trên hộp để cáp không thể kéo ra.

Bước 4: Cài đặt phần cứng âm thanh…

11. Đối với âm thanh, tôi đã sử dụng loa đơn âm sử dụng nguồn USB và âm thanh giắc cắm mini. Tôi đã tháo thiết bị điện tử và loa khỏi vỏ nhựa ban đầu và cắm phích cắm âm thanh vào giắc âm thanh Pi và cáp USB vào USB Pi. Tôi cũng đã thay thế chiếc loa nhỏ ban đầu bằng một chiếc lớn hơn 3”để có chất lượng âm thanh tốt hơn nhiều.

Vì tôi gắn loa dưới nắp hộp nên tôi đã khoan nhiều lỗ nhỏ theo hình dạng của một vỉ loa.

12. Cuối cùng, hãy kiểm tra các kết nối, đặc biệt là cáp camera và các kết nối GPIO.

KHÔNG NẠP ĐIỆN CHO PI YET. Tiếp tục thiết lập phần mềm trước…

Không có công tắc Bật / Tắt, vì người ta cho rằng Pi sẽ luôn chạy để nó sẵn sàng đọc nội dung nào đó ngay lập tức. Nó chỉ sử dụng một vài watt và có thể chạy 24/7 mà không có vấn đề gì.

Thẻ SD có thể bị hỏng nếu rút phích cắm hoặc mất điện, nhưng trường hợp này rất hiếm. Tôi chưa bao giờ có thẻ SD không thể khởi động. Nhưng không cắm vào một dải điện được tắt / mở thường xuyên.

Bước 5: Thiết lập và cấu hình hệ điều hành

Định dạng thẻ nhớ microSD 8GB hoặc lớn hơn với Raspbian Jessie (hoặc Stretch) Lite (không có GUI cho dự án này).

www.raspberrypi.org/downloads/raspbian/

Bạn sẽ cần truy cập Raspberry từ xa thông qua SSH. Trên Windows, bạn có thể sử dụng chương trình đầu cuối PUTTY SSH. Trên Mac, chỉ cần hiển thị một cửa sổ dòng lệnh. Ngoài ra, bạn có thể tạm thời cắm bàn phím và màn hình HDMI chỉ để xây dựng nó, nhưng SSH giúp bạn làm việc sau này dễ dàng hơn.

Bạn có biết? Nếu bạn cài đặt Raspbian Jessie trên thẻ SD sử dụng PC Windows, bạn có thể tạo hai tệp trên thẻ để định cấu hình quyền truy cập WiFi và SSH trước khi khởi động nó trên Raspberry?

Đối với điều này, giả sử thẻ SD của bạn hiện được gắn là K: trên PC của bạn:

1) Cài đặt hình ảnh Raspbian Jessie mới nhất vào SD. Đối với dự án này, Jessie Lite sẽ hoạt động.

2) Với notepad, tạo một tệp chỉ có tên là “ssh” và sử dụng Lưu dưới dạng “Tất cả các tệp” vào K: / ssh Tệp có thể chứa bất kỳ thứ gì. Đó là tên tệp quan trọng. KHÔNG ĐƯỢC là “ssh.txt” !!!

3) Với notepad, hãy tạo một tệp có tên “wpa_supplicant.conf” với nội dung sau:

ctrl_interface = DIR = / var / run / wpa_supplicant GROUP = netdevupdate_config = 1

mạng = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

Sử dụng Save As “All files” thành K: / wpa_supplicant.confAgain, đừng để Notepad thay đổi nó thành “wpa_supplicant.conf.txt” !!

Khi bạn khởi động Raspberry lần đầu tiên, Jessie sẽ tìm kiếm những thứ này và kết nối với Wifi của bạn. Tuy nhiên, bạn sẽ phải xem trên Bộ định tuyến của mình để biết địa chỉ IP vì nó được gán tự động bằng cách sử dụng DHCP.

Bây giờ đã sẵn sàng để cài đặt vào Pi của bạn:

1. Cắm thẻ nhớ microSD vào Pi và cắm nguồn ngay.

2. Để đăng nhập từ xa vào Raspberry Pi, bạn sẽ cần tìm địa chỉ IP của nó. Bạn co thể thử:

$ ssh [email protected]

Hoặc từ Putty, nhập tên máy chủ: [email protected]

Nếu không, bạn sẽ cần xem liệu Bộ định tuyến của bạn có hiển thị địa chỉ IP của các thiết bị cục bộ của bạn hay không.

Sau khi đăng nhập với tư cách người dùng pi:

3. Cập nhật hệ điều hành Raspbian của bạn:

Cập nhật $ sudo apt

$ sudo apt nâng cấp

4. Định cấu hình Raspberry và bật máy ảnh:

$ sudo raspi-config

Một. Thay đổi mật khẩu người dùng

NS. Tùy chọn giao diện -> Máy ảnh -> Bật

NS. Kết thúc

NS. Khởi động lại

Bước 6: Cài đặt phần mềm ứng dụng

Bây giờ đăng nhập lại vào Pi của bạn và bạn đã sẵn sàng cài đặt ứng dụng PiTextReader.

1. Cài đặt phần mềm yêu cầu ban đầu: $ sudo apt install git –y

2. Tải xuống phần mềm:

$ cd / home / pi

$ git clone

$ cd PiTextReader

$ sh install.sh

Bạn có thể chạy lại install.sh một cách an toàn nhiều lần, nếu cần.

3. Đặt một tài liệu đơn giản để đọc và chạy chương trình kiểm tra để đặt âm lượng, phát một số âm thanh chuyển văn bản thành giọng nói và chụp ảnh.

$ sh test.sh

Nếu bạn nhận được bất kỳ thông báo lỗi nào, hãy kiểm tra Khắc phục sự cố bên dưới. Chỉnh sửa chương trình test.sh để điều chỉnh âm lượng nếu cần.

4. Chương trình thử nghiệm lưu ảnh vào “test.jpg”. Bạn sẽ cần sao chép hình ảnh này sang PC để có thể nhìn thấy tiêu điểm và trường nhìn. Một cách nhanh chóng và hiệu quả để thực hiện việc này là khởi động một máy chủ web nhỏ trên Pi của bạn và sử dụng trình duyệt:

$ python -m SimpleHTTPServer 8080 &

Sau đó duyệt đến https:// {IPaddress}: 8080 /

Nhấp vào test.jpg

Sử dụng công cụ Điều chỉnh ống kính để lấy nét máy ảnh.

Chạy lại chương trình test.sh thường xuyên nếu cần.

LƯU Ý: nếu bạn cần điều chỉnh cài đặt máy ảnh raspistill, bạn cũng sẽ cần chỉnh sửa chương trình pitextreader.py với cài đặt mới.

CAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo khởi động lại

Pi sẽ tự động chạy và sẵn sàng hoạt động.

Bước 7: Hoạt động

Khi khởi động Pi, bạn sẽ nghe thấy “OK Ready” cũng như thấy đèn LED của nút sáng lên.

Bất cứ khi nào đèn LED sáng, thiết bị đã sẵn sàng hoạt động.

Đặt một số văn bản đã in dưới máy ảnh, tốt nhất chỉ là một vài dòng văn bản màu đen trên giấy trắng.

Lưu ý rằng máy ảnh không cần nhiều ánh sáng, đặc biệt là NoIR. Ánh sáng phòng xung quanh là tốt cho tôi. Quá nhiều ánh sáng gây ra ánh sáng không đồng đều và làm biến dạng OCR.

Nhấn nút.

Đèn LED sẽ sáng và âm thanh bấm máy ảnh cũng như lời nói “OK, hoạt động tốt” sẽ phát ra.

Sau một vài giây, văn bản sẽ được đọc. Nếu văn bản bị bóp méo, phông chữ quá tối hoặc quá nhạt, nghiêng sang một bên hoặc lộn ngược, thì kết quả sẽ là lời nói ngớ ngẩn!

Có thể mất từ 5-30 giây để chuyển đổi và bắt đầu đọc, vì vậy hãy kiên nhẫn. Càng nhiều văn bản, càng mất nhiều thời gian.

Nếu bạn cần dừng đọc, bạn có thể nhấn nút trong khi âm thanh vẫn đang phát (đèn LED tắt.)

Sau khi hoàn thành bài phát biểu, sau vài giây, đèn LED sẽ bật trở lại và bạn sẽ nghe thấy “OK Ready” một lần nữa. Nó đã sẵn sàng để thực hiện một quá trình quét khác.

Lưu ý rằng khoảng cách máy ảnh được đặt cho máy ảnh Raspi và chỉ cho một phần của tài liệu 8x10. Tôi thấy tốt nhất là nên đọc các phần của tài liệu cùng một lúc vì có thể khó nghe các trang đầy đủ. Nhiều nội dung cần đọc là văn bản nhỏ hơn, vì vậy nếu máy ảnh ở quá xa, nó không thể phân giải.

Để khắc phục sự cố, hãy kiểm tra bên dưới, đặc biệt là phần QUÉT VÀ OCR

Nếu tất cả đều tốt, hãy gắn cố định tất cả các thành phần để hoàn thành việc xây dựng.

Bước 8: Khắc phục sự cố

1. MÁY ẢNH

Xác minh rằng máy ảnh đã được bật qua

$ sudo raspi-config

Tùy chọn giao diện -> Máy ảnh

Gắn lại cáp ruy-băng vì đây là sợi dây thanh mảnh và phải được căn chỉnh chính xác. Nếu cần, hãy google “cách khắc phục sự cố máy ảnh raspberry pi” để tìm các sự cố tương tự. Ngoài ra google thông báo lỗi bạn nhận được khi chạy chương trình test.sh.

2. ÂM THANH

Bạn có tăng âm lượng không?

$ sudo amixer -q sset PCM, 0 100%

Chạy kiểm tra âm thanh

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Vẫn không có âm thanh? Buộc âm thanh ra khỏi giắc cắm:

$ sudo raspi-config Tùy chọn nâng cao -> Âm thanh -> Buộc giắc cắm tai nghe

3. NÓI

Nếu âm thanh ở trên nghe tốt, thì hãy thử:

$ flite -t KIỂM TRA

Thông báo lỗi của Google, nếu có.

Chạy lại install.sh

Vâng, bài phát biểu có vẻ hơi giống Stephen Hawking.

4. QUÉT VÀ OCR

Đây là khu vực điều chỉnh lớn nhất cần thiết. Để OCR hoạt động tốt, hình ảnh camera phải có chất lượng tốt; tài liệu phải được chiếu sáng trơn tru, không nhất thiết phải sáng chói.

Văn bản phải phẳng và rõ ràng. Không phải tất cả các phông chữ đều có thể đọc được.

Để xác minh chất lượng, hãy kiểm tra hai tệp:

/tmp/text.txt và /tmp/image.jpg

Bạn có thể khởi động máy chủ web nhỏ và sử dụng trình duyệt:

$ cd / tmp $ python -m SimpleHTTPServer 8080 &

Văn bản trong hình ảnh phải đơn giản và dễ đọc. Hình ảnh phải ở phía bên phải, độ tương phản tốt, lấy nét. Bạn có thể cần lật ngược tài liệu nếu tài liệu bị lộn ngược. (nhắc người dùng rằng nếu họ nghe thấy tiếng kêu gừ gừ, thì hãy thử lật tài liệu xung quanh.) Nếu hình ảnh có độ tương phản kém, bạn sẽ cần phải cải thiện ánh sáng, quá nhiều hoặc quá ít đều có thể gây ra vấn đề. Ánh sáng không đồng đều cũng sẽ khiến các phần của văn bản bị lỗi. Bạn có thể tìm thêm trợ giúp bằng cách truy cập vào “trợ giúp tesseract-ocr” trên Google

5. MÀN HÌNH / BÀN PHÍM HDMI

Có, bạn có thể cắm bàn phím và màn hình vào Pi, đặc biệt. nếu bạn không thể tìm thấy địa chỉ IP hoặc không thể truy cập qua SSH. Không có giao diện GUI và điều này có thể tắt âm thanh trừ khi màn hình của bạn có loa.

6. INTERNET / WIFI

Nếu WIFI không hoạt động, bạn có thể tạm thời kết nối cáp Ethernet và sử dụng.

Dự án này không cần Internet hoặc WiFi sau khi bạn đã hoàn tất cài đặt và thiết lập.