Máy bay không người lái tự động có camera hồng ngoại để hỗ trợ người trả lời đầu tiên: 7 bước

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:32

Theo báo cáo của Tổ chức Y tế Thế giới, hàng năm thiên tai giết chết khoảng 90.000 người và ảnh hưởng đến gần 160 triệu người trên toàn thế giới. Thiên tai bao gồm động đất, sóng thần, núi lửa phun, lở đất, bão, lũ lụt, cháy rừng, sóng nhiệt và hạn hán. Thời gian là điều cốt yếu khi cơ hội sống sót bắt đầu giảm dần theo từng phút trôi qua. Những người ứng cứu đầu tiên có thể gặp khó khăn khi xác định vị trí những người sống sót trong những ngôi nhà bị hư hại và khiến tính mạng của họ gặp rủi ro khi tìm kiếm họ. Có một hệ thống có thể xác định vị trí người từ xa sẽ làm tăng đáng kể tốc độ mà những người phản ứng đầu tiên có thể sơ tán họ khỏi các tòa nhà. Sau khi nghiên cứu các hệ thống khác, tôi nhận thấy rằng một số công ty đã tạo ra các robot trên đất liền hoặc đã tạo ra các máy bay không người lái có thể theo dõi con người nhưng chỉ hoạt động bên ngoài các tòa nhà. Sự kết hợp của camera độ sâu cùng với camera hồng ngoại đặc biệt có thể cho phép theo dõi chính xác khu vực trong nhà và phát hiện sự thay đổi nhiệt độ đại diện cho lửa, người và động vật. Bằng cách triển khai các cảm biến với thuật toán tùy chỉnh trên một máy bay không người lái (UAV), nó sẽ có thể tự động kiểm tra các ngôi nhà và xác định vị trí của người và động vật để giải cứu họ nhanh nhất có thể.

Hãy bình chọn cho tôi trong cuộc thi Quang học!

Bước 1: Yêu cầu thiết kế

Sau khi nghiên cứu các công nghệ có sẵn, tôi đã thảo luận các giải pháp khả thi với các chuyên gia thị giác máy và người phản ứng đầu tiên để tìm ra phương pháp tốt nhất để phát hiện những người sống sót trong các khu vực nguy hiểm. Thông tin dưới đây liệt kê các tính năng quan trọng nhất cần có và các yếu tố thiết kế cho hệ thống.

• Xử lý tầm nhìn - Hệ thống cần cung cấp tốc độ xử lý nhanh đối với thông tin được trao đổi giữa các cảm biến và phản hồi của Trí tuệ nhân tạo (AI). Ví dụ, hệ thống cần có khả năng phát hiện các bức tường và chướng ngại vật để tránh chúng trong khi cũng tìm thấy những người đang gặp nguy hiểm.
• Tự trị - Hệ thống cần có thể hoạt động mà không cần người dùng hoặc người vận hành đầu vào. Nhân viên có kinh nghiệm tối thiểu về công nghệ UAV phải có thể nhấn một hoặc một vài nút để hệ thống bắt đầu tự quét.
• Phạm vi - Phạm vi là khoảng cách giữa hệ thống và tất cả các đối tượng khác ở gần. Hệ thống phải có thể phát hiện hành lang và lối vào từ cách xa ít nhất 5 mét. Phạm vi tối thiểu lý tưởng là 0,25 m để có thể phát hiện các đối tượng gần. Phạm vi phát hiện càng lớn, thời gian phát hiện những người sống sót càng ngắn.
• Độ chính xác của Điều hướng và Phát hiện - Hệ thống phải có thể tìm thấy chính xác tất cả các lối vào và không đánh trúng bất kỳ đối tượng nào đồng thời phát hiện sự xuất hiện đột ngột của các đối tượng. Hệ thống cần có khả năng tìm ra sự khác biệt giữa con người và các vật thể không sống thông qua các cảm biến khác nhau.
• Thời gian hoạt động - Hệ thống có thể kéo dài 10 phút hoặc lâu hơn tùy thuộc vào số lượng phòng cần quét.
• Tốc độ - Nó có thể quét toàn bộ tòa nhà trong vòng chưa đầy 10 phút.

Bước 2: Lựa chọn thiết bị: Phương pháp di động

Chiếc xe quadcopter được lựa chọn thay vì chiếc xe điều khiển từ xa bởi vì chiếc xe này tuy mỏng manh nhưng dễ điều khiển và thay đổi độ cao để tránh chướng ngại vật. Quadcopter có thể giữ tất cả các cảm biến và ổn định chúng để chúng chính xác hơn khi di chuyển vào các phòng khác nhau. Các cánh quạt được làm bằng sợi carbon có khả năng chịu nhiệt. Các cảm biến hướng ra xa các bức tường để ngăn ngừa tai nạn.

• Xe đất điều khiển từ xa
  • Ưu điểm - Có thể di chuyển nhanh chóng mà không bị rơi và không bị ảnh hưởng bởi nhiệt độ
  • Nhược điểm - Xe sẽ đặt các cảm biến thấp xuống mặt đất bao phủ ít diện tích hơn tại một thời điểm và có thể bị cản trở bởi chướng ngại vật

• Quadcopter

  • Ưu điểm - Nâng cảm biến lên không trung để có chế độ xem 360 độ xung quanh
  • Nhược điểm - Nếu nó đâm vào tường, nó có thể rơi xuống và không thể phục hồi

Bước 3: Lựa chọn thiết bị: Vi điều khiển

Hai yêu cầu chính đối với bộ vi điều khiển là kích thước nhỏ để giảm tải trọng trên quadcopter và tốc độ xử lý thông tin đầu vào nhanh chóng. Sự kết hợp giữa Rock64 và DJI Naza là sự kết hợp hoàn hảo giữa các bộ vi điều khiển vì Rock64 có đủ sức mạnh xử lý để nhanh chóng phát hiện người và giữ cho quadcopter không chạy vào tường và chướng ngại vật. DJI Naza khen nó tốt bằng cách thực hiện tất cả các tính năng ổn định và điều khiển động cơ mà Rock64 không thể làm được. Các bộ vi điều khiển giao tiếp thông qua một cổng nối tiếp và cho phép người dùng kiểm soát nếu cần thiết. Raspberry Pi lẽ ra sẽ là một lựa chọn thay thế tốt nhưng vì Rock64 có bộ xử lý tốt hơn và kết nối tốt hơn với các cảm biến được liệt kê trong bảng tiếp theo nên Pi đã không được chọn. Intel Edison và Pixhawk không được chọn vì thiếu hỗ trợ và kết nối.

• Raspberry Pi

  • Ưu điểm - Có thể phát hiện các bức tường và các vật thể cố định
  • Nhược điểm - Khó theo kịp dữ liệu từ tất cả các cảm biến nên không thể nhìn thấy lối vào đủ nhanh. Không thể xuất tín hiệu động cơ và không có bất kỳ cảm biến ổn định nào cho quadcopter

• Rock64

  • Ưu điểm - Có thể phát hiện các bức tường và lối vào với độ trễ nhỏ.
  • Nhược điểm - Cũng có thể hướng dẫn hệ thống trong toàn bộ ngôi nhà mà không gặp phải bất cứ thứ gì bằng cách sử dụng tất cả các cảm biến. Không thể gửi tín hiệu đủ nhanh để kiểm soát tốc độ động cơ và không có bất kỳ cảm biến ổn định nào cho quadcopter

• Intel Edison

  • Ưu điểm - Có thể phát hiện các bức tường và lối vào với một số độ trễ
  • Nhược điểm - Công nghệ cũ hơn, nhiều cảm biến sẽ cần thư viện mới, rất tốn thời gian để tạo
• DJI Naza
  • Ưu điểm - Có con quay hồi chuyển, gia tốc kế và từ kế tích hợp, cho phép quadcopter ổn định trong không khí với các điều chỉnh vi mô đối với tốc độ động cơ
  • Nhược điểm - Không thể thực hiện bất kỳ loại xử lý thị lực nào

• Pixhawk

  • Ưu điểm - Nhỏ gọn và tương thích với các cảm biến được sử dụng trong dự án bằng cách sử dụng Đầu ra Đầu vào Mục đích Chung (GPIO)
  • Nhược điểm - Không thể thực hiện bất kỳ loại xử lý thị lực nào

Bước 4: Lựa chọn thiết bị: Cảm biến

Sự kết hợp của một số cảm biến được sử dụng để thu thập tất cả thông tin cần thiết để tìm kiếm những người trong khu vực nguy hiểm. Hai cảm biến chính được chọn bao gồm camera hồng ngoại âm thanh nổi cùng với SOund Navigation And Ranging (SONAR). Sau một số thử nghiệm, tôi đã quyết định sử dụng máy ảnh Realsense D435 vì nó nhỏ và có thể theo dõi chính xác khoảng cách lên đến 20 mét. Nó chạy với tốc độ 90 khung hình / giây, cho phép thực hiện nhiều phép đo trước khi đưa ra quyết định về vị trí của các đối tượng và hướng mà quadcopter hướng tới. Cảm biến SONAR được đặt ở trên và dưới của hệ thống để cho phép quadcopter biết nó được phép đi cao hay thấp trước khi tiếp xúc với bề mặt. Ngoài ra còn có một cái được đặt hướng về phía trước để cho phép hệ thống phát hiện các vật thể như thủy tinh mà cảm biến camera hồng ngoại âm thanh nổi không thể phát hiện. Người và động vật được phát hiện bằng cách sử dụng các thuật toán nhận dạng chuyển động và đối tượng. FLIR Camera sẽ được thực hiện để giúp camera hồng ngoại âm thanh nổi theo dõi những gì đang sống và những gì không nhằm tăng hiệu quả quét trong điều kiện bất lợi.

• Kinect V1

  • Ưu điểm - Có thể dễ dàng theo dõi các đối tượng 3D cách xa tới 6 mét
  • Nhược điểm - Chỉ có 1 cảm biến hồng ngoại và quá nặng đối với quadcopter

• Realsense D435

  • Ưu điểm - Có 2 camera hồng ngoại và một camera Đỏ, Xanh lục, Xanh lam, Độ sâu (RGB-D) để phát hiện đối tượng 3D chính xác cao ở khoảng cách lên đến 25 mét. Nó rộng 6 cm cho phép dễ dàng lắp quadcopter
  • Nhược điểm - Có thể nóng lên và có thể cần quạt làm mát

• LIDAR

  • Ưu điểm - Chùm tia có thể theo dõi các vị trí cách xa 40 mét trong tầm nhìn của nó
  • Nhược điểm - Nhiệt trong môi trường có thể ảnh hưởng đến độ chính xác của phép đo

• SONAR

  • Ưu điểm - Chùm tia có thể theo dõi cách xa 15 m nhưng có thể phát hiện các vật thể trong suốt như thủy tinh và acrylic
  • Nhược điểm - Chỉ các điểm trong một tầm nhìn nhưng có thể được di chuyển bởi quadcopter đến khu vực quét

• Siêu âm

  • Ưu điểm - Có phạm vi lên đến 3 m và rất rẻ
  • Nhược điểm - Chỉ các điểm trong một đường nhìn và có thể nằm ngoài phạm vi cảm nhận khoảng cách rất dễ dàng

• Máy ảnh FLIR

  • Ưu điểm - Có thể chụp ảnh chiều sâu qua khói mà không bị nhiễu và có thể phát hiện người sống thông qua ký hiệu nhiệt
  • Nhược điểm - Nếu bất kỳ điều gì gây trở ngại cho các cảm biến, các phép tính khoảng cách có thể được tính toán không chính xác

• Cảm biến PIR

  • Ưu điểm - Có thể phát hiện sự thay đổi nhiệt độ
  • Nhược điểm - Không thể xác định nơi chênh lệch nhiệt độ

Bước 5: Lựa chọn thiết bị: Phần mềm

Tôi đã sử dụng Realsense SDK cùng với Hệ điều hành Robot (ROS) để tạo sự tích hợp liền mạch giữa tất cả các cảm biến với bộ vi điều khiển. SDK cung cấp một luồng dữ liệu đám mây điểm ổn định, lý tưởng để theo dõi tất cả các đối tượng và ranh giới của quadcopter. ROS đã giúp tôi gửi tất cả dữ liệu cảm biến đến chương trình mà tôi đã tạo để triển khai Trí tuệ nhân tạo. AI bao gồm các thuật toán phát hiện đối tượng và thuật toán phát hiện chuyển động cho phép quadcopter tìm thấy chuyển động trong môi trường của nó. Bộ điều khiển sử dụng Điều chế độ rộng xung (PWM) để điều khiển vị trí của quadcopter.

• Freenect

  • Ưu điểm - Có cấp độ truy cập thấp hơn để kiểm soát mọi thứ
  • Nhược điểm - Chỉ hỗ trợ Kinect V1

• Realsense SDK

  • Ưu điểm - Có thể dễ dàng tạo dữ liệu đám mây điểm từ luồng thông tin từ Camera Realsense
  • Nhược điểm - Chỉ hỗ trợ máy ảnh Realsense D435

• Trình điều khiển FLIR Linux

  • Ưu điểm - Có thể truy xuất luồng dữ liệu từ camera FLIR
  • Nhược điểm - Tài liệu rất hạn chế

• Hệ điều hành Robot (ROS)

  • Ưu điểm - Hệ điều hành lý tưởng để lập trình các chức năng của camera
  • Nhược điểm - Cần cài đặt trên thẻ SD nhanh để thu thập dữ liệu hiệu quả

Bước 6: Phát triển hệ thống

“Đôi mắt” của thiết bị là cảm biến hồng ngoại âm thanh nổi Realsense D435, một cảm biến không có sẵn chủ yếu được sử dụng cho các ứng dụng robot như lập bản đồ 3D (Hình 1). Khi cảm biến này được lắp đặt trên máy ảnh quadcopter, camera hồng ngoại có thể hướng dẫn và cho phép máy ảnh tự động di chuyển. Dữ liệu do máy ảnh tạo ra được gọi là đám mây điểm bao gồm một loạt các điểm trong không gian có thông tin về vị trí của một đối tượng nhất định trong tầm nhìn của máy ảnh. Đám mây điểm này có thể được chuyển đổi thành bản đồ độ sâu hiển thị màu sắc dưới dạng độ sâu khác nhau (Hình 2). Màu đỏ ở xa hơn, trong khi màu xanh ở gần hơn mét.

Để đảm bảo hệ thống này được thông suốt, một hệ điều hành mã nguồn mở được gọi là ROS, thường được sử dụng trên rô bốt, đã được sử dụng. Nó cho phép thực hiện điều khiển thiết bị mức thấp, và truy cập tất cả các cảm biến và biên dịch dữ liệu để sử dụng bởi các chương trình khác. ROS sẽ giao tiếp với Realsense SDK cho phép bật và tắt các camera khác nhau để theo dõi khoảng cách các đối tượng cách hệ thống. Liên kết giữa cả hai cho phép tôi truy cập luồng dữ liệu từ máy ảnh tạo ra một đám mây điểm. Thông tin đám mây điểm có thể xác định vị trí ranh giới và các đối tượng trong vòng 30 mét và độ chính xác là 2cm. Các cảm biến khác như cảm biến SONAR và cảm biến nhúng trong bộ điều khiển DJI Naza cho phép xác định vị trí chính xác hơn của quadcopter. Phần mềm của tôi sử dụng các thuật toán AI để truy cập đám mây điểm và thông qua bản địa hóa, tạo bản đồ của toàn bộ không gian xung quanh thiết bị. Khi hệ thống được khởi chạy và bắt đầu quét, nó sẽ di chuyển qua các hành lang và tìm lối vào các phòng khác, nơi sau đó nó có thể quét phòng để tìm kiếm người một cách cụ thể. Hệ thống lặp lại quá trình này cho đến khi tất cả các phòng đã được quét. Hiện tại, quadcopter có thể bay trong khoảng 10 phút, đủ để quét toàn bộ nhưng có thể được cải thiện với các cách bố trí pin khác nhau. Những người phản hồi đầu tiên sẽ nhận được thông báo khi mọi người được phát hiện để họ có thể tập trung nỗ lực vào các tòa nhà được chọn.

Bước 7: Thảo luận và kết luận

Sau nhiều lần thử nghiệm, tôi đã tạo ra một nguyên mẫu hoạt động đáp ứng các yêu cầu được liệt kê trong Bảng 1. Bằng cách sử dụng camera hồng ngoại âm thanh nổi Realsense D435 với Realsense SDK, một bản đồ độ sâu có độ phân giải cao ở mặt trước của quadcopter đã được tạo. Lúc đầu, tôi gặp một số vấn đề với camera hồng ngoại không thể phát hiện một số vật thể như kính. Bằng cách thêm cảm biến SONAR, tôi đã có thể khắc phục sự cố này. Sự kết hợp giữa Rock64 và DJI Naza đã thành công khi hệ thống có thể ổn định quadcopter trong khi có thể phát hiện các vật thể và bức tường thông qua các thuật toán thị giác máy tính được tạo tùy chỉnh bằng OpenCV. Mặc dù hệ thống hiện tại vẫn hoạt động và đáp ứng các yêu cầu, nhưng nó có thể được hưởng lợi từ một số nguyên mẫu trong tương lai.

Hệ thống này có thể được cải thiện bằng cách sử dụng camera chất lượng cao hơn để có thể phát hiện người chính xác hơn. Một số máy ảnh FLIR đắt tiền hơn có khả năng phát hiện dấu hiệu nhiệt có thể cho phép phát hiện chính xác hơn. Hệ thống cũng có thể hoạt động trong các môi trường khác nhau như phòng có nhiều bụi và nhiều khói. Với công nghệ mới và chống cháy, hệ thống này có thể được gửi đến những ngôi nhà đang cháy và nhanh chóng phát hiện ra nơi có người để những người ứng cứu đầu tiên có thể đưa những người sống sót thoát khỏi nguy hiểm.

Cảm ơn vì đã đọc! Đừng quên bình chọn cho mình trong cuộc thi Quang học nhé!