Xử lý hình ảnh theo phương pháp lượng tử: 5 bước

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:35

(Hình trên minh họa sự so sánh giữa phương pháp xử lý hình ảnh hiện có với xử lý hình ảnh đo lượng tử. Lưu ý kết quả được cải thiện. Hình ảnh trên cùng bên phải hiển thị các hiện vật kỳ lạ xuất phát từ giả định không chính xác rằng hình ảnh đo thứ gì đó chẳng hạn như ánh sáng. Hình ảnh dưới cùng bên phải cho kết quả tốt hơn bằng cách làm tương tự theo định lượng.)

Trong Tài liệu hướng dẫn này, bạn sẽ học cách cải thiện đáng kể hiệu suất của các hệ thống cảm biến hình ảnh hoặc thị lực hiện có bằng cách sử dụng một khái niệm rất đơn giản: Cảm biến hình ảnh lượng tử

Xử lý hình ảnh theo phương pháp lượng tử cải thiện đáng kể dựa trên bất kỳ điều nào sau đây:

• Xử lý hình ảnh hiện có như xử lý hình ảnh;
• Học máy, thị giác máy tính và nhận dạng mẫu;
• Trình nhận dạng khuôn mặt có thể đeo (xem https://wearcam.org/vmp.pdf), tầm nhìn dựa trên AI và HI, v.v.

Ý tưởng cơ bản là xử lý lượng tử trước và xử lý sau hình ảnh, như sau:

1. Mở rộng phạm vi động của hình ảnh hoặc các hình ảnh;
2. Xử lý hình ảnh hoặc các hình ảnh như bạn thường làm;
3. Nén dải động của hình ảnh hoặc các hình ảnh (tức là hoàn tác bước 1).

Trong Các tài liệu hướng dẫn trước đây, tôi đã dạy một số khía cạnh của cảm biến HDR (Dải động cao) và cảm biến đo lượng tử, ví dụ: tuyến tính, chồng chất, v.v.

Bây giờ chúng ta hãy sử dụng kiến thức này.

Thực hiện bất kỳ quy trình hiện có nào bạn muốn sử dụng. Ví dụ tôi sẽ hiển thị là gỡ rối hình ảnh, nhưng bạn cũng có thể sử dụng nó cho bất kỳ điều gì khác.

Bước 1: Mở rộng phạm vi động của hình ảnh hoặc hình ảnh của bạn

(Các số liệu phỏng theo "Xử lý hình ảnh thông minh", John Wiley và Sons Interscience Series, Steve Mann, tháng 11 năm 2001)

Bước đầu tiên là mở rộng phạm vi động của hình ảnh đầu vào.

Tốt nhất, trước tiên bạn nên xác định chức năng phản hồi của máy ảnh, f, và sau đó áp dụng phản hồi ngược, f nghịch đảo, cho hình ảnh.

Máy ảnh điển hình được nén dải động, vì vậy chúng tôi thường muốn áp dụng một chức năng mở rộng.

Nếu bạn không biết chức năng phản hồi, hãy bắt đầu bằng cách thử một cái gì đó đơn giản như tải hình ảnh vào một mảng hình ảnh, truyền các biến thành một kiểu dữ liệu như (float) hoặc (double) và nâng mỗi giá trị pixel thành số mũ, chẳng hạn như, chẳng hạn, bình phương mỗi giá trị pixel.

Cơ sở lý luận:

Tại sao chúng ta lại làm việc này?

Câu trả lời là hầu hết các máy ảnh đều nén dải động của chúng. Lý do họ làm điều này là hầu hết các phương tiện hiển thị đều mở rộng phạm vi động. Điều này khá tình cờ: lượng ánh sáng phát ra từ màn hình tivi ống tia âm cực xấp xỉ bằng hiệu điện thế được nâng lên theo số mũ của 2,22 nên khi đầu vào điện áp video cách khoảng một nửa thì lượng ánh sáng phát ra là nhiều ít hơn một nửa.

Phương tiện chụp ảnh cũng có thể mở rộng phạm vi động. Ví dụ: thẻ xám "trung tính" chụp ảnh phát ra 18% ánh sáng tới (không phải 50% ánh sáng tới). Nhiều ánh sáng này (18%) được coi là ở giữa phản ứng. Vì vậy, như bạn có thể thấy, nếu chúng ta xem biểu đồ đầu ra như một hàm của đầu vào, thì phương tiện hiển thị sẽ hoạt động như thể chúng là màn hình tuyến tính lý tưởng có chứa bộ mở rộng phạm vi động trước phản hồi tuyến tính lý tưởng.

Trong hình trên cùng, ở trên, bạn có thể thấy màn hình được đóng hộp bằng một đường chấm và nó tương đương với việc có một bộ mở rộng trước màn hình tuyến tính lý tưởng.

Vì màn hình vốn đã mở rộng, nên máy ảnh cần được thiết kế để nén để hình ảnh trông đẹp trên màn hình hiện có.

Ngày xưa, khi có hàng nghìn màn hình máy thu truyền hình và chỉ một hoặc hai trạm phát sóng (ví dụ chỉ một hoặc hai máy quay truyền hình), thì việc đưa tính phi tuyến nén vào máy ảnh dễ dàng hơn là thu hồi tất cả các TV và đặt một trong mỗi máy thu hình.

Tình cờ điều này cũng giúp giảm tiếng ồn. Trong âm thanh, chúng tôi gọi đây là "Dolby" ("kết hợp") và trao bằng sáng chế cho nó. Trong video, nó hoàn toàn xảy ra một cách tình cờ. Stockham đề xuất rằng chúng ta nên lấy logarit của hình ảnh trước khi xử lý chúng, và sau đó lấy antilog. Điều mà anh ấy không nhận ra là hầu hết các máy ảnh và màn hình đều làm được điều này một cách tình cờ. Thay vào đó, những gì tôi đề xuất là chúng tôi làm ngược lại hoàn toàn với những gì Stockham đề xuất. (Xem "Xử lý hình ảnh thông minh", John Wiley và Sons Interscience Series, trang 109-111.)

Trong hình dưới, bạn thấy quy trình xử lý hình ảnh chống đồng hình (đo lượng tử) được đề xuất, trong đó chúng tôi đã thêm bước mở rộng và nén dải động.

Bước 2: Xử lý Hình ảnh hoặc Thực hiện Thị giác Máy tính, Học máy hoặc Tương tự

Bước thứ hai, sau khi mở rộng phạm vi động, là xử lý hình ảnh.

Trong trường hợp của tôi, tôi chỉ đơn giản thực hiện giải mã hình ảnh, với chức năng làm mờ, tức là làm mờ hình ảnh, như thường được biết đến trong kỹ thuật trước đây.

Có hai loại cảm biến hình ảnh đo lượng tử lớn:

• Giúp mọi người nhìn thấy;
• Giúp máy móc nhìn thấy.

Nếu chúng tôi đang cố gắng giúp mọi người xem (đó là ví dụ tôi đang hiển thị ở đây), chúng tôi vẫn chưa hoàn thành: chúng tôi cần đưa kết quả đã xử lý trở lại không gian hình ảnh.

Nếu chúng ta đang giúp máy móc nhìn thấy (ví dụ: nhận dạng khuôn mặt), thì chúng ta đã hoàn thành ngay bây giờ (không cần phải chuyển sang bước 3).

Bước 3: Nén dải động của kết quả

Khi chúng tôi làm việc trong phạm vi động mở rộng, chúng tôi được cho là đang ở trong "không gian ánh sáng" (không gian hình ảnh lượng tử).

Ở cuối Bước 2, chúng ta đang ở trong không gian ánh sáng và chúng ta cần quay lại không gian hình ảnh.

Vì vậy, bước 3 này là quay trở lại không gian hình ảnh.

Để thực hiện bước 3, chỉ cần nén dải động của đầu ra của Bước 2.

Nếu bạn biết chức năng phản hồi của máy ảnh, chỉ cần áp dụng nó, để nhận được kết quả, f (p (q)).

Nếu bạn không biết chức năng phản hồi của máy ảnh, chỉ cần áp dụng một phỏng đoán tốt.

Nếu bạn đã bình phương các pixel hình ảnh ở bước 1, thì bây giờ là lúc lấy căn bậc hai của mỗi pixel hình ảnh để quay lại phỏng đoán của bạn về không gian hình ảnh.

Bước 4: Bạn có thể muốn thử một số biến thể khác

Làm mờ chỉ là một trong nhiều ví dụ có thể. Ví dụ, hãy xem xét sự kết hợp của nhiều lần phơi sáng.

Chụp hai hình ảnh bất kỳ chẳng hạn như hai hình ảnh tôi có ở trên. Một chiếc được thực hiện vào ban ngày, và chiếc còn lại vào ban đêm.

Kết hợp chúng để tạo thành một bức tranh giống như hoàng hôn.

Nếu bạn chỉ tính trung bình chúng với nhau, nó trông giống như rác. Hãy thử điều này cho mình!

Nhưng nếu trước tiên bạn mở rộng phạm vi động của mỗi hình ảnh, sau đó thêm chúng và sau đó nén phạm vi động của tổng, thì điều đó trông rất tuyệt.

So sánh xử lý hình ảnh (thêm hình ảnh) với xử lý hình ảnh lượng tử (mở rộng, thêm và sau đó nén).

Bạn có thể tải xuống mã của tôi và các tài liệu mẫu khác từ đây:

Bước 5: Đi xa hơn: Bây giờ hãy thử nó với HDR Image Composites

(Hình ảnh trên: Mũ hàn HDR sử dụng xử lý hình ảnh đo lượng tử cho lớp phủ thực tế tăng cường. Xem Slashgear 2012 ngày 12 tháng 9)

Tóm tắt:

chụp ảnh và áp dụng các bước sau:

1. mở rộng phạm vi động của hình ảnh;
2. xử lý hình ảnh;
3. nén dải động của kết quả.

Và nếu bạn muốn có kết quả tốt hơn nữa, hãy thử những cách sau:

chụp nhiều hình ảnh phơi sáng khác nhau;

1. mở rộng phạm vi động thành không gian ánh sáng, theo Hướng dẫn trước đây của tôi về HDR;
2. xử lý hình ảnh lượng tử thu được, q, trong không gian ánh sáng;
3. nén dải động thông qua tonemapping.

Chúc bạn vui vẻ và hãy nhấp vào "Tôi đã làm được" và đăng kết quả của bạn, và tôi sẽ sẵn lòng nhận xét hoặc cung cấp một số trợ giúp mang tính xây dựng.