Khoa học đằng sau hình ảnh siêu phân giải đa khung hình

Hiểu những điều cơ bản về độ phân giải siêu cao

Chụp ảnh siêu phân giải (SR) nhằm mục đích tạo ra một hình ảnh có độ phân giải cao (HR) từ một hoặc nhiều hình ảnh có độ phân giải thấp (LR). Các phương pháp SR truyền thống thường dựa vào các kỹ thuật hình ảnh đơn, sử dụng kiến ​​thức trước đó và các mẫu đã học để suy ra các chi tiết tần số cao. Tuy nhiên, siêu phân giải đa khung hình mang lại một lợi thế riêng biệt bằng cách khai thác sự đa dạng của thông tin có sẵn trên nhiều hình ảnh.

Nguyên tắc chính là mỗi hình ảnh LR chụp một góc nhìn hoặc lấy mẫu hơi khác nhau của cảnh do các yếu tố như dịch chuyển pixel phụ, chuyển động hoặc các biến thể trong nhiễu cảm biến. Bằng cách đăng ký và hợp nhất cẩn thận các hình ảnh này, thuật toán có thể điền thông tin còn thiếu một cách hiệu quả và tái tạo hình ảnh HR chi tiết hơn.

Phương pháp tiếp cận đa khung: Khai thác sự đa dạng của hình ảnh

✨ SR đa khung tận dụng khái niệm về sự đa dạng của hình ảnh để khắc phục những hạn chế của SR một hình ảnh. Sự đa dạng của hình ảnh phát sinh từ những thay đổi nhỏ giữa các khung có độ phân giải thấp, chẳng hạn như sự thay đổi nhỏ về góc nhìn, độ mờ chuyển động hoặc các mẫu nhiễu khác nhau. Những thay đổi này, mặc dù có vẻ nhỏ, cung cấp thông tin bổ sung quan trọng có thể được khai thác để tái tạo hình ảnh có độ phân giải cao hơn.

Hãy xem xét một kịch bản trong đó máy ảnh chụp một chuỗi hình ảnh của một vật thể tĩnh. Do rung động hoặc chuyển động nhẹ của máy ảnh, mỗi hình ảnh sẽ bị dịch chuyển một chút so với các hình ảnh khác. Những dịch chuyển pixel phụ này, ngay cả khi chỉ là một phần nhỏ của một pixel, cung cấp các mẫu khác nhau của cảnh cơ bản.

Các bước chính trong siêu phân giải đa khung hình

Quá trình siêu phân giải đa khung hình thường bao gồm một số bước chính, mỗi bước đóng vai trò quan trọng trong kết quả cuối cùng. Các bước này bao gồm đăng ký hình ảnh, ước tính chuyển động, hợp nhất hình ảnh và khử mờ/giảm nhiễu. Mỗi bước cần được thực hiện cẩn thận để có kết quả tối ưu.

1. Đăng ký hình ảnh

📍 Đăng ký hình ảnh là quá trình căn chỉnh các hình ảnh có độ phân giải thấp vào một khung tham chiếu chung. Đây là một bước quan trọng, vì căn chỉnh chính xác là điều cần thiết để hợp nhất các hình ảnh đúng cách. Quá trình đăng ký thường bao gồm việc ước tính phép biến đổi hình học (ví dụ: tịnh tiến, xoay, chia tỷ lệ) ánh xạ từng hình ảnh LR vào hình ảnh tham chiếu.

Có thể sử dụng nhiều kỹ thuật khác nhau để đăng ký hình ảnh, bao gồm các phương pháp dựa trên đặc điểm, phương pháp dựa trên cường độ và tương quan pha. Các phương pháp dựa trên đặc điểm bao gồm việc trích xuất các đặc điểm riêng biệt (ví dụ: góc, cạnh) từ hình ảnh và so sánh chúng để ước tính sự biến đổi.

2. Ước tính chuyển động

Ước tính chuyển động có liên quan chặt chẽ đến việc ghi lại hình ảnh và bao gồm việc xác định các vectơ chuyển động giữa các hình ảnh có độ phân giải thấp. Điều này đặc biệt quan trọng khi cảnh chứa các vật thể chuyển động hoặc khi máy ảnh đang trải qua chuyển động phức tạp. Ước tính chuyển động chính xác cho phép bù đắp thích hợp các chuyển động này trong quá trình hợp nhất hình ảnh.

Thuật toán luồng quang học thường được sử dụng để ước tính chuyển động, ước tính chuyển động biểu kiến ​​của các điểm ảnh giữa các khung hình liên tiếp. Các thuật toán này phân tích các thay đổi về cường độ hình ảnh theo thời gian để xác định các vectơ chuyển động.

3. Hợp nhất hình ảnh

➕ Hợp nhất hình ảnh là quá trình kết hợp các hình ảnh có độ phân giải thấp đã đăng ký để tạo ra một hình ảnh có độ phân giải cao hơn. Bước này tận dụng thông tin bổ sung có trong mỗi hình ảnh để điền vào các chi tiết còn thiếu và giảm nhiễu. Quá trình hợp nhất có thể được thực hiện bằng nhiều kỹ thuật khác nhau, bao gồm tính trung bình có trọng số, ước tính khả năng tối đa và phương pháp Bayesian.

Trung bình có trọng số liên quan đến việc gán các trọng số khác nhau cho mỗi hình ảnh LR dựa trên chất lượng hoặc độ tin cậy của nó. Ước tính độ tin cậy tối đa nhằm mục đích tìm ra hình ảnh HR có nhiều khả năng tạo ra hình ảnh LR quan sát được nhất. Các phương pháp Bayesian kết hợp kiến ​​thức trước về hình ảnh HR để cải thiện quá trình tái tạo.

4. Làm mờ và khử nhiễu

Hình ảnh có độ phân giải cao được tái tạo vẫn có thể bị mờ và nhiễu do hệ thống hình ảnh không hoàn hảo hoặc nhiễu trong hình ảnh có độ phân giải thấp. Do đó, các kỹ thuật khử mờ và khử nhiễu thường được áp dụng như một bước cuối cùng để nâng cao chất lượng hình ảnh.

Thuật toán khử mờ nhằm mục đích loại bỏ các hiện tượng nhòe do chức năng lan truyền điểm của hệ thống hình ảnh gây ra. Thuật toán khử nhiễu nhằm mục đích giảm mức độ nhiễu trong hình ảnh trong khi vẫn giữ nguyên các chi tiết quan trọng.

Công thức toán học

Bài toán siêu phân giải đa khung có thể được xây dựng theo công thức toán học như sau: Cho một tập hợp các hình ảnh có độ phân giải thấp ( y_i ), trong đó ( i = 1, 2,…, N ), mục tiêu là ước tính hình ảnh có độ phân giải cao ( x ). Mỗi hình ảnh có độ phân giải thấp có liên quan đến hình ảnh có độ phân giải cao thông qua một mô hình suy giảm:

( y_i = D_i B_i H_i x + n_i )

Ở đâu:

• ( x ) là hình ảnh có độ phân giải cao mong muốn.
• ( y_i ) là hình ảnh có độ phân giải thấp thứ ( i ).
• ( H_i ) biểu thị phép biến đổi hình học (ví dụ: tịnh tiến, quay) giúp căn chỉnh ảnh LR thứ ( i ) với lưới HR.
• ( B_i ) biểu diễn toán tử làm mờ.
• ( D_i ) biểu thị toán tử lấy mẫu xuống.
• ( n_i ) biểu thị nhiễu trong ảnh LR thứ ( i ).

Mục tiêu là tìm ước tính ( x ) để giảm thiểu sự khác biệt giữa hình ảnh có độ phân giải thấp quan sát được và hình ảnh có độ phân giải thấp dự đoán dựa trên mô hình suy thoái. Điều này có thể đạt được bằng cách sử dụng nhiều kỹ thuật tối ưu hóa khác nhau, chẳng hạn như ước tính bình phương tối thiểu hoặc ước tính hậu nghiệm tối đa.

Ứng dụng của siêu phân giải đa khung

🚀 Siêu phân giải đa khung có nhiều ứng dụng trong nhiều lĩnh vực khác nhau. Các ứng dụng này được hưởng lợi từ chất lượng hình ảnh và chi tiết được cải thiện do kỹ thuật này cung cấp. Một số ví dụ chính được đưa ra dưới đây.

• Chụp ảnh y tế: Cải thiện độ phân giải của hình ảnh y tế (ví dụ: chụp MRI, chụp CT) để chẩn đoán và lập kế hoạch điều trị tốt hơn.
• Giám sát: Tăng cường độ rõ nét của cảnh quay giám sát để cải thiện khả năng nhận dạng và xác định đối tượng.
• Viễn thám: Tăng độ phân giải của hình ảnh vệ tinh để giám sát môi trường và quản lý tài nguyên tốt hơn.
• Thiên văn học: Tái tạo hình ảnh có độ phân giải cao của các vật thể trên trời từ nhiều quan sát.
• Cải thiện video: Cải thiện chất lượng hình ảnh của video bằng cách nâng cấp độ phân giải và giảm nhiễu.