Nghiên cứu về các công cụ hỗ trợ mã hóa trong chuẩn mã hóa H.266/VVC với dữ liệu ảnh Light Field

Bài viết "Nghiên cứu về các công cụ hỗ trợ mã hóa trong chuẩn mã hóa H.266/VVC với dữ liệu ảnh Light Field" trình bày một nghiên cứu tổng quát đầu tiên về các công cụ mã hóa của tiêu chuẩn mã hóa video cập nhật - H.266/VVC cho hình ảnh LF. Hầu hết các công cụ mã hóa từ H.266/VVC (ví dụ: SMVD, MIP, IBC, v.v.) được đánh giá trên chuỗi video giả 4D-LF, và được so sánh hiệu suất nén và độ phức tạp. Mời các bạn cùng tham khảo!
Nội dung trích xuất từ tài liệu:
Nghiên cứu về các công cụ hỗ trợ mã hóa trong chuẩn mã hóa H.266/VVC với dữ liệu ảnh Light Field Hội nghị Quốc gia lần thứ 25 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2022) NGHIÊN CỨU VỀ CÁC CÔNG CỤ HỖ TRỢ MÃ HÓA TRONG CHUẨN MÃ HÓA H.266/VVC VỚI DỮ LIỆU ẢNH LIGHT FIELD Phí Công Huy, Nguyễn Cảnh Châu Học viện Công nghệ Bưu chính Viễn thông huypc@ptit.edu.vn, chaunc@gmail.com Abstract - Các tiêu chuẩn mã hóa video được phát triển để truyền gồm một lượng lớn thông tin về mỗi tia sáng bao gồm vị trí x, và lưu trữ dữ liệu hiệu quả, với nhiều yêu cầu về tốc độ bit, chất y, z, góc Ө, Ø, bước sóng γ, và thời gian t. Dữ liệu ảnh LF có lượng hình ảnh, độ trễ, khả năng truy cập ngẫu nhiên, độ phức kích thước lớn và nói chung có thể được mô tả bằng hàm đa sơ tạp, v.v. Dữ liệu LF là một phương pháp thu thập dữ liệu tổng hợp đồ 7D như sau, LF (x, y, z, Ө, Ø, γ, t) [6]. Với độ phức tạp của cho phép xử lý hậu kỳ hình ảnh đa dạng như trích xuất 3D, thay hàm chức năng này, đặt ra nhiều thách thức trong việc chụp và đổi điểm nhìn và lấy nét sau khi chụp. Hơn nữa, LF cung cấp khả năng thu thập thông tin phong phú, ví dụ, kết cấu, thông tin hình xử lý ảnh trong thực tế, do đó, hàm chức năng trên được giảm học, v.v. Do đó, kỹ thuật nén hiệu quả đóng một vai trò quan trọng xuống thành hàm chức năng 4D. khi sử dụng dữ liệu LF, do lượng dữ liệu lớn. Các chuẩn mã hóa P = L (u, v, s, t) (1) video hiện đại đã xử lý hầu hết các đặc điểm của video phổ biến để trong đó cường độ ánh sáng, P, là một hàm của hình ảnh cải thiện hiệu quả nén như H.264/AVC, H.265/HEVC và khẩu độ phụ (điểm nhìn) (u, v) và vị trí (góc nhìn) (s, t) tương H.266/VVC. Hiện tại, chuẩn mã hóa video mới nhất - H.266/VVC ứng trong hình ảnh khẩu độ phụ. cung cấp hiệu suất so sánh vượt trội so với các tiêu chuẩn khác, Mô hình dữ liệu ảnh LF được mô tả như sau, hai mặt phẳng nhưng nó phải trả giá bằng độ phức tạp tính toán cực cao, do một (s, t) và (u, v), lần lượt trình bày dưới dạng tập hợp các máy ảnh số công cụ mã hóa mới được thêm vào (ví dụ: chế độ phân vùng và mặt phẳng tiêu điểm của chúng. Tập hợp các ảnh tạo bởi tam giác (TPM), đơn vị cây mã hóa (CTU) lớn 128 × 128 pixel, v.v.). Tuy nhiên, hiện chưa có một phân tích bao quát về các công khẩu độ phụ được gọi là SAI (Sub-aperture images), là cách thu cụ mã hóa cho chuẩn nén này, để tận dụng tối đa hiệu quả hoạt thập các tia sáng từ mỗi máy ảnh truyền từ mặt phẳng (u, v) đến động của nó, đặc biệt là đối với hình ảnh LF. Do đó, bài báo này một điểm cụ thể trên mặt phẳng (s, t). Do đó, mô hình hai mặt trình bày một nghiên cứu tổng quát đầu tiên về các công cụ mã phẳng này sử dụng mặt phẳng (s, t) để chỉ các kích thước góc, hóa của tiêu chuẩn mã hóa video cập nhật - H.266/VVC cho hình trong khi mặt phẳng (u, v) đề cập đến các kích thước không ảnh LF. Hầu hết các công cụ mã hóa từ H.266/VVC (ví dụ: SMVD, gian. MIP, IBC, v.v.) được đánh giá trên chuỗi video giả 4D-LF, và được so sánh hiệu suất nén và độ phức tạp. Về các tiêu chuẩn mã hóa video cập nhật, H.266/VVC [7] là tiêu chuẩn mã hóa video mới nhất, được ITU-T và ISO/IEC Keywords: Light field, plenoptic, super-pixel, coding standards, cùng xuất bản. Vào tháng 7 năm 2020, bộ mã hóa VVC được compression efficiency, complexity. công bố là chuẩn nén video thế hệ tiếp theo. Chuẩn nén video này được thiết kế để đáp ứng hiệu quả và linh hoạt để đáp ứng I. GIỚI THIỆU nhu cầu truyền thông hiện đại bằng cách cải thiện hiệu suất nén, Dữ liệu LF gần đây đã được giới thiệu và áp dụng cho nhiều cho phép giao tiếp hiệu quả và lưu trữ nội dung video khổng lồ. lĩnh vực, như kính soi tai [1] trong y sinh học, kính hiển vi [2], Trong bối cảnh này, nén dữ liệu LF dựa trên H.266/VVC là chủ điều khiển robot dựa trên thị giác [3] và đo vận tốc [4], bởi vì đề nghiên cứu rất được quan tâm gần đây. Nhiều bài báo đề xuất cấu trúc đặc biệt của máy ảnh LF. Máy ảnh LF không chỉ ghi và đánh giá hiệu suất nén của LF với codec H.266/VVC. Ví dụ, lại cường độ ánh sáng mà còn ghi lại hướng ánh sáng đến cảm V. Avramelos và cộng sự [9] ban đầu cung cấp nén hình ảnh LF biến của máy, dựa trên các thấu kính nhỏ được thêm vào ống bằng H.266/VVC bằng cách so sánh hiệu suất mã hóa của ba kính chính trước cảm biến máy ảnh [5, 6]. Do đó, dữ liệu ảnh thế hệ tiêu chuẩn nén video mới nhất, tức là H.264/AVC [10], LF có cấu trúc phức tạp và tính kích thước lớn, và rất cần được H. 265/HEVC [8] và H.266/VVC [7]. Gần đây, H. Amirpour và phân tích và khám phá. cộng sự [11] trình bày một nghiên cứu tương tự về so sánh hiệu Dữ liệu LF trình bày tập hợp các tia sáng truyền theo mọi suất của bộ mã hóa video trong nén hình ảnh LF, tập trung vào hướng góc tại mọi điểm trong không gian 3D [6], và do ...