Nhận dạng các bộ phận trên đối tượng 3D dựa vào kỹ thuật học sâu Mask R-CNN

Bài viết trình bày việc tìm hiểu phương pháp tái tạo mô hình 3D từ tập dữ liệu 2D chụp xung quanh đối tượng. Từ đó phân tích, nhận dạng các thành phần của đối tượng 3D, kết hợp sử dụng phương pháp học sâu và phân đoạn tập hình ảnh 2D tương đồng. Đề xuất dựa trên mối liên hệ giữa tập điểm bất biến trên ảnh 2D và mô hình 3D, tạo các chú thích các thành phần cấu thành nên mô hình 3D và kết quả bước đầu thu nhận để tạo cơ sở dữ liệu phục vụ trong nghiên cứu, phục dựng lại các mô hình đã bị khiếm khuyết.
Nội dung trích xuất từ tài liệu:
Nhận dạng các bộ phận trên đối tượng 3D dựa vào kỹ thuật học sâu Mask R-CNN Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XII về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR); Huế, ngày 07-08/6/2019 DOI: 10.15625/vap.2019.00045 NHẬN DẠNG CÁC BỘ PHẬN TRÊN ĐỐI TƯỢNG 3D DỰA VÀO KỸ THUẬT HỌC SÂU MASK R-CNN Lê Tiến Mẫu1, Nguyễn Tấn Khôi2, Romain Raffin3 1 Trường Cao đẳng Quảng Ngãi; tienmauqn@gmail.com 2 Đại học Bách khoa - Đại học Đà Nẵng; ntkhoi@dut.udn.vn 3 Trường Đại học Aix-Marseille & LSIS UMR7296, Pháp; romain.raffin@univ-amu.fr TÓM TẮT: Trong lĩnh vực tái tạo mô hình 3D các mẫu vật đã và đang được nhiều người quan tâm nghiên cứu, các kết quả nghiên cứu tái tạo đã được ứng dụng rộng rãi trong nhiều lĩnh vực như khảo cổ, y tế, sản xuất thiết bị, thực tại ảo …. Việc tái tạo, nhận dạng các thành phần cấu thành nên đối tượng 3D trở thành công cụ hiệu quả để nghiên cứu, bảo tồn và quảng bá các di tích khảo cổ. Trong bài báo này, chúng tôi tìm hiểu phương pháp tái tạo mô hình 3D từ tập dữ liệu 2D chụp xung quanh đối tượng. Từ đó phân tích, nhận dạng các thành phần của đối tượng 3D, kết hợp sử dụng phương pháp học sâu và phân đoạn tập hình ảnh 2D tương đồng. Đề xuất dựa trên mối liên hệ giữa tập điểm bất biến trên ảnh 2D và mô hình 3D, tạo các chú thích các thành phần cấu thành nên mô hình 3D và kết quả bước đầu thu nhận để tạo cơ sở dữ liệu phục vụ trong nghiên cứu, phục dựng lại các mô hình đã bị khiếm khuyết. Từ khóa: Tái tạo 3D, mô hình 3D, học sâu, phân đoạn 2D, chú thích 2D/3D, phân đoạn 3D, Mask R-CNN. I. GIỚI THIỆU Hiện nay, với sự phát triển của đồ họa máy tính và công nghệ thực tại ảo, hướng nghiên cứu về tái tạo mô hình, mẫu vật 3D đã và đang được nhiều công ty và tổ chức quan tâm phát triển về thuật toán và phương pháp. Các mô hình 3D tái tạo đã được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau như trong y học, kiến trúc đặc biệt trong bảo tồn các di tích khảo cổ bằng cách số hóa dữ liệu các di tích, cổ vật để lưu trữ hay làm hướng dẫn viên ảo [1,3]. Có nhiều nghiên cứu đã đề xuất phương pháp tái tạo mô hình, mẫu vật bằng nhiều cách khác nhau như sử dụng máy quét, chụp cộng hưởng từ, laser, hay tái tạo từ một hay nhiều ảnh 2D [10, 11, 14, 15]. Các kết quả được sử dụng để phân tích, phân đoạn hay nhận dạng đối tượng. Tuy nhiên các nghiên cứu này chủ yếu thu nhận thông tin là các mô hình 3D mà chưa có sự kết hợp xử lý thu nhận thông tin từ dữ liệu ảnh đầu vào, hay kết hợp ảnh để phân tích nhận dạng mô hình. Ngoài ra, một lĩnh vực đang được nghiên cứu phổ biến là đề xuất các kỹ thuật cho phép máy tính tự học để giải quyết các vấn đề như nhận dạng hình ảnh, nhận đạng đối tượng trong video đó là “Học máy” (Machine learning) thuộc lĩnh vực trí tuệ nhân tạo. Các kết quả của nghiên cứu đã được ứng dụng trong y tế, phân tích tài chính hay truy vết đối tượng. Các nghiên cứu dựa trên học máy đều được sử dụng trong việc phân tích, xử lý phân đoạn hình ảnh, trích xuất thông tin từ dữ liệu ảnh 2D thu được kết quả rất cao [7, 21]. Hai hướng nghiên cứu trên theo hai hướng tiếp cận khác nhau, xử lý trên dữ liệu mô hình 3D và tập ảnh 2D. Tuy nhiên cùng bắt nguồn từ dữ liệu đầu vào là thực thể và ảnh chụp, giữa mô hình 3D và tập dữ liệu 2D luôn tồn tại mối quan hệ lẫn nhau. Xuất phát từ nhận xét đánh giá này, chúng tôi đề xuất một hướng tiếp cận kết hợp xử lý và trích xuất thông tin hai chiều từ dữ liệu 2D, 3D và ngược lại để phân tích đặc trưng ngữ nghĩa 2D và 3D tương ứng. Bài báo này giới thiệu phương pháp tái tạo 3D từ tập ảnh 2D và xác định mối tương quan giữa tập ảnh 2D và mô hình 3D của cùng một đối tượng. Đồng thời với việc tái tạo, chúng tôi sử dụng phương pháp học sâu để nhận dạng và phân đoạn tập ảnh 2D. Trên hai kết quả đó bài báo bước đầu tái tạo và xác định mối quan hệ đặc trưng giữa các ảnh và mô hình 3D, đồng thời nhận dạng và phân tích đặc trưng ngữ nghĩa trên mô hình 3D, kết quả này phục vụ trong quá trình số hóa, lưu trữ và bảo tồn các di tích. Nghiên cứu của chúng tôi bước đầu nghiên cứu trên dữ liệu khảo cổ đó là bảo tàng Chămpa Đà Nẵng và tượng tại di tích Mỹ Sơn, nhằm mục đích số hóa, chú thích ngữ nghĩa trên bộ dữ liệu này. Bài báo được tổ chức bao gồm các phần chính như sau: phần I giới thiệu tổng quan, phần II giới thiệu một số nghiên cứu liên quan đến tái tạo mô hình 3D và phương pháp nhận dạng và phân tích đặc trưng 2D dựa vào kỹ thuật học sâu. Trong phần III, bài báo đề xuất một phương pháp kết hợp xử lý đồng thời từ tập dữ liệu 2D để tái tạo mô hình và nhận dạng các thành phần cấu thành đối tượng. Phần IV mô tả kết quả thử nghiệm với 2 bộ dữ liệu tượng Chămpa và phần V kết luận và thảo luận. II. NỘI DUNG Đã có nhiều phương pháp tái tạo mô hình 3D trên cơ sở ảnh và máy quét scan. Như [11] đưa ra một máy quét thời gian thực dựa trên máy quay phim và máy chiếu để hiện thị mô hình đối tượng. Và [10, 14] đã đề xuất một phương pháp trên cơ sở chỉ khai thác các ảnh chụp. Một số tiếp cận khác tái tạo đối tượng 3D trên cơ sở từ tập ảnh được thu thập từ nhiều nguồn khác nhau của đối tượng [14]. Các phương pháp tái tạo phụ thuộc vào máy móc và chi phí thường lớn và nghiên cứu chỉ dừng ở mô hình 3D tạo ra, chưa phân tích mối liên hệ giữa ảnh, mô hình 3D và mối tương quan của chúng. Việc tái tạo 3D từ nhiều ảnh là quá trình tạo ra mô hình ba chiều từ một tập các ảnh. Đó là một quá trình xử lý ngược thu ảnh 2D từ cảnh 3D. Bản chất của một hình ảnh là một phép chiếu từ một cảnh 3D trên một mặt phẳng 2D. 354 NHẬN DẠNG CÁC BỘ PHẬN TRÊN ĐỐI TƯỢNG 3D DỰA VÀO KỸ THUẬT HỌC SÂU MASK R-CNN Trong suốt quá trình xử lý thì ...