Nâng cao hiệu quả truy vấn hình ảnh theo ngữ nghĩa trên cây phân cụm C-Tree

Bài viết trình bày đề xuất xây dựng cấu trúc cây phân cụm C-tree nhằm lưu trữ hình ảnh và nâng cao hiệu quả tìm kiếm hình ảnh tương tự, trích xuất ngữ nghĩa của các hình ảnh tương tự dựa trên véctơ từ thị giác đã được tạo ra, xây dựng mô hình truy vấn hình ảnh dựa trên cây phân cụm C-tree và ứng dụng dựa trên mô hình đã nghiên cứu
Nội dung trích xuất từ tài liệu:
Nâng cao hiệu quả truy vấn hình ảnh theo ngữ nghĩa trên cây phân cụm C-TreeKỷ yếu Hội nghị KHCN Quốc gia lần thứ XI về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 09-10/8/2018DOI: 10.15625/vap.2018.00049 NÂNG CAO HIỆU QUẢ TRUY VẤN HÌNH ẢNH THEO NGỮ NGHĨA TRÊN CÂY PHÂN CỤM C-Tree Nguyễn Thị Uyên Nhi1,3, Văn Thế Thành2, Lê Mạnh Thạnh1 1 Trường Đại học Khoa học, Đại học Huế 2 Trường Đại học Công nghiệp Thực phẩm TP.HCM 3 Trường Đại học Sài Gòn ntunhi@sgu.edu.vn, vanthethanh@gmail.com, lmthanh@hueuni.edu.vn TÓM TẮT: Dữ liệu hình ảnh đang gia tăng nhanh chóng trong các hệ thống đa phương tiện gây khó khăn trong việc tìmkiếm thông tin hình ảnh. Trong bài báo này, chúng tôi xây dựng mô hình truy vấn ảnh theo ngữ nghĩa nhằm nâng cao hiệu quảtìm kiếm ảnh tương tự. Để thực hiện mô hình này, chúng tôi sử dụng phương pháp K-means nhằm phân cụm đặc trưng thị giáccủa hình ảnh, đề xuất khoảng cách độ đo tương tự theo ngữ nghĩa giữa hai hình ảnh dự a trên đặc trưng thị giác cấp thấp, tạo ravéctơ từ thị giác cho hình ảnh, xây dựng cấu trúc cây phân cụm C-tree nhằm lưu trữ và nâng cao hiệu quả tìm kiếm hình ảnhtương tự; từ đó, chúng tôi trích xuất ngữ nghĩa của các hình ảnh tương tự dựa trên véctơ từ thị giác đã được tạo ra. Nhằm minhchứng tính hiệu quả của các đề xuất, chúng tôi xây dựng ứng dụng và đánh giá kết quả thực nghiệm trên bộ dữ liệu ảnhImageCLEF gồm 20,000 hình ảnh.Từ khóa: Sematic-based images retrieval, similarity measure, C-Tree, K-mean.I. GIỚI THIỆU Trong thập niên vừa qua, một kho dữ liệu ảnh khổng lồ đang được chia sẻ rộng rãi trên Word Wide Web. Cácnhà khoa học trên thế giới đã nghiên cứu rất nhiều các phương pháp truy vấn hình ảnh với mục đích nâng cao hiệu quảvà tính chính xác của tìm kiếm ảnh. Các kỹ thuật tìm kiếm hình ảnh thường được sử dụng chủ yếu dựa trên các từ khóa[1]. Những kỹ thuật này sử dụng danh sách từ khóa để mô tả nội dung thông tin, hệ thống tìm kiếm dựa trên từ khoákhớp với tìm kiếm văn bản của người dùng để mô tả văn bản của hình ảnh và trả lại tất cả các hình ảnh có mô tả phùhợp. Tuy nhiên, các nhà nghiên cứu đã chỉ ra một số hạn chế của kỹ thuật này, như tính chủ quan của các mô tả(metadata), sự mơ hồ của ngôn ngữ tự nhiên, có thể các kết quả trả lại có chứa hình ảnh không liên quan khi mô tảkhông chính xác… Chính vì thế, các nhà khoa học đã nghiên cứu các hệ thống tìm kiếm hình ảnh dựa trên nội dungCBIR (Content-Based Image Retrieval), sử dụng các tính năng trực quan cấp thấp như màu sắc, kết cấu, hình dạng vàvị trí,… được trích xuất từ các điểm ảnh vào chỉ mục và tìm kiếm các hình ảnh sử dụng các kỹ thuật xử lý và phân tíchhình ảnh [2, 3]. Việc tìm kiếm hình ảnh dựa trên nội dung (CBIR) đã được nghiên cứu trong nhiều năm tập trung vào việc tríchxuất và so sánh các tính năng từ các hình ảnh [4, 5]. Các tính năng được tự động trích ra từ các điểm ảnh bằng cách sửdụng màu sắc chiếm ưu thế, kết cấu hoặc hình dạng chi phối (tức là kỹ thuật này tập trung vào các tính năng trực quancủa hình ảnh) và được sử dụng trong các biện pháp tương tự đã được lựa chọn cụ thể để lấy các hình ảnh tương tự. Cácnhà nghiên cứu trong thập kỷ qua đã chứng minh tính hiệu quả và tính chính xác của các kỹ thuật dựa trên CBIR, tuynhiên, CBIR vẫn thiếu sự hiểu biết về phân tích ngữ nghĩa của hình ảnh, tạo nên khoảng cách về ngữ nghĩa của hìnhảnh [6]. Ví dụ: nếu người dùng muốn tìm kiếm hình ảnh, hệ thống CBIR sẽ không thể ánh xạ ý tưởng con người vàotính năng hình ảnh (tức là tạo khoảng cách về ngữ nghĩa giữa các tính năng hình ảnh ở mức thấp và các khái niệm cấpcao của con người). Do đó, phân tích ngữ nghĩa cần được kết hợp trong việc tìm kiếm hình ảnh dựa trên nội dung đểthu hẹp khoảng cách ngữ nghĩa này. Để giải quyết vấn đề này, đã có nhiều phương pháp kết hợp giữa nội dung hình ảnh và các khía cạnh ngữ nghĩa.Tìm kiếm hình ảnh dựa trên ngữ nghĩa là một phương pháp hữu ích để chuyển từ tìm kiếm dựa trên từ khóa, nội dungsang việc thu thập hình ảnh theo khái niệm. Các hình ảnh chú thích ngữ nghĩa có thể được tạo ra theo cách thủ cônghoặc tự động và chúng có thể khác nhau trong các hình thức biểu diễn và các cách xây dựng các mối quan hệ giữa cáckhái niệm, nhưng tất cả chúng đều là một đặc tả rõ ràng của một khái niệm hóa. Trong bài báo này, chúng tôi đề xuất xây dựng cấu trúc cây phân cụm C-tree nhằm lưu trữ hình ảnh và nâng caohiệu quả tìm kiếm hình ảnh tương tự, trích xuất ngữ nghĩa của các hình ảnh tương tự dựa trên véctơ từ thị giác đã đượctạo ra, xây dựng mô hình truy vấn hình ảnh dựa trên cây phân cụm C-tree và ứng dụng dựa trên ...