Sử dụng mô hình LSTM nhiều tầng vào bài toán tìm kiếm câu hỏi

Bài viết trình bày việc khai thác mô hình LSTM nhiều tầng áp dụng vào bài toán tìm câu hỏi tương đồng với mục đích khai thác ngữ nghĩa ẩn của câu. Mô hình LSTM nhiều tầng có khả năng tổng hợp ngữ nghĩa qua nhiều lớp.
Nội dung trích xuất từ tài liệu:
Sử dụng mô hình LSTM nhiều tầng vào bài toán tìm kiếm câu hỏi TNU Journal of Science and Technology 227(08): 389 - 394USING MULTI-LAYER LSTMS FOR QUESTION RETRIEVALLuong Thi Minh Hue*TNU - University of Information and Communication Technology ARTICLE INFO ABSTRACT Received: 01/4/2022 Question retrieval is one of the important problems in the Community Question Answering system. The biggest challenge of this problem is Revised: 26/5/2022 the lexical gap between the words and phrases of the first and second Published: 27/5/2022 question. Although there are many studies applied to this problem, the exploitation of multi-layer LSTM model has not been tested on thisKEYWORDS problem. In this paper, we exploit a multi-layer LSTM model applied to the problem of finding similar questions for the purpose ofLSTM exploiting hidden semantics of sentences. The multi-layer LSTMNLP model is capable of synthesizing semantics by multiple layers and exploits hidden semantics through many layers. Our model learnedDeep learning the semantics of sentences and improved the performance of findingCQA question. The results show that the model with 3 layers gives the bestMulti-layerLSTM results compared to the original LSTM model and other multi-layer models on the 2017 semeval dataset for the problem of finding similar questions.SỬ DỤNG MÔ HÌNH LSTM NHIỀU TẦNG VÀOBÀI TOÁN TÌM KIẾM CÂU HỎILương Thị Minh HuếTrường Đại học Công nghệ Thông tin và Truyền thông – ĐH Thái Nguyên THÔNG TIN BÀI BÁO TÓM TẮT Ngày nhận bài: 01/4/2022 Tìm câu hỏi tương đồng là một trong những bài toán quan trọng trong hệ thống hỏi đáp. Thách thức lớn nhất của bài toán này là thách Ngày hoàn thiện: 26/5/2022 thức về khoảng cách từ vựng giữa các từ trong câu hỏi thứ nhất và Ngày đăng: 27/5/2022 câu hỏi thứ hai. Mặc dù có nhiều nghiên cứu đề xuất các mô hình, tuy nhiên việc khai thác mô hình LSTM nhiều lớp chưa được thửTỪ KHÓA nghiệm trên bài toán này. Trong bài báo này, chúng tôi khai thác mô hình LSTM nhiều tầng áp dụng vào bài toán tìm câu hỏi tương đồngLSTM với mục đích khai thác ngữ nghĩa ẩn của câu. Mô hình LSTM nhiềuHọc sâu tầng có khả năng tổng hợp ngữ nghĩa qua nhiều lớp. Nó khai thácXử lý ngôn ngữ tự nhiên ngữ nghĩa ẩn qua nhiều tầng, từ đó giúp cho mô hình hiểu được ngữ nghĩa của câu. Kết quả chỉ ra rằng mô hình 3 tầng cho kết quả tốtHỏi đáp cộng đồng nhất so với mô hình gốc LSTM và các mô hình nhiều tầng khác trênMô hình đa tầng tập dữ liệu semeval 2017 cho bài toán tìm câu hỏi tương đồng.DOI: https://doi.org/10.34238/tnu-jst.5799Email: lmhue@ictu.edu.vnhttp://jst.tnu.edu.vn 389 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(08): 389 - 3941. Giới thiệu Hệ thống hỏi đáp dựa trên cộng đồng (CQA) đã trở thành một nền tảng trực tuyến ngày càngphổ biến. Các forum, nơi người dùng có thể đăng câu hỏi hoặc câu trả lời các câu hỏi của ngườidùng khác đã đăng lên, cung cấp cho người dùng nơi mà họ có thể chia sẻ kiến thức và kinhnghiệm của mình. Khi một người dùng đăng một câu hỏi mới lên hệ thống thì người dùng sẽ phảichờ một thời gian trễ nào đó để nhận câu trả lời từ người dùng khác. Hơn nữa, forum sau mộtthời gian hoạt động, lượng câu hỏi và câu trả lời sẽ được tích lũy trong kho dữ liệu là rất lớn.Điều đó có nghĩa là khả năng người dùng hỏi lại những câu hỏi lặp lại là rất lớn. Một lý do khác,khi lượng câu hỏi và câu trả lời lớn thì việc tìm câu trả lời cho câu hỏi trong kho dữ liệu có sẵnrất mất thời gian. Vì vậy, bài toán tìm kiếm câu hỏi tương đồng với câu hỏi mới với mục đích tậndụng câu trả lời đã có của những câu hỏi tương đồng với câu truy vấn [1], [2]. Hệ thống CQAhướng tới tìm câu trả lời một cách tự động từ câu trả lời của những câu hỏi đã có. Bài toán tìm kiếm câu hỏi tương đồng được định nghĩa như sau: Cho một câu hỏi truy vấn qvà một tập các câu hỏi đã có trong hệ thống {q1, q2, …, qn}, đầu ra yêu cầu trả về danh sách ...