Nghiên cứu một số mô hình hỏi đáp tự động và ứng dụng trên dữ liệu nghiệp vụ đào tạo tại trường Đại học Công Thương Tp. Hồ Chí Minh

Bài viết "Nghiên cứu một số mô hình hỏi đáp tự động và ứng dụng trên dữ liệu nghiệp vụ đào tạo tại trường Đại học Công Thương Tp. Hồ Chí Minh" nghiên cứu một số mô hình hỏi đáp tự động tiên tiến và thực nghiệm trên dữ liệu đào tạo của trường đại học, cụ thể là Phòng Đào tạo Trường Đại học Công Thương Tp. Hồ Chí Minh. Kết quả thực nghiệm cho thấy, mô hình RoBERTa-Large cho kết quả tốt nhất trong ba mô hình được chọn thực nghiệm. Mời các bạn cùng tham khảo!
Nội dung trích xuất từ tài liệu:
Nghiên cứu một số mô hình hỏi đáp tự động và ứng dụng trên dữ liệu nghiệp vụ đào tạo tại trường Đại học Công Thương Tp. Hồ Chí MinhKỷ yếu Hội thảo khoa học Khoa Công nghệ thông tin, năm 2024NGHIÊN CỨU MỘT SỐ MÔ HÌNH HỎI ĐÁP TỰ ĐỘNG VÀ ỨNG DỤNG TRÊN DỮ LIỆU NGHIỆP VỤ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG THƯƠNG TP. HỒ CHÍ MINH Trần Thị Thu Thuý1,*, Trần Thanh Trâm1 1 Trường Đại học Công Thương Thành phố Hồ Chí Minh * Email: thuyttt@huit.edu.vn Ngày nhận bài: 15/04/2024; Ngày chấp nhận đăng: 20/05/2024 TÓM TẮT Hệ thống hỏi đáp tự động dần trở thành nhu cầu vô cùng cần thiết đối với nhiều cơquan, tổ chức, công ty kinh doanh. Ở môi trường giáo dục cũng vậy, đặc biệt trong trườngđại học có số lượng sinh viên đông, nhu cầu truy vấn thông tin về mọi mặt là vô cùng lớn,đặc biệt là nhu cầu thông tin về đào tạo – mảng công việc nòng cốt của bất kỳ cơ sở giáo dụcnào. Vì vậy, trong bài báo này, chúng tôi nghiên cứu một số mô hình hỏi đáp tự động tiêntiến và thực nghiệm trên dữ liệu đào tạo của trường đại học, cụ thể là Phòng Đào tạo TrườngĐại học Công Thương Tp. Hồ Chí Minh. Kết quả thực nghiệm cho thấy, mô hình Ro-BERTa-Large cho kết quả tốt nhất trong ba mô hình được chọn thực nghiệm. Kết quả này lànền tảng để chúng tôi hướng đến việc xây dựng hệ thống hỏi đáp tự động cho Phòng đào tạoTrường Đại học Công Thương Tp. Hồ Chí Minh trong tương lai. Từ khóa: Hỏi đáp tự động, Phòng đào tạo, Đại học Công Thương, BERT, Ro-BERTa. 1. MỞ ĐẦU Trong thời đại của phát triển công nghệ số, dữ liệu đóng vai trò cực kỳ quan trọng vàvới sự tiến bộ đáng kể trong lĩnh vực xử lý ngôn ngữ tự nhiên và trí tuệ nhân tạo (AI), cácmô hình hỏi đáp (QA) đã có tiềm năng ứng dụng rộng rãi trong thực tế. Việc nghiên cứu vàphát triển mô hình QA trên tập dữ liệu SQuAD tiếng Việt là hết sức cần thiết, bởi lúc nàychúng vẫn còn khá mới mẻ và chưa được nghiên cứu rộng rãi. Nghiên cứu các mô hình QAvà ứng dụng chúng trên SQuAD tiếng Việt mang ý nghĩa quan trọng đối với ngôn ngữ ViệtNam. Với sự gia tăng mạnh mẽ và phát triển của nguồn dữ liệu tiếng Việt trên internet, việcxử lý và truy xuất thông tin chính xác bằng tiếng Việt đã trở thành một thách thức lớn tronglĩnh vực này. Bằng cách nghiên cứu và áp dụng các mô hình Question Answer(QA) trênSQuAD tiếng Việt, chúng ta có cơ hội cải thiện hiệu quả trả lời câu hỏi và thúc đẩy phát triểnngôn ngữ trong cộng đồng Việt Nam về lĩnh vực nghiên cứu. Lĩnh vực nghiên cứu này đang chứng kiến sự bùng nổ với sự xuất hiện của các mô hìnhpre-trained như BERT, GPT và Transformer, cùng với các kỹ thuật transfer learning và fine- 258Trần Thị Thu Thúy, Trần Thanh Trâmtuning. Điều này hứa hẹn mở ra cánh cửa cho những tiến bộ đáng kể trong việc nghiên cứuvà phát triển mô hình QA trên SQuAD tiếng Việt. Từ đó với ý tưởng và mục đích của nhómlà hướng đến việc nắm bắt và ứng dụng những tiến bộ này, để góp phần xây dựng mô hìnhQA đáng tin cậy và ứng dụng chúng vào thực tiễn, góp phần thúc đẩy sự phát triển bền vữngcủa trí tuệ nhân tạo tại Việt Nam. Trong bài báo này, chúng tôi nghiên cứu các mô hình QA và ứng dụng chúng trên tậpdữ liệu nghiệp vụ đào tạo tại trường Đại học Công Thương Tp. Hồ Chí Minh (HUIT) theochuẩn SQuAD. 3 mô hình pre-trained phổ biến được chúng tôi sử dụng trong thực nghiệm là:PhoBERT, XLM-Roberta-base và XLM-Roberta-Large. Cấu trúc của bài báo bao gồm cácnội dung chính như sau: Phần 2 trình bày một số kiến thức nền tảng liên quan đến bài báo.Phần 3 liệt kê các bước thực hiện và Phần 4 thể hiện Kết quả thực nghiệm. Phần kết luận vàHướng phát triển được thực hiện ở Phần 5. 2. MỘT SỐ KIẾN THỨC NỀN TẢNG2.1 Question & Answer Mô hình trả lời câu hỏi là các mô hình học máy hoặc học sâu có thể trả lời các câu hỏiđược cung cấp một số ngữ cảnh và đôi khi không có bất kỳ ngữ cảnh nào (ví dụ: QA miềnmở) . Họ có thể trích xuất các cụm từ trả lời từ các đoạn văn, diễn giải câu trả lời một cáchkhái quát hoặc chọn một tùy chọn trong danh sách các tùy chọn đã cho, v.v. Tất cả phụ thuộc vào tập dữ liệu mà nó được đào tạo (ví dụ: SQuAD, CoQA, v.v.) hoặcvấn đề mà nó được đào tạo hoặc ở một mức độ nào đó là kiến trúc mạng thần kinh. Vì vậy,ví dụ: nếu bạn cung cấp đoạn văn này (ngữ cảnh) cho mô hình của mình được đào tạo đểtrích xuất các cụm từ trả lời từ ngữ cảnh và đặt câu hỏi như “Mô hình trả lời câu hỏi là gì?”,thì nó sẽ xuất ra dòng đầu tiên của đoạn văn này. Các mô hình Trả lời câu hỏi có thể truy xuất câu trả lời cho một câu hỏi từ một văn bảnnhất định, điều này hữu ích cho việc tìm kiếm câu trả lời trong tài liệu hiện nay. Một số môhình trả lời câu hỏi có thể tạo câu trả lời mà không cần ngữ cảnh cụ thể. Hình 1. Question Answer 2592.2 Transformer Transformer là một mô hình học sâu được giới thiệu trong bài báo “Attention is AllYou Need” của Vaswani et al (2017) [3] . Nó được sử dụng để giải quyết nhiều vấn đề trongxử lý ngôn ngữ tự nhiên (NLP), bao gồm dịch tự động, tóm tắt văn bản và câu trả lời câu hỏi.Transformer là một mô hình dựa trên sự chú ý, có nghĩa là nó tập trung vào các phần quantrọng của đầu vào để tạo ra đầu ra. Điều này trái ngược với các mô hình dựa trên RNN, vốnchỉ có thể xem xét các phần của đầu vào theo thứ tự. Sự chú ý cho phép Transformer họcmối quan hệ giữa các từ ở bất kỳ khoảng cách nào, điều này làm cho nó hiệu quả hơn đối vớicác tác vụ đòi hỏi hiểu mối quan hệ dài hạn, chẳng hạn như dịch tự động. ...