Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu tóm tắt văn bản tự động và ứng dụng

Trong luận văn này, tác giả tập trung nghiên cứu tóm tắt văn bản tự động theo hướng tóm lược, các mô hình kiến trúc mạng học sâu và các kỹ thuật xử lý những thách thức trong tóm tắt văn bản. Bố cục của luận văn được tổ chức thành như sau: Chương 1. Khái quát bài toán tóm tắt văn bản; chương 2. Một số nghiên cứu về tóm tắt văn bản; chương 3. Mạng nơ ron nhân tạo; chương 4. Xây dựng hệ thống tóm tắt văn bản theo hướng tóm lược, chương 5. Thử nghiệm và đánh giá.
Nội dung trích xuất từ tài liệu:
Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu tóm tắt văn bản tự động và ứng dụng ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VIẾT HẠNH NGHIÊN CỨU TÓM TẮT VĂN BẢN TỰ ĐỘNG VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI – 2018 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VIẾT HẠNH NGHIÊN CỨU TÓM TẮT VĂN BẢN TỰ ĐỘNG VÀ ỨNG DỤNG Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: TS. NGUYỄN VĂN VINH HÀ NỘI - 2018 3 LỜI CAM ĐOAN Tôi là Nguyễn Viết Hạnh, học viên lớp Kỹ Thuật Phần Mềm K22 xin cam đoan báo cáo luận văn này đƣợc viết bởi tôi dƣới sự hƣớng dẫn của thầy giáo, tiến sỹ Nguyễn Văn Vinh. Tất cả các kết quả đạt đƣợc trong luận văn này là quá trình tìm hiểu, nghiên cứu của riêng tôi. Trong toàn bộ nội dung của luận văn, những điều đƣợc trình bày là kết quả của cá nhân tôi hoặc là đƣợc tổng hợp từ nhiều nguồn tài liệu khác. Các tài liệu tham khảo đều có xuất xứ rõ ràng và đƣợc trích dẫn hợp pháp. Tôi xin hoàn toàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo quy định cho lời cam đoan của mình. Hà Nội, ngày ….. tháng …… năm 2018 Ngƣời cam đoan Nguyễn Viết Hạnh 4 LỜI CẢM ƠN Lời đầu tiên, tôi xin bày tỏ sự cảm ơn chân thành đối với Thầy giáo TS. Nguyễn Văn Vinh – giáo viên hƣớng dẫn trực tiếp của tôi. Thầy Vinh đã cho tôi những gợi ý và chỉ dẫn quý báu trong quá trình nghiên cứu và hoàn thiện luận văn thạc sĩ. Tôi cũng xin gửi lời cảm ơn tới các thầy cô trong khoa Công nghệ thông tin, trƣờng Đại học Công Nghệ, Đại học Quốc gia Hà Nội đã hƣớng dẫn, chỉ bảo và tạo điều kiện cho chúng tôi học tập và nghiên cứu tại trƣờng trong suốt thời gian qua. Tôi cũng xin đƣợc cảm ơn gia đình, những ngƣời thân, các đồng nghiệp và bạn bè tôi đã quan tâm, động viên, giới thiệu các tài liệu hữu ích trong thời gian học tập và nghiên cứu luận văn tốt nghiệp. Mặc dù đã cố gắng hoàn thành luận văn nhƣng chắc chắn sẽ không tránh khỏi những sai sót, tôi kính mong nhận đƣợc sự thông cảm và chỉ bảo của các thầy cô và các bạn. Tôi xin chân thành cảm ơn! 5 MỤC LỤC LỜI CAM ĐOAN ................................................................................................................. 3 LỜI CẢM ƠN ....................................................................................................................... 4 MỤC LỤC ............................................................................................................................ 5 BẢNG CÁC TỪ VIẾT TẮT ................................................................................................ 7 DANH MỤC HÌNH VẼ ....................................................................................................... 8 MỞ ĐẦU ............................................................................................................................ 10 CHƢƠNG 1: KHÁI QUÁT BÀI TOÁN TÓM TẮT VĂN BẢN...................................... 12 1.1. Bài toán tóm tắt văn bản tự động............................................................................. 12 1.2. Các hƣớng tiếp cận tóm tắt văn bản. ....................................................................... 12 CHƢƠNG 2: MỘT SỐ NGHIÊN CỨU VỀ TÓM TẮT VĂN BẢN ................................ 14 2.1. Tóm tắt văn bản theo hƣớng trích chọn. .................................................................. 14 2.1.1. Phƣơng pháp chủ đề đại diện dựa trên tần xuất ................................................... 15 2.1.1.1. Word probability ........................................................................................... 15 2.1.1.2. Phƣơng pháp TF-IDF .................................................................................... 16 2.1.2. Phƣơng pháp đặc trƣng đại diện ........................................................................... 16 2.1.2.1. Phƣơng pháp đồ thị cho tóm tắt văn bản ........................................................... 16 2.1.2.2. Kỹ thuật học máy cho tóm tắt văn bản .............................................................. 17 2.2. Tóm tắt văn bản theo hƣớng tóm lƣợc .................................................................... 17 CHƢƠNG 3: MẠNG NƠ RON NHÂN TẠO ................................................................... 19 3.1. Mạng nơ ron nhân tạo ANN .................................................................................... 19 3.1.1. Cấu trúc mạng nơ ron nhân tạo ............................................................................ 19 3.1.2. Hoạt động của mạng ANN ................................................................................... 20 3.2. Mạng nơ ron hồi quy RNN ...................................................................................... 21 3.3. Mạng nơ ron có nhớ LSTM ..................................................................................... 23 CHƢƠNG 4: XÂY DỰNG HỆ THỐNG TÓM TẮT VĂN BẢN THEO HƢỚNG TÓM LƢỢC ...