Luận văn Thạc sĩ Công nghệ thông tin: Tóm tắt văn bản sử dụng các kỹ thuật trong deep learning

Ngoài phần mở đầu và phần kết luận, luận văn được chia thành 4 chương như sau: Chương 1) Giới thiệu bài toán tóm tắt văn bản, trình bày khái niệm và các phương pháp tiếp cận cho bài toán. Chương 2) Cơ sở lý thuyết: Trình bày những khái niệm và mô hình trong học sâu. Chương 3) Mô hình đề xuất: Trình bày cơ chế attention cùng thuật toán tìm kiếm chùm và áp dụng vào mô hình đề xuất. Chương 4) Thực nghiệm và đánh giá: Trình bày quá trình thử nghiệm và đưa ra một số đánh giá, nhận xét cùng kết quả đạt được.
Nội dung trích xuất từ tài liệu:
Luận văn Thạc sĩ Công nghệ thông tin: Tóm tắt văn bản sử dụng các kỹ thuật trong deep learningTRƯỜNG ĐẠI HỌC CÔNG NGHỆĐẠI HỌC QUỐC GIA HÀ NỘIĐOÀN XUÂN DŨNGTÓM TẮT VĂN BẢN SỬ DỤNG CÁC KỸ THUẬTTRONG DEEP LEARNINGNgành: Công Nghệ Thông TinChuyên ngành: Khoa học máy tínhMã số chuyên ngành: 8480101.01LUẬN VĂN THẠC SỸ NGÀNH CÔNG NGHỆ THÔNG TINNGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Nguyễn Xuân HoàiHÀ NỘI – 2018Lời cảm ơnLời đầu tiên tôi xin gửi lời cảm ơn chân thành và biết ơn đến PGS.TS NguyễnXuân Hoài, người thầy đã chỉ bảo và hướng dẫn tận tình trong quá trình tôi nghiêncứu khoa học và làm luận văn này.Tôi xin chân thành cảm ơn sự giúp đỡ nhiệt tình của PGS.TS Nguyễn Lê Minhtrong quá trình nghiên cứu tại Viện Khoa học và Công nghệ tiên tiến Nhật Bản(JAIST) từ tháng 4/2017 đến tháng 6/2017.Và cuối cùng tôi xin gửi lời cảm ơn tới gia đình, người thân, bạn bè – những ngườiluôn ở bên tôi những lúc khó khăn nhất, luôn động viên và khuyến khích tôi trongcuộc sống và trong công việc.Tôi xin chân thành cảm ơn!Hà Nội, ngày.......tháng.........năm 2018Người cam đoanĐoàn Xuân DũngLời cam đoanTôi xin cam đoan luận văn được hoàn thành trên cơ sở nghiên cứu, tổng hợp vàphát triển các nghiên cứu tóm tắt văn bản. Trong quá trình làm luận văn tôi cótham khảo các tài liệu có liên quan và đã ghi rõ nguồn gốc tài liệu.Tôi xin hoàn toàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo quy địnhcho lời cam đoan của mình.Hà Nội, ngày.......tháng.........năm 2018Người cam đoanĐoàn Xuân DũngMỤC LỤCMở đầu .......................................................................................................................1Chương 1: Giới thiệu tóm tắt văn bản .......................................................................31.1. Tóm tắt trích chọn .........................................................................................41.2. Tóm tắt tóm lược ...........................................................................................6Chương 2: Cơ sở lý thuyết .......................................................................................102.1. Mạng nơ-ron ................................................................................................102.1.1. Mạng nơ-ron đa lớp...............................................................................102.1.2. Lan truyền tiến ......................................................................................122.1.3. Tầng đầu ra............................................................................................142.1.4. Hàm lỗi ..................................................................................................152.1.5. Lan truyền ngược ..................................................................................162.2. Mô hình RNN ..............................................................................................182.2.1. Pha hướng tiến ......................................................................................192.2.2. Pha quay lui ...........................................................................................192.3. Mạng LSTM, GRU......................................................................................212.3.1. Mạng LSTM ..........................................................................................212.3.2. Mạng GRU ............................................................................................222.4. Mạng nơ-ron tích chập ................................................................................242.4.1. Tầng convolution ..................................................................................272.4.2. Tầng phi tuyến.......................................................................................282.4.3. Tầng pooling .........................................................................................292.4.4. Tầng kết nối đầy đủ ...............................................................................30Chương 3: Mô hình đề xuất .....................................................................................313.1. Cơ chế Attention ............................................................................................333.1.1. Kiến trúc RNN Encoder-Decoder ...........................................................333.1.2. Cơ chế Attention ...................................................................................343.1.3. BiRNN...................................................................................................363.2. Thuật toán tìm kiếm chùm ..........................................................................383.3. Mô hình đề xuất ...........................................................................................40Chương 4: Thực nghiệm và đánh giá.......................................................................434.1. Dữ liệu thử nghiệm..................................... ...