Luận văn Thạc sĩ Hệ thống thông tin: Nhận dạng thực thể định danh từ văn bản ngắn Tiếng Việt và đánh giá thực nghiệm

Luận văn được tổ chức thành 4 chương như sau: Chương 1 giới thiệu tổng quan về bài toán nhận dạng thực thể trong văn bản Tiếng Việt, những khó khăn gặp phải khi thực hiện bài toán này. Chương 2 định nghĩa học suốt đời, kiến trúc mô hình học suốt đời, các đặc điểm của học suốt đời và phương pháp áp dụng học suốt đời vào mô hình trường ngẫu nhiên có điều kiện. Chương 3 trình bày thuật toán L-CRFs nhằm tăng hiệu quả của mô hình trường ngẫu nhiên có điều kiện áp dụng. Chương 4 trình bày đánh giá thực nghiệm trong hai trường hợp.
Nội dung trích xuất từ tài liệu:
Luận văn Thạc sĩ Hệ thống thông tin: Nhận dạng thực thể định danh từ văn bản ngắn Tiếng Việt và đánh giá thực nghiệmĐẠI HỌC QUỐC GIA HÀ NỘITRƯỜNG ĐẠI HỌC CÔNG NGHỆPHẠM THỊ THU TRANGNHẬN DẠNG THỰC THỂ ĐỊNH DANH TỪ VĂN BẢNNGẮN TIẾNG VIỆT VÀ ĐÁNH GIÁ THỰC NGHIỆMLUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TINHà Nội - 2018ĐẠI HỌC QUỐC GIA HÀ NỘITRƯỜNG ĐẠI HỌC CÔNG NGHỆPHẠM THỊ THU TRANGNHẬN DẠNG THỰC THỂ ĐỊNH DANH TỪ VĂN BẢNNGẮN TIẾNG VIỆT VÀ ĐÁNH GIÁ THỰC NGHIỆMNgành: Công nghệ thông tinChuyên ngành: Hệ thống thông tinMã số: 60480104LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TINNGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Hà Quang ThụyHà Nội – 2018LỜI CẢM ƠNLời đầu tiên, em xin gửi lời cảm ơn sâu sắc nhất tới thầy giáo PGS.TS Hà QuangThụy đã tận tình giúp đỡ, chỉ bảo và hướng dẫn em trong suốt quá trình thực hiện luậnvăn này.Em xin bày tỏ lời cảm ơn trân thành đến những thầy cô nhiệt tình và tâm huyết đãgiảng dạy em trong suốt hai năm qua, giúp em trang bị những kiến thức cơ bản nhất để cóthể vững bước trong tương lai.Em muốn gửi lời cảm ơn tới các anh chị và các bạn trong phòng thí nghiệm Khoahọc dữ liệu và Công nghệ Tri thức đã chia sẻ cho em nhiều kiến thức bổ ích cũng nhưgiúp đỡ em những lúc khó khăn khi thực hiện khóa luận này.Lời cuối cùng, em muốn gửi lời cảm ơn đến cha mẹ và các chị những người luôn tintưởng và ủng hộ em trên con đường em đã chọn, cũng như luôn che chở và giúp đỡ em đểem có thể vượt qua những khó khăn trong cuộc sống.Hà Nội, ngày 16 tháng 11 năm 2018Học viênPhạm Thị Thu TrangLỜI CAM ĐOANEm xin cam đoan nhận dạng thực thể định danh từ văn bản ngắn tiếng Việt và đánhgiá thực nghiệm được trình bày trong luận văn này là do em thực hiện dưới sự hướng dẫncủa PGS.TS Hà Quang Thụy.Tất cả những tham khảo từ các nghiên cứu liên quan đều được nêu nguồn gốc mộtcách rõ ràng từ danh mục tài liệu tham khảo trong khóa luận. Trong khóa luận, không cóviệc sao chép tài liệu, công trình nghiên cứu của người khác mà không chỉ rõ về tài liệutham khảo.Hà Nội, ngày 16 tháng 11 năm 2018Học viênPhạm Thị Thu TrangMỤC LỤCMở đầu .................................................................................................................................. 1Chương 1. Bài toán nhận dạng thực thể cho văn bản ngắn Tiếng Việt ................................ 31.1Bài toán nhận dạng thực thể.................................................................................... 31.1.1Bài toán ............................................................................................................. 31.1.2 Khó khăn của bài toán nhận dạng thực thể trong văn bản ngắn Tiếng Việt ....... 51.2 Các nghiên cứu có liên quan .................................................................................... 61.2.1 Các nghiên cứu về nhận dạng thực thể trong Tiếng Anh .................................... 61.2.2 Các nghiên cứu về nhận dạng thực thể trong Tiếng Việt ..................................... 8Chương 2. Học suốt đời và mô hình trường ngẫu nhiên có điều kiện ................................. 92.1 Mô hình trường ngẫu nhiên có điều kiện áp dụng cho bài toán nhận dạng thực thể 92.1.1 Khái niệm mô hình trường ngẫu nhiên có điều kiện ............................................ 92.1.2 Ước lượng tham số cho mô hình ....................................................................... 112.1.3Tìm chuỗi nhãn phù hợp nhất .......................................................................... 122.2 Thuộc tính phụ thuộc tổng quát (G) ....................................................................... 122.3 Định nghĩa học suốt đời ......................................................................................... 142.4 Kiến trúc hệ thống học suốt đời ............................................................................. 162.5 Phương pháp đánh giá ............................................................................................ 182.6 Học giám sát suốt đời .............................................................................................. 202.7 Áp dụng học suốt đời vào mô hình trường ngẫu nhiên có điều kiện ...................... 20Chương 3. Mô hình học suốt đời áp dụng vào bài toán nhận dạng thực thể ...................... 223.1 Mẫu phụ thuộc........................................................................................................ 223.2 Thuật toán L-CRF ................................................................................................... 23Chương 4. Thực nghiệm và kết quả ................................................................................... 274.1 Môi trường và các công cụ sử dụng ....................................................................... 274.1.1Cấu hình phần cứng ......................................................................................... 274.1.2Các phần mềm và thư viện ................................................ ...