Luận án Tiến sĩ Toán học: Nghiên cứu nâng cao hiệu quả phân tích cú pháp tiếng Việt theo tiếp cận học máy thống kê

Luận án trình bày cơ sở lý thuyết về cú pháp tiếng Việt, gán nhãn vai nghĩa và biểu diễn phân bố từ. Xây dựng tập nhãn phụ thuộc và vai nghĩa cho tiếng Việt. Sau đó luận án đề xuất phương pháp xây dựng kho ngữ liệu gán nhãn cú pháp phụ thuộc và gán nhãn vai nghĩa cho tiếng Việt. Mời các bạn cùng tham khảo.
Nội dung trích xuất từ tài liệu:
Luận án Tiến sĩ Toán học: Nghiên cứu nâng cao hiệu quả phân tích cú pháp tiếng Việt theo tiếp cận học máy thống kê ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN _______________________ Nguyễn Thị LươngNGHIÊN CỨU NÂNG CAO HIỆU QUẢ PHÂN TÍCH CÚ PHÁP TIẾNG VIỆTTHEO TIẾP CẬN HỌC MÁY THỐNG KÊ LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN _______________________ Nguyễn Thị Lương NGHIÊN CỨU NÂNG CAO HIỆU QUẢ PHÂN TÍCH CÚ PHÁP TIẾNG VIỆTTHEO TIẾP CẬN HỌC MÁY THỐNG KÊ Chuyên ngành: Cơ sở toán cho tin học Mã số: 9460117.02 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. Lê Hồng Phương PGS.TS. Đỗ Trung Tuấn XÁC NHẬN NCS ĐÃ CHỈNH SỬA THEO QUYẾT NGHỊ CỦA HỘI ĐỒNG ĐÁNH GIÁ LUẬN ÁNChủ tịch hội đồng đánh giá Người hướng dẫn khoa học Luận án Tiến sĩPGS.TS. Phan Xuân Hiếu TS. Lê Hồng Phương Hà Nội - 2020 Lời cam đoanTôi xin cam đoan đây là công trình nghiên cứu khoa học của tôi. Các số liệusử dụng phân tích trong luận án có nguồn gốc rõ ràng, đã công bố theo đúngquy định. Các kết quả này chưa từng được công bố trong bất kỳ nghiên cứu nàokhác. Hà Nội, ngày 10 tháng 3 năm 2020 Nghiên cứu sinh Nguyễn Thị Lương Lời cảm ơn Trong quá trình thực hiện đề tài “Nghiên cứu nâng cao hiệu quả phân tíchcú pháp tiếng Việt theo tiếp cận học máy thống kê”, tôi đã nhận được rất nhiềusự giúp đỡ, tạo điều kiện của Ban Giám hiệu, thầy cô trong khoa Sau Đại họcvà khoa Toán - Cơ - Tin học của trường Đại học Khoa học Tự nhiên, Đại họcQuốc gia Hà Nội. Tôi xin bày tỏ lòng cảm ơn chân thành về sự giúp đỡ đó. Tôi xin bày tỏ lòng biết ơn sâu sắc tới TS. Lê Hồng Phương, PGS.TS. ĐỗTrung Tuấn - những người thầy đã tận tình hướng dẫn trực tiếp cho tôi hoànthành luận án này. Tôi xin chân thành cảm ơn Ban Giám hiệu, thầy cô trong khoa Công nghệThông tin, trường Đại học Đà Lạt nơi tôi đang công tác và gia đình, bạn bè đãđộng viên, khích lệ, tạo điều kiện và giúp đỡ tôi trong suốt quá trình thực hiệnvà hoàn thành luận án này. Hà Nội, ngày 10 tháng 3 năm 2020 Nghiên cứu sinh Nguyễn Thị LươngMục lụcDanh sách bảng ivDanh sách hình vẽ viiMở đầu 11 Cơ sở lý thuyết 7 1.1 Khái niệm cơ bản trong tiếng Việt . . . . . . . . . . . . . . . . 7 1.1.1 Từ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.1.2 Từ loại . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.1.3 Cụm từ . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.1.4 Câu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.1.5 Cú pháp . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.1.6 Vai nghĩa . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.2 Cú pháp thành phần . . . . . . . . . . . . . . . . . . . . . . . . 20 1.2.1 Bài toán phân tích cú pháp thành phần . . . . . . . . . 21 1.2.2 Phương pháp phân tích cú pháp thành phần . . . . . . . 22 1.2.3 Khảo sát nghiên cứu cho phân tích cú pháp thành phần 25 1.3 Cú pháp phụ thuộc . . . . . . . . . . . . . . . . . . . . . . . . . 28 1.3.1 Bài toán phân tích cú pháp phụ thuộc . . . . . . . . . . 28 1.3.2 Biểu diễn cú pháp phụ thuộc . . . . . . . . . . . . . . . 29 1.3.3 Các thuật toán phân tích cú pháp phụ thuộc . . . . . . . 31 1.3.4 Khảo sát nghiên cứu cho phân tích cú pháp phụ thuộc . 37 1.4 Gán nhãn vai nghĩa . . . . . . . . . . . . . . . . . . . . . . . . . 43 1.4.1 Bài toán gán nhãn vai nghĩa . . . . . . . . . . . . . . . . 43 1.4.2 Các công trình liên quan . . . . . . . . . . . . . . . . . . 44 1.4.3 Khảo sát nghiên cứu cho gán nhãn vai nghĩa . . . . . . . 48 1.5 Biểu diễn phân bố từ . . . . . . . . . . . . . . . . . . . . . . . . 49 1.5.1 Mô hình Skip-gram . . . . . . . . . . . . . . . . . . . . . 50 1.5.2 Mô hình túi từ liên tục . . . . . . . . . . . . . . . . . . . 51 1.5.3 Mô hình GloVe . . . . . . . . . . . . . . . . . . . . . . . 52 1.5.4 Biểu diễn từ dựa vào ngữ cảnh sâu . . . . . . . . . . . . 52 1.6 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 i2 Xây dựng kho ngữ liệu gán nhãn cú pháp phụ thuộc và vai nghĩa tiếng Việt 55 2.1 Kho ngữ liệu Treebank . . . . . . . . . . . . . . . . . . . . . . . 56 2.2 Xây dựng kho ngữ liệu gán nhãn cú pháp phụ thuộc . . . . . . . 57 2.2.1 Tập nhãn quan hệ phụ thuộc tiếng Việt . . . . . . . . . . 59 2.2.2 Xác định cụm từ trung tâm . . . . . . . . . . . . . . . . 69 2.2.3 Xác định nhãn phụ thuộc . . . . . . . . . . . . . . . . . 70 2.2.4 Thuật toán chuyển từ câu cú pháp thành phần thành cú ...