Luận văn Thạc sĩ Công nghệ thông tin: Xử lý nhập nhằng nghĩa của từ sử dụng học máy không giám sát

Mục tiêu nghiên cứu của đề tài là hiểu và phân biệt WSI và WSD, các phương pháp tiếp cận cho WSI và WSD. Tìm hiểu về mô hình chủ đề và các tiếp cận điển hình như HDP (mô hình Bayes phi tham số), LDA, CTM (mô hình Bayes có tham số). Tìm hiểu cách áp dụng các phương pháp HDP, LDA, CTM cho WSI . Sau đó ta xây dựng một hệ thống WSI dựa vào phương pháp HDP với dữ liệu ở quyết bài toán số 14 tại cuộc thi SemEval-2010 và so sánh các phương pháp khác cho WSI như LDA và CTM, ta thấy được ưu điểm của mô hình HDP, đó là xác định tự động số lượng nghĩa biến đổi trên một từ trong khi đó LDA, CTM lại cần một số nghĩa cố định trước được xây dựng bằng tay, đồng thời so sánh hiệu suất của các hệ thống này với các hệ thống tại SemEval 2010 và nhận thấy rằng HDP có kết quả vượt trội so với các hệ thống khác, hơn cả CTM và LDA. Trong phần công việc tương lai, một cách mới sử dụng HDP cho bài toán liên quan đã được đề xuất.
Nội dung trích xuất từ tài liệu:
Luận văn Thạc sĩ Công nghệ thông tin: Xử lý nhập nhằng nghĩa của từ sử dụng học máy không giám sát 1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ ------------------------------------------- TRẦN THỊ HIỀNXỬ LÝ NHẬP NHẰNG NGHĨA CỦA TỪ SỬ DỤNG HỌC MÁY KHÔNG GIÁM SÁTLUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN Hà Nội – 2014 2 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ ------------------------------------------- TRẦN THỊ HIỀN XỬ LÝ NHẬP NHẰNG NGHĨA CỦA TỪ SỬ DỤNG HỌC MÁY KHÔNG GIÁM SÁT Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TINNGƢỜI HƢỚNG DẪN KHOA HỌC: TIẾN SĨ NGUYỄN PHƢƠNG THÁI Hà Nội – 2014 1 LỜI CẢM ƠN Để hoàn thành được luận văn thạc sỹ này, trước hết tôi xin gửi lời cảm ơn sâu sắc nhất đếnTS.Nguyễn Phương Thái. Thầy đã cung cấp cho tôi những kiến thức, tài liệu, phương pháp khinghiên cứu một vấn đề mang tính khoa học. Thầy thường xuyên đưa ra và giúp tôi có những ýtưởng khi làm luận văn. Tôi xin chân thành cảm ơn thầy về sự hỗ trợ chân thành và nhiệt tìnhtrong suốt thời gian qua. Tôi xin bày tỏ lòng biết ơn tới các thầy, cô giáo trong Bộ môn Công nghệ phần mềm, KhoaCông nghệ thông tin - Phòng Đào tạo sau đại học - Nghiên cứu Khoa học, Trường Đại học Côngnghệ - Đại học Quốc gia Hà Nội đã tạo mọi điều kiện tốt nhất để tôi hoàn thành khóa học này.Đồng thời, tôi cũng xin cảm ơn gia đình, bạn bè, những người luôn khuyến khích và giúp đỡ tôitrong mọi hoàn cảnh khó khăn. Tôi xin cảm ơn cơ quan và các đồng nghiệp đã hết sức tạo điềukiện cho tôi trong suốt thời gian tôi học tập và rèn luyện tại trường Đại học Công nghệ - Đại họcQuốc gia Hà Nội. Tôi xin chân thành cảm ơn bạn Hoàng Thanh Tùng – K53 Trường Đại học Công nghệ - Đạihọc Quốc gia Hà Nội đã có những góp ý quý báu về đề tài nghiên cứu của tôi. Hà Nội, ngày 28 tháng 10 năm 2014 Học viên Trần Thị Hiền 2 LỜI CAM ĐOAN Tôi xin cam đoan những kiến thức trình bày trong luận văn này là do tôi tìm hiểu,nghiên cứu và trình bày theo cách hiểu của bản thân dưới sự hướng dẫn trực tiếp củaTS.Nguyễn Phương Thái. Trong quá trình làm luận văn tôi có tham khảo các tài liệu cóliên quan và đã ghi rõ nguồn gốc tham khảo tài liệu đó. Mọi sao chép không hợp lệ, viphạm quy chế đào tạo tôi xin chịu hoàn toàn trách nhiệm. Hà nội, ngày 28 tháng 10 năm 2014 Học viên Trần Thị Hiền 3 MỤC LỤCLỜI CẢM ƠN ................................................................................................................................ 1LỜI CAM ĐOAN ......................................................................................................................... 2MỤC LỤC...................................................................................................................................... 3DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT .......................................................................... 5DANH MỤC CÁC HÌNH VẼ ..................................................................................................... 6DANH MỤC CÁC BẢNG BIỂU ............................................................................................... 7MỞ ĐẦU ........................................................................................................................................ 8CHƢƠNG I: GIỚI THIỆU ........................................................................................................ 10 1.1. WSI và WSD ................................................................................................................... 10 1.2. Phương pháp tiếp cận cho WSD ................................................................................... 11 1.3. Phương pháp tiếp cận cho WSI ..................................................................................... 12 1.3.1. Phương pháp phân cụm ....................................................................................... 12 1.3.2. Đồ thị xuất hiện đồng thời (Co-occurrence graphs ) ................... ...