LUẬN VĂN: MỞ RỘNG BỘ DỮ LIỆU HUẤN LUYỆN CHO QUÁ TRÌNH XỬ LÝ NHẬP NHẰNG NGHĨA CỦA TỪ

Trong các chủ đề thuộc lĩnh vực xử lý ngôn ngữ tự nhiên, xử lý nhập nhằng nghĩa của từ là một chủ đề dành được nhiều sự quan tâm chú ý của những nhà nghiên cứu, phát triển, ứng dụng khoa học máy tính. Lý do là mặc dù nếu đứng một mình, xử lý nhập nhằng nghĩa của từ ít đem lại lợi ích cụ thể trong đời sống hàng ngày, nhưng nó lại có một vai trò quan trọng trong nhiều ứng dụng xử lý ngôn ngữ tự nhiên hữu ích khác như dịch máy, tìm kiếm...
Nội dung trích xuất từ tài liệu:
LUẬN VĂN:MỞ RỘNG BỘ DỮ LIỆU HUẤN LUYỆN CHO QUÁ TRÌNH XỬ LÝ NHẬP NHẰNG NGHĨA CỦA TỪ ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Minh ĐứcMỞ RỘNG BỘ DỮ LIỆU HUẤN LUYỆN CHO QUÁ TRÌNH XỬ LÝ NHẬP NHẰNG NGHĨA CỦA TỪ KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI - 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Minh ĐứcMỞ RỘNG BỘ DỮ LIỆU HUẤN LUYỆN CHO QUÁ TRÌNH XỬ LÝ NHẬP NHẰNG NGHĨA CỦA TỪ KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hướng dẫn: Tiến sĩ Nguyễn Phương Thái HÀ NỘI - 2010Mở rộng bộ dữ liệu cho quá trình xử lý nhập nhằng nghĩa của từ LỜI CẢM ƠN Lời đầu tiên, tôi xin bày tỏ lòng biết ơn chân thành đến các thầy cô giáo trường Đạihọc Công Nghệ, Đại học Quốc Gia Hà Nội nói chung và các thầy cô trong bộ môn Khoahọc Máy Tính nói riêng. Trong suốt bốn năm học tập trong trường, các thầy cô khôngnhững tận tình truyền đạt kiến thức mà còn luôn động viên giúp đỡ tôi trong học tập cũngnhư trong cuộc sống. Đặc biệt, tôi muốn gửi lời cảm ơn sâu sắc đến thầy giáo, tiến sĩ Nguyễn PhươngThái, người đã tận tình chỉ bảo, hướng dẫn tôi trong suốt quá trình nghiên cứu và hoànthiện khóa luận tốt nghiệp. Tôi cũng xin cảm ơn các bạn sinh viên K51, đã luôn cùng tôi nghiên cứu và học tập,đã cho tôi những ý kiến đóng góp giá trị trong suốt thời gian học tập cũng như trong quátrình nghiên cứu đề tài khóa luận tốt nghiệp. Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc đến gia đình và bạn bè, những người luônđộng viên giúp đỡ tôi vượt qua những khó khăn trong cuộc sống. Hà Nội, ngày 21 tháng 5 năm 2010 Sinh viên Vũ Minh Đức iMở rộng bộ dữ liệu cho quá trình xử lý nhập nhằng nghĩa của từ TÓM TẮT KHÓA LUẬN Trong các chủ đề thuộc lĩnh vực xử lý ngôn ngữ tự nhiên, xử lý nhập nhằng nghĩacủa từ là một chủ đề dành được nhiều sự quan tâm chú ý của những nhà nghiên cứu, pháttriển, ứng dụng khoa học máy tính. Lý do là mặc dù nếu đứng một mình, xử lý nhậpnhằng nghĩa của từ ít đem lại lợi ích cụ thể trong đời sống hàng ngày, nhưng nó lại có mộtvai trò quan trọng trong nhiều ứng dụng xử lý ngôn ngữ tự nhiên hữu ích khác như dịchmáy, tìm kiếm thông tin, khai phá dữ liệu, … Do vậy đã có rất nhiều cách tiếp cận để giảiquyết vấn đề xử lý nhập nhằng nghĩa của từ được đưa ra như sử dụng bộ cở sở tri thức, ápdụng các luật để xử lý nhập nhằng, hoặc sử dụng các thuật toán học máy có giám sát đểphân lớp nghĩa của từ … Trong tất cả các cách tiếp cận trên, lớp phương pháp dựa vàocác thuật toán học máy có giám sát tỏ ra là có được một kết quả xử lý nhập nhằng tốtnhất. Tuy vậy lớp phương pháp này có một nhược điểm đó là yêu cầu một bộ dữ liệu huấnluyện (thường là lớn) các trường hợp xuất hiện của từ đã được gán nhãn nghĩa sẵn. Nếuphải chuẩn bị bộ dữ liệu huấn luyện này một cách thủ công thì ta phải tốn rất nhiều côngsức, thời gian và chi phí do vậy tìm kiếm một giải pháp cho phép tự động hóa giai đoạnnày là một nhu cầu thực tế. Nắm bắt được nhu cầu trên, đề tài khóa luận của tôi được thựchiện nhằm mục đích tìm hiểu phương pháp xây dựng một hệ thống xử lý nhập nhằngnghĩa của từ, đóng vai trò như một công cụ cho phép mở rộng bộ dữ liệu nhỏ đã gánnghĩa cho các trường hợp xuất hiện của từ đang cần mở rộng dữ liệu huấn luyện thànhmột bộ dữ liệu huấn luyện đủ lớn nhưng chỉ đòi hỏi rất ít công sức của con người, hỗ trợcho quá trình xử lý nhập nhằng nghĩa của những từ mang nội dung trong ngôn ngữ tựnhiên. iiMở rộng bộ dữ liệu cho quá trình xử lý nhập nhằng nghĩa của từ MỤC LỤCLỜI CẢM ƠN ........................................................................................................................ iTÓM TẮT KHÓA LUẬN ....................................................................................................iiMỤC LỤC .......................................................................................................................... iiiDANH MỤC HÌNH VẼ ...................................................................................................... viDANH MỤC BẢNG BIỂU ................................................................................................viiChương 1: Mở đầu ................................................................................................................ 1 Đặt vấn đề .............................................. ...