LUẬN VĂN: TÌM HIỂU MÔ HÌNH CRF VÀ ỨNG DỤNG TRONG TRÍCH CHỌN THÔNG TIN TRONG TIẾNG VIỆT

Nội dung của khóa luận là tìm hiểu mô hình CRF, và ứng dụng của mô hình này trong trích chọn thông tin trong tiếng Việt. Trước hết khóa luận trình bày những khái niệm chung về trích chọn thông thông tin. Đồng thời nêu đến hai hướng tiếp cận để xây dựng một hệ thống trích chọn thông tin cũng như ưu nhược điểm của từng hướng tiếp cận, Đồng thời cũng nêu ra được ứng dụng của trích chọn thông tin trong tiếng Việt như thế nào. Cụ thể ở đây là bài toán trích chọn thông tin...
Nội dung trích xuất từ tài liệu:
LUẬN VĂN: TÌM HIỂU MÔ HÌNH CRF VÀ ỨNG DỤNG TRONG TRÍCH CHỌN THÔNG TIN TRONG TIẾNG VIỆT TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Loan TÌM HIỂU MÔ HÌNH CRFVÀ ỨNG DỤNG TRONG TRÍCH CHỌN THÔNG TIN TRONG TIẾNG VIỆT KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI -2009 i TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Loan TÌM HIỂU MÔ HÌNH CRFVÀ ỨNG DỤNG TRONG TRÍCH CHỌN THÔNG TIN TRONG TIẾNG VIỆT KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hướng dẫn : Tiến Sĩ Nguyễn Trí Thành HÀ NỘI – 2009 ii LỜI CẢM ƠN Trước tiên, em muốn gửi lời cảm ơn sâu sắc đến Tiến Sĩ Nguyễn Trí Thành, ngườiđã tận tình hướng dẫn em trong suốt quá trình thực hiện khóa luận. Em xin gửi lời cảm ơn chân thành và sâu sắc tới các thầy, cô tại trường Đại họcCông Nghệ đã dạy dỗ và tận tình chỉ bảo cho tôi trong suốt quá trình học tập tại trường.Những kiến thức mà thầy cô truyền đạt sẽ là vốn quý báu cho chúng em bước vào tươnglai. Mình xin cảm ơn tập thể sinh viên K50C Trường Đại học Công Nghệ đã ủng hộ vàkhuyến khích tôi trong quá trình nghiên cứu và thực hiện khóa luận này. Cuối cùng, con xin cảm ơn chân thành và biết ơn vô hạn tới gia đình, những ngườicó công sinh thành, nuôi dưỡng, những người luôn kịp thời động viên và giúp đỡ vượt quanhững khó khăn trong cuộc sống. Mặc dù đã cố gắng hoàn thành luận văn trong phạm vi và khả năng cho phép nhưngchắc chắn sẽ không tránh khỏi những thiếu sót. Chúng em kính mong nhận được sự thôngcảm của quý Thầy Cô và các bạn Hà Nội, ngày 12 tháng 5 năm 2009 Sinh viên Nguyễn Thị Loan iii TÓM TẮT Nội dung của khóa luận là tìm hiểu mô hình CRF, và ứng dụng của mô hình nàytrong trích chọn thông tin trong tiếng Việt. Trước hết khóa luận trình bày những kháiniệm chung về trích chọn thông thông tin. Đồng thời nêu đến hai hướng tiếp cận để xâydựng một hệ thống trích chọn thông tin cũng như ưu nhược điểm của từng hướng tiếp cận,Đồng thời cũng nêu ra được ứng dụng của trích chọn thông tin trong tiếng Việt như thếnào. Cụ thể ở đây là bài toán trích chọn thông tin nhà đất. Để ứng dụng trích chọn trong tiếng Việt luận văn đã nêu ra được ba mô hình họcmáy trong đó tập trung chủ yếu vào mô hình Conditional Random Field –CRF. Bất kỳ môhình nào cũng có ưu nhược điểm trong luận văn này trình bày hai vấn đề lớn của mô hìnhCRF đó là vấn đề gán nhãn và ước lượng tham số. Đồng thời cũng trình bày về công cụhữu ích CRF++. Luận văn cũng trình bày được việc ứng dụng mô hình CRF làm nền tảng lý thuyếtvà cơ sở thực hành là công cụ CRF vào bài toán trích chọn thông tin nhà đất. Một bài toánnhỏ trong bài toán xử lý ngôn ngữ tự nhiên. iv MỤC LỤCLỜI CẢM ƠN ................................................................................................................... iiiTÓM TẮT ..........................................................................................................................ivMỤC LỤC ...........................................................................................................................vDANH MỤC CÁC HÌNH VẼ ..........................................................................................viiBẢNG CÁC KÍ HIỆU VIẾT TẮT ................................................................................ viiiLỜI MỞ ĐẦU .....................................................................................................................1Chương 1.TỔNG QUAN....................................................................................................3 1.1. TRÍCH CHỌN THÔNG TIN ................................................................................................ 3 1.2. CÁC CÁCH TIẾP CẬN TRÍCH CHỌN THÔNG TIN ........................................................ 5 1.2.1. Hướng tiếp cận dựa trên tri thức.......................................................................5 1.2.2. Hướng tiếp cận xây dựng các mô hình học máy ...............................................5 1.3. KIẾN TRÚC HỆ THỐNG IE................................................................................................ 7 1.4. BÀI TOÁN TRÍCH CHỌN THÔNG TIN NHÀ ĐẤT .............. ...