LUẬN VĂN: TRÍCH CHỌN THỰC THỂ TÊN NGƯỜI TRONG TIẾNG VIỆT

Trích chọn các loại thực thể nói chung, cũng như trích chọn tên người nói riêng là một bước cơ bản trong trích chọn thông tin từ văn bản và xử lý ngôn ngữ tự nhiên. Nó được ứng dụng nhiều trong dịch tự động, tóm tắt văn bản, hiểu ngôn ngữ tự nhiên, nhận biết tên thực thể trong sinh/y học và đặc biệt ứng dụng trong việc tích hợp tự động các đối tượng, thực thể từ môi trường Web vào các ontology ngữ nghĩa và các cơ sở tri thức. ...
Nội dung trích xuất từ tài liệu:
LUẬN VĂN: TRÍCH CHỌN THỰC THỂ TÊN NGƯỜI TRONG TIẾNG VIỆT ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Thu ThùyTRÍCH CHỌN THỰC THỂ TÊN NGƯỜI TRONG TIẾNG VIỆT KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI – 2009 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Thu ThùyTRÍCH CHỌN THỰC THỂ TÊN NGƯỜI TRONG TIẾNG VIỆT KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hướng dẫn: TS. Nguyễn Trí Thành HÀ NỘI – 2009 Lời cảm ơn Trước tiên, em muốn gửi lời cảm ơn sâu sắc nhất đến thầy giáo, TS. Nguyễn TríThành, những người đã tận tình hướng dẫn em trong suốt quá trình thực hiện khóaluận n ày. Em xin b ày tỏ lời cảm ơn sâu sắc đến những thầy cô giáo đã giảng dạy em trongbốn năm học qua, đã cho em những kiến thức quý báu đ ể em có thể vững bước trêncon đường đi của m ình . Tôi xin gửi lời cảm ơn sâu sắc tới các bạn trong lớp K50 CA đã ủng hộ vàkhuyến khích tôi trong suốt quá trình học tập tại trường. Và lời cuối cùng, tôi xin bày tỏ lòng chân thành và biết ơn vô hạn tới cha mẹ vàem trai tôi, những người luôn ở bên cạnh tôi những lúc tôi khó khăn nhất, giúp tôi vượtqua những khó khăn trong học tập cũng như trong cuộc sống. Xin chân thành cảm ơn! Sinh Viên Lê Thu Thùy i Tóm tắt Trích chọn các loại thực thể nói chung, cũng như trích chọn tên người nói riênglà một bước cơ bản trong trích chọn thông tin từ văn bản và xử lý ngôn ngữ tự nhiên.Nó được ứng dụng nhiều trong d ịch tự động, tóm tắt văn b ản , hiểu ngôn ngữ tự nhiên,nhận biết tên thực thể trong sinh/y học và đặc biệt ứng dụng trong việc tích hợp tựđộng các đối tượng, thực thể từ môi trường Web vào các ontology ngữ nghĩa và các cơsở tri thức. Trong khóa luận này, em trình bày một giải pháp trích chọn thực thể tên ngườicho các văn bản tiếng Việt trên môi trường Web. Sau khi xem xét các hướng tiếp cậnkhác nhau, em đã lựa chọn phương pháp d ựa trên giải thuật mở rộng quan hệ mẫu đốingẫu lặp lại (Dual Interative Pattern Relation Expansion - DIPRE) [17] mà Brin đã đềxuất. Đây là phương pháp sử dụng học bán giám sát (semi-supervised), dựa trên cácngữ cảnh (occurrences) xung quanh các thực thể đ ể trích chọn quan hệ mẫu , từ đó đưara được danh sách các thực thể cần nhận biết. ii Mục lụcLời cảm ơn ................................................................................................................... iTóm tắt ........................................................................................................................iiMục lục ................................................................ ................................ ..................... iiiBảng từ viết tắt ............................................................................................................ vDanh sách hình vẽ....................................................................................................... viMở đầu ........................................................................................................................ 1Chương 1. Bài toán trích ch ọn ..................................................................................... 3thực thể tên ngư ời ........................................................................................................ 3 1.1. Trích chọn thông tin .......................................................................................... 3 1.2. Tổng quan về bài toán trích chọn thực thể tên ................................................... 4 1.3. Bài toán trích chọn thực thể tên người trong văn bản tiếng Việt trên môi trường web .......................................................................................................................... 5 1.4. Ý ngh ĩa của b ài toán trích chọn thực thể tên người ............................................ 7Chương 2. Các hướng tiếp cận trong trích chọn thông tin ............................................ 9 2.1. Phương pháp dựa trên học máy ......................................................................... 9 2 .1.1. Mô hình Markov ẩn (HMM)....................................................................... 9 2.1.1.1. Tổng quan về HMM ............................................................................ 9 2.1.1.2. Hạn chế của mô hình HMM............................................................... 1 ...