Đề Tài: Tích hợp thông tin hình thái từ vào hệ dịch máy thống kê Anh-Việt

Đề tài sẽ tiếp cận theo hướng tích hợp tri thức ngôn ngữ vào hệ thống dịch máy thống kê Anh – Việt ở mức độ hình thái từ. Từ tiếng Anh sẽ được đưa về nguyên mẫu, tách các phụ tố và gán nhãn từ loại, từ tiếng Việt sẽ được phân đoạn từ và gán nhãn từ loại. Đề tài cũng sẽ phân tích các từ loại có ảnh hưởng tích cực đến chất lượng dịch của hệ thống.Read more: http://luanvan.thanhcuong.info/?p=66...
Nội dung trích xuất từ tài liệu:
Đề Tài: Tích hợp thông tin hình thái từ vào hệ dịch máy thống kê Anh-Việt ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN NGUYỄN THỊ NGỌC MAITÍCH HỢP THÔNG TIN HÌNH THÁI TỪ VÀO HỆ DỊCH MÁY THỐNG KÊ ANH - VIỆT LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH Thành phố Hồ Chí Minh - 2010 MỤC LỤCMỤC LỤC ...................................................................................................................1DANH SÁCH CÁC BẢNG ........................................................................................4DANH SÁCH CÁC HÌNH .........................................................................................5CHƢƠNG 1: GIỚI THIỆU .........................................................................................6 Đặt vấn đề ......................................................................................................6 1.1. Hướng tiếp cận của đề tài ..............................................................................8 1.2. Nội dung của luận văn ...................................................................................9 1.3.CHƢƠNG 2: TỔNG QUAN .....................................................................................11 Dịch máy thống kê .......................................................................................11 2.1. Dịch máy thống kê dựa trên từ .............................................................11 2.1.1. Mô hình dịch máy thống kê dựa trên ngữ .............................................19 2.1.2. Mô hình dịch thống kê factored (Factored SMT) .................................26 2.1.3. Mô hình dịch máy thống kê dựa trên cú pháp ......................................29 2.1.4. Các tiêu chuẩn đánh giá chất lượng dịch .....................................................31 2.2. 2.2.1. BLEU (Bilingual Evaluation Understudy) ...........................................32 2.2.2. NIST......................................................................................................32 2.2.3. TER (Translation Error Rate) ...............................................................32CHƢƠNG 3: .............................................................................................................33CÁC HƢỚNG TÍCH HỢP TRI THỨC NGÔN NGỮ VÀO DỊCH MÁY THỐNGKÊ..............................................................................................................................33 Sử dụng tri thức ngôn ngữ để tiền xử lý ......................................................33 3.1. 3.1.1. Dùng thông tin cú pháp .........................................................................34 Trang 1 Sử dụng thông tin từ loại ......................................................................36 3.1.2. Sử dụng luật biến đổi hình thái từ.........................................................37 3.1.3. Tích hợp tri thức vào hệ thống dịch máy.....................................................39 3.2. Tích hợp thông tin hình thái vào mô hình dịch.....................................39 3.2.1. Tích hợp thông tin cú pháp vào mô hình dịch ......................................40 3.2.2. Tích hợp vào mô hình ngôn ngữ ...........................................................41 3.2.3.CHƢƠNG 4: MÔ HÌNH CỦA ĐỀ TÀI ...................................................................42 Tích hợp thông tin hình thái từ tiếng Anh ...................................................43 4.1. Thông tin từ loại ...................................................................................43 4.1.1. Thông tin biến cách của từ ....................................................................44 4.1.2. Sử dụng luật chuyển đổi trật tự .............................................................45 4.1.3. Thêm thông tin hình thái từ tiếng Việt ........................................................50 4.2. Thông tin ranh giới từ ...........................................................................50 4.2.1. Thông tin từ loại ...................................................................................51 4.2.2. Thêm thông tin hình thái từ cho tiếng Anh và tiếng Việt ............................52 4.3.CHƢƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ .....................................................54 Ngữ liệu .......................................................................................................54 5.1. Các công cụ .................................................................................................55 5.2. Thí nghiệm ...................................................................................................55 5.3. Tích hợp thông tin hình thái từ trong câu tiếng Anh ............................55 5.3.1. Tóm tắt kết quả thí nghiệm ..........................................................................74 4.4.CHƢƠNG 6: KẾT LUẬN ........................................................................................76TÀI LIỆU THAM KHẢO .........................................................................................78PHỤ LỤC ............................................................................. ...