Luận văn Thạc sĩ Công nghệ thông tin: Tự động nhận dạng ngôn ngữ dựa vào học sâu

Luận văn "Tự động nhận dạng ngôn ngữ dựa vào học sâu" được tổ chức thành ba chương có nội dung như sau: Chương 1 Xác định ngôn ngữ trong văn bản; Chương 2 Mô hình mạng LSTM; Chương 3 Áp dụng mô hình LSTM cho bài toán nhận biết ngôn ngữ.
Nội dung trích xuất từ tài liệu:
Luận văn Thạc sĩ Công nghệ thông tin: Tự động nhận dạng ngôn ngữ dựa vào học sâu ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN HỒNG THANH TỰ ĐỘNG NHẬN DẠNG NGÔN NGỮ DỰA VÀO HỌC SÂU LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TINNGƯỜI HƯỚNG DẪN KHOA HỌC: TS. NGUYỄN VĂN VINH Hà Nội 2021 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN HỒNG THANH TỰ ĐỘNG NHẬN DẠNG NGÔN NGỮ DỰA VÀO HỌC SÂU LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TINNGƯỜI HƯỚNG DẪN KHOA HỌC: TS. NGUYỄN VĂN VINH Hà Nội 2021 iLỜI CAM ĐOAN Tôi cam đoan luận văn được thực hiện dưới sự hướng dẫn của TS.NguyễnVăn Vinh. Các số liệu, kết quả kiểm tra dữ liệu kiểm thử trong luận văn là trungthực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Hà Nội, Ngày 01 tháng 12 năm 2021 Người cam đoan Nguyễn Hồng Thanh iiLỜI CẢM ƠN Lời đầu tiên em xin gửi lời cảm ơn đến toàn thể các giảng viên trong KhoaCông nghệ thông tin - Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội đãtruyền đạt kiến thức và định hướng nghiên cứu cho em trong thời gian em học tậptại Trường. Em xin gửi lời cảm ơn đến các cán bộ phụ trách thuộc Khoa Công nghệthông tin đào tạo sau đại học, những người đã quản lý, tư vấn và hỗ trợ em trongquá trình học tập cũng như làm luận văn. Em xin gửi lời cảm ơn sâu sắc đến TS. Nguyễn Văn Vinh, người thầy đãtrực tiếp tận tình hướng dẫn, tạo mọi điều kiện thuận lợi cho em trong suốt thờigian làm luận văn tốt nghiệp. Cuối cùng, Em xin gửi lời cảm ơn đến bạn bè, đồng nghiệp cũng như giađình luôn tạo điều kiện để em hoàn thành luận văn. Tuy nhiên, do thời gian hạn hẹp, mặc dù đã nỗ lực hết sức mình nhưng chắcrằng luận văn này khó tránh khỏi những thiếu sót. Em rất mong nhận được sự chiasẽ, đóng góp ý kiến của giảng viên và các bạn. Hà Nội, Ngày 01 tháng 12 năm 2021 Học viên Nguyễn Hồng Thanh iiiMỤC LỤCLỜI CAM ĐOAN .................................................................................................................... iLỜI CẢM ƠN ......................................................................................................................... iiDanh mục các ký hiệu và chữ viết tắt ......................................................................... vDanh mục các bảng ..........................................................................................................viDanh mục các hình vẽ, đồ thị ..................................................................................... viiMỞ ĐẦU................................................................................................................................. 1CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN NHẬN BIẾT NGÔN NGỮ ............... 3 1.1 Giới thiệu chung .......................................................................................... 3 1.2 Các phương pháp xác định ngôn ngữ.......................................................... 3 1.2.1 Mô hình ngôn ngữ ................................................................................ 3 1.2.2 Phương pháp xác định ngôn ngữ dựa trên n-gram ............................... 6 1.2.3 Phương pháp xác định ngôn ngữ dựa vào Naive Bayes ...................... 7 1.2.4 Phương pháp xác định ngôn ngữ dựa vào máy hỗ trợ vectơ (SVM) ... 8 1.2.5 Phương pháp láng giềng gần nhất (K-Nearest Neighbor).................... 9 1.2.6 Phương pháp Word2vec ..................................................................... 10 1.2.6.1 Skip-gram .................................................................................... 12 1.2.6.2 Túi từ liên tục (CBOW) .............................................................. 16 1.2.7 Phương pháp xác định ngôn ngữ dựa vào học sâu............................. 17CHƯƠNG 2: MÔ HÌNH MẠNG LSTM ....................................................................... 18 2.1 Mạng Nơ ron nhân tạo .............................................................................. 18 2.1.1 Hàm kích hoạt. ................................................................................... 19 2.1.2 Chức năng kích hoạt đầu ra ................................................................ 22 2.2 Mạng nơ ron hồi qui RNN .............................................. ...