Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 7 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Bài giảng "Xử lý ngôn ngữ tự nhiên - Chương 7: Xử lý nhập nhằng ngữ nghĩa" cung cấp cho người học các kiến thức: Nghĩa của từ, Wordnet, phương pháp dựa trên từ điển, phương pháp dựa trên tương đồng ngữ nghĩa, Babelnet. Mời các bạn cùng tham khảo.
Nội dung trích xuất từ tài liệu:
Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 7 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)Chương 7 Xử lý nhập nhằng ngữnghĩaNghĩa của từWordnetPhương pháp dựa trên từ điểnIT4772 Xử lý ngôn ngữ tự nhiênViện CNTT-TT, ĐHBKHNPhương pháp dựa trên tương đ ồng ng ữ nghĩaBabelnet2Chương 6 Xử lý nhập nhằng ngữ nghĩaNghĩa của từINFORMATION EXTRACTION“You shall know a word by the company itkeeps” (Firth, J. R. 1957:11)NATURAL LANGUAGE UNDERSTANDINGEND-TO-ENDAPPLICATIONSNATURAL LANGUAGE GENERATIONDATA + LINGUISTICS + MACHINE LEARNING34Chương 6 Xử lý nhập nhằng ngữ nghĩaNghĩa của từChương 6 Xử lý nhập nhằng ngữ nghĩaNghĩa của từ5Chương 6 Xử lý nhập nhằng ngữ nghĩaNghĩa của từ6Chương 6 Xử lý nhập nhằng ngữ nghĩaNghĩa của từTừ đồng âm (cùng từ loại):Đồng là nguyên tố hóa học trong bảng tu ần hoànnguyên tố có ký hiệu Cu và số nguyên t ử b ằng 29.Đồng (VND) là đơn vị tiền tệ chính thức c ủa Vi ệtNam, do Ngân hàng Nhà nước Việt Nam phát hành.Ruộng lúa, đồng lúa, hoặc cánh đồng lúa hay còngọi đơn giản là ruộng là một khu đất ng ập n ước códiện tích đất dùng để canh tác và đ ược s ử d ụngcho việc trồng lúa và các cây trồng khác.78Chương 6 Xử lý nhập nhằng ngữ nghĩaNghĩa của từ●Chương 6 Xử lý nhập nhằng ngữ nghĩaNghĩa của từXử lý nhập nhằng ngữ nghĩa: Xác đ ịnh nghĩa c ủatừ trong một ngữ cảnh cụ thể theo một từ đi ển.Từ đa nghĩa (cùng từ loại)Chỉ xét các từ cùng từ loạiChỉ xét các từ nội dungỨng dụng:Truy hồi thông tinDịch máyHỏi đáp9Chương 6 Xử lý nhập nhằng ngữ nghĩaWordnet10Chương 6 Xử lý nhập nhằng ngữ nghĩaWordnet●Princeton Wordnet●Princeton Universitynhân dân, người dân, quần chúng, dân●Miller, Fellbaum and co-authorshọc sinh, học trò●Từ 1985●11Từ đồng nghĩa:12Chương 6 Xử lý nhập nhằng ngữ nghĩaWordnet●●Chương 6 Xử lý nhập nhằng ngữ nghĩaWordnetSynset: Tập hợp các từ đồng nghĩa●Hypernymy in noun hierarchy‘science’ is hypernym of ‘mathematics’Một từ có thể thuộc nhiều synset khác nhauứng với các ý nghĩa khác nhau c ủa t ừ đó‘computer’ is hypernym of ‘server’13Chương 6 Xử lý nhập nhằng ngữ nghĩaWordnet14Chương 6 Xử lý nhập nhằng ngữ nghĩaWordnetQuan hệVí dụhypernymBreakfast → mealhyponymMeal → lunchHas-memberFaculty → professorMember-ofPilot → crewhas-partTable → legpart-ofdisplay → computerantonymLeader → follow●Ứng dụngXử lý nhập nhằng ngữ nghĩaTương đồng ngữ nghĩa1516Chương 6 Xử lý nhập nhằng ngữ nghĩaPhương pháp dựa trên từ điển●Chương 6 Xử lý nhập nhằng ngữ nghĩaPhương pháp dựa trên từ điểnĐầu vào:Một từ trong một ngữ cảnh“Thời đại công nghệ cao, đến bẫy chuột cũng phải kết nốiWi-Fi”Từ loạinghĩa#1Từ điển chứa các nghĩa của từgiải thíchGiải thích nghĩaVí dụ●từví dụnghĩa#2Đầu ra: nghĩa của từ17Chương 6 Xử lý nhập nhằng ngữ nghĩaPhương pháp dựa trên từ điển●Thuật toán Lesk●Dựa trên mô hình truy h ồi thông tin:18Chương 6 Xử lý nhập nhằng ngữ nghĩaPhương pháp dựa trên từ điển●Ưu điểm:Đơn giảnKế thừa được các kĩ thuật truy hồi thông tinNghĩa ~ văn bản (giải thích + ví dụ)Từ + ngữ cảnh ~ câu truy vấn●→ Tìm văn bản (nghĩa) phù hợp nhất v ới câu truyvấn (từ)Nhược điểm:Cần từ điểnVăn bản ngắn, thưa1920