Danh mục

Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 10 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Số trang: 3      Loại file: pdf      Dung lượng: 147.29 KB      Lượt xem: 12      Lượt tải: 0    
Hoai.2512

Phí tải xuống: miễn phí Tải xuống file đầy đủ (3 trang) 0
Xem trước 2 trang đầu tiên của tài liệu này:

Thông tin tài liệu:

Bài giảng "Xử lý ngôn ngữ tự nhiên - Chương 10: Tóm tắt văn bản" cung cấp cho người học các kiến thức về tóm tắt văn bản, TextRank. Đây là một tài liệu hữu ích dành cho các bạn sinh viên ngành Công nghệ thông tin và những ai quan tâm dùng làm tài liệu học tập và nghiên cứu.
Nội dung trích xuất từ tài liệu:
Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 10 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)Chương 10 Tóm tắt văn bảnTóm tắt văn bảnTextRankIT4772 Xử lý ngôn ngữ tự nhiênViện CNTT-TT, ĐHBKHN2Chương 10 Tóm tắt văn bảnTóm tắt văn bảnINFORMATION EXTRACTION●NATURAL LANGUAGE UNDERSTANDINGEND-TO-ENDAPPLICATIONS●NATURAL LANGUAGE GENERATIONY/c–Tóm lược những điểm chính của văn bản–Đảm bảo tính chính xác về ngôn ngữ, th ống nh ấtvề cấu trúcDạng đầu ra:–Tóm tắt trích xuất–Tóm lược văn bảnDATA + LINGUISTICS + MACHINE LEARNING34Chương 10 Tóm tắt văn bảnTóm tắt văn bản●Chương 10 Tóm tắt văn bảnTóm tắt văn bảnCác bài toán●Tóm tắt trích xuất đơn văn b ản:–Tóm tắt đơn văn bản●Đầu vào: Văn bản gồm N câu–Tóm tắt đa văn bản●–Tóm tắt đa văn bản hướng truy vấnĐầu ra: Tóm tắt bao gồm K câu5Chương 10 Tóm tắt văn bảnTextRank●6Chương 10 Tóm tắt văn bảnTextRankPagerank: Xếp hạng các đỉnh trên đ ồ th ị d ựatrên mức độ quan trọng so với các đ ỉnh khácrank(v) = d * 1/N + (1-d) sum rank(u) / O(u)from Wikipedia78Chương 10 Tóm tắt văn bảnTextRank●Chương 10 Tóm tắt văn bảnTextRankỨng dụng vào tóm tắt văn bản–●Tính toán độ tương đồng giữa một c ặp câuXây dựng đồ thị G(V,E)●●V: tập các câu trong văn bảnE: e(i,j) - mức độ tương đồng của câu i và câu j–Tính pagerank trên G–Lựa chọn K câu có ranking cao nhất910Chương 10 Tóm tắt văn bảnTextRank●●Q&AƯu điểm:–Thuật toán đơn giản, có thể mở rộng cho nhi ều vănbản–Không cần dữ liệu huấn luyệnNhược điểm:–Phụ thuộc vào độ đo tương đồng của cặp câu–Chưa loại bỏ được dư thừa thông tin trong tóm t ắthieunk@soict.hust.edu.vn1112

Tài liệu được xem nhiều: