Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 10 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)
Số trang: 3
Loại file: pdf
Dung lượng: 147.29 KB
Lượt xem: 12
Lượt tải: 0
Xem trước 2 trang đầu tiên của tài liệu này:
Thông tin tài liệu:
Bài giảng "Xử lý ngôn ngữ tự nhiên - Chương 10: Tóm tắt văn bản" cung cấp cho người học các kiến thức về tóm tắt văn bản, TextRank. Đây là một tài liệu hữu ích dành cho các bạn sinh viên ngành Công nghệ thông tin và những ai quan tâm dùng làm tài liệu học tập và nghiên cứu.
Nội dung trích xuất từ tài liệu:
Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 10 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)Chương 10 Tóm tắt văn bảnTóm tắt văn bảnTextRankIT4772 Xử lý ngôn ngữ tự nhiênViện CNTT-TT, ĐHBKHN2Chương 10 Tóm tắt văn bảnTóm tắt văn bảnINFORMATION EXTRACTION●NATURAL LANGUAGE UNDERSTANDINGEND-TO-ENDAPPLICATIONS●NATURAL LANGUAGE GENERATIONY/c–Tóm lược những điểm chính của văn bản–Đảm bảo tính chính xác về ngôn ngữ, th ống nh ấtvề cấu trúcDạng đầu ra:–Tóm tắt trích xuất–Tóm lược văn bảnDATA + LINGUISTICS + MACHINE LEARNING34Chương 10 Tóm tắt văn bảnTóm tắt văn bản●Chương 10 Tóm tắt văn bảnTóm tắt văn bảnCác bài toán●Tóm tắt trích xuất đơn văn b ản:–Tóm tắt đơn văn bản●Đầu vào: Văn bản gồm N câu–Tóm tắt đa văn bản●–Tóm tắt đa văn bản hướng truy vấnĐầu ra: Tóm tắt bao gồm K câu5Chương 10 Tóm tắt văn bảnTextRank●6Chương 10 Tóm tắt văn bảnTextRankPagerank: Xếp hạng các đỉnh trên đ ồ th ị d ựatrên mức độ quan trọng so với các đ ỉnh khácrank(v) = d * 1/N + (1-d) sum rank(u) / O(u)from Wikipedia78Chương 10 Tóm tắt văn bảnTextRank●Chương 10 Tóm tắt văn bảnTextRankỨng dụng vào tóm tắt văn bản–●Tính toán độ tương đồng giữa một c ặp câuXây dựng đồ thị G(V,E)●●V: tập các câu trong văn bảnE: e(i,j) - mức độ tương đồng của câu i và câu j–Tính pagerank trên G–Lựa chọn K câu có ranking cao nhất910Chương 10 Tóm tắt văn bảnTextRank●●Q&AƯu điểm:–Thuật toán đơn giản, có thể mở rộng cho nhi ều vănbản–Không cần dữ liệu huấn luyệnNhược điểm:–Phụ thuộc vào độ đo tương đồng của cặp câu–Chưa loại bỏ được dư thừa thông tin trong tóm t ắthieunk@soict.hust.edu.vn1112
Nội dung trích xuất từ tài liệu:
Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 10 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)Chương 10 Tóm tắt văn bảnTóm tắt văn bảnTextRankIT4772 Xử lý ngôn ngữ tự nhiênViện CNTT-TT, ĐHBKHN2Chương 10 Tóm tắt văn bảnTóm tắt văn bảnINFORMATION EXTRACTION●NATURAL LANGUAGE UNDERSTANDINGEND-TO-ENDAPPLICATIONS●NATURAL LANGUAGE GENERATIONY/c–Tóm lược những điểm chính của văn bản–Đảm bảo tính chính xác về ngôn ngữ, th ống nh ấtvề cấu trúcDạng đầu ra:–Tóm tắt trích xuất–Tóm lược văn bảnDATA + LINGUISTICS + MACHINE LEARNING34Chương 10 Tóm tắt văn bảnTóm tắt văn bản●Chương 10 Tóm tắt văn bảnTóm tắt văn bảnCác bài toán●Tóm tắt trích xuất đơn văn b ản:–Tóm tắt đơn văn bản●Đầu vào: Văn bản gồm N câu–Tóm tắt đa văn bản●–Tóm tắt đa văn bản hướng truy vấnĐầu ra: Tóm tắt bao gồm K câu5Chương 10 Tóm tắt văn bảnTextRank●6Chương 10 Tóm tắt văn bảnTextRankPagerank: Xếp hạng các đỉnh trên đ ồ th ị d ựatrên mức độ quan trọng so với các đ ỉnh khácrank(v) = d * 1/N + (1-d) sum rank(u) / O(u)from Wikipedia78Chương 10 Tóm tắt văn bảnTextRank●Chương 10 Tóm tắt văn bảnTextRankỨng dụng vào tóm tắt văn bản–●Tính toán độ tương đồng giữa một c ặp câuXây dựng đồ thị G(V,E)●●V: tập các câu trong văn bảnE: e(i,j) - mức độ tương đồng của câu i và câu j–Tính pagerank trên G–Lựa chọn K câu có ranking cao nhất910Chương 10 Tóm tắt văn bảnTextRank●●Q&AƯu điểm:–Thuật toán đơn giản, có thể mở rộng cho nhi ều vănbản–Không cần dữ liệu huấn luyệnNhược điểm:–Phụ thuộc vào độ đo tương đồng của cặp câu–Chưa loại bỏ được dư thừa thông tin trong tóm t ắthieunk@soict.hust.edu.vn1112
Tìm kiếm theo từ khóa liên quan:
Bài giảng Xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên Ngôn ngữ tự nhiên Kỹ thuật lập trình Tóm tắt văn bản Trích xuất văn bảnGợi ý tài liệu liên quan:
-
12 trang 306 0 0
-
Phương pháp tạo ra văn bản tiếng Việt có đề tài xác định
7 trang 274 0 0 -
Kỹ thuật lập trình trên Visual Basic 2005
148 trang 266 0 0 -
NGÂN HÀNG CÂU HỎI TRẮC NGHIỆM THIẾT KẾ WEB
8 trang 207 0 0 -
Giới thiệu môn học Ngôn ngữ lập trình C++
5 trang 195 0 0 -
Giáo trình Lập trình logic trong prolog: Phần 1
114 trang 192 0 0 -
Xây dựng ontology trợ giúp ra quyết định về đào tạo cho các trường Đại học ở Việt Nam
10 trang 174 0 0 -
Bài giảng Nhập môn về lập trình - Chương 1: Giới thiệu về máy tính và lập trình
30 trang 167 0 0 -
8 trang 163 0 0
-
74 trang 157 0 0