LUẬN VĂN: TÌM HIỂU VỀ WEB CRAWLER VÀ XÂY DỰNG WEBSITE TỔNG HỢP THÔNG TIN

Tham khảo luận văn - đề án 'luận văn: tìm hiểu về web crawler và xây dựng website tổng hợp thông tin', luận văn - báo cáo, công nghệ thông tin phục vụ nhu cầu học tập, nghiên cứu và làm việc hiệu quả
Nội dung trích xuất từ tài liệu:
LUẬN VĂN: TÌM HIỂU VỀ WEB CRAWLER VÀ XÂY DỰNG WEBSITE TỔNG HỢP THÔNG TIN Tìm hiểu về web crawler và xây dựng website tổng hợp thông tin 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Minh Phúc TÌM HIỂU VỀ WEB CRAWLER VÀ XÂY DỰNG WEBSITE TỔNG HỢP THÔNG TIN KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI - 2010 I Tìm hiểu về web crawler và xây dựng website tổng hợp thông tin 2010 HÀ NỘI - 20< hai số cuối của năm bảo vệ KLTN> (chữ hoa, 12pt, đậm, căn giữa) LỜI CẢM ƠN Tôi xin bày tỏ lòng biết ơn sâu sắc của mình đến thầy Hoàng Xuân Huấn, thuộc bộ môn Khoa học máy tính, khoa Công nghệ thông tin, trường Đại học Công Nghệ, ĐHQGHN. Trong quá trình thực hiện khóa luận, thầy đã nhiệt tình giúp đỡ, giải đáp các thắc mắc tạo động lực giúp tôi hoàn thành khóa luận tốt nghiệp này. Tôi cũng xin được bày tỏ lời cảm ơn tới các thầy cô trong bộ môn nói riêng và trong khoa Công nghệ thông tin nói chung đã nhiệt tình giảng dạy để giúp chúng tôi có được như ngày hôm nay. Cuối cùng là lời cảm ơn tới gia đình, bạn bè những người luôn sát cánh bên tôi những lúc khó khăn, luôn ủng hộ giúp đỡ để tôi hoàn thành khóa luận này. II Tìm hiểu về web crawler và xây dựng website tổng hợp thông tin 2010 TÓM TẮT NỘI DUNG Do nhu cầu thu thập thông tin của con người ngày càng tăng, lượng thông tin trên internet ngày càng phong phú nên vấn đề tổng hợp thông tin ngày càng trở nên bức thiết. Với một lượng dữ liệu lớn việc thu thập bằng tay tốn rất nhiều công sức, và không đạt hiệu quả cao, chính vì thế cần một công nghệ có thể tổng hợp thông tin một cách tự động và trình thu thập web đã ra đời. Đề tài khóa luận đặt ra vấn đề tìm hiểu về trình thu thập thông tin trên web và bước đầu sẽ xây dựng một ứng dụng có khả năng tổng hợp thông tin tự độn g từ trang báo điện tử lớn là trang Dân trí (http://dantri.com.vn). Ứng dụng được viết bằng ngôn ngữ lập trình PHP tương tác với cơ sở dữ liệu mySQL và được xây dựng dựa trên các tiêu chí: tốc độ thu thập nhanh, cơ sở dữ liệu gọn nhẹ, đảm bảo tính toàn vẹn của tài liệu gốc. III Tìm hiểu về web crawler và xây dựng website tổng hợp thông tin 2010 MỤC LỤC MỞ ĐẦU ........................................................................................................ 1 CHƯƠNG 1. TÌM HIỂU VỀ TRÌNH THU THẬP WEB ................................ 3 1.1. GIỚI THIỆU VỀ TRÌNH THU THẬP WEB ............................................ 3 1.2. CÁCH XÂY DỰNG MỘT HẠ TẦNG THU THẬP ................................. 4 1.2.1. Frontier.............................................................................................. 6 1.2.2. Lược sử và kho lưu trữ trang .............................................................. 7 1.2.3. Cách lấy trang .................................................................................... 8 1.2.3.1. Tiêu chuẩn loại trừ robot .............................................................. 9 1.2.4. Bóc tách trang .................................................................................. 10 1.2.4.1. Tiêu chuẩn trích xuất URL ......................................................... 11 1.2.4.2. Mô hình thẻ HTML dạng cây ..................................................... 12 1.2.5. Trình thu thập đa luồng .................................................................... 13 1.3. CÁC CHIẾN LƯỢC THU THẬP DỮ LIỆU........................................... 15 1.3.1. Chiến lược thu thập dữ liệu theo chiều sâu ....................................... 16 1.3.2. Chiến lược thu thập dữ liệu theo chiều rộng...................................... 16 1.3.3. Chiến lược thu thập dữ liệu theo ngẫu nhiên ..................................... 17 1.3.4. Chiến lược thu thập dữ liệu theo lựa chọn tốt nhất ngây thơ. ............ 17 1.4. ĐÁNH GIÁ CỦA TRÌNH THU THẬP................................................... 19 1.4.1. Độ quan trọng của trang web ............................................................ 20 1.4.2. Phân tích tổng quát ........................................................................... 21 1.4.2.1. Thước đo độ chính xác ............................................................... 22 1.4.2.2. Thước đo độ hoàn chỉnh............................................................. 22 IV Tìm hiểu về web crawler và xây dựng website tổng hợp thông tin 2010 CHƯƠNG 2. XÂY DỰNG WEBSITE TỔNG HỢP THÔNG TIN............... 25 2.1. CÁC KIẾN THỨC NỀN TẢNG ............................................................. 25 2.1.1. Mạng toàn cầu .................................................................................. 25 2.1.2. Giao thức truyền tải siêu văn bản ...................................................... 28 2.1.3. Ngôn ngữ đánh dấu siêu văn bản ...................................................... 28 2.2. CÁC CÔNG NGHỆ LIÊN QUAN ......................................................... 30 2.2.1. Ngôn ngữ lập trình PHP ................................................................... 30 2.2.1.1. Biểu thức chính quy ................................................................... 31 2.2.1.2. Các hàm xử lý chuỗi .................................................................. 34 2.2.1.2.1. Tìm kiếm chuỗi trong chuỗi ................................................. 34 2.2.1.2.2. Tìm vị trí của chuỗi con ...