Tìm hiểu về Search Engine và xây dựng ứng dụng minh hoạ cho Search Engine tiếng Việt

Đầu tiên, chúng em xin gởi lời cảm ơn đến Thầy, Cô khoa Công nghệ Thông tin trường Đại học Khoa học Tự nhiên đã tận tình dạy dỗ, dìu dắt chúng em suốt bốn năm đại học. Chúng em cảm ơn Cô Nguyễn Thị Diễm Tiên, người tận tình hướng dẫn, giúp đỡ, động viên chúng em hoàn thành luận văn này. Chúng tôi cảm ơn các anh Trần Nguyễn Hoàng Phương, Bùi Ngọc Tuấn Anh, Đoàn Hữu Quang Vinh và các bạn Nguyễn Huy Hoàng, Phan Anh Đức đã giúp đỡ, đóng góp ý kiến cho chúng tôi...
Nội dung trích xuất từ tài liệu:
Tìm hiểu về Search Engine và xây dựng ứng dụng minh hoạ cho Search Engine tiếng Việt Tìm hiểu về Search Engine và xây dựng ứng dụng minh hoạ cho Search Engine tiếng Việt Tìm hiểu về Search Engine và xây dựng ứng dụng minh hoạ cho Search Engine tiếng Việt LỜI CẢM ƠN Đầu tiên, chúng em xin gởi lời cảm ơn đến Thầy, Cô khoa Công nghệ Thông tin trường Đại học Khoa học Tự nhiên đã tận tình dạy dỗ, dìu dắt chúng em suốt bốn năm đại học. Chúng em cảm ơn Cô Nguyễn Thị Diễm Tiên, người tận tình hướng dẫn, giúp đỡ, đ ộng viên chúng em hoàn thành luận văn này. Chúng tôi cảm ơn các anh Trần Nguyễn Hoàng Phương, Bùi Ngọc Tuấn Anh, Đoàn Hữu Quang Vinh và các bạn Nguyễn Huy Hoàng, Phan Anh Đức đã giúp đỡ, đóng góp ý kiến cho chúng tôi trong quá trình cài đặt, thử nghiệm chư ơng trình. Cuối cùng, chúng con cảm ơn Ba, Mẹ và những người thân đã khích lệ, động viên chúng con trong thời gian học tập, nghiên cứu để có được thành quả như ngày nay. Tháng 7 năm 2004 Sinh viên Lê Thuý Ngọc – Đỗ Mỹ Nhung Lê Thuý Ngọc - 0012745 Đỗ Mỹ Nhung - 0012624 1 Tìm hiểu về Search Engine và xây dựng ứng dụng minh hoạ cho Search Engine tiếng Việt NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… ………………………………………………………………………………….... …………………………………………………………………………………… Ngày…… tháng……năm 2004 Ký tên Lê Thuý Ngọc - 0012745 Đỗ Mỹ Nhung - 0012624 2 Tìm hiểu về Search Engine và xây dựng ứng dụng minh hoạ cho Search Engine tiếng Việt NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… ………………………………………………………………………………….... …………………………………………………………………………………… Ngày…… tháng……năm 2004 Ký tên Lê Thuý Ngọc - 0012745 Đỗ Mỹ Nhung - 0012624 3 Tìm hiểu về Search Engine và xây dựng ứng dụng minh hoạ cho Search Engine tiếng Việt MỤC LỤC Phần 1 : TÌM HIỂU VẤN ĐỀ ....................................................................................... 2 Chương 1: TỔNG QUAN VỀ HỆ THỐNG SEARCH ENGINE .......................... 2 1. Các bộ phận cấu thành hệ thống search engine .................................................... 2 1.1 Bộ thu thập thông tin – Robot ......................................................................... 2 1.2 Bộ lập chỉ mục – Index ................................................................................... 2 1.3 Bộ tìm kiếm thông tin – Search Engine .......................................................... 3 2. Nguyên lý hoạt động ............................................................................................. 3 Chương 2: BỘ THU THẬP THÔNG TIN – ROBOT ............................................ 5 1. Ứng dụng của Robot ............................................................................................. 5 1.1 Phân tích, thống kê – Statistical Analysis ....................................................... 5 1.2 Duy trì siêu liên kế - Maintenance .................................................................. 5 1.3 Ánh xạ địa chỉ web - Mirroring ...................................................................... 5 1.4 Phát hiện tài nguyên – Resource Discovery ................................................... 6 1.5 Kết hợp các công dụng trên- Combined uses ................................................. 6 2. Robot chỉ mục – Robot Indexing .......................................................................... 6 3. Các chiến thuật thu thập dữ liệu [II.1] .................................................................. 8 3.1 Chiến thuật tìm kiếm theo chiều sâu ............................................................... 8 3.2 Chiến thuật tìm kiếm theo chiều rộng ............................................................. 9 3.3 Chiến thuật tìm kiếm theo ngẫu nhiên ............................................................ 9 4. Những vấn đề cần lưu ý của web robot .............................................................. 10 4.1 Chi phí và hiểm hoạ ...................................................................................... 10 4.1.1 Qúa tải mạng và server – Network resource and server load ................. 10 4.1.2 Sự cập nhật quá mức- Updating overhead ............................................. 11 4.1. ...