Luận văn:Link spam với đồ thị web và hạng trang web

Google sử dụng hơn 200 yếu tố xếp hạng trang web của bạn. Google sẽ không bao giờ nói cho bạn biết những yếu tố có tầm quan trọng. Lý do cho điều này là mỗi năm Google thay đổi hơn 500 thuật toán. Tuy nhiên Google cung cấp cho bạn một số gợi ý những điều quan trọng. Google thậm chí còn cung cấp một tài liệu hướng dẫn SEO cho các quản trị trang web.
Nội dung trích xuất từ tài liệu:
Luận văn:Link spam với đồ thị web và hạng trang web Đ I H C QU C GIA HÀ N I TRƯ NG Đ I H C CÔNG NGH Nguy n Thu Trang Link spam v i đ th web và h ng trang webKhoá lu n t t nghi p đ i h c h chính quy Ngành: Công Ngh Thông TinCán b hư ng d n: TS. Hà Quang Th yCán b đ ng hư ng d n: CN. Nguy n Hoài Nam HÀ N I, 2006Tóm t tBên c nh s phát tri n c a các máy tìm ki m đ c bi t là các phương pháp tínhh ng trang thì công ngh spam nh m đánh l a máy tìm ki m đ nâng cao h ngc a các trang web cũng phát tri n không ng ng. Do v y m t v n đ đ t ra là ph inh n di n các trang web là spam, và đưa ra gi i pháp tính h ng phù h p chínhxác hơn có lo i b spam. Khóa lu n v i đ tài LinkSpam v i đ th web và h ng trang web t p trungnghiên c u các phương pháp nh n di n spam đ nâng cao ch t lư ng h ng trang,và đ xu t gi i pháp tính h ng có x lý link spam. Khóa lu n đã ti n hành thnghi m v i máy tìm ki m NUTCH cho các thu t toán LinkSpam và thu đư cnh ng k t qu kh quan ban đ u. Khóa lu n cũng gi i thi u các k t qu nghiênc u c a chúng tôi đã đư c công b trong [1, 2, 12]. iiL i c m ơn Trư c tiên, em xin g i l i c m ơn sâu s c nh t đ n th y giáo TS.Hà Quang Th y và CN. Nguy n Hoài Nam, ngư i đã t n tình hư ng d n em trong quá trình th c hi n khóa lu n t t nghi p. Em chân thành c m ơn các th y cô và các cán b c a trư ng Công Ngh đã t o cho em nh ng đi u ki n thu n l i đ h c t p và nghiên c u. Em xin c m ơn các th y cô giáo trong b môn Các H Th ng Thông Tin, và nhóm xemina Data Mining đã giúp đ , h tr em v ki n th c chuyên môn. Cu i cùng, em mu n c m ơn gia đình và b n bè, đ c bi t là b và m , nh ng ngư i luôn giành cho em tình yêu, ni m tin và đ ng viên giúp em hoàn thành đ tài. Sinh Viên Nguy n Thu Trang iiiM cl cTiêu đ iTóm t t iiDanh sách b ng viDanh sách hình v viiDanh sách các ký hi u.. viii1 T ng quan v h ng trang và web spam 3 1.1 Gi i thi u h ng trang và spam . . . . . . . . . . . . . . . . . . . . . 3 1.2 Các công ngh t o Spam . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.1 Spam văn b n . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.2 Spam liên k t . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.2.3 Công ngh gi d ng . . . . . . . . . . . . . . . . . . . . . . . 9 1.3 Đ th Web . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.3.1 Bi u di n đ th Web . . . . . . . . . . . . . . . . . . . . . . 10 1.3.2 Mô hình Markov . . . . . . . . . . . . . . . . . . . . . . . . 11 1.4 T ng k t chương 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 M t s phương pháp tính h ng trang cơ b n 13 2.1 Phương pháp PageRank . . . . . . . . . . . . . . . . . . . . . . . . 13 2.1.1 Phương pháp . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.1.2 Tính h ng trang d a vào tính ch t h i t . . . . . . . . . . . 15 2.1.3 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2 Phương pháp HITS . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.1 Thu t toán . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.2 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 ivM CL C v 2.3 Phương pháp CCP . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.3.1 Thu t toán . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.3.2 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 Các phương pháp xác đ nh LinkSpam 24 3.1 Gi i thi u . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.2 Phương pháp TrustRank . . . . . . . . . . . . . . . . . . . . . . . . 25 3.2.1 N i dung phương pháp . . . . . . . . . . . . . . . . . . . . . 26 3.2.2 Đánh giá phương pháp . . . . . . . . . . . . . . . . . . . . . 29 3.3 Phương pháp xác đ nh Link Farm . . . . . . . . . . . . . . . . . . . 30 3.3.1 N i dung phương pháp . . . . . . . . . . . . . . . . . . . . . 30 3.3.2 Đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.4 Đ xu t phương pháp c i ti n . . . . . . . . . . . . . . . . . . . . . 344 Th nghi m 36 4.1 Gi i thi u h th ng NUTCH . . . . . . . . . . . . . . . . . . . . . . 36 4.2 Th nghi m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.2.1 Môi trư ng th nghi m . . . . . . . . . . . . . . . . . . . . . 37 4.2.2 K t qu ............................. 37K t lu n 40Tài li u tham kh o 41A Mã chương trình ...