Luận văn thạc sĩ: Ứng dụng kỹ thuật thu thập thông tin trên web để xây dựng hệ thống tổng hợp thông tin kinh tế xã hội

Ứng dụng kỹ thuật thu thập thông tin trên web để xây dựng hệ thống tổng hợp thông tin kinh tế xã hội phục vụ cho công tác theo dõi, quản lý, chỉ đạo của lãnh đạo bằng cách sử dụng kỹ thuật khai phá dữ liệu web.
Nội dung trích xuất từ tài liệu:
Luận văn thạc sĩ: Ứng dụng kỹ thuật thu thập thông tin trên web để xây dựng hệ thống tổng hợp thông tin kinh tế xã hội -a- B GIÁO D C VÀ ĐÀO T O Đ I H C ĐÀ N NG NGUY N H HI U NG D NG K THU T THU TH P THÔNG TIN TRÊN WEBĐ XÂY D NG H TH NG T NG H P THÔNG TIN KINH T XÃ H I Chuyên ngành: KHOA H C MÁY TÍNH Mã s : 60.48.01 TÓM T T LU N VĂN TH C SĨ K THU TNgư i hư ng d n khoa h c PGS.TS. VÕ TRUNG HÙNG ĐÀ N NG 2011 -1- Công trình ñư c hoàn thành t i Đ I H C ĐÀ N NGNgư i hư ng d n khoa h c: PGS.TS. Võ Trung HùngPh n bi n 1: PGS. TSKH. Tr n Qu c Chi nPh n bi n 2: TS. Trương Công Tu nLu n văn s ñư c b o v trư c H i ñ ng ch m Lu n văn t tnghi p th c sĩ k thu t ngành Khoa h c máy tính h p t i Đ i h cĐà N ng vào ngày 15 tháng 10 năm 2011Có th tìm hi u lu n văn t i:- Trung tâm Thông tin-H c li u, Đ i h c Đà N ng- Thư vi n Trư ng Đ i h c Bách khoa, Đ i h c Đà N ng -1- M Đ U1. Lý do ch n ñ tài Công tác ñi u hành, qu n lý nhà nư c trên lĩnh v c kinh t - văn hóa – xã h i ñòi h ingư i lãnh ñ o ph i thư ng xuyên n m b t, t ng h p thông tin tình hình th c ti n trên cácbáo, internet, các báo cáo c a c p dư i, ... ñ t ñó có cơ s cho vi c ra các quy t ñ nh phùh p. H ng ngày, t i Văn phòng UBND ñ u có cán b t ng h p thông tin ph c v lãnh ñ o.Các thông tin ñư c trích l c t các báo, website, t thông tin trong nư c, qu c t , ñ c bi t làthông tin trong t nh. Vi c t ng h p th công v a t n th i gian công s c, v a không ñ y ñthông tin. Đ c bi t, thông tin trên interrnet hi n nay r t ña d ng, phong phú, n u không có ski m soát thông tin ch t ch s xu t hi n nh ng thông tin không ñúng s th t, gây nhhư ng x u ñ n hình nh c a t nh. Chính vì v y, vi c xây d ng h th ng website thông tin kinh t chính tr xã h i ph c vñi u hành lãnh ñ o là h t s c c n thi t, trên cơ s t ñ ng t ng h p thông tin t các websitetrên internet theo tiêu chí ch n trư c. Hi n nay, có nhi u phương pháp t ñ ng tìm ki mthông tin khác nhau, nhưng nhìn chung là các cách ti p c n ñ u d a vào các tr ng s trangWeb (Ch s quan tr ng c a trang trong t p k t qu ), như: Page Bank, HITS và ng d ngk thu t khai phá d li u. Trong ñó Khai phá d li u (Data Mining) là m t lĩnh v c khoah c liên ngành m i xu t hi n g n ñây nh m ñáp ng nhu c u này. Các k t qu nghiên c ucùng v i nh ng ng d ng thành công trong khai phá d li u, khám phá tri th c cho th ykhai phá d li u là m t lĩnh v c khoa h c ti m năng, mang l i nhi u l i ích, ñ ngth i có ưu th hơn h n so v i các công c phân tích d li u truy n th ng. Chính vì v y, sau khi nghiên c u các tài li u và ñư c s ñ ng ý, hư ng d n, ñ ng viênt n tình c a TS. Võ Trung Hùng tôi ñã ch n ñ tài: “ ng d ng k thu t thu th p thông tintrên web xây d ng h th ng t ng h p thông tin kinh t xã h i” làm ñ tài nghiên c u cholu n văn cao h c c a mình. -2-2. M c tiêu và nhi m v Đ tài này nh m m c ñích xây d ng h th ng t ñ ng t ng h p thông tin tr c tuy nt các website ph c v cho công tác theo dõi, qu n lý, ch ñ o c a lãnh ñ o b ng cáchs d ng k thu t khai phá d li u web. H th ng cho phép: - T ñ ng trích xu t các tin t c t các website theo các ch ñ ñư c ch n. - Cho phép qu n lý các chuyên m c tin. - Qu n lý các kênh tin t c. - Qu n lý thông tin lưu tr . - Tìm ki m thông tin ñã lưu tr .3. Đ i tư ng và ph m vi nghiên c u Đ i tư ng nghiên c u: Đ tài này nh m m c ñích tìm hi u v khai phá d li u web,các thu t toán phân c m (cluster) tài li u và ng d ng trong truy xu t thông tin t ñ ng(information retrieval). Trên cơ s ñó, xây d ng h th ng t ñ ng t ng h p, phân lo ithông tin t các website trên internet nh m xây d ng h th ng thông tin t ng h p kinh t- chính tr - xã h i. Ph m vi nghiên c u - Khai phá d li u web. - Các gi i thu t phân c m tài li u. - Các k thu t và công ngh h tr trích xu t thông tin t ñ ng. - K t h p các y u t trên ñ xây d ng h th ng t ñ ng t ng h p tin t c tr c tuy n.4. Phương pháp nghiên c u Nghiên c u lý thuy t o Tìm hi u lý thuy t v khai phá d li u và khai phá d li u web. o Tìm hi u các thu t toán phân c m tài li u. o Tìm hi u cơ ch ho t ñ ng c a các h th ng tìm ki m thu th p thông tin. -3- o ng d ng các công c ñ xây d ng h th ng thu th p thông tin: RSS, Xpath, dotnetnuke, … Nghiên c u th c nghi m o D a trên lý thuy t ñã nghiên c u, ti n hành xây d ng h th ng thu th p thông tin t các kênh tin c u hình trư c. ...