Luận văn: Nghiên cứu ứng dụng khai phá dữ liệu trong phân tích số liệu dân cư

Khai thác dữ liệu (data mining) là quá trình khám phá các tri thức mới và các tri thức có ích ở dạng tiềm năng trong nguồn dữ liệu đã có.Khai thác dữ liệu (data mining) là quá trình khám phá các tri thức mới và các tri thức có ích ở dạng tiềm năng trong nguồn dữ liệu đã có.Khai thác dữ liệu (data mining) là quá trình khám phá các tri thức mới và các tri thức có ích ở dạng tiềm năng trong nguồn dữ liệu đã có....
Nội dung trích xuất từ tài liệu:
Luận văn:Nghiên cứu ứng dụng khai phá dữ liệu trong phân tích số liệu dân cư B GIÁO D C VÀ ĐÀO T O Đ I H C ĐÀ N NG NGUY N T N PHƯƠNG NGHIÊN C U NG D NG KHAI PHÁ D LI U TRONG PHÂN TÍCH S LI U DÂN CƯ Chuyên ngành: Khoa h c máy tính Mã s : 60.48.01 TÓM T T LU N VĂN TH C SĨ K THU T Đà N ng - Năm 2011 -1- Công trình ñư c hoàn thành t i Đ I H C ĐÀ N NG Ngư i hư ng d n khoa h c: PGS.TSKH TR N QU C CHI N Ph n bi n 1: PGS.TS. PHAN HUY KHÁNH Ph n bi n 2: GS.TS. NGUY N THANH THU Lu n văn ñư c b o v t i H i ñ ng ch m Lu n văn t t nghi p th c sĩ k thu t h p t i Đ i h c Đà N ng vào ngày 10 tháng 9 năm 2011. Có th tìm hi u lu n văn t i: - Trung tâm Thông tin - H c li u, Đ i h c Đà N ng - Trung tâm H c li u, Đ i h c Đà N ng -1- M Đ U 1. Lý do ch n ñ tài Trong vài th p niên g n ñây, cùng v i s thay ñ i và phát tri n không ng ng c a ngành công ngh thông tin, lu ng thông tin ñư c chuy n t i mau l ñ n chóng m t, ư c tính c kho ng 20 tháng lư ng thông tin trên th gi i l i tăng g p ñôi. Nh ng ngư i ra quy t ñ nh trong các t ch c tài chính, thương m i, khoa h c…không mu n b sót b t c thông tin nào, h thu th p, lưu tr t t c m i thông tin vì cho r ng trong nó n ch a nh ng giá tr nh t ñ nh nào ñó. Hi n nay lư ng d li u mà con ngư i thu th p và lưu tr trong các kho d li u là r t l n, nh ng k thu t truy n th ng không ñ kh năng làm vi c v i d li u thô, không th phân tích b ng tay vì ph i t n r t nhi u th i gian ñ khám phá ra thông tin có ích, ph n l n d li u chưa bao gi ñư c phân tích như nh n ñ nh c a Usama Fayyad:“H sâu kh năng sinh ra d li u và kh năng s d ng d li u”. Gi i pháp duy nh t giúp phân tích t ñ ng kh i lư ng d li u l n ñó là k thu t phát hi n tri th c và khai phá d li u (KDD - Knowledge Discovery and Data Mining). K thu t phát hi n tri th c và khai phá d li u ñã và ñang ñư c nghiên c u ng d ng r ng trên toàn th gi i, v i k thu t KDD, tác gi mu n nghiên c u ng d ng trong phân tích s li u dân cư Vi t Nam ñ phát hi n nh ng tri th c v tăng trư ng dân s . V n ñ tăng trư ng dân s quá nhanh Vi t Nam trong nh ng th p niên g n ñây ñư c s quan tâm r t l n c a các c p lãnh ñ o, ñi n hình là vi c chính ph Vi t Nam ñưa ra chính sách k ho ch hoá gia ñình “M i gia ñình ch có 1 ho c 2 con”. Đã có nhi u bi n pháp x lý nh ng gia ñình vi ph m chính sách k ho ch hoá gia ñình, nhưng qua ñ t th ng kê dân s g n ñây nh t vào năm 2009 còn r t nhi u gia ñình -2- vi ph m chính sách k ho ch hoá gia ñình (sinh trên 2 con). Nh ng gia ñình vi ph m chính sách có nh ng ñ c ñi m chung nào? V i lư ng l n d li u thu th p ñư c qua m i ñ t th ng kê dân s t i Vi t Nam, vi c ng d ng khai phá d li u trong phân tích s li u dân cư là c n thi t ñ phát hi n nh ng ñ c ñi m chung v các gia ñình vi ph m chính sách k ho ch hoá gia ñình, h tr lãnh ñ o ban dân s k ho ch hoá gia ñình các c p ñưa ra bi n pháp phù h p, tôi quy t ñ nh ch n ñ tài: “Nghiên c u ng d ng khai phá d li u trong phân tích s li u dân cư”. 2. M c ñích nghiên c u M c ñích c a ñ tài là tìm hi u các k thu t khai phá d li u, nghiên c u ng d ng k thu t khai phá d li u trong phân tích s li u dân cư, nh m phát hi n các ñ c ñi m chung c a nh ng gia ñình vi ph m chính sách k ho ch hóa gia ñình, h tr cho các c p lãnh ñ o có nh ng nh n ñ nh ñ ñưa ra bi n pháp phù h p. 3. Đ i tư ng và ph m vi nghiên c u - Tìm hi u lý thuy t v phát hi n tri th c và khai phá d li u - Qu n lí và t ch c lưu tr cơ s d li u t s li u th ng kê dân s t i t nh Qu ng Nam. - Nghiên c u m t s mã ngu n m áp d ng trong khai phá d li u. - Áp d ng k thu t khai phá d li u trên cơ s d li u lưu tr . 4. Phương pháp nghiên c u - Thu th p s li u th ng kê dân s t ngu n d li u th ng kê dân s t i t nh Qu ng Nam - Ch n phương pháp khai phá d li u thích h p. - L a ch n công ngh cài ñ t chương trình. -3- - Phân tích và ki m ñ nh k t qu ñ t ñư c. 5. Ý nghĩa khoa h c và th c ti n - Cung c p m t cách nhìn t ng quan v phát hi n tri th c và khai phá d li u. - Áp d ng các thu t toán khai phá d li u trên cơ s d li u th ng kê dân s Vi t Nam. (D li u thu th p t ngu n d li u th ng kê dân s t i t nh Qu ng Nam) - Tìm ra các ñ c ñi m chung c a nh ng gia ñình vi ph m chính sách k ho ch hóa gia ñình h tr các nhà lãnh ñ o có nh ng nh n ñ nh c th . - Chương trình ñư c s d ng cho lãnh ñ o ban dân s k ho ch hóa gia ñình các c p. 6. C u trúc c a lu n văn Chương 1: Gi i thi u khái ni m, tính ch t, các bư c trong quá trình khai phá d li u. Phương pháp, d ng cơ s d li u có th khai phá và nh ng thách th c trong quá trình khai phá d li u. Chương 2: Trình bày khái ni m và các bư c trong quá trình khai phá d li u b ng lu t k t h p, trình bày thu t toán Apriori. Trình bày khái ni m và các bư c trong quá trình khai phá d li u b ng cây quy t ñ nh, trình bày thu t toán C4.5 Chương 3: Xây d ng h th ng cây quy t ñ nh trong phân tích s li u dân cư. -4- CHƯƠNG 1 NGHIÊN C U T NG QUAN V KHAI PHÁ D LI U 1.1. GI I THI U CHUNG V KHÁM PHÁ TRI TH C VÀ KHAI PHÁ D LI U Hi n nay, lư ng d li u mà con ngư i thu th p, lưu tr trong các kho d li u là r t l n, nh ng k thu t truy n th ng không ñ kh năng làm vi c v i d li u thô. V y làm th nào chúng ta có th trích l c ñư c nh ng thông tin có ích t m t kho d li u r t l n. Đ gi i quy t v n ñ ñó, k thu t khám phá tri th c trong cơ s d li u ñã ra ñ i. 1.2. QUÁ TRÌNH KHÁM PHÁ TRI TH C Hình 1.1: Các bư c trong quá trình khám phá tri th c. 1.3. QUÁ TRÌNH KHAI PHÁ D LI U Hình 1.2: Quá trình khai phá d li u ...