Kỹ thuật phát hiện tri thức và khai phá dữ liệu, ứng dụng trong bài toán dự báo từ thông tin kinh tế - xã hội

Bài viết Kỹ thuật phát hiện tri thức và khai phá dữ liệu, ứng dụng trong bài toán dự báo từ thông tin kinh tế - xã hôi trình bày một cách tổng quan về Kỹ thuật phát hiện tri thức và khai phá dữ liệu. Trên cơ sở đó, đưa ra một bài toán dự báo về dân số thế giới và giải quyết bài toán bằng phương pháp hồi quy tuyến tính nhằm cung cấp một cách khái quát về kỹ thuật mới này cũng như mối tương quan với phương pháp thống kê truyền thống,... Mời các bạn cùng tham khảo.
Nội dung trích xuất từ tài liệu:
Kỹ thuật phát hiện tri thức và khai phá dữ liệu, ứng dụng trong bài toán dự báo từ thông tin kinh tế - xã hội KINH NGHIÏÅM - THÛÅC TIÏÎN KYÄ T THUÊÅ PHAÁT HIÏÅN AÂ TRI KHAI THÛÁC PHAÁ V DÛÄ LIÏÅ TRONG BAÂI TOAÁN DÛÅ BAÁO TÛÂ THÖ NGUYÏÎN THÕ THU TRANG* ThS. BUÂI DÛÚNG HÛNG ThS. S ûå phaát triïín cuãa cöng nghïå thöng tin vaâ viïåc möåt chûúng trònh dûúái möåt daång nhêët àõnh. Chuáng ûáng duång cöng nghïå thöng tin vaâo caác lônh ta sûã duång caác bit àïí ào lûúâng caác thöng tin vaâ vûåc cuãa àúâi söëng, kinh tïë xaä höåi trong nhiïìu xem noá nhû laâ caác dûä liïåu àaä àûúåc loåc boã caác dû nùm qua cuäng àöìng nghôa vúái lûúång dûä liïåu àûúåc thûâa, àûúåc ruát goån túái mûác töëi thiïíu àïí àùåc trûng caác cú quan thu thêåp vaâ lûu trûä ngaây möåt nhiïìu lïn. möåt caách cú baãn cho dûä liïåu. Chuáng ta coá thïí xem Caác dûä liïåu naây àûúåc dûå àoaán êín chûáa nhûäng giaá trõ tri thûác nhû laâ caác thöng tin tñch húåp, bao göìm caác nhêët àõnh trong tûúng lai. Tuy nhiïn, theo thöëng kï, sûå kiïån vaâ caác möëi quan hïå giûäa chuáng. Caác möëi chó coá möåt lûúång nhoã (khoaãng tûâ 5% àïën 10%) dûäquan hïå naây coá thïí àûúåc hiïíu ra, coá thïí àûúåc phaát liïåu àûúåc phên tñch, söë coân laåi chûa sûã duång nhûng hiïån, hoùåc coá thïí àûúåc hoåc. Noái caách khaác, tri thûác vêîn tiïëp tuåc àûúåc thu thêåp vò e ngaåi rùçng sau naây coá thïí àûúåc coi laâ dûä liïåu coá àöå trûâu tûúång vaâ töí cêìn duâng àïën. Mùåt khaác, trong möi trûúâng caånh tranh, chûác cao. Phaát hiïån tri thûác trong caác cú súã dûä liïåu cêìn coá nhiïìu thöng tin vúái töëc àöå nhanh àïí trúå giuáp laâ möåt qui trònh nhêån biïët caác mêîu hoùåc caác mö viïåc ra quyïët àõnh, ngaây caâng coá nhiïìu cêu hoãi mang hònh trong dûä liïåu vúái caác tñnh nùng: húåp thûác, múái, tñnh chêët àõnh tñnh cêìn phaãi traã lúâi dûåa trïn möåt khöëikhaã ñch, vaâ coá thïí hiïíu àûúåc. lûúång dûä liïåu khöíng löì àaä coá. Vúái nhûäng lyá do nhû Qui trònh phaát hiïån tri thûác vêåy, caác phûúng phaáp quaãn trõ vaâ khai thaác cú súã dûä Qui trònh phaát hiïån tri thûác àûúåc mö taã toám tùæt liïåu truyïìn thöëng ngaây caâng khöng àaáp ûáng àûúåc nhû sau: Hònh 1. Quy trònh phaát hiïån tri thûác thûåc tïë. Trûúác tònh hònh àoá, möåt khuynh hûúáng kyä thuêåt múái ra àúâi, àoá laâ Kyä thuêåt phaát hiïån tri thûác vaâ khai phaá dûä liïåu (KDD - Knowledge Discovery and Data Mining). Kyä thuêåt phaát hiïån tri thûác vaâ khai phaá dûä liïåu àaä vaâ àang àûúåc nghiïn cûáu, ûáng duång trong nhiïìu lônh vûåc khaác nhau úã caác nûúác trïn thïë giúái, taåi Viïåt Nam kyä thuêåt naây cuäng àang àûúåc nghiïn cûáu vaâ dêìn àûa vaâo ûáng duång. Baâi viïët trònh baây möåt caách töíng quan vïì Kyä thuêåt phaát hiïån tri thûác vaâ khai phaá dûä liïåu. Trïn cú súã àoá, àûa ra möåt baâi toaán dûå baáo vïì dên söë thïë giúái vaâ giaãi quyïët baâi toaán bùçng phûúng phaáp höìi qui tuyïën tñnh nhùçm cung cêëp möåt caách nhòn khaái quaát vïì kyä thuêåt múái naây cuäng nhû möëi tûúng quan vúái phûúng phaáp thöëng kï truyïìn thöëng. Nöåi dung baâi baáo coá tñnh tûúng taác, trúå giuáp nguöìn kiïën thûác cú baãn vïì phûúng phaáp dûå baáo cho sinh viïn khöëi caác ngaânh kinh tïë àang àûúåc àaâo taåo taåi trûúâng Àaåi hoåc Cöng àoaân. Bûúác thûá nhêët, tòm hiïíu lônh vûåc ûáng duång vaâ Kyä thuêåt phaát hiïån tri thûác (KDD - Knowledge hònh thaânh baâi toaán. Bûúác naây quyïët àõnh cho viïåc Discovery) ruát ra àûúåc caác tri thûác hûäu ñch vaâ cho pheáp choån Phaát hiïån tri thûác laâ gò caác phûúng phaáp khai phaá dûä liïåu thñch húåp vúái muåc Thöng thûúâng chuáng ta coi dûä liïåu nhû möåt daäy àñch ûáng duång vaâ baãn chêët cuãa dûä liïåu. caác bit, hoùåc caác söë vaâ caác kyá hiïåu, hoùåc caác “àöëi tûúång” vúái möåt yá nghôa naâo àoá khi àûúåc gûãi cho* Trûúâng Àaåi hoåc Cöng àoaân 77 cöng àoaâ Taåp chñ Nghiïn cûáu khoa hoåc Söë 6 thaáng 12/2016 KINH NGHIÏÅM - THÛÅC TIÏÎN Bûúác thûá hai, thu thêåp vaâ xûã lyá thö, coân àûúåc goåi nhên taåo, cú súã dûä liïåu, thuêåt toaán hoåc, tñnh toaán laâ tiïìn xûã lyá dûä liïåu nhùçm loaåi boã nhiïîu, xûã lyá viïåc song song vaâ töëc àöå cao, thu thêåp tri thûác cho caác hïå thiïëu dûä liïåu, biïën àöíi dûä liïåu vaâ ruát goån dûä liïåu nïëu chuyïn gia, quan saát dûä liïåu... Àùåc biïåt phaát hiïån tri cêìn thiïët, bûúác naây thûúâng chiïëm nhiïìu thúâi gian thûác vaâ khai phaá dûä liïåu rêët gêìn guäi vúái lônh vûåc nhêët trong toaân böå qui trònh phaát hiïån tri thûác. thöëng kï, sûã duång caác phûúng phaáp thöëng kï àïí mö Bûúác thûá ba, khai phaá dûä liïåu, hay noái caách khaác hònh dûä liïåu vaâ phaát hiïån caác mêîu, luêåt... Ngên haâng laâ trñch ra caác mêîu hoùåc/vaâ caác mö hònh êín dûúái caácdûä liïåu (Data Warehousing) vaâ caác cöng cuå phên dûä liïåu. tñch trûåc tuyïën (OLAP) cuäng liïn quan rêët chùåt cheä Bûúác thûá tû, hiïíu tri thûác àaä tòm àûúåc, àùåc biïåt vúái phaát hiïån tri thûác vaâ khai phaá dûä liïåu. laâ laâm saáng toã caác mö taã vaâ dûå àoaán. Caác bûúác trïn Caác ûáng duång cuãa Phaát hiïån tri thûác vaâ khai coá thïí lùåp ài lùåp laåi möåt söë lêìn, kïët quaã thu àûúåc coá phaá dûä liïåu thïí àûúåc lêëy trung bònh trïn têët caã caác lêìn thûåc hiïån. - Thöng tin thûúng maåi: Khai phaá dûä liïåu (Data Mining) §  Phên tñch dûä liïåu marketing, khaách haâng Khai phaá dûä liïåu laâ gò § Phên tñch àêìu tû Khai phaá dûä liïåu laâ möåt bûúác trong qui trònh phaát § Phï duyïåt cho vay vöën hiïån tri thûác göìm coá caác thuêåt toaán khai thaác dûä liïåu § Phaát hiïån gian lêån... chuyïn duâng dûúái möåt söë qui àõnh vïì hiïåu quaã tñnh - Thöng tin kyä thuêåt: toaán chêëp nhêån àûúåc àïí tòm ra caác mêîu hoùåc caác § Àiïìu khiïín vaâ lêåp lõch trònh mö hònh trong dûä liïåu. Noái möåt caách khaác, muåc àñch § Quaãn trõ maång cuãa phaát hiïån tri thûác vaâ khai phaá dûä liïåu chñnh laâ § Ph ên tñch caác kïët quaã thñ nghiïåm... tòm ra caác mêîu vaâ/hoùåc caác mö hònh àang töìn taåi - Thöng tin khoa hoåc. trong caác cú súã dûä liïåu nhûng vêîn coân bõ che khuêët - Th ...