Bài giảng Khai phá dữ liệu: Chương 1 - Trường ĐH Phan Thiết

Bài giảng Khai phá dữ liệu: Chương 1 Tổng quan về Khai phá dữ liệu, cung cấp cho người học những kiến thức như: Nhu cầu của khai phá dữ liệu; Khái niệm KDD và Khai phá dữ liệu; Khai phá dữ liệu và quản trị CSDL; Kiểu dữ liệu trong Khai phá dữ liệu; Kiểu mẫu được khai phá; Công nghệ KPDL điển hình; Một số ứng dụng điển hình; Các vấn đề chính trong Khai phá dữ liệu. Mời các bạn cùng tham khảo!
Nội dung trích xuất từ tài liệu:
Bài giảng Khai phá dữ liệu: Chương 1 - Trường ĐH Phan Thiết Trường Đại học Phan Thiết Bài giảng KHAI PHÁ DỮ LIỆU NỘI DUNG TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU PHÁT HIỆN TRI THỨC TỪ DỮ LIỆU HIỂU DỮ LIỆU VÀ TIỀN XỬ LÝ DỮ LIỆU KHAI PHÁ LUẬT KẾT HỢP PHÂN LỚP, PHÂN CỤM DỮ LIỆU DW DM 2 Chương 1 Tổng quan về Khai phá dữ liệu KHAI PHÁ DỮ LIỆU Nội dung 1. Nhu cầu của khai phá dữ liệu (KPDL) 2. Khái niệm KDD và KPDL 3. Khai phá dữ liệu và quản trị CSDL 4. Kiểu dữ liệu trong KPDL 5. Kiểu mẫu được khai phá 6. Công nghệ KPDL điển hình 7. Một số ứng dụng điển hình 8. Các vấn đề chính trong KPDL DW DM 4 1. Nhu cầu về khai phá dữ liệu  Sự bùng nổ dữ liệu  Lý do công nghệ  Lý do xã hội  Thể hiện  Ngành kinh tế định hướng dữ liệu  Kinh tế tri thức  Phát hiện tri thức từ dữ liệu DW DM 5 Bùng nổ dữ liệu: Luật Moore  Xuất xứ  Gordon E. Moore (1965). Cramming more components onto integrated circuits, Electronics, 38 (8), April 19, 1965. Một quan sát và dự báo  “Phương ngôn 2x  Số lượng bán dẫn tích hợp trong một chíp sẽ tăng gấp đôi sau khoảng hai năm  Chi phí sản xuất mạch bán dẫn với cùng tính năng giảm một nửa sau haiDW năm DM  Phiên bản 18 tháng: rút ngắn chu kỳ thời gian 6 Luật Moore & công nghiệp điện tử  Dẫn dắt ngành công nghệ bán dẫn  Mô hình cơ bản cho ngành công nghiệp mạch bán dẫn  “Định luật Moore vẫn tạo khả năng cơ bản cho sự phát triển của chúng tôi, và nó vẫn còn hiệu lực tốt tại Intel… Định luật Moore không chỉ là mạch bán dẫn. Nó cũng là cách sử dụng sáng tạo mạch bán dẫn”. Paul S. Otellini, Chủ tịch và Giám đốc điều hành Tập đoàn Intel  “toàn bộ chu trình thiết kế, phát triển, sản xuất, phân phối và bán hàng được coi là có tính bền vững khi tuân theo định luật Moore… Nếu đánh bại định luật Moore, thị trường không thể hấp thụ hết các sản phẩm mới, và kỹ sư bị mất việc làm. Nếu bị tụt sau định luật Moore, không có gì để mua, và gánh nặng đè lên đôi vai của chuỗi các nhà phân phối sản phẩm”. Daniel Grupp, Giám đốc PT công nghệ tiên tiến, Acorn Technologies, Inc. (http://acorntech.com/)  Thúc đẩy công nghệ xử lý, lưu giữ và truyền dẫn dữ liệu  Công nghệ bán dẫn là nền tảng của công nghiệp điện tử.  Định luật Moore với công nghiệp phần cứng máy tính: bộ xử lý Intel trong 40 năm qua (trang tiếp theo).  Bùng nổ về năng lực xử lý tính toán và lưu trữ dữ liệu. DW  Tác động tới sự phát triển công nghệ cơ sở dữ liệu (tổ chức và quản lý dữDM liệu) và công nghệ mạng (truyền dẫn dữ liệu) 7 Luật Moore: Bộ xử lý Intel “Another decade is probably Moore’s Law: Transistor densities on a straightforward...There is certainly no single chip double about every two years. end to creativity”. Gordon Moore, Intel (Source: Intel Web site Moore’s Law: Made Chairman Emeritus of the Board Real by Intel Innovation, Speaking of extending Moore’s Law at www.intel.com/technology/mooreslaw/?iid=s the International Solid-State Circuits DW earch, accessed January 9, 2008.) DM Conference (ISSCC), February 2003. 8 Hệ thống ước và bội đơn vị đo Giá trị, cách đọc các bội và ước điển hình DW DM 9 Thiết bị thu thập – lưu trữ dữ liệu  Năng lực số hóa  Thiết bị số hóa đa dạng  Mọi lĩnh vực Quản lý, Thương mại, Khoa học…  Một ví dụ điển hình: SDSS  Sloan Digital Sky Survey  http://www.sdss.org/  Đã tạo bản đồ 3-chiều có chứa hơn 930.000 thiên hà và hơn 120.000 quasar  Kính viễn vọng đầu tiên  Làm việc từ 2000  Vài tuần đầu tiên: thu thập dữ liệu thiên văn học = toàn bộ trong quá khứ. Sau 10 năm: 140 TB  Kính viễn vọng kế tiếp  Large Synoptic Survey Telescope DW DM  Bắt đầu hoạt động 2016. Sau 5 ngày sẽ có 140 TB 10 Công nghệ CSDL: Một số CSDL lớn  Tốp 10 CSDL lớn nhất  http://top-10-list.org/2010/02/16/top-10-largest-databases-list/ (04/9/13)  Library of Congress: 125 triệu mục; Central Intelligence Agency (CIA): 100 “hồ sơ: thống kê dân số, bản đồ…” hàng tháng; Amazon: 250 nghìn sách, 55 triệu người dùng, 40TB; YouTube: hàng trăm triệu clip được xem hàng ngày; ChoicePoint: 75 lần Trái đất – Mặt trăng; Sprint: 70.000 bản ghi viễn thông; Google: 90 triệu tìm kiếm/ngày; AT&T: 310TB; World Data Centre for Climate  Trung tâm tính toán khoa học nghiên cứu năng lượng quốc gia Mỹ  National Energy Research Scientific Computing Center: NERSC  tháng 3/2010: khoảng 460 TB  http://www.nersc.gov/news/annual_reports/annrep0809/annrep0809.pdf  YouTube DW ...