Bài giảng Nhập môn khai phá dữ liệu (PGS.TS. Hà Quang Thụy) - - Chương 1. Giới thiệu chung về khai phá dữ liệu

Mô hình cơ bản cho ngành công nghiệp mạch bán dẫn “Định luật Moore vẫn tạo khả năng cơ bản cho sự phát triển của chúng tôi, và nó vẫn còn hiệu lực tốt tại Intel… Định luật Moore không chỉ là mạch bán dẫn. Nó cũng là cách sử dụng sáng tạo mạch bán dẫn”. Paul S. Otellini,...
Nội dung trích xuất từ tài liệu:
Bài giảng Nhập môn khai phá dữ liệu (PGS.TS. Hà Quang Thụy) - - Chương 1. Giới thiệu chung về khai phá dữ liệuBÀI GiẢNG NHẬP MÔN KHAI PHÁ DỮ LIỆU CHƯƠNG 1. GIỚI THIỆU CHUNG VỀ KHAI PHÁ DỮ LIỆU PGS. TS. HÀ QUANG THỤY HÀ NỘI 02-2011 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI 1 Nội dung Nhu cầu của khai phá dữ liệu (KPDL) 1. Khái niệm KPDL và phát hiện tri thức trong CSDL2. KPDL và xử lý CSDL truyền thống 3. Một số ứng dụng điển hình của KPDL 4. Kiểu dữ liệu trong KPDL 5. Các bài toán KPDL điển hình 6. Tính liên ngành của KPDL 7. 21. Nhu cầu về khai phá dữ liệu Sự bùng nổ dữ liệu Lý do công nghệ  Lý do xã hội  Thể hiện  Ngành kinh tế định hướng dữ liệu Kinh tế tri thức  Phát hiện tri thức từ dữ liệu  3Bùng nổ dữ liệu: Luật Moore Xuất xứ Gordon E. Moore (1965). Cramming more components onto integrated  circuits, Electronics, 38 (8), April 19, 1965. Một quan sát và dự báo “Phương ngôn 2x Số lượng bán dẫn tích hợp trong một chíp sẽ tăng gấp đôi sau kho ảng hai  năm Chi phí sản xuất mạch bán dẫn với cùng tính năng giảm một nửa sau hai  năm Phiên bản 18 tháng: rút ngắn chu kỳ thời gian  4Luật Moore & công nghiệp điện tử Dẫn dắt ngành công nghệ bán dẫn   Mô hình cơ bản cho ngành công nghiệp mạch bán dẫn  “Định luật Moore vẫn tạo khả năng cơ bản cho sự phát triển của chúng tôi, và nó vẫn còn hiệu lực tốt tại Intel… Định luật Moore không chỉ là mạch bán dẫn. Nó cũng là cách sử dụng sáng tạo mạch bán dẫn”. Paul S. Otellini, Chủ tịch và Giám đốc điều hành Tập đoàn Intel  “toàn bộ chu trình thiết kế, phát triển, sản xuất, phân phối và bán hàng được coi là có tính bền vững khi tuân theo định luật Moore… Nếu đánh bại định luật Moore, thị trường không thể hấp thụ hết các sản phẩm mới, và kỹ sư bị mất việc làm. Nếu bị tụt sau định luật Moore, không có gì để mua, và gánh nặng đè lên đôi vai của chuỗi các nhà phân phối sản phẩm”. Daniel Grupp, Giám đốc PT công nghệ tiên tiến, Acorn Technologies, Inc. (http://acorntech.com/) Thúc đẩy công nghệ xử lý, lưu giữ và truyền dẫn dữ  liệu  Công nghệ bán dẫn là nền tảng của công nghiệp điện tử.  Định luật Moore với công nghiệp phần cứng máy tính: bộ xử lý Intel trong 40 năm qua (trang tiếp theo).  Bùng nổ về năng lực xử lý tính toán và lưu trữ dữ liệu. 5  Tác động tới sự phát triển công nghệ cơ sở dữ liệu (tổ chức và quản lý dữ liệu)Luật Moore: Bộ xử lý Intel“Another decade is probably straightforward...There is certainly no end to creativity”.Gordon Moore, Intel Chairman Emeritus of the Board Speaking of extending Moore’s 6Law at the International Solid-State Circuits Conference (ISSCC), February 2003. Hệ thống ước và bội đơn vị đoGiá trị, cách đọc các bội và ước điển hình 7Thiết bị thu thập – lưu trữ dữ liệu Năng lực số hóa   Thiết bị số hóa đa dạng  Mọi lĩnh vực Quản lý, Thương mại, Khoa học…  Một ví dụ điển hình: SDSS Sloan Digital Sky Survey   http://www.sdss.org/  Đã tạo bản đồ 3-chiều có chứa hơn 930.000 thiên hà và hơn 120.000 quasar  Kính viễn vọng đầu tiên  Làm việc từ 2000  Vài tuần đầu tiên: thu thập dữ liệu thiên văn học = toàn bộ trong quá khứ. Sau 10 năm: 140 TB  Kính viễn vọng kế tiếp  Large Synoptic Survey Telescope  Bắt đầu hoạt động 2016. Sau 5 ngày sẽ có 140 TB 8Bùng nổ dữ liệu: Công nghệ CSDL Tiến hóa công nghệ CSDL [HK0106]  9Công nghệ CSDL: Một số CSDL lớn Tốp 10 CSDL lớn nhất  http://top-10-list.org/2010/02/16/top-10-largest-databases-list/  Library of Congress: 125 triệu mục; Central Intelligence Agency (CIA): 100 “hồ sơ: thống kê dân số, bản đồ…” hàng tháng; Amazon: 250 tri ệu sách, 55 triệu người dùng, 40TB; ChoicePoint: 75 lần Trái đất – Mặt trăng; Sprint: 70.000 bản ghi viễn thô ...