Bài giảng Kho dữ liệu và khai phá dữ liệu: Chương 1 - Nguyễn Hoàng Ân (2018)

Bài giảng "Khai phá dữ liệu - Chương 1: Tổng quan về kho dữ liệu và khai phá dữ liệu" cung cấp cho người học các kiến thức: Giới thiệu về kho dữ liệu, các đặc tính của kho dữ liệu, mối quan hệ giữa kho dữ liệu và khai phá dữ liệu, ứng dụng của kho dữ liệu và khai phá dữ liệu. Mời các bạn cùng tham khảo.
Nội dung trích xuất từ tài liệu:
Bài giảng Kho dữ liệu và khai phá dữ liệu: Chương 1 - Nguyễn Hoàng Ân (2018)Kho dữ liệu và khai phá dữ liệu Chương 1: Tổng quan về kho dữ liệu và khai phá dữ liệu Nguyễn Hoàng Ân 1Nội dungGiới thiệu về kho dữ liệuCác đặc tính của kho dữ liệuMối quan hệ giữa kho dữ liệu và khai phá dữ liệuỨng dụng của kho dữ liệu và khai phá dữ liệu Nguyễn Hoàng Ân 31. Giới thiệu về kho dữ liệuCó nhiều các định nghĩa khác nhau về KDL, nhưng không có cách nào là nghiêm ngặt:  Một cơ sở dữ liệu hỗ trợ quyết định được bảo trì tách biệt từ cơ sở dữ liệu hoạt động của tổ chức  Hỗ trợ xử lí thông tin bằng cách cung cấp một nền tảng vững chắc cho việc hợp nhất và dữ liệu lịch sử để phân tíchTheo W. H. Inmon: “Kho dữ liệu là tập dữ liệu hướng chủ đề, tích hợp, gắn với thời gian và ít thay đổi để hỗ trợ quá trình ra quyết định của nhà quản lí” Nguyễn Hoàng Ân 7Kiến trúc cơ bản của kho dữ liệu Oracle9 i. Data Warehousing Guide, Release 2 (9.2) Nguyễn Hoàng Ân 82. Các đặc tính của KDLHướng chủ đề (Subject-Oriented)Có tính tích hợp (Integrated)Gắn với thời gian (Time Variant)Ít thay đổi (Non-Volatile) Nguyễn Hoàng Ân 92. Các đặc tính của KDL (tt)Hướng chủ đề Nguyễn Hoàng Ân 102. Các đặc tính của kho dữ liệuTích hợp Nguyễn Hoàng Ân 11Tích hợp Nguyễn Hoàng Ân 12 2. Các đặc tính của kho dữ liệu Gắn với thời gian• Thời gian 60–90 ngày • Thời gian 5-10 năm• Cập nhật bản ghi • Những hình ảnh phức tạp của• Cấu trúc khóa có thể có hoặc dữ liệukhông chứa khóa thời gian • Cấu trúc khóa chứa phần tử thời Nguyễn gian Hoàng Ân 142. Các đặc tính của kho dữ liệu (tt)Ít thay đổi Nguyễn Hoàng Ân 15OLTP vs. OLAPOLTP (on-line transaction processing): Xử lí giao dịch trực tuyến  Nhiệm vụ chính của Hệ quản lí cơ sở dữ liệu quan hệ (relational DBMS) truyền thống.  Dùng cho các tác nghiệp hằng ngày (Day-to-day operations): mua sắm, quản lí tồn kho, ngân hàng, quản lí lương, đăng ký, kế toán,…OLAP (on-line analytical processing): Quá trình phân tích trực tuyến  Nhiệm vụ chính của hệ thống kho dữ liệu  Phân tích dữ liệu và làm quyết định (decision making) Nguyễn Hoàng Ân 16 OLTP vs OLAP OLTP OLAPNgười dùng Thư lý, chuyên viên Chuyên viên tri thức CNTTChức năng Tác nghiệp hàng ngày Hỗ trợ quyết địnhThiết kế CSDL Hướng ứng dụng Hướng chủ đềDữ liệu Hiện thời, cập nhật Lịch sử, tóm tắt, tích hợp đa chi tiết, quan hệ phẳng chiều, hợp nhất biệt lậpSử dụng Lặp Dò tìm (ad-hoc)Truy cập Đọc/ghi Nhiều duyệt Chỉ mục/băm theo khóa chínhĐơn vị thao tác Giao dịch ngắn,đơn giản Câu hỏi phức tạp# bản ghi truy cập Chục Triệu#người dùng Nghìn TrămKích thước CSDL 100MB-GB 100GB-TBĐơn vị đo Thông lượng giao dịch Thông lượng truy vấn, đáp ứngData Warehouse and Business IntelligenceData martHệ thống tập tất cả dữ liệu được yêu cầu bởi một phòng ban chuyên biệt trong công ty (như tiếp thị, hậu cần,…)Được sử dụng để phân tích BIMột kho dữ liệu mức phòng ban (departmental data warehouse)Data warehouses và data marts có khung công nghệ giống nhau 18 Nguyễn Hoàng ÂnData Warehouse and Business Intelligence 19Công cụ ETLETL: Rút trích (Extraction), Chuyển đổi (Transformation), tải (Loading)Rút trích:  Rút trích từ những nguồn sẵn có bên trong hoặc ngoài  Những phiên bản phụ thuộc thời gian của dữ liệu  Chọn lựa dữ liệu: Dựa trên thiết kế DWChuyển đổi:  Chuyển đổi dữ liệu từ các hệ thống cũ, các định dạng khác thành định dạng của KDLTải:  Sắp xếp, tóm tắt, hợp nhất, tính toán, kiểm tra toàn vẹn, xây dựng chỉ mục và phân hoạch Nguyễn Hoàng Ân 20Khai phá dữ liệu Nguyễn Hoàng Ân 211. Giới thiệu chung về khai phá dữliệu1.1 Khái niệm về khai phá dữ liệu1.2 Quá trình khám phá tri thức1.3 Khai phá dữ liệu trong kinh doanh thông minh1.4 Quá trình khám phá tri thức1.5 Các lĩnh vực có ảnh hưởng đến khai phá dữliệu1.1. Khái niệm về khai phá dữ liệuKhai phá dữ liệu  một quá trình trích xuất ...