Bài giảng Nhập môn khai phá dữ liệu: Chương 5 - PGS. TS. Hà Quang Thụy

Bài giảng Nhập môn khai phá dữ liệu - Chương 5: Phân lớp. Những nội dung chính trong chương này gồm có: Giới thiệu phân lớp, phân lớp học giám sát, phân lớp học bán giám sát. Mời các bạn cùng tham khảo để biết thêm nội dung chi tiết.
Nội dung trích xuất từ tài liệu:
Bài giảng Nhập môn khai phá dữ liệu: Chương 5 - PGS. TS. Hà Quang Thụy BÀI GIẢNG NHẬP MÔN KHAI PHÁ DỮ LIỆU CHƯƠNG 5. PHÂN LỚP PGS. TS. Hà Quang Thụy HÀ NỘI, 08-2018 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI http://uet.vnu.edu.vn/~thuyhq/Charu C. Aggarwal. Data Classification: Algorithms. CRC Press, 2014. 1 Nội dung Giới thiệu phân lớp Phân lớp học giám sátPhân lớp học bán giám sát 2Phân lớp: Một vài bài toán ví dụ ⚫ 1. Bài toán phân lớp kết quả xét nghiệm ▪ Miền dữ liệu I = {phiếu xét nghiệm}, ▪ Biến mục tiêu “tập hợp lớp” O = {dương tinh, âm tính} ▪ Ánh xạ f: I → O, f chưa biết ▪ Input: Tập ví dụ mẫu IL gồm phiếu xét nghiệm đã có nhãn dương tình/âm tính. ▪ Output: Ánh xạ xấp xỉ tốt nhất f* để xây dựng chương trình tự động gán nhãn cho mọi phiếu xét nghiệm. ⚫ 2. Bài toán phân lớp cam kết khách hàng ▪ Miền dữ liệu: Tập thông tin mua hàng khách hàng RFM ▪ Mục tiêu “tập hợp lớp” O = {Trung thành cao, Trung thành thấp, Bình thường} ▪ Ánh xạ f: I → O, f chưa biết ▪ Input: Tập ví dụ mẫu IL gồm khách hàng với RFM và nhãn tương ứng. ▪ Output: Ánh xạ xấp xỉ tốt nhất f* để xây dựng chương trình tự động gán nhãn cho mọi khách hàng. 3Phân lớp: Một vài bài toán ví dụ ⚫ 3. Bài toán phân lớp quan điểm ▪ Miền dữ liệu I = {nhận xét sản phẩm A}, ▪ Mục tiêu “tập hợp lớp” O = {khen, chê} ▪ Ánh xạ f: I → O, f chưa biết ▪ Input: Tập ví dụ mẫu IL gồm đánh giá đã có nhãn khen/chê. ▪ Output: Ánh xạ xấp xỉ tốt nhất f* để xây dựng chương trình tự động gán nhãn cho mọi nhận xét. ⚫ 4. Bài toán phân lớp trang web ▪ Miền dữ liệu: Tập các trang web miền lính vực quan tâm ▪ Mục tiêu “tập hợp lớp” O = {Kinh tế, Thế giới, Thể thao, Giáo dục, v.v.} ▪ Ánh xạ f: I → O, f chưa biết ▪ Input: Tập ví dụ mẫu IL gồm trang web có nhãn thuộc O. ▪ Output: Ánh xạ xấp xỉ tốt nhất f* để xây dựng chương trình tự động gán nhãn cho mọi trang web mới tải về. 4Các mức phân tích kinh doanh Tối ưu hóa thông tin Phân tích khuyến nghị Làm gì khi nó xảy ra một lần nữa? Phân tích dự báoKhi nào nó sẽ xảy ra? PHÂN LỚP Giá trị kinh doanh Phân tích chẩn đoánVì sao điều đó xảy ra? KHAI PHÁ LUẬT KẾT HỢP Phân tích PHÂN CỤM Điều gì đã xảy ra? mô tả - Hiểu sâu sắc thị trường và khách hàng, - Hiểu vận hành nội bộ và nhân viên, - Hiểu giá trị dữ liệu Thông tin 52. Học máy giám sát  bài toán tối ưu hóa ⚫ Bốn ví dụ trên đều có thể sử dụng học máy giám sát ⚫ Bài toán học máy giám sát ▪ Cho miền dữ liệu I và một tập nhãn O (hữu hạn) ▪ Tồn tại một ánh xạ f: I → O, f chưa biết Input ▪ Cho “tập ví dụ mẫu” IL: (ILIIL), f xác định trên IL, i IL: f(i)=o đã biết. Output ▪ Tìm ánh xạ toàn bộ f* xấp xỉ tốt nhất f. Bộ phân lớp ⚫ Ví dụ và trao đổi ▪ Miền dữ liệu I = {nhận xét sản phẩm A}, O = {khen, chê} ▪ Ánh xạ f: I → O, f chưa biết ▪ Input: Tập ví dụ mẫu IL gồm đánh giá đã có nhãn khen/chê. ▪ Output: Ánh xạ xấp xỉ tốt nhất f* để xây dựng chương trình 6 tự động gán nhãn cho mọi nhận xét.Xấp xỉ tốt nhất? ⚫ Biết f chỉ ở một bộ phận (tập IL): f|IL ▪ Thách thức ❖ Tập G vô hạn các ánh xạ, gG, g: I→O ❖ Chưa biết f toàn bộ ▪ Cơ hội: Biết f|IL để chọn f* “xấp xỉ tốt nhất” f ▪ f|IL là toàn bộ “hiểu biết” về f ❖ vừa để tìm ra f* ❖ vừa để kiểm tra tính “tốt nhất” của f* ⚫ Xấp xỉ tốt nhất ▪ Giả thiết: IL “đại diện” cho I; “mọi đặc trưng của I” đều tìm được từ IL. ▪ “đánh giá” cần độc lập với “xây dựng” ▪ IL: vừa tìm f* vừa đánh giá f*. Chia ngẫu nhiên IL = ITrain + ITest. ITrain xây dựng f* và ITest đánh giá f*. ▪ Một số độ đo “tốt” liên quan đến tính “tốt nhất” ...