Bài giảng Nhập môn Học máy và Khai phá dữ liệu - Chương 9.2: Học dựa trên xác suất

Bài giảng Nhập môn Học máy và Khai phá dữ liệu - Chương 9.2: Học dựa trên xác suất. Chương này cung cấp cho học viên những nội dung về: expectation maximization; GMM và K-means; thuật toán EM; mô hình hỗn hợp và phân cụm; mạng nơron để thực hiện suy diễn Bayes;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!
Nội dung trích xuất từ tài liệu:
Bài giảng Nhập môn Học máy và Khai phá dữ liệu - Chương 9.2: Học dựa trên xác suất1 Nhập mônHọc máy và Khai phá dữ liệu (IT3190) 2Nội dung môn học• Lecture 1: Giới thiệu về Học máy và khai phá dữ liệu• Lecture 2: Thu thập và tiền xử lý dữ liệu• Lecture 3: Hồi quy tuyến tính (Linear regression)• Lecture 4+5: Phân cụm• Lecture 6: Phân loại và Đánh giá hiệu năng• Lecture 7: dựa trên láng giềng gần nhất (KNN)• Lecture 8: Cây quyết định và Rừng ngẫu nhiên• Lecture 9: Học dựa trên xác suất• Lecture 10: Mạng nơron (Neural networks)• Lecture 11: Máy vector hỗ trợ (SVM)• Lecture 12: Khai phá tập mục thường xuyên và các luật kết hợp• Lecture 13: Thảo luận ứng dụng trong thực tế 3Expectation maximization 4Expectation maximization 5GMM• Xét việc học GMM, với K phân phối Gaussian, từ dữ liệu huấn luyện D = {x1, x2, …, xM}.• Hàm mật độ ?(?|?, ?, ?) = σ? ?=1 ?? ? ? ?? , ?? ) • ? = (?1 , … , ?? ) chứa cho trọng số của từng phân phối ? ? = ?| ? = ?? • Mỗi Gaussian đa biến có hàm mật độ: 1 1 ? ? ?? , ?? ) = exp − 2 ? − ?? ? ??−1 ? − ?? det(2??? )• MLE cố gắng cực đại hàm log-likelihood sau: ? ? ? ?, ?, ? = ෍ log ෍ ?? ? ?? ?? , ?? ) ?=1 ?=1• Không thể tìm được công thức nghiệm cụ thể!• Naïve gradient decent : lặp hai bước sau cho đến khi hội tụ • Tối ưu hóa ? (?, ?, ?) theo biến ?, khi cố định (?, ?). • Tối ưu hóa ? (?, ?, ?) theo biến (?, ?), khi cố định ?. 6GMM và K-means❑ GMM: ta cần biết ❑ K-means:  Trong số K Gaussian, phân bố nào  Trong số K cụm thì x thuộc về sinh ra dữ liệu x cụm nào? chỉ số z của phân bố đó Chỉ số z của cụm  Tham số của từng phân phối: ?? , ?? , ??  Tham số của từng cụm: Tâm cụm❑ Ý tưởng cho GMM ❑ Huấn luyện K-means:  ?(?|?, ?, ?, ?)?  Bước 1: phân bổ mỗi x vào (chú ý σ? ?=1 ?(? = ?|?, ?, ?, ?) = 1) cụm gần nhất (gán “mềm” vào các cụm) (gán nhãn cụm cho từng x) (cách gán “cứng nhắc”)  Cập nhật tham số cho từng phân bố Gaussian: ?? , ?? , ??  Bước 2: tình toán lại tâm các cụm 7 GMM: cận dưới ❑ Ý tưởng của GMM?  Bước 1: tính ?(?|?, ?, ?, ?)? (note σ??=1 ?(? = ?|?, ?, ?, ?) = 1)  Bước 2: Cập nhật tham số cho các phân bố: ? = ?, ?, ? • Xét hàm log-likelihood ? ? ? ? = log ?(?|?) = ෍ log ෍ ?? ? ?? ?? , ?? ) ?=1 ?=1 • Quá phức tạp nếu trực tiếp sử dụng đạo hàm • Lưu ý rằng log ?(?|?) = log ෍ ? ?, ? ? = log ෍ ? ? ?, ? ?(?|?) BĐT ? ?Jensen = log ??|?,? ?(?|?) ≥ ??|?,? log ? ? ? = ෍ ? ? ?, ? log ?(?|?) ? • Tối đa hóa ?(?) có thể được thực hiện bằng cách tối đa hóa giới hạn dưới ??|?,? log ? ? ? 8GMM: cực đại hoá cận dưới❑ Ý tưởng của GMM?  Bước 1: tính ?(?|?, ?, ?, ?)? (note σ??=1 ?(? = ?|?, ?, ?, ?) = 1)  Bước 2: Cập nhật tham số cho từng phân phối Gaussian: ? = ?, ?, ?• Quy tắc Bayes: ? ? ?, ? = ? ? ?, ? ?(?|?)/?(?) = ?? ? ? ?? , ?? )/?, trong đó ? = σ? ?? ? ? ?? , ?? )là hằng số chuẩn hóa. • Có nghĩa là người ta có thể tính ? (?│?, ?) nếu biết ? • Đặt ??? = ? ? = ? ?? , ? với mọi ? = 1, ?, ? = 1, ?• Còn về ? thì sao? • ?? = ? ? ? = ? ? ? = ‫? ? ׬‬, ? ? ?? = ‫? ? ? ׬‬, ? ? ? ? ?? = ?? ? ? ?, ? ≈ ?1 σ?∈? ? ? ?, ? = ?1 σ? ?=1 ???• Khi đó, cận dưới có thể được cực đại hóa theo mỗi phân bố (?? , ?? ): ??|?,? log ? ? ? = ෍ ෍ ? ? ?, ? log ?(?|?) ?∈? ? ? ? ...