Bài giảng Nhập môn trí tuệ nhân tạo: Chương 5 - Văn Thế Thành

Bài giảng "Nhập môn trí tuệ nhân tạo - Chương 5: Phân lớp Bayes" trình bày các nội dung: Phân lớp Bayes - Tại sao, tính xác suất a a-posteriori, phân lớp Naive Bayesian, phân lớp Naive Bayesian - Giả thiết độc lập, độ chính xác trong phân lớp,... Mời các bạn tham khảo.
Nội dung trích xuất từ tài liệu:
Bài giảng Nhập môn trí tuệ nhân tạo: Chương 5 - Văn Thế Thành Phân lớp Bayes 1 Phân lớp Bayes: Tại sao? (1) • Học theo xác suấ suất: o tính các xác suất rõ ràng cho các giả thiết o một trong những hướng thiết thực cho một số vấn đề thuộc loại học trưởng: • Có tăng trưở ng o mỗi mẫu huấn luyện có thể tăng/giảm dần khả năng đúng của một giả thiết o tri thức ưu tiên có thể kết hợp với dữ liệu quan sát 2 1 Phân lớp Bayes: Tại sao? (2) • Dự đoá suất: đoán theo xác suấ o dự đoán nhiều giả thiết, trọng số cho bởi khả năng xảy ra của chúng Chuẩn: • Chuẩ o Ngay cả khi các phương pháp Bayes khó trong tính toán, chúng vẫn có thể cung cấp một chuẩn để tạo quyết định tới ưu so những phương pháp khác 3 Phân lớp Bayes suất • Bài toán phân lớp có thể hình thức hóa bằng xác suấ a-posteriori: P(C|X) P( ) = xác suất mẫu X= thuộc về lớp C • Ví dụ P(class= P( =N | outlook=sunny,windy=true,…)) tưởng: • Ý tưở ng: gán cho mẫu X nhãn phân lớp là C sao cho P(C|X) P( ) là lớn nhất 4 2 Tính xác suất a-posteriori • Định lý Bayes: Bayes P(C|X) P( ) = P(X|C) P( )· P(C) P( ) / P(X) P( ) • P(X) P( ) là hằng số cho tất cả các lớp • P(C) P( ) = tần số liên quan của các mẫu thuộc lớp C • C sao cho P(C|X) P( lớn nhất = C sap cho P(X|C) P( )· P(C) P( ) lớn nhất • Vấn đề: tính P(X|C) P( ) là không khả thi! 5 Phân lớp Naïve Bayesian • Thừa nhận Naïve: sự độc lập thuộthuộc tính P(x P( 1,…,xk|C)) = P(x P( 1|C))·…· P(x P( k|C)) • Nếu thuộc tính thứ i là rời rạc: P( i|C)) được ước lượng bởi tần số liên quan của các P(x mẫu có giá trị xi cho thuộc tính thứ i trong lớp C • Nếu thuộc tính thứ i là liên tục: liên tụ P( i|C)) được ước lượng thông qua một hàm mật độ P(x Gaussian • Tính toán dễ dàng trong cả hai trường hợp 6 3 Phân lớp Naïve Bayesian – Ví dụ Outlook Temperature Humidity Windy Class sunny hot high false N sunny hot high true N overcast hot high false P rain mild high false P rain cool normal false P rain cool normal true N overcast cool normal true P sunny mild high false N sunny cool normal false P rain mild normal false P sunny mild normal true P overcast mild high true P overcast hot normal false P rain mild high true N 7 Phân lớp Naïve Bayesian – Ví dụ (1) • Ứơc lượng P(x P( i|C)) P(p p) = 9/14 P(n n) = 5/14 Thời tiết P(nắng | p) = 2/9 P(nắng | n) = 3/5 Độ ẩm P(u ám | p) = 4/9 P(u ám | n) = 0 P(cao | p) = 3/9 P(cao | n) = 4/5 P(mưa | p) = 3/9 P(mưa | n) = 2/5 P(vừa | p) = 6/9 P(vừa | n) = 1/5 Nhiệt độ P(nóng | p) = 2/9 P(nóng | n) = 2/5 Gió P(ấm áp | p) = 4/9 P(ấm áp | n) = 2/5 P(có | p) = 3/9 P(có | n) = 3/5 P(mát | p) = 3/9 P(mát | n) = 1/5 P(không | p) = 6/9 P(fkhông | n) = 2/5 8 4 Phân lớp Naïve Bayesian – Ví dụ (2) • Phân lớp X: o một mẫu chưa thấy X = o P(X|p) P( )· P(p) P( ) = P(mưa|p) P( )· P(nóng|p) P( )· P(cao|p) P( )· P(không|p) P( )· P(p) P( ) = 3/9·2/9·3/9·6/9·9/14 = 0.010582 o P(X|n) P( )· P(n) P( ) = P(mưa|n) P( )· P(nóng|n) P( )· P(cao|n) P( )· P(không|n) P( )· P(n) P( ) = 2/5·2/5·4/5·2/5·5/14 = 0.018286 o Mẫu X được phân vào lớp n (không chơi tennis) ...