Bài giảng Máy học và mạng neural: Bài 6 - TS. Vũ Đức Lung

Bài 6 thảo luận về vấn đề học với luật Bayes và giải thuật di truyền. Thômg qua chương này người học có thể tìm hiểu về định lý (xác suất) Bayes, phương pháp lựa chọn giả thuyết, thuật toán học MAP vét cạn, thuật toán phân lớp Bayes đơn giản, các toán tử di truyền,... Mời các bạn cùng tham khảo để nắm bắt các nội dung chi tiết.
Nội dung trích xuất từ tài liệu:
Bài giảng Máy học và mạng neural: Bài 6 - TS. Vũ Đức Lung 07/08/2013 Máy học và mạng neural (Machine Learning and Neural Network)Giảng viên: TS. Vũ Đức LungEmail: lungvd@uit.edu.vn 1 Bài 06: Học với luật Bayes (Bayesian Learning) và Giải thuật di truyền (Genetic algorithm – GA) 2 1 07/08/2013 Nội dung Học Bayes  Định lý (xác suất) Bayes  Phương pháp lựa chọn giả thuyết  Thuật toán học MAP vét cạn  Thuật toán Phân lớp Bayes đơn giảnGiải thuật di truyền  Các khái niệm  Giải thuật tổng quát  Các toán tử di truyền  Bài toán người đi bán hàng TSP  Dự báo TTCK kết hợp ANNs và GA Các phương pháp học máy khác 3 Học với luật Bayes (Bayesian Learning)  Định lý (xác suất) Bayes  Phương pháp lựa chọn giả thuyết  Thuật toán học MAP vét cạn  Thuật toán Phân lớp Bayes đơn giản 4 2 07/08/2013 Tại sao dùng phương pháp Bayes?Giúp tạo ra những thuật toán học hiệu quả (như NaiveBayesian, Bayesian Belief Networks).• Có khả năng kết hợp tri thức tiên nghiệm và dữ liệu quansát được.• Giúp biểu diễn tri thức không chắc chắn (thể hiện qua độtin cậy (belief)) và biểu diễn mối quan hệ nhân quả khôngchắc chắn giữa các sự kiện.• Tận dụng độ tin cậy tiên nghiệm của người dùng. 5 Định lý (xác suất) Bayes? 6 3 07/08/2013 Phương pháp lựa chọn giả thuyếtÝ tượng chọn giả thuyết nào có khả năng cao nhất sau khi quan sát dữliệu. Phương pháp MAP (maximum a posteriori)Nếu P(hi)=P(hj) thì ta có phương pháp ML (Maximum Likelihood): 7 Ví dụMột bác sỹ biết  Bệnh nhân viêm màng não có triệu chứng cứng cổ S|M: 50%  Xác suất một bệnh nhân bị viêm màng não M là 1/50.000  Xác suất một bệnh nhân bị cứng cổ S là 1/20Một bệnh nhân bị cứng cổ hỏi xác suất anh/cô ta bị viêm màng não ? P( S | M ) P( M ) 0.5 1/ 50000 P( M | S )    0.0002 P( S ) 1/ 20 4 07/08/2013 Ví dụMột bệnh nhân nhận được xét nghiệm ung thư là dương tính, hỏi khảnăng bị ung thư của anh ta như thế nào? Biết rằng xét nghiệm đưakết quả dương tính với độ chính xác 98% (true positive), và đưa rakết quả xét nghiệm âm với độ chính xác 97% (true negative). Xácsuất bệnh ung thư trong toàn bộ dân số là 0.08. P(cancer)=0.08 ; P(!cancer)=0.92;P(+|cancer)=0.98; P(-|cancer)=0.02;P(+|!cancer)=0.03; P(-|!cancer)=0.97.P(cancer|+)=P(+|cancer)*P(cancer)=0.98*0.08=0.0784P(!cancer|+)=P(+|!cancer)*P(!cancer)=0.03*0.92=0.0276Chuẩn hoá:P(cancer|+)=0.74 ; P(!cancer|+)=0.26 9 Thuật toán học MAP vét cạn Brute-Force MAP learning algorithm1. Đối với mỗi giả thuyết h  H (không gian giả thuyết H), tính xácsuất hậu nghiệm (posterior):2. Đưa ra giả thuyết hMAP với xác suất hậu nghiệm lớn nhất:Nhận xét chỉ áp dụng được nếu |H| nhỏ. 10 5 07/08/2013 Phân lớp mẫu mớihMAP cho ta giả thuyết khả dĩ nhất trên tập dữ liệu D chotrước.Câu hỏi: nếu có một mẫu mới x, thì x có khả năng cao nhấtđược phân vào lớp nào?- không phải lúc nào hMAP(x) cũng là câu trả lời! Ví dụ: có 3 giả thuyếtVới x ta có: 11 Phân lớp Bayes tối ưu (1)Ví dụ: 12 6 07/08/2013 ...