Bài giảng Thống kê máy tính: Phân loại bằng Bayes - Lê Phong

Bài giảng Thống kê máy tính: Phân loại bằng Bayes gồm có các nội dung chính sau: Giới thiệu về bài toán phân loại và hướng tiếp cận Bayes, lý thuyết ra quyết định Bayes, phân lớp bằng biệt hàm, một số vấn đề mở rộng, xây dựng hệ phân lớp. Mời các bạn cùng tham khảo.
Nội dung trích xuất từ tài liệu:
Bài giảng Thống kê máy tính: Phân loại bằng Bayes - Lê PhongPhân loại bằng Bayes Lê PhongDàn bài Giới thiệu ◦ Bài tóan ◦ Hướng tiếp cận Bayes Lý thuyết ra quyết định Bayes Phân lớp bằng biệt hàm Một số vấn đề mở rộng Xây dựng hệ phân lớpGiới thiệu Bài toán phân loại (Pattern Classification) Xác định đối tượng có đặc trưng x thuộc lớp nào trong c lớp w1, w2,…, wc. x ? ? ? ? w1 w2 … wc Lý thuyết ra quyết định Bayes là nền tảng cho các phương pháp phân lớp thống kê.Giới thiệu (tt) Giả sử đã biết trước xác suất tiền định P(w = wi) i = 1..c Gọi p(x|wi) là mật độ xác suất của đặc trưng x trong lớp wi. Khi đó, xác suất hậu định để đối tượng có đặc trưng x thuộc lớp wi là ◦ Trong đó Để ngắn gọn, viếtGiới thiệu (tt) p(x|wi), i=1..c x P(w1|x) P(w2|x) P(wi|x) P(wc|x) w1 w2 … wc P(w1) P(w2) P(wi) P(wc) Dựa trên P(wi|x) để quyết định đối tượng x thuộc lớp nào.Dàn bài Giới thiệu Lý thuyết ra quyết định Bayes ◦ Trường hợp đơn giản – 2 lớp ◦ Trường hợp tổng quát ◦ Ví dụ Phân lớp bằng biệt hàm Một số vấn đề mở rộng Xây dựng hệ phân lớpLý thuyết ra quyết định Bayes Về mặt cảm quan, chọn lớp wbest sao cho P(wbest|x) = min P(wi|x) i=1..c Xem xét 2 trường hợp ◦ Trường hợp đơn giản 2 lớp ◦ Trường hợp tổng quátTrường hợp đơn giản Có 2 lớp w1 và w2Trường hợp đơn giản (tt) Trung bình xác suất lỗi (average probability of error) ◦ Trong đó là xác suất lỗi khi đưa ra quyết định Luật 1 tương ứng làm cực tiểu hóa trung bình xác suất lỗiTrường hợp tổng quát Mở rộng giả thiết với1. Số lớp là bất kỳ.2. a hành động α1, α2,…, αa (ví dụ như hành động αi là phân x vào lớp wi).3. Hàm tiêu tốn λ(αi|wj) thể hiện cái giá phải trả khi thực hiện hành động αi trong trường hợp đối tượng thuộc lớp wj (ví dụ như là chi phí khi phân loại sai).Trường hợp tổng quát (tt) Xác suất lỗi được tổng quát hóa bằng rủi ro có điều kiện Thể hiện cái giá phải trả cho hành động αi khi đối tượng có đặc trưng x Xác suất lỗi trung bình được tổng quát hóa bằng rủi ro toàn bộ ◦ Trong đó α(x) nhận các hành động αi (i=1..a) tương ứng với đặc trưng x tìm α(x) để đạt cực tiểu R.Trường hợp tổng quát (tt) Luật 2 đạt được cực tiểu cho R* - còn được gọi là rủi ro Bayes.Hàm tiêu tốn đối xứng Trường hợp đặc biệt: αi là hành động phân đối tượng x vào lớp wi với hàm tiêu tốn Ý nghĩa: không trả giá nếu phân loại đúng, ngược lại trả giá là 1. Hàm rủi ro có điều kiệnVí dụ 2 lớp P(w1)=2/3, P(w2)=1/3 3 hành động ◦ α1 = “xếp đối tượng vào lớp w1” ◦ α2 = “xếp đối tượng vào lớp w2” ◦ α3 = “không phân lớp” Hàm tiêu tốn λVí dụ (tt) TínhVí dụ (tt) α1 α3 α2Dàn bài Giới thiệu Lý thuyết ra quyết định Bayes Phân lớp bằng biệt hàm ◦ Biệt hàm, vùng ra quyết định ◦ Biệt hàm cho phân phối chuẩn Một số vấn đề mở rộng Xây dựng hệ phân lớpBiệt hàm Mỗi lớp wi có một biệt hàm (discriminant function) gi(x). Với mỗi đối tượng có đặc trưng x, hệ phân lớp sẽ phân x và lớp wi nếuBiệt hàm (tt) Một số trường hợp ◦ Tính chi phí bằng xác suất lỗi trung bình hoặc ◦ Tính chi phí bằng rủi ro toàn cụcVùng ra quyết định Phân hoạch không gian đặc trưng ra c phần không giao nhau R1,…, Rc với x thuộc Ri nếu x được phân vào lớp wi Ri được gọi là vùng ra quyết định (decision region) Biên bao quanh các Ri được gọi là biên ra quyết định (decision boundary) ...