Bài giảng Lý thuyết nhận dạng – Chương 3: Nhận dạng mẫu dựa trên thống kê

"Bài giảng Lý thuyết nhận dạng – Chương 3: Nhận dạng mẫu dựa trên thống kê" với các nội dung bộ phân lớp cực tiểu khoảng cách; phân lớp theo khoảng cách Mahalanobis; ước lượng tham số hợp lý cực đại của phân bố Gaussia; mô hình hỗn hợp; giải thuật EM – cực đại hàm tin cậy; giải thuật EM – cực đại hàm tin cậy...
Nội dung trích xuất từ tài liệu:
Bài giảng Lý thuyết nhận dạng – Chương 3: Nhận dạng mẫu dựa trên thống kê Nhận dạng dựa trên thống kê LÝ THUYẾT NHẬN DẠNG CHƯƠNG 3: NHẬN DẠNG MẪU DỰA TRÊN THỐNG KÊ1 Biên soạn: TS Ngô Hữu Phúc Bộ môn: Khoa học máy tính Học viện kỹ thuật quân sự Email: ngohuuphuc76@gmail.com3.4. BỘ PHÂN LỚP CỰC TIỂU KHOẢNG CÁCH3.4.1. Phân lớp theo khoảng cách Euclidean (1/2) Bộ phân lớp Bayesian tối ưu thỏa một số rằng buộc sau:  Các lớp có xác suất như nhau.  Dữ liệu của tất cả các lớp theo phân bố chuẩn Gaussian.  Ma trận hiệp phương sai là giống nhau với tất cả các lớp.  Ma trận hiệp phương sai có dạng đường chéo và tất cả các thành phần trên đường chéo giống nhau, dạng S = σ2 I, với I là ma trận đơn vị.Nhận dạng dựa trên thống kê 23.4. BỘ PHÂN LỚP CỰC TIỂU KHOẢNG CÁCH3.4.1. Phân lớp theo khoảng cách Euclidean (2/2)  Với các rằng buộc trên, bộ phân lớp Bayesian tối ưu tương đương bộ phân lớp cực tiểu khoảng cách Euclidean.  Như vậy, cho vecto x chưa biết, x sẽ được gán vào lớp ωi nếu: ? − ?? ≡ ? − ?? ? ? − ?? < ? − ?? , ∀? ≠ ?  Nhận xét:  Bộ phân lớp Euclidean thường được sử dụng vì tính đơn giản của nó, kể cả trong trường hợp các rằng buộc trên không thỏa mãn.  Cách phân lớp này còn được gọi là phân lớp gần nhất theo tiêu chuẩn Euclidean.Nhận dạng dựa trên thống kê 33.4. BỘ PHÂN LỚP CỰC TIỂU KHOẢNG CÁCH3.4.2. Phân lớp theo khoảng cách Mahalanobis  Trong bộ phân lớp Bayesian tối ưu, nếu bỏ yếu tố: ma trận hiệp phương sai có dạng đường chéo với các phần tử giống nhau, khi đó, bộ phân lớp này tương đương với phân lớp cực tiểu theo khoảng cách Mahalanobis.  Như vậy, với vecto x chưa biết, x được gán vào lớp ωi nếu: ? −? ? − ?? ? ? −? ? − ?? < ? − ?? ? ? − ?? , ∀? ≠ ?  Trong đó, S là ma trận hiệp phương sai.Nhận dạng dựa trên thống kê 4VÍ DỤ MỤC 3.4-1  Xem xét bài toán phân lớp (với 2 lớp) trên không gian 3 chiều.  Hai lớp lần lượt là ω1 và ω2 với:  Sử dụng mô hình phân bố Gaussian.  m1 = 0, 0, 0 T ; m1 = 0.5, 0.5, 0.5 T .  Cả hai lớp có xác suất như nhau.  Ma trận hiệp phương sai là: 0.8 0.01 0.01 S = 0.01 0.2 0.01 0.01 0.01 0.2 T  Với vecto x = 0.1, 0.5, 0.1 , x được gán là nhãn gì theo 2 khoảng cách Euclidean và Mahalanobis?Nhận dạng dựa trên thống kê 5VÍ DỤ MỤC 3.4-1 (CONT) Mã MatLABclose(all); % 2. Su dung khoang cachclear; Mahalanobis x=[0.1 0.5 0.1];% 1. su dung khoang cach m1=[0 0 0];Euclidean m2=[0.5 0.5 0.5];x=[0.1 0.5 0.1]; m=[m1 m2];m1=[0 0 0]; S=[0.8 0.01 0.01;m2=[0.5 0.5 0.5]; 0.01 0.2 0.01;m=[m1 m2]; 0.01 0.01 0.2];z=euclidean_classifier(m,x) z=mahalanobis_classifier(m,S,x)Nhận dạng dựa trên thống kê 6VÍ DỤ MỤC 3.4-1 (CONT)function [z]=euclidean_classifier(m,X) function z=mahalanobis_classifier(m,S,X)[l,c]=size(m); [l,c]=size(m);[l,N]=size(X); [l,N]=size(X);for i=1:N for i=1:N for j=1:c for j=1:c de(j)=sqrt((X(:,i)- dm(j)=sqrt((X(:,i)-m(:,j))*(X(:,i)-m(:,j))); m(:,j))*inv(S)*(X(:,i)-m(:,j))); end end [num,z(i)]=min(de); [num,z(i)]=min(dm);end endNhận dạng dựa trên thống kê 7VÍ DỤ MỤC 3.4-1 (CONT) Kết quả:  ?=1  ?=2 Nhận xét:  Lưu ý mối tương quan giữa các thành phần.Nhận dạng dựa trên thống kê 83.4.3. ƯỚC LƯỢNG THAM SỐ HỢP LÝ CỰC ĐẠI CỦA PHÂNBỐ GAUSSIAN  Trong thực tế, vấn đề thường gặp: chưa biết hàm phân bố xác suất của dữ ...