Bài giảng Học máy (IT 4862): Chương 4.5 - Nguyễn Nhật Quang

Chương 4 - Các phương pháp học có giám sát (Máy vectơ hỗ trợ - Support vector machine). Chương này trình bày những nội dung chính sau: Giới thiệu về máy vectơ hỗ trợ, mặt siêu phẳng phân tách, mặt siêu phẳng có lề cực đại, dữ liệu phân tách được tuyền tính, tính toán mức lề, cực đại hóa mức lề, bài toán tối ưu,... Mời các bạn cùng tham khảo nội dung chi tiết.
Nội dung trích xuất từ tài liệu:
Bài giảng Học máy (IT 4862): Chương 4.5 - Nguyễn Nhật Quang Học Máy (IT 4862) Nguyễn ễ Nhật hậ Quang quangnn-fit@mail.hut.edu.vn Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thông tin và truyền thông Năm học 2011-2012 Nội dung d môn ô học: h „ Giới thiệu chung g „ Đánh giá hiệu năng hệ thống học máy „ Các phương pháp học dựa trên xác suất „ Các phương pháp học có giám sát „ Máy vectơ hỗ trợ (Support vector machine) „ Các phương pháp học không giám sát „ L cộng Lọc ộ tác tá „ Học tăng cường Học Máy – IT 4862 2 Máy vectơ hỗ trợ - Giới thiệu (1) „ Máy vectơ hỗ trợ (Support vector machine - SVM) được đề cử bởi V V. Vapnik và các đồng nghiệp của ông vào những năm 1970s ở Nga, và sau đó đã trở nên nổi tiếng và phổ biến vào những năm 1990s „ SVM là một phương pháp phân lớp tuyến tính (linear classifier), với mục đích xác định một siêu phẳng (hyperplane) để phân tách hai lớp của dữ liệu – ví dụ: lớp các ví dụ có nhãn dương (positive) và lớp các ví dụ có nhãn âm (negative) „ Các hàm nhân (kernel functions), cũng được gọi là các hàm biến đổi (transformation functions), được dùng cho các trường hợp phân lớp phi tuyến Học Máy – IT 4862 3 Máy vectơ hỗ trợ - Giới thiệu (2) „ SVM có một nền tảng lý thuyết chặt chẽ – dựa trên nhiều định lý toán học „ SVM là một phương pháp tốt (phù hợp) đối với những bài toán phân lớp có không gian biểu diễn thuộc tính lớn – các đối tượng cần phân lớp được biểu diễn bởi một tập rất lớn các thuộc tính „ SVM đã được biết ế đến ế là một trong số ố các phương pháp phân lớp tốt nhất đối với các bài toán phân lớp văn bản (text/document classification) Học Máy – IT 4862 4 Máy vectơ hỗ trợ - Giới thiệu (3) Các vectơ được ký hiệu bởi các chữ đậm nét! „ Biểu Biể diễn diễ tập tậ r các á víí dụ d huấn h ấ luyện l ệ (training (t i i examples) l ) {(x1, y1), (x2, y2), …, (xr, yr)}, „ „ „ ‰ xi là một vectơ đầu vào được biểu diễn trong không gian X ⊆ Rn ‰ yi là một nhãn lớp (giá trị đầu ra), yi ∈ {1,-1} ‰ yi=1: lớp dương (positive); yi=-1: lớp âm (negative) ⎧ 1 nêu 〈 w ⋅ x i 〉 + b ≥ 0 Đối với một ví dụ xi: yi = ⎨ ⎩− 1 nêu 〈 w ⋅ x i 〉 + b < 0 SVM xác định một hàm phân tách tuyến tính f(x) = 〈w ⋅ x〉 + b ‰ [Eq.1] [Eq.2] w là vectơ trọng số ố các thuộc tính; b là một giá trị số ố thực Học Máy – IT 4862 5