Bài giảng Học máy (IT 4862): Chương 4.2 - Nguyễn Nhật Quang

Chương 4 - Các phương pháp học có giám sát (Học cây quyết định - Decision tree learning). Chương này trình bày những nội dung chính sau: Khái niệm học cây quyết định, biểu diễn cây quyết định, giải thuật ID3, lựa chọn thuộc tính kiểm tra, Entropy, information gain, học cây quyết định,... Mời các bạn cùng tham khảo nội dung chi tiết.
Nội dung trích xuất từ tài liệu:
Bài giảng Học máy (IT 4862): Chương 4.2 - Nguyễn Nhật Quang Học Máy (IT 4862) Nguyễn ễ Nhật hậ Quang quangnn-fit@mail.hut.edu.vn Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thông tin và truyền thông Năm học 2011-2012 Nội dung d môn ô học: h „ Giới thiệu chung g „ Đánh giá hiệu năng hệ thống học máy „ Các phương pháp học dựa trên xác suất „ Các phương pháp học có giám sát „ Học cây quyết định (Decision tree learning) „ Các phương pháp học không giám sát „ L cộng Lọc ộ tác tá „ Học tăng cường Học Máy – IT 4862 2 Học câyy quyết q y định – Giới thiệu „ Học cây quyết định (Decision tree –DT– learning) • Để học (xấp xỉ) một hàm mục tiêu có giá trị rời rạc (discretevalued target function) – hàm phân lớp • Hàm phân lớp được biểu diễn bởi một cây quyết định „ Một cây quyết định có thể được biểu diễn (diễn giải) bằng một tập các luật IF-THEN (dễ đọc và dễ hiểu) „ Học cây H â quyết ết định đị h có ó thể thực th hiện hiệ ngay cả ả với ới các á dữ liệu liệ có ó chứa nhiễu/lỗi (noisy data) „ Là một ộ trong g các p phương gp pháp p học ọ q quy y nạp ạp ((inductive learning) được dùng phổ biến nhất „ Được áp dụng thành công trong rất nhiều các bài toán ứng d dụng thực th tế Học Máy – IT 4862 3 Ví dụ về DT: Những tin tức nào mà tôi quan tâm? “sport”? is present is absent “player”? is present Interested is absent Uninterested “football”? is present Interested is present Interested • (…,“sport”,…,“player”,…) → Interested • (…,“goal”,…) → Interested • (…, ( “sport” sport ,…)) → Uninterested Học Máy – IT 4862 is absent “goal”? is absent Uninterested 4 Ví dụ về DT: Một người có chơi tennis không? Outlook=? Sunny Overcast Humidity=? Rain Wind=? Yes High Normal No Yes Strong No Weak Yes • (Outlook=Overcast, Temperature=Hot, Humidity=High, Wind=Weak) → Yes (Outlook=Rain, a , Temperature=Mild, p d, Humidity=High, y g , Wind=Strong) St o g) • (O → No • (Outlook=Sunny, Temperature=Hot, Humidity=High, Wind=Strong) → No Học Máy – IT 4862 5