Bài giảng Nhập môn Học máy và Khai phá dữ liệu - Chương 10: Mạng nơron (Neural networks)
Số trang: 71
Loại file: pdf
Dung lượng: 2.14 MB
Lượt xem: 23
Lượt tải: 0
Xem trước 8 trang đầu tiên của tài liệu này:
Thông tin tài liệu:
Bài giảng Nhập môn Học máy và Khai phá dữ liệu - Chương 10: Mạng nơron (Neural networks). Chương này cung cấp cho học viên những nội dung về: mạng nơ-ron nhân tạo; cấu trúc và hoạt động của một nơ-ron; kiến trúc mạng ANN; hàm đánh giá lỗi (Loss function); giải thuật học lan truyền ngược;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!
Nội dung trích xuất từ tài liệu:
Bài giảng Nhập môn Học máy và Khai phá dữ liệu - Chương 10: Mạng nơron (Neural networks) 1 Nhập môn Học máy và Khai phá dữ liệu (IT3190) 2 Nội dung môn học • Lecture 1: Giới thiệu về Học máy và khai phá dữ liệu • Lecture 2: Thu thập và tiền xử lý dữ liệu • Lecture 3: Hồi quy tuyến tính (Linear regression) • Lecture 4+5: Phân cụm • Lecture 6: Phân loại và Đánh giá hiệu năng • Lecture 7: dựa trên láng giềng gần nhất (KNN) • Lecture 8: Cây quyết định và Rừng ngẫu nhiên • Lecture 9: Học dựa trên xác suất • Lecture 10: Mạng nơron (Neural networks) • Lecture 11: Máy vector hỗ trợ (SVM) • Lecture 12: Khai phá tập mục thường xuyên và các luật kết hợp • Lecture 13: Thảo luận ứng dụng học máy và khai phá dữ liệu trong thực tế 3 Mạng nơ-ron nhân tạo: Giới thiệu (1) ◼ Mạng nơ-ron nhân tạo (Artificial neural network – ANN) ❑ Mô phỏng các hệ thống nơ-ron sinh học (các bộ não con người) ❑ ANN là một cấu trúc (structure/network) được tạo nên bởi một số lượng các nơ-ron (artificial neurons) liên kết với nhau ◼ Mỗi nơ-ron ❑ Có một đặc tính vào/ra ❑ Thực hiện một tính toán cục bộ (một hàm cục bộ) ◼ Giá trị đầu ra của một nơ-ron được xác định bởi ❑ Đặc tính vào/ra của nó ❑ Các liên kết của nó với các nơ-ron khác ❑ (Có thể) các đầu vào bổ sung 4 Mạng nơ-ron nhân tạo: Giới thiệu (2) ◼ ANN có thể được xem như một cấu trúc xử lý thông tin một cách phân tán và song song ở mức cao ◼ ANN có khả năng học (learn), nhớ lại (recall), và khái quát hóa (generalize) từ các dữ liệu học ◼ Khả năng của một ANN phụ thuộc vào ❑ Kiến trúc (topology) của mạng nơ-ron ❑ Đặc tính đầu vào/ra của mỗi nơ-ron ❑ Thuật toán học (huấn luyện) ❑ Dữ liệu học 5 ANN: a huge breakthrough ◼ AlphaGo of Google the world champion at Go (cờ vây), 3/2016 ❑ Go is a 2500 year-old game. ❑ Go is one of the most complex games. ◼ AlphaGo learns from 30 millions human moves, and plays itself to find new moves. ◼ It beat Lee Sedol (World champion) ❑ http://www.wired.com/2016/03/two-moves-alphago-lee-sedol- redefined-future/ ❑ http://www.nature.com/news/google-ai-algorithm-masters-ancient- game-of-go-1.19234 6 Cấu trúc và hoạt động của một nơ-ron • Các tín hiệu đầu vào (input signals) của nơ-ron (xi, i=1..m) x0=1 • Mỗi tín hiệu đầu vào xi gắn với một trọng số wi x1 w0 • Trọng số điều chỉnh (bias) w0 w1 (với x0=1) x2 Giá trị • Đầu vào tổng thể (Net input) là … w2 đầu ra một hàm tích hợp của các tín wm của hiệu đầu vào – Net(w,x) xm nơ-ron • Hàm tác động/truyền (Out) (Activation/transfer function) tính giá trị đầu ra của nơ-ron – f(Net(w,x)) Các tín Đầu vào Hàm tác • Giá trị đầu ra (Output) của nơ- hiệu đầu tổng thể động ron: Out=f(Net(w,x)) vào của (Net) (truyền) nơ-ron (f) (x) 7 Đầu vào tổng thể • Đầu vào tổng thể (net input) thường được tính toán bởi một hàm tuyến tính m m Net = w0 + w1 x1 + w2 x2 + ... + wm xm = w0 .1 + wi xi = wi xi i =1 i =0 • Ý nghĩa của trọng số điều chỉnh (bias) w0 → Họ các hàm Net=w1x1 không thể phân tách được các ví dụ thành 2 lớp (two classes) → Nhưng: họ các hàm Net=w1x1+w0 có thể! Net Net Net = w1x1 Net = w1x1 + w0 x1 x1 8 Hàm tác động: Giới hạn cứng • Còn được gọi là hàm ngưỡng ìï 1, if Net ³ q (threshold function) Out(Net) = HL(Net, q ) = í • Giá trị đầu ra lấy một trong 2 giá trị ïî 0, otherwise • là giá trị ngưỡng • Nhược điểm: không liên tục, không Out(Net) = HL2(Net,q ) = sign(Net, q ) có đạo hàm Binary Out Bipolar Out hard-limiter hard-limiter 1 1 0 Net 0 Net -1 9 Hàm tác động: Logic ngưỡng 0, if Net − 1 Out ( Net ) = tl ( Net , , ) = ( Net + ), if − Net − ...
Nội dung trích xuất từ tài liệu:
Bài giảng Nhập môn Học máy và Khai phá dữ liệu - Chương 10: Mạng nơron (Neural networks) 1 Nhập môn Học máy và Khai phá dữ liệu (IT3190) 2 Nội dung môn học • Lecture 1: Giới thiệu về Học máy và khai phá dữ liệu • Lecture 2: Thu thập và tiền xử lý dữ liệu • Lecture 3: Hồi quy tuyến tính (Linear regression) • Lecture 4+5: Phân cụm • Lecture 6: Phân loại và Đánh giá hiệu năng • Lecture 7: dựa trên láng giềng gần nhất (KNN) • Lecture 8: Cây quyết định và Rừng ngẫu nhiên • Lecture 9: Học dựa trên xác suất • Lecture 10: Mạng nơron (Neural networks) • Lecture 11: Máy vector hỗ trợ (SVM) • Lecture 12: Khai phá tập mục thường xuyên và các luật kết hợp • Lecture 13: Thảo luận ứng dụng học máy và khai phá dữ liệu trong thực tế 3 Mạng nơ-ron nhân tạo: Giới thiệu (1) ◼ Mạng nơ-ron nhân tạo (Artificial neural network – ANN) ❑ Mô phỏng các hệ thống nơ-ron sinh học (các bộ não con người) ❑ ANN là một cấu trúc (structure/network) được tạo nên bởi một số lượng các nơ-ron (artificial neurons) liên kết với nhau ◼ Mỗi nơ-ron ❑ Có một đặc tính vào/ra ❑ Thực hiện một tính toán cục bộ (một hàm cục bộ) ◼ Giá trị đầu ra của một nơ-ron được xác định bởi ❑ Đặc tính vào/ra của nó ❑ Các liên kết của nó với các nơ-ron khác ❑ (Có thể) các đầu vào bổ sung 4 Mạng nơ-ron nhân tạo: Giới thiệu (2) ◼ ANN có thể được xem như một cấu trúc xử lý thông tin một cách phân tán và song song ở mức cao ◼ ANN có khả năng học (learn), nhớ lại (recall), và khái quát hóa (generalize) từ các dữ liệu học ◼ Khả năng của một ANN phụ thuộc vào ❑ Kiến trúc (topology) của mạng nơ-ron ❑ Đặc tính đầu vào/ra của mỗi nơ-ron ❑ Thuật toán học (huấn luyện) ❑ Dữ liệu học 5 ANN: a huge breakthrough ◼ AlphaGo of Google the world champion at Go (cờ vây), 3/2016 ❑ Go is a 2500 year-old game. ❑ Go is one of the most complex games. ◼ AlphaGo learns from 30 millions human moves, and plays itself to find new moves. ◼ It beat Lee Sedol (World champion) ❑ http://www.wired.com/2016/03/two-moves-alphago-lee-sedol- redefined-future/ ❑ http://www.nature.com/news/google-ai-algorithm-masters-ancient- game-of-go-1.19234 6 Cấu trúc và hoạt động của một nơ-ron • Các tín hiệu đầu vào (input signals) của nơ-ron (xi, i=1..m) x0=1 • Mỗi tín hiệu đầu vào xi gắn với một trọng số wi x1 w0 • Trọng số điều chỉnh (bias) w0 w1 (với x0=1) x2 Giá trị • Đầu vào tổng thể (Net input) là … w2 đầu ra một hàm tích hợp của các tín wm của hiệu đầu vào – Net(w,x) xm nơ-ron • Hàm tác động/truyền (Out) (Activation/transfer function) tính giá trị đầu ra của nơ-ron – f(Net(w,x)) Các tín Đầu vào Hàm tác • Giá trị đầu ra (Output) của nơ- hiệu đầu tổng thể động ron: Out=f(Net(w,x)) vào của (Net) (truyền) nơ-ron (f) (x) 7 Đầu vào tổng thể • Đầu vào tổng thể (net input) thường được tính toán bởi một hàm tuyến tính m m Net = w0 + w1 x1 + w2 x2 + ... + wm xm = w0 .1 + wi xi = wi xi i =1 i =0 • Ý nghĩa của trọng số điều chỉnh (bias) w0 → Họ các hàm Net=w1x1 không thể phân tách được các ví dụ thành 2 lớp (two classes) → Nhưng: họ các hàm Net=w1x1+w0 có thể! Net Net Net = w1x1 Net = w1x1 + w0 x1 x1 8 Hàm tác động: Giới hạn cứng • Còn được gọi là hàm ngưỡng ìï 1, if Net ³ q (threshold function) Out(Net) = HL(Net, q ) = í • Giá trị đầu ra lấy một trong 2 giá trị ïî 0, otherwise • là giá trị ngưỡng • Nhược điểm: không liên tục, không Out(Net) = HL2(Net,q ) = sign(Net, q ) có đạo hàm Binary Out Bipolar Out hard-limiter hard-limiter 1 1 0 Net 0 Net -1 9 Hàm tác động: Logic ngưỡng 0, if Net − 1 Out ( Net ) = tl ( Net , , ) = ( Net + ), if − Net − ...
Tìm kiếm theo từ khóa liên quan:
Bài giảng Nhập môn Học máy và Khai phá dữ liệu Nhập môn Học máy và Khai phá dữ liệu Mạng nơron Neural networks Mạng nơ-ron nhân tạo Giải thuật học lan truyền ngượcGợi ý tài liệu liên quan:
-
Bài giảng Nhập môn Học máy và Khai phá dữ liệu: Chương 7 - Nguyễn Nhật Quang
37 trang 91 0 0 -
Bài giảng Nhập môn Học máy và Khai phá dữ liệu: Chương 3 - Nguyễn Nhật Quang
19 trang 50 0 0 -
Bài giảng Nhập môn Học máy và Khai phá dữ liệu: Chương 9 - Nguyễn Nhật Quang
48 trang 47 0 0 -
Bài giảng Nhập môn Học máy và Khai phá dữ liệu: Chương 2 - Nguyễn Nhật Quang
31 trang 41 0 0 -
VLSP 2021 - SV challenge: Vietnamese speaker verification in noisy environments
8 trang 40 1 0 -
Bài giảng Nhập môn Học máy và Khai phá dữ liệu: Chương 6 - Nguyễn Nhật Quang
32 trang 39 0 0 -
Ebook Introduction to machine learning
209 trang 38 0 0 -
Nghiên cứu mạng nơ-ron học sâu: Phần 1
89 trang 38 0 0 -
Điều khiển robot dạng chuỗi sử dụng mạng nơ-ron nhân tạo
3 trang 34 0 0 -
Bài giảng Nhập môn Học máy và Khai phá dữ liệu: Chương 11 - Nguyễn Nhật Quang
21 trang 33 0 0