Bài giảng Máy học và mạng neural: Bài 5 - TS. Vũ Đức Lung

Bài 5 cung cấp những kiến thức về mô hình Markov ẩn (Hidden Markov Model). Các nội dung chính được trình bày trong chương này gồm có: Các khái niệm, ba bài toán cơ bản của HMM, thuộc tính Markov, thuật toán lan truyền xuôi,...và những nội dung khác.
Nội dung trích xuất từ tài liệu:
Bài giảng Máy học và mạng neural: Bài 5 - TS. Vũ Đức Lung 07/08/2013 Máy học và mạng neural (Machine Learning and Neural Network)Giảng viên: TS. Vũ Đức LungEmail: lungvd@uit.edu.vn 1Bài 05 – Mô hình Markov ẩn Hidden Markov Model 2 1 07/08/2013 Nội dung bài 04 – HMM Các khái niệm Thuộc tính Markov Ba bài toán cơ bản của HMM Thuật toán lan truyền xuôi Thuật toán lan truyền ngược Thuật toán lan truyền xuôi-ngược Thuật toán Viterbi Thuật toán Baum-Welch Một số thuật toán khác Ví dụ ứng dụng tổng hợp và nhận dạng giọng nói 3 Định nghĩa Mô hình Markov ẩn (tiếng Anh là Hidden Markov Model - HMM) là mô hình thống kê trong đó hệ thống được mô hình hóa được cho là một quá trình Markov với các tham số không biết trước và nhiệm vụ là xác định các tham số ẩn từ các tham số quan sát được, dựa trên sự thừa nhận này. Các tham số của mô hình được rút ra sau đó có thể sử dụng để thực hiện các phân tích kế tiếp, ví dụ cho các ứng dụng nhận dạng mẫu. 4 2 07/08/2013 Tại sao dùng mô hình Markov ẩn?• Nhiều bài toán thực tế được biểu diễn dưới mối quan hệ nhânquả, nhưng chỉ quan sát được phần quả còn phần nhân thì ẩn.• HMM dùng để giải quyết các bài toán xác lập mối nhân quả cụcbộ (Fragmentation, Classification, Similarity Search). 1 2 K … 5 Ứng dụng của mô hình Markov ẩn• Nhận dạng tiếng nói.• Nhận dạng chữ viết tay.• Xử lý ngôn ngữ thống kê.• Dịch máy.• Tin sinh học: – Khớp xấp xỉ nhiều chuỗi. – Tìm Motif. – Tìm kiếm tương tự. 6 3 07/08/2013 Thuộc tính MarkovMột dãy trạng thái ngẫu nhiên gọi là có thuộc tínhMarkov nếu như xác suất chuyển sang trạng thái tiếptheo chỉ phụ thuộc vào trạng thái hiện tại và quá khứ.– Dãy chuyển trạng quan sát được → Xích Markov.– Dãy chuyển trạng không quan sát được → Mô hìnhMarkov ẩn. 7 Chuỗi(Xích) Makov - N là số lượng trạng thái trong chuỗi Makov (ở đây N=5), mỗi trạng thái được đánh số từ (1..N) - St là trạng thái của hệ thống ở thời điểm t - aij là xác suất chuyển trạng thái với các tính chất sau : tổng tất cả a =1, aij >=0 - Aij=P[qt=j|qt-1=i] 8 4 07/08/2013 Ví dụ Mô hình biểu diễn thời tiết - Mưa : Trạng thái 1 - Mây : Trạng thái 2 - Nắng : Trạng thái 3 - Ma trận xác suất chuyển trạng thái Hỏi : Xác suất để thời tiết 4 ngày liên tiếp : Nắng, Mưa, Mây, Nắng là bao nhiêu? Trả lời : Dãy quan sát O là : (Nắng, Mưa, Mây, Nắng) P(O) = P[3,1,2,3] =P[3]. P[1|3]. P[2,1]. P[3,2] 9 =1 * a31 * a12 * a23 (P[j|i]=aij) Chuỗi(Xích) Makov Ví dụ: mô hình Markov bậc 1: Ví dụ: mô hình Markov bậc 2: 10 5 ...