Luận án Tiến sĩ Hệ thống thông tin: Một số phương pháp ngẫu nhiên cho bài toán cực đại hóa xác suất hậu nghiệm không lồi trong học máy

Luận án trình bày một số kiến thức nền tảng; ngẫu nhiên hóa thuật toán tối ưu giải bài toán suy diễn hậu nghiệm trong mô hình chủ đề; tổng quát hóa thuật toán tối ưu giải bài toán MAP không lồi trong mô hình chủ đề; ngẫu nhiên bernoulli cho bài toán MAP không lồi và ứng dụng.
Nội dung trích xuất từ tài liệu:
Luận án Tiến sĩ Hệ thống thông tin: Một số phương pháp ngẫu nhiên cho bài toán cực đại hóa xác suất hậu nghiệm không lồi trong học máy BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI BÙI THỊ THANH XUÂN MỘT SỐ PHƯƠNG PHÁP NGẪU NHIÊN CHOBÀI TOÁN CỰC ĐẠI HÓA XÁC SUẤT HẬU NGHIỆM KHÔNG LỒI TRONG HỌC MÁY LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN HÀ NỘI−2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI BÙI THỊ THANH XUÂN MỘT SỐ PHƯƠNG PHÁP NGẪU NHIÊN CHOBÀI TOÁN CỰC ĐẠI HÓA XÁC SUẤT HẬU NGHIỆM KHÔNG LỒI TRONG HỌC MÁY Ngành: Hệ thống thông tin Mã số: 9480104 LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN TẬP THỂ HƯỚNG DẪN KHOA HỌC: 1. PGS.TS. THÂN QUANG KHOÁT 2. TS. NGUYỄN THỊ OANH HÀ NỘI−2020 LỜI CAM ĐOAN Tôi xin cam đoan các kết quả trình bày trong luận án là công trình nghiêncứu của bản thân nghiên cứu sinh trong thời gian học tập và nghiên cứu tạiĐại học Bách khoa Hà Nội dưới sự hướng dẫn của tập thể hướng dẫn khoahọc. Các số liệu, kết quả trình bày trong luận án là hoàn toàn trung thực.Các kết quả sử dụng tham khảo đều đã được trích dẫn đầy đủ và theo đúngquy định. Hà Nội, ngày tháng 02 năm 2020 Nghiên cứu sinh Bùi Thị Thanh Xuân TẬP THỂ HƯỚNG DẪN KHOA HỌC LỜI CẢM ƠN Trong quá trình nghiên cứu và hoàn thành luận án này, nghiên cứu sinhđã nhận được nhiều sự giúp đỡ và đóng góp quý báu. Đầu tiên, nghiên cứusinh xin được bày tỏ lòng biết ơn sâu sắc tới tập thể hướng dẫn: PGS.TS.Thân Quang Khoát và TS. Nguyễn Thị Oanh. Các thầy cô đã tận tình hướngdẫn, giúp đỡ nghiên cứu sinh trong suốt quá trình nghiên cứu và hoàn thànhluận án. Nghiên cứu sinh xin chân thành cảm ơn Bộ môn Hệ thống thông tinvà Phòng thí nghiệm Khoa học dữ liệu, Viện Công nghệ thông tin và truyềnthông - Trường Đại học Bách khoa Hà Nội, nơi nghiên cứu sinh học tập đãtạo điều kiện, cho phép nghiên cứu sinh có thể tham gia nghiên cứu trongsuốt thời gian học tập. Nghiên cứu sinh xin chân thành cảm ơn Phòng Đàotạo - Trường Đại học Bách Khoa Hà Nội đã tạo điều kiện để nghiên cứu sinhcó thể hoàn thành các thủ tục bảo vệ luận án tiến sĩ. Cuối cùng, nghiên cứusinh xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè đồng nghiệp đã luôn độngviên, giúp đỡ nghiên cứu sinh vượt qua khó khăn để đạt được những kết quảnghiên cứu như hôm nay. MỤC LỤCDANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ . . . . . . . . . . ivDANH MỤC HÌNH VẼ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viDANH MỤC BẢNG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xDANH MỤC KÝ HIỆU TOÁN HỌC . . . . . . . . . . . . . . . . . . . . . . . . . . xiMỞ ĐẦU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1CHƯƠNG 1. MỘT SỐ KIẾN THỨC NỀN TẢNG . . . . . . . . . . . . . . 9 1.1. Tối ưu không lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.1.1. Bài toán tối ưu tổng quát . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.1.2. Tối ưu ngẫu nhiên . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.2. Mô hình đồ thị xác suất . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.2.1. Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.2.2. Một số phương pháp suy diễn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.3. Bài toán cực đại hóa xác suất hậu nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.3.1. Giới thiệu bài toán MAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.3.2. Một số phương pháp tiếp cận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 1.4. Mô hình chủ đề . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.4.1. Giới thiệu về mô hình chủ đề . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.4.2. Mô hình Latent Dirichlet Allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 1.4.3. Suy diễn hậu nghiệm trong mô hình chủ đề . . . . . . . . . . . . . . . . . . . . 25 1.5. Thuật toán OPE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1.6. Một số thuật toán ngẫu nhiên học LDA. . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 1.7. Kết luận chương 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33CHƯƠNG 2. NGẪU NHIÊN HÓA THUẬT TOÁN TỐI ƯUGIẢI BÀI TOÁN SUY DIỄN HẬU NGHIỆMTRONG MÔ HÌNH CHỦ ĐỀ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 2.1. Giới thiệu . . . . . . . . . ...