Luận văn Thạc sĩ Hệ thống thông tin: Ứng dụng độ đo entropy và fuzzy logic cho bài toán dữ liệu thưa

Luận văn "Ứng dụng độ đo entropy và fuzzy logic cho bài toán dữ liệu thưa" được hoàn thành với mục tiêu nhằm ứng dụng Fuzzy logic cho việc phục hồi điểm rèn luyện; Cài đặt thuật toán Bootstrap phục hồi dữ liệu; Đánh giá mối tương quan giữa các biến, các cụm biến; Đề xuất cách phục hồi điểm rèn luyện dựa trên độ tương đồng giữa hai vector.
Nội dung trích xuất từ tài liệu:
Luận văn Thạc sĩ Hệ thống thông tin: Ứng dụng độ đo entropy và fuzzy logic cho bài toán dữ liệu thưa UBND TỈNH BÌNH DƢƠNG TRƢỜNG ĐẠI HỌC THỦ DẦU MỘT NGUYỄN VIỆT THANH HIỀNỨNG DỤNG ĐỘ ĐO ENTROPY VÀ FUZZY LOGIC CHO BÀI TOÁN DỮ LIỆU THƢA LUẬN VĂN THẠC SỸ CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 BÌNH DƢƠNG - 2019 UBND TỈNH BÌNH DƢƠNG TRƢỜNG ĐẠI HỌC THỦ DẦU MỘT NGUYỄN VIỆT THANH HIỀNỨNG DỤNG ĐỘ ĐO ENTROPY VÀ FUZZY LOGIC CHO BÀI TOÁN DỮ LIỆU THƢA LUẬN VĂN THẠC SỸ CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 NGƢỜI HƢỚNG D N HOA HỌC: TS. HOÀNG MẠNH HÀ BÌNH DƢƠNG – 2019 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi, các tríchdẫn đều được sự đồng ý của tôi trước khi đưa vào luận văn. Các kết quả trongluận văn là trung thực và chưa từng công bố trong một công trình khoa học nàokhác. Bình Dương, tháng 10 năm 2019 Học viên Nguyễn Việt Thanh Hiền i LỜI CẢM ƠN Để hoàn thành luận văn này, trước hết em xin bày tỏ lòng biết ơn sâu sắctới Thầy TS Hoàng Mạnh Hà đã tận tình chỉ dạy và có những góp ý quý báu choem trong thời gian thực hiện luận văn. Em xin chân thành cảm ơn ban Lãnh đạo Khoa Kỹ Thuật Công NghệTrường Đại học Thủ Dầu Một, Phòng Đào tạo Sau đại học và Quý thầy CôTrường Đại học Thủ Dầu Một, thành phố Thủ Dầu Một, Tỉnh Bình Dương, đãtạo điều kiện thuận lợi cho em trong quá trình học tập, nghiên cứu tại trường.Cảm ơn các bạn Tập thể lớp Cao học CH17HT đã sát cánh cùng nhau chia sẽkinh nghiệm học tập quý báu, giúp đỡ nhau vượt qua khó khăn. Cảm ơn Các Thầy, cô Phòng Công tác Sinh viên trường Đại học Thủ DầuMột, khoa Kỹ thuật Công Nghệ đã tận tình chia sẽ và trao đổi các thông tin tronglĩnh vực quản lí sinh viên. Do thời gian có hạn và khả năng còn hạn chế nên không tránh khỏi nhữngthiếu sót, rất mong được sự đóng góp ý kiến từ Thầy Cô và bạn bè để em luậnvăn hoàn chỉnh hơn nữa. Bình Dương, tháng 10 năm 2019 Học viên Nguyễn Việt Thanh Hiền ii TÓM TẮT LUẬN VĂN Trong thực tế, khi cơ sở dữ liệu (CSDL) không đáp ứng yêu cầu về độ lớncủa các mô hình phân tích dữ liệu, giải pháp được chọn để giải quyết thường làBootstrap. Với đặc điểm tái tạo dữ liệu từ dữ liệu có sẵn sao cho tập dữ liệu mớivẫn giữ nguyên các tham số thống kê cơ bản như kỳ vọng (trung bình), trung vị,vv... , thuật toán Bootstrap đã thỏa mãn điều kiện về dừng thống kê. Điều này làcơ sở để áp dụng các thuật toán cực tiểu hóa hàm mục tiêu. Tại thời điểm bắt đầu giải quyết bài toán khôi phục dữ liệu điểm rèn luyệncủa sinh viên Đại học Thủ Dầu Một, tôi đã chọn tiếp cận Fuzzy Logic nhưngchưa thành công. Sau đó, vấn đề được khơi thông nhờ việc coi các điểm bị mấtnhư là dữ liệu chưa có. Bài toán khôi phục dữ liệu được chuyển thành bài toántạo mới dữ liệu. Do đó, tại thời điểm đó về mặt trực giác, có thể áp dụngBootstrap vào trường hợp này. Để đánh giá được độ chính xác, tôi giả định một số điểm là điểm bị mấtcần phục hồi. Thống kê độ sai lệch giữa điểm thực và điểm khôi phục sẽ là tiêuchí đánh giá, so sánh độ tin cậy của các giải pháp. Sau khi cài đặt Bootstrap trênMatlab, tôi tiến hành thực nghiệm trên bộ dữ liệu điểm rèn luyện của sinh viênlớp D14PM01 và được kết quả là độ chính xác trung bình đạt 72.59% Sau đó, tôi phát ra sự tương đương giữa việc tái tạo ngẫu nhiên một mẫusao cho tham số thống kê không đổi của Bootstrap với việc tìm ra mẫu có độtương đồng cao nhất với mẫu cần khôi phục. Phát hiện này, sau đó được tôi biểudiễn dưới dạng công thức (3.1) trong luận văn này. Theo hướng giải quyết này, tôi gặp vấn đề đó là điều kiện để tính đúng độtương đồng giữa hai bộ điểm rèn luyện của hai sinh viên. Khi áp dụng công thức tính độ tương đồng thông qua tính cos  , tôi nhậnra là kết quả không chắc chắn đúng vì độ dài mỗi vector không đủ. iii Để giải quyết vấn đề này, tôi tham khảo bài toán tương đương của ngànhtài chính. Với giải pháp sử dụng các bước biến đổi Copula Gauss, các phần tửcủa vector được biểu diễn lại dưới dạng phân bố cân đối của Copula Gauss. Dovậy có thể áp dụng công thức tính độ tương đồng và cho kết quả tin cậy được. ...