Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu phương pháp học máy có giám sát để phân loại văn bản tại Văn phòng tỉnh Quảng Ngãi

Luận văn "Nghiên cứu phương pháp học máy có giám sát để phân loại văn bản tại Văn phòng tỉnh Quảng Ngãi" đã nghiên cứu kỹ thuật xử lý ngôn ngữ tiếng Việt; xây dựng kho dữ liệu huấn luyện để ứng dụng vào bài toán phân loại văn bản; ứng dụng kỹ thuật học máy vào bài toán phân loại văn bản tại Văn phòng tỉnh Quảng Ngãi.
Nội dung trích xuất từ tài liệu:
Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu phương pháp học máy có giám sát để phân loại văn bản tại Văn phòng tỉnh Quảng Ngãi BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM ĐÀ NẴNG TÔ TRẦN VÂN THẢO NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY CÓ GIÁM SÁT ĐỂ PHÂN LOẠI VĂN BẢN TẠI VĂN PHÒNG TỈNH QUẢNG NGÃI LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Đà Nẵng - Năm 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM ĐÀ NẴNG TÔ TRẦN VÂN THẢO NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY CÓ GIÁM SÁT ĐỂ PHÂN LOẠI VĂN BẢN TẠI VĂN PHÒNG TỈNH QUẢNG NGÃI Chuyên ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: TS.NGUYỄN THỊ NGỌC ANH Đà Nẵng - Năm 2019 i LỜI CAM ĐOAN Tôi xin cam đoan: Tôi cam đoan đây là công trình nghiên cứu của bản thân. Các số liệu, kết quả trình bày trong luận văn là trung thực. Những tư liệu được sử dụng trong luận văn có nguồn gốc và trích dẫn rõ ràng, đầy đủ. Tác giả luận văn Tô Trần Vân Thảo ii LỜI CẢM ƠN Lời đầu tiên tôi xin gửi lời cảm ơn chân thành đến các quý thầy cô giáo, Khoa chuyên ngành Công nghệ thông tin, Trường Đại học Sư Phạm đã tận tình giảng dạy, truyền đạt những kiến thức, kinh nghiệm quý báu trong suốt thời gian tôi theo học tại chương trình. Các kiến thức, kinh nghiệm quý báu của các thầy cô giáo không chỉ giúp cá nhân tôi hoàn thiện hệ thống kiến thức trong học tập mà còn giúp tôi ứng dụng các kiến thức đó trong công việc hiện tại. Đặc biệt, tôi xin gởi lời cảm ơn chân thành và sâu sắc nhất đến cô giáo của tôi là TS. Nguyễn Thị Ngọc Anh, người Thầy đã tận tình hướng dẫn và tạo điều kiện tốt nhất để tôi hoàn thành luận văn này. Tôi cũng xin được bày tỏ tình cảm với gia đình, đồng nghiệp, bạn bè đã tạo điều kiện để tôi có thể dành thời gian cho khóa học. Xin chân thành cảm ơn các anh chị em trong lớp K34 đã luôn hỗ trợ tôi trong quá trình học tập để có được kết quả như ngày hôm nay, tôi sẽ nhớ mãi về lớp K34 thân thương này. Tuy có nhiều cố gắng, nhưng chắc chắn luận văn không tránh khỏi những thiếu sót nhất định. Tôi rất mong nhận được ý kiến đóng góp quý báu của các quý thầy cô giáo và các anh chị, các bạn để luận văn ngày càng được hoàn thiện hơn. Trân trọng cảm ơn! Đà Nẵng, ngày tháng năm 2019 Tác giả TÔ TRẦN VÂN THẢO iii TÓM TẮT NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY CÓ GIÁM SÁT ĐỂ PHÂN LOẠI VĂN BẢN TẠI VĂN PHÒNG TỈNH QUẢNG NGÃI Nghành: Hệ Thống Thông Tin. Họ tên học viên: Tô Trần Vân Thảo Người hướng dẫn khoa học: TS. Nguyễn Thị Ngọc Anh. Cơ sở đào tạo: Trường Đại học Sư Phạm – ĐH Đà Nẵng. Tóm tắt Luận văn này đi sâu vào nghiên cứu tổng quan về phân lớp và phân loại văn bản tiếng việt với bài toán được áp dụng cho việc phân loại văn bản hành chính tại văn phòng tỉnh Quảng Ngãi.Chương trình được viết trên ngôn ngữ c# trong bộ Microsoft Visual Studio Community 2017, tích hợp module tiền xử lý văn bản và module phân lớp (SVM). Cụ thể, luận văn thực hiện những bước cơ bản sau: nghiên cứu một số thuật toán phân loại như KNN, Naïve Bayes và SVM từ đó đưa ra bài toán áp dụng vào phân loại văn bản trong lĩnh vực hành chính; xây dựng từ điển áp dụng vào việc tách từ; xây dựng tập dữ liệu nhãn/lớp áp dụng vào việc huấn luyện; xây dựng chương trình thực nghiệm cho việc phân loại văn bản. Từ khóa: Xư lý văn bản; mô hình học có giám sát; SVM; Hàm nhân Kernel; Siêu phẳng tối ưu; Xác nhận của giáo viên hướng dẫn Người thực hiện đề tài ------- '�1. (1&-t�< �� 161,Qcirv \l&v'� �-STUDYIN� STUDYING MACHINE LEARNING METHOD MONITORING TO DISTRIBUTE TEXT CATEGORIES IN QUANG NGAI PROVINCE Specialized: Information System Full name of master student: To Tran Van Thao Supervisors: Dr. Nguyen Thi Ngoc Anh. Tranning institution: University Of Science And Education – The University Of Da Nang Abtract This dissertation goes into the research and overview of classification and classification of Vietnamese texts with problems such as classification of electronic news, classification of documents in finance, banking, spam redistribution ... . The program is written in the c # language in Microsoft Visual Studio Community 2017, integrating the preprocessing module and the layered module (SVM). - Studying some classification algorithms such as KNN, Naïve Bayes and SVM, thereby giving the problem of applying to classification of documents in the administrative field. - Develop a dictionary to apply to the separation. - Build label / class data set applied to training. - Develop an experimental program for text classification. Key words: Keywords: SVM; Kernel kernel; Optimal super flat; Supervior’s confirmation Student !fatHh, 16 1;.6'-;., V&v '\h� iv ...