Luận văn thạc sĩ: Sử dụng phương pháp tách từ xây dựng công cụ phân tích văn bản trong ngữ cảnh hạn chế

Sử dụng phương pháp tách từ xây dựng công cụ phân tích văn bản trong ngữ cảnh hạn chế nhằm xây dựng một công cụ phân tích văn bản tiếng Việt, sử dụng tiếng Việt để khử ngôn ngữ nhập nhằng.
Nội dung trích xuất từ tài liệu:
Luận văn thạc sĩ: Sử dụng phương pháp tách từ xây dựng công cụ phân tích văn bản trong ngữ cảnh hạn chế 1 2 B GIÁO D C VÀ ĐÀO T O Công trình ñư c hoàn thành t i Đ I H C ĐÀ N NG _____________________ Đ I H C ĐÀ N NG TRƯƠNG TH THANH Ngư i hư ng d n khoa h c: PGS.TS. Phan Huy Khánh S D NG PHƯƠNG PHÁP TÁCH TXÂY D NG CÔNG C PHÂN TÍCH VĂN B N Ph n bi n 1: PGS.TSKH.Tr n Qu c Chi n TRONG NG C NH H N CH Ph n bi n 2: PGS.TS.Đoàn Văn Ban Chuyên ngành: Khoa h c máy tính Lu n văn s ñư c b o v t i H i ñ ng ch m Lu n văn t t Mã s : 60.48.01 nghi p th c sĩ k thu t h p t i Đ i H c Đà N ng vào ngày 11 tháng 09 năm 2011TÓM T T LU N VĂN TH C SĨ K THU T Có th tìm hi u lu n văn t i: - Trung tâm Thông tin - H c li u, Đ i H c Đà N ng - Trung tâm H c li u, Đ i H c Đà n ng Đà N ng – Năm 2011 3 4 M Đ U • Công c phân tích văn b n là gì? 1. Gi i thi u chung Là công c h tr ngư i dùng th c hi n các thao tác v i văn b n: Internet tr thành m t kho ki n th c kh ng l v m i lĩnh v c. Do lưu tr , phân lo i, tìm ki m, t i ưu tìm ki m.ñó, s lư ng văn b n xu t hi n trên m ng Internet cũng tăng theo v i • Phương pháp tách t như th nào?t c ñ chóng m t, ñó là chưa k ñ n các b n lưu tr trên ñó. Tuy s Dùng m t t ñi n có ñ nh d ng có th ñ c và phân tích ñư c cáclư ng ñ s như v y nhưng ng v i nh ng ñ i tư ng c th l i có m c gi i nghĩa cho m t t , ch ng h n các t ñi n d ng tài li u XML.nh ng yêu c u c th khác nhau, t c ñ khác nhau. Ngư i ta quan Các t ñi n d ng này có th t i mi n phí t Internet.tâm vi c làm sao tóm g n n i dung nhanh nh t trên nh ng ñ i tư ng 3. M c tiêu nghiên c uñó. Xây d ng m t công c phân tích văn b n ti ng Vi t hi u qu d a Tuy nhiên, v i kho d li u kh ng l mà chúng ta dùng cách ñ c, trên vi c phân tích nh ng phương pháp khác nhau và s d ng m t shi u và dùng cách này lưu tr , phân lo i t ng văn b n s t n r t nhi u lu t trong ngôn ng ti ng Vi t ñ kh các nh p nh ng.th i gian, công s c. Nghiên c u phương pháp tìm ki m tài li u nhanh chóng theo ñ nh V y, sao chúng ta không s d ng công c ph n m m ñ th c hi n d ng.vi c ñó giúp chúng ta? L i d ng t c ñ máy tính, th i gian s p x p Nghiên c u phương pháp tách t ñư c áp d ng thành công trongnhanh, ñ chu n xác cao và quan tr ng là chúng ta không c n ñ c t t m t s lu t trong ngôn ng như: ti ng Anh, ti ng Trung…Có ñánhc văn b n mà chúng ta có, nhưng nó v n ñ m b o nhu c u s d ng, giá v các phương pháp này khi áp d ng cho ti ng Vi t.tra c u và h c t p nhanh hơn. Nghiên c u phương pháp tách t trong vi c t i ưu hoá tìm ki m Xu t phát t nhu c u ñó, tác gi ñã ch n ñ tài “S d ng phương văn b n.pháp tách t xây d ng công c phân tích văn b n trong ng c nh 4. N i dung nghiên c uh n ch ” làm ñ tài cho lu n văn th c s c a mình. • Công c tìm ki m văn b n SEO 2. Phát bi u bài toán • Phương pháp xác su t Naïve Bayes • Phân tích văn b n ñ làm gì? • Phương pháp K ngư i láng gi ng g n nh t (K- Naerest Phân tích văn b n ñ giúp ta phân lo i văn b n giúp sinh viên lưu Neighbours)tr , tìm ki m m t cách d dàng hơn • Phương pháp s d ng mang Neural • Ng c nh h n ch là như th nào? • Phương pháp th ng kê Ng c nh h n ch là hoàn c nh giao ti p b h n ch c th : th i • Phương pháp c u trúc di n ngôngian, ñ a ñi m phát sinh cùng v i nh ng s vi c, hi n tư ng x y ra • Nguyên m u (prototype)xung quanh. • Mô hình xác su t Naïve Bayes Ng c nh h n ch s d ng trong lu n văn là trong môi trư ng h c • Phương pháp SVM (support vector Machines)t p c a sinh v ...