Luận văn Thạc sĩ Khoa học máy tính: Thuật toán đánh chỉ mục ngược với MapReduce và ứng dung trong việc ̣ đánh giá ý kiến của học sinh Hòa Bình trên mạng xã hội

Luận văn tập trung nghiên cứu vào mô hình MapReduce, cấu trúc và cách thức hoạt động. Từ đó kết hợp với thuật toán đánh chỉ mục và chỉ mục ngược để thực hiện việc tìm kiếm và thống kê kết quả. Mời các bạn cùng tham khảo!
Nội dung trích xuất từ tài liệu:
Luận văn Thạc sĩ Khoa học máy tính: Thuật toán đánh chỉ mục ngược với MapReduce và ứng dung trong việc ̣ đánh giá ý kiến của học sinh Hòa Bình trên mạng xã hội ĐẠI HỌC THÁI NGUYÊNTRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG Lê Đinh Hợp Thuâ ̣t toán đánh chỉ mục ngược với MapReduce và ứng du ̣ng trong việc đánh giá ý kiến của học sinh Hòa Bình trên mạng xã hội Chuyên ngành: Khoa học máy tính Mã số : 60 48 01 01Người hướng dẫn khoa học: PGS TS Đỗ Trung Tuấn Thái Nguyên, 12 - 2016 i Lời cam đoanTôi xin cam đoan:Những kết quả nghiên cứu được trình bày trong luận văn là hoàn toàn trung thực, củatôi, không vi phạm bất cứ điều gì trong luật sở hữu trí tuệ và pháp luật Việt Nam. Nếusai, tôi hoàn toàn chịu trách nhiệm trước pháp luật. TÁC GIẢ LUẬN VĂN Lê Đinh Hợp ii Lời cám ơn Tôi xin chân thành cảm ơn Trường Đại học Công nghệ thông tin và Truyềnthông - Đại học Thái Nguyên đã tạo điều kiện thuận lợi cho tôi hoàn thành khóa họcnày. Tôi xin chân thành cảm ơn các Thầy Cô giáo – Các nhà khoa học đã trực tiếpgiảng dạy truyền đạt những kiến thức chuyên ngành Khoa học máy tính cho tôi trongnhững tháng năm học tập tại trường. Đặc biệt tôi xin bày tỏ lòng biết ơn chân thành và sâu sắc tới PGS TS Đỗ TrungTuấn đã tận tình hướng dẫn, dìu dắt và chỉ bảo cho tôi những kiến thức về chuyên mônthiết thực và những chỉ dẫn khoa học quý báu để tôi hoàn thành bản luận văn này. Luận văn này còn nhiều thiếu sót, rất mong được các thầy cô giáo trong hộiđồng chấm luận văn xem xét, góp ý kiến để luận văn được hoàn thiện hơn. Tôi xin chân thành cảm ơn! Thái Nguyên, tháng 12 năm 2016 iiiMục lục Lời cam đoan .........................................................................................................i Lời cám ơn .......................................................................................................... iii Mục lục ................................................................................................................iv Danh sách các từ viết tắt ......................................................................................vi Danh mục các hình vẽ, bảng biểu...................................................................... vii Chương mở đầu ....................................................................................................9 Đặt vấn đề .....................................................................................................9 Đối tượng và phạm vi nghiên cứu .............................................................. 11 Hướng thực hiện đề tài ...............................................................................11 Những nội dung nghiên cứu chính ............................................................. 11 CHƯƠNG 1 MÔ HÌNH MapReduce .................................................................12 1.1. Tổng quan về MapReduce ...........................................................................12 1.1.1. Sự quan trọng của MapReduce .........................................................12 1.1.2. Các ý tưởng của MapReduce ........................................................... 13 1.1.3. Cấu trúc dữ liệu trong MapReduce ..................................................15 1.1.4. Mapper và Reducer ..........................................................................15 1.1.5. Partitioner và Combiner ...................................................................17 1.2. Bộ khung thực thi ........................................................................................19 1.2.1. Lập lịch ............................................................................................. 19 1.2.2. Di chuyển dữ liệu và mã lệnh ........................................................... 19 1.2.3. Đồng bộ hóa .....................................................................................20 1.2.4. Xử lý lỗi ............................................................................................ 20 1.3. Hệ thống file phân tán..................................................................................20 1.3.1. Kiến trúc của HDFS .........................................................................21 1.3.2. Nhiệm vụ của NameNode ......................... ...