Giáo trình môn Lý thuyết thông tin

Giáo trình này sẽ cung cấp cho người đọc những khối kiến thức cơ bản của lý thuyết thông tin như:Độ do lượng tin, sinh mã tách được, kênh thông tin rời rạc không nhớ và sửa lỗi kênh truyền...
Nội dung trích xuất từ tài liệu:
Giáo trình môn Lý thuyết thông tin BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG…………… Giáo trình Lý thuyết thông tin Giáo trình: Lý thuyết thông tin. MỤC LỤC GIỚI THIỆU TỔNG QUAN .............................................................................................................6 1. MỤC ĐÍCH ...........................................................................................................................6 2. YÊU CẦU .............................................................................................................................6 3. NỘI DUNG CỐT LÕI...........................................................................................................7 4. KẾT THỨC TIÊN QUYẾT ..................................................................................................7 5. TÀI LIỆU THAM KHẢO .....................................................................................................8 6. PHƯƠNG PHÁP HỌC TẬP .................................................................................................8 CHƯƠNG 1: GIỚI THIỆU ...............................................................................................................9 1. Mục tiêu.................................................................................................................................9 2. Đối tượng nghiên cứu ............................................................................................................9 3. Mô hình lý thuyết thông tin theo quan điểm Shannon ........................................................10 4. Lượng tin biết và chưa biết .................................................................................................10 5. Ví dụ về lượng tin biết và chưa biết ....................................................................................10 6. Định lý cơ sở của kỹ thuật truyền tin ..................................................................................11 7. Mô tả trạng thái truyền tin có nhiễu ....................................................................................11 8. Minh họa kỹ thuật giảm nhiễu.............................................................................................12 9. Chi phí phải trả cho kỹ thuật giảm nhiễu ............................................................................13 10. Khái niệm về dung lượng kênh truyền ............................................................................13 11. Vấn đề sinh mã ................................................................................................................13 12. Vấn đề giải mã.................................................................................................................13 CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN ...............................................................................................15 BÀI 2.1: ENTROPY .......................................................................................................................15 1. Mục tiêu...............................................................................................................................15 2. Ví dụ về entropy ..................................................................................................................15 3. Nhận xét về độ đo lượng tin ................................................................................................15 4. Khái niệm entropy ...............................................................................................................16 5. Entropy của một sự kiện ......................................................................................................16 6. Entropy của một phân phối .................................................................................................16 7. Định lý dạng giải tích của Entropy......................................................................................16 8. Ví dụ minh họa ....................................................................................................................17 9. Bài toán về cây tìm kiếm nhị phân-Đặt vấn đề ...................................................................17 10. Bài toán về cây tìm kiếm nhị phân - Diễn giải ................................................................17 11. Bài tập .............................................................................................................................18 BÀI 2.2: CÁC TÍNH CHẤT CỦA ENTROPY .............................................................................19 1. Mục tiêu: .............................................................................................................................19 2. Các tính chất cơ bản của Entropy ........................................................................................19 3. Minh họa tính chất 1 và 2 ....................................................................................................19 4. Minh họa tính chất 3 và 4 ....................................................................................................19 5. Định lý cực đại của entropy ................................................................................................20 6. Chứng minh định lý cực đại của Entropy............................................................................20 7. Bài tập .................................................................................................................................21 BÀI 2.3: ENTROPY CỦA NHIỀU BIẾN .....................................................................................22 1. Mục tiêu...............................................................................................................................22 2. Định nghĩa Entropy của nh ...