[Viễn Thông] Giáo Trình: Lý Thuyết Thông Tin phần 1

Giáo trình Lý thuyết thông tin là một giáo trình cơ sở dùng cho sinh viên chuyên ngành Điện tử – Viễn thông và Công nghệ thông tin của Học viện Công nghệ Bưu chính Viễn thông.
Nội dung trích xuất từ tài liệu:
[Viễn Thông] Giáo Trình: Lý Thuyết Thông Tin phần 1 Giáo trình: Lý thuyết thông tin.MỤC LỤCGIỚI THIỆU TỔNG QUAN .............................................................................................................6 1. MỤC ĐÍCH ...........................................................................................................................6 2. YÊU CẦU .............................................................................................................................6 3. NỘI DUNG CỐT LÕI...........................................................................................................7 4. KẾT THỨC TIÊN QUYẾT ..................................................................................................7 5. TÀI LIỆU THAM KHẢO .....................................................................................................8 6. PHƯƠNG PHÁP HỌC TẬP .................................................................................................8CHƯƠNG 1: GIỚI THIỆU ...............................................................................................................9 1. Mục tiêu.................................................................................................................................9 2. Đối tượng nghiên cứu ............................................................................................................9 3. Mô hình lý thuyết thông tin theo quan điểm Shannon ........................................................10 4. Lượng tin biết và chưa biết .................................................................................................10 5. Ví dụ về lượng tin biết và chưa biết ....................................................................................10 6. Định lý cơ sở của kỹ thuật truyền tin ..................................................................................11 7. Mô tả trạng thái truyền tin có nhiễu ....................................................................................11 8. Minh họa kỹ thuật giảm nhiễu.............................................................................................12 9. Chi phí phải trả cho kỹ thuật giảm nhiễu ............................................................................13 10. Khái niệm về dung lượng kênh truyền ............................................................................13 11. Vấn đề sinh mã ................................................................................................................13 12. Vấn đề giải mã.................................................................................................................13CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN ...............................................................................................15BÀI 2.1: ENTROPY .......................................................................................................................15 1. Mục tiêu...............................................................................................................................15 2. Ví dụ về entropy ..................................................................................................................15 3. Nhận xét về độ đo lượng tin ................................................................................................15 4. Khái niệm entropy ...............................................................................................................16 5. Entropy của một sự kiện ......................................................................................................16 6. Entropy của một phân phối .................................................................................................16 7. Định lý dạng giải tích của Entropy......................................................................................16 8. Ví dụ minh họa ....................................................................................................................17 9. Bài toán về cây tìm kiếm nhị phân-Đặt vấn đề ...................................................................17 10. Bài toán về cây tìm kiếm nhị phân - Diễn giải ................................................................17 11. Bài tập .............................................................................................................................18BÀI 2.2: CÁC TÍNH CHẤT CỦA ENTROPY .............................................................................19 1. Mục tiêu: .............................................................................................................................19 2. Các tính chất cơ bản của Entropy ........................................................................................19 3. Minh họa tính ...