Giáo trình Lý thuyết thông tin - TS. Lê Quyết Thắng, ThS. Phan Tấn Tài, KS. Dương Văn Hiếu

Giáo trình này sẽ cung cấp cho người đọc những khối kiến thức cơ bản của lý thuyết thông tin như: độ đo lượng tin (Measure of Information), sinh mã tách được (Decypherable Coding), kênh truyền tin rời rạc không nhớ (Discrete Memoryless Channel) và sửa lỗi trên kênh truyền (Error Correcting Codings)... Mời bạn đọc cùng tham khảo.
Nội dung trích xuất từ tài liệu:
Giáo trình Lý thuyết thông tin - TS. Lê Quyết Thắng, ThS. Phan Tấn Tài, KS. Dương Văn Hiếu       LÝ THUYẾT THÔNG TIN Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.   Giáo trình này sẽ cung cấp cho người đọc những khối kiến thức cơ bản của lý thuyết thông tin như: Độ do lượng tin (Measure of Information), Sinh mã tách được (Decypherable Coding), Kênh truyền tin rời rạc không nhớ (Discrete Memoryless Channel) và Sửa lỗi trên kênh truyền (Error Correcting Codings).      Giáo trình: Lý thuyết thông tin. MỤC LỤC GIỚI THIỆU TỔNG QUAN.............................................................................................................6 1. MỤC ĐÍCH ...........................................................................................................................6 2. YÊU CẦU .............................................................................................................................6 3. NỘI DUNG CỐT LÕI...........................................................................................................7 4. KẾT THỨC TIÊN QUYẾT ..................................................................................................7 5. TÀI LIỆU THAM KHẢO.....................................................................................................8 6. PHƯƠNG PHÁP HỌC TẬP.................................................................................................8 CHƯƠNG 1: GIỚI THIỆU ...............................................................................................................9 1. Mục tiêu.................................................................................................................................9 2. Đối tượng nghiên cứu............................................................................................................9 3. Mô hình lý thuyết thông tin theo quan điểm Shannon ........................................................10 4. Lượng tin biết và chưa biết .................................................................................................10 5. Ví dụ về lượng tin biết và chưa biết ....................................................................................10 6. Định lý cơ sở của kỹ thuật truyền tin ..................................................................................11 7. Mô tả trạng thái truyền tin có nhiễu ....................................................................................11 8. Minh họa kỹ thuật giảm nhiễu.............................................................................................12 9. Chi phí phải trả cho kỹ thuật giảm nhiễu ............................................................................13 10. Khái niệm về dung lượng kênh truyền ............................................................................13 11. Vấn đề sinh mã ................................................................................................................13 12. Vấn đề giải mã.................................................................................................................13 CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN ...............................................................................................15 BÀI 2.1: ENTROPY .......................................................................................................................15 1. Mục tiêu...............................................................................................................................15 2. Ví dụ về entropy..................................................................................................................15 3. Nhận xét về độ đo lượng tin ................................................................................................15 4. Khái niệm entropy ...............................................................................................................16 5. Entropy của một sự kiện......................................................................................................16 6. Entropy của một phân phối .................................................................................................16 7. Định lý dạng giải tích của Entropy......................................................................................16 8. Ví dụ minh họa ....................................................................................................................17 9. Bài toán về cây tìm kiếm nhị phân-Đặt vấn đề ...................................................................17 10. Bài toán về cây tìm kiếm nhị phân - Diễn giải................................................................17 11. Bài tập .............................................................................................................................18 BÀI 2.2: CÁC TÍNH CHẤT CỦA ENTROPY .............................................................................19 1. Mục tiêu: .............................................................................................................................19 2. Các tính chất cơ bản của Entropy........................................................................................19 3. Minh họa tính chất 1 và 2....................................................................................................19 4. Minh họa tính chất 3 và 4....................................................................................................19 5. Định lý cực đại của entropy ................................................................................................20 6 ...