Bài giảng Lý thuyết thông tin: Chương 1.2 - ThS. Huỳnh Văn Kha

Nối tiếp nội dung ở chương 1.1, bài giảng Lý thuyết thông tin - Chương 1.2: Các khái niệm căn bản cung cấp cho người học những kiến thức về đo thông tin. Mời các bạn cùng tham khảo để nắm bắt các nội dung chi tiết.
Nội dung trích xuất từ tài liệu:
Bài giảng Lý thuyết thông tin: Chương 1.2 - ThS. Huỳnh Văn KhaChương 1:Các khái niệm căn bản1.2 Đo thông tin 2 Huỳnh Văn Kha 06/03/11ðộ không chắc chắn có ñiều kiện và là hai biến ngẫu nhiên • ðộ không chắc chắn của với ñiều kiện • ðộ không chắc chắn của với ñiều kiện là trung bình theo trọng lượng của , nghĩa là: 3 Huỳnh Văn Kha 06/03/11ðịnh lý 1.4Chứng minh:Do nên ta có ñiều cần chứng minh 4 Huỳnh Văn Kha 06/03/11ðịnh lý 1.5Dấu bằng xảy ra khi và chỉ khi và ñộc lậpChứng minh:Theo ñịnh lý 1.4 thì:Theo ñịnh lý 1.3 thì:Dấu bằng xảy ra khi và chỉ khi , ñộc lậpTừ hai ñiều này ta suy ra ñiều cần chứng minh 5 Huỳnh Văn Kha 06/03/11ðo thông tin• Có 2 đồng xu, một đồng cân bằng, một đồng có 2 mặt đều xấp.• Chọn ngẫu nhiên một đồng, tung hai lần.• Nếu biết tổng số mặt xấp của hai lần tung thì ta biết gì về đồng xu được chọn?• Nếu số mặt xấp ít hơn 2 thì đồng xu được chọn là đồng xu cân bằng ngược lại thì không chắc chắn• Kết quả một sự kiện có thể cho ta biết một số thông tin về các sự kiện khác 6 Huỳnh Văn Kha 06/03/11ðo thông tin• Biết trước kết quả biến ngẫu nhiên Y, đại lượng nào sẽ đo lượng thông tin có thể biết được của biến ngẫu nhiên X?• Gọi X là biến ngẫu nhiên nhận giá trị 0 nếu đồng xu cân bằng được chọn, nhận giá 1 nếu đồng xu còn lại được chọn, Y là tổng số mặt xấp 0 0 1/4 X 1/2 1 Y 1/4 1 1 2 7 Huỳnh Văn Kha 06/03/11ðo thông tin• Khi chọn ngẫu nhiên 1 đồng xu thì độ không chắc chắn cần xác định là H(X)• Sau khi biết được tổng số mặt xấp thì độ không chắc chắn cần xác định chỉ còn là H(X|Y)• Do đó người ta định nghĩa lượng thông tin thu được về biến X khi biết Y là: I(X|Y) = H(X) – H(X|Y)• I(X|Y) được sử dụng nhiều trong việc truyền tải thông tin qua kênh bị nhiễu, mà ta sẽ xét kỹ trong chương 3 8 Huỳnh Văn Kha 06/03/11Một số tính chất của • Do ñịnh lý 1.5, ta thấy , dấu bằng xảy ra khi và chỉ khi , ñộc lập • Theo ñịnh lý 1.4: Do ñó: Nhưng: Vậy: 9 Huỳnh Văn Kha 06/03/11 • Tính I(X|Y) trong ví dụ trên? • Tính I(Y|X) trong ví dụ trên? • Chú ý:Nếu ta biết trước các xác xuất thì nên tính theocông thức