Bài 9 Kênh rời rạc không nhớ Lượng tin tương hỗ
Số trang: 0
Loại file: pdf
Dung lượng: 317.08 KB
Lượt xem: 9
Lượt tải: 0
Xem trước 10 trang đầu tiên của tài liệu này:
Thông tin tài liệu:
Một hướng giải quyết như sau: để gởi 0 chúng ta gởi chuỗi 3 kíhiệu 0 và tương tự để gởi 1 chúng ta gởi 3 kí hiệu 1.
Nội dung trích xuất từ tài liệu:
Bài 9 Kênh rời rạc không nhớ Lượng tin tương hỗ Bài 9 Kênh rời rạc không nhớ Lượng tin tương hỗ9.1 Kênh rời rạc không nhớ và ma trận kênh9.2 Entropy điều kiện và lượng tin tương hỗ9.3 Một số loại kênh9.4 Sự nhập nhằng (equivocation) và tốc độ truyền tin9.5 Dung lượng kênh Trang 142 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Kênh rời rạc không nhớ và ma trận kênh Định nghĩa Một kênh rời rạc không nhớ (DMC) được định nghĩa bằng một bảng kí hiệu đầu vào (nguồn phát) X = {x1, ..., xK}, một bảng kí hiệu đầu ra (nguồn nhận) Y = {y1, ..., yJ}, và một sự phân bố xác suất có điều kiện p(yj | xk), với 1 ≤ k ≤ K, 1 ≤ j ≤ J. X p(yj | xk) Y xk yj Bảng kí hiệu đầu ra không nhất thiết giống bảng kí hiệu đầu vào. Điều này có nghĩa là bên nhận có thể nhận những kí hiệu mà không giống với những kí hiệu mà bên phát phát đi. Trang 143 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Nhận xét Thuật ngữ không nhớ (memoryless) suy ra rằng N p{ y j1 K y jN | x k1 L x kN } = ∏ p( y jn | xkn ) với N bất kỳ. n =1 Một kênh rời rạc không nhớ thường được biểu diễn dưới dạng một ma trận kênh [p(yj | xk)] có kích thước K × J. y1 y2 yJ x1 p(y1 | x1) p(y2 | x1) ... p(yJ | x1) x2 p(y1 | x2) p(y2 | x2) ... p(yJ | x2) ... ... ... ... ... xK p(y1 | xK) p(y2 | xK) ... p(yJ | xK) Trang 144 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Nhận xét (tt) Chúng ta thấy, ma trận kênh chính là cái mà biểu diễn tính chất tạp nhiễu của kênh truyền. Chú ý, nếu chúng ta biết sự phân bố xác suất trên X thì sự phân bố xác suất của Y sẽ được xác định như sau K p( y j ) = ∑ p( xk ) p( y j | xk ) k =1 Trang 145 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Entropy điều kiện và lượng tin tương hỗ Xét bài toán truyền tin sau Cho biết cấu trúc thống kê của nguồn X và ma trận kênh. Hãy xác định kí hiệu xk nào đã được phát phát đi khi nhận được ở đầu nhận một kí hiệu yj nào đó? Ví dụ Cho nguồn X = {x1, x2} với các xác suất lần lượt là p(x1) = 1/4, p(x2) = 3/4, nguồn Y = {y1, y2} và ma trận kênh là y1 y2 x1 4/5 1/5 x2 2/5 3/5 Nếu nhận được y1 thì xk nào có khả năng đã được phát đi? Trang 146 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Ví dụ p( xk , y j ) p( xk ) × p( y j | xk ) p( xk ) × p( y j | xk )p( xk | y j ) = = = p( y j ) K K ∑ p ( xi , y j ) ∑ p ( xi ) × p ( y j | xi ) i =1 i =1 p ( x1 ) p ( y1 | x1 ) 3p ( x1 | y1 ) = p ( x 2 | y1 ) = p ( x1 ) p( y1 | x1 ) + p ( x 2 ) p ( y1 | x 2 ) 5 (1 / 4) × (4 / 5) 2 = = (1 / 4) × (4 / 5) + (3 / 4) × (2 / 5) 5 p(x1 | y1) < p(x2 | y1), như vậy chúng ta có thể khẳng định được kí hiệu x2 có khả năng được phát đi hơn x1? Trang 147 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Ví dụ (tt) Để ý, trong công thức của p(xi | yj) có chứa thừa số p(xi), nên p(xi | yj) đã bị ảnh hưởng bởi xác suất lề p(xi). Vì vậy để công bằng trong việc so sánh chúng ta phải dựa trên tỉ số p(xi | yj)/p(xi) cái mà không bị ảnh hưởng nhiều bởi p(xi). p ( x1 | y1 ) 2 / 5 8 = = p ( x1 ) 1/ 4 5 p ( x 2 | y1 ) 3 / 5 4 = = p( x2 ) 3/ 4 5 Như vậy thực sự kí hiệu x1 mới có khả năng được phát đi hơn kí hiệu x2. Từ xác suất điều kiện chúng ta giới thiệu khái niệm lượng tin có điều kiện. Trang 148 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Lượng tin có điều kiện I(xk | yj) Định nghĩa I(yj | xk) = –log p(yj | xk) I(xk | yj) = –log p(xk | yj) p(yj | xk) → 1 thì I(yj | xk) → 0 và ngược lại. Nếu khi phát đi xk và biết chắc yj sẽ nhận được thì ở phía nhận chúng ta không cần tốn thêm thông tin gì để giải thích. Nếu p(yj | xk) = 1/2 (I(yj | xk) = 1 bit) thì khi phát đi xk bên nhận sẽ có hai khả năng và yj chỉ là một trong hai khả năng đó, có nghĩa là bên nhận cần thêm thông tin (cần thêm 1 bit) để biết chính xác đó là khả năn ...
Nội dung trích xuất từ tài liệu:
Bài 9 Kênh rời rạc không nhớ Lượng tin tương hỗ Bài 9 Kênh rời rạc không nhớ Lượng tin tương hỗ9.1 Kênh rời rạc không nhớ và ma trận kênh9.2 Entropy điều kiện và lượng tin tương hỗ9.3 Một số loại kênh9.4 Sự nhập nhằng (equivocation) và tốc độ truyền tin9.5 Dung lượng kênh Trang 142 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Kênh rời rạc không nhớ và ma trận kênh Định nghĩa Một kênh rời rạc không nhớ (DMC) được định nghĩa bằng một bảng kí hiệu đầu vào (nguồn phát) X = {x1, ..., xK}, một bảng kí hiệu đầu ra (nguồn nhận) Y = {y1, ..., yJ}, và một sự phân bố xác suất có điều kiện p(yj | xk), với 1 ≤ k ≤ K, 1 ≤ j ≤ J. X p(yj | xk) Y xk yj Bảng kí hiệu đầu ra không nhất thiết giống bảng kí hiệu đầu vào. Điều này có nghĩa là bên nhận có thể nhận những kí hiệu mà không giống với những kí hiệu mà bên phát phát đi. Trang 143 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Nhận xét Thuật ngữ không nhớ (memoryless) suy ra rằng N p{ y j1 K y jN | x k1 L x kN } = ∏ p( y jn | xkn ) với N bất kỳ. n =1 Một kênh rời rạc không nhớ thường được biểu diễn dưới dạng một ma trận kênh [p(yj | xk)] có kích thước K × J. y1 y2 yJ x1 p(y1 | x1) p(y2 | x1) ... p(yJ | x1) x2 p(y1 | x2) p(y2 | x2) ... p(yJ | x2) ... ... ... ... ... xK p(y1 | xK) p(y2 | xK) ... p(yJ | xK) Trang 144 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Nhận xét (tt) Chúng ta thấy, ma trận kênh chính là cái mà biểu diễn tính chất tạp nhiễu của kênh truyền. Chú ý, nếu chúng ta biết sự phân bố xác suất trên X thì sự phân bố xác suất của Y sẽ được xác định như sau K p( y j ) = ∑ p( xk ) p( y j | xk ) k =1 Trang 145 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Entropy điều kiện và lượng tin tương hỗ Xét bài toán truyền tin sau Cho biết cấu trúc thống kê của nguồn X và ma trận kênh. Hãy xác định kí hiệu xk nào đã được phát phát đi khi nhận được ở đầu nhận một kí hiệu yj nào đó? Ví dụ Cho nguồn X = {x1, x2} với các xác suất lần lượt là p(x1) = 1/4, p(x2) = 3/4, nguồn Y = {y1, y2} và ma trận kênh là y1 y2 x1 4/5 1/5 x2 2/5 3/5 Nếu nhận được y1 thì xk nào có khả năng đã được phát đi? Trang 146 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Ví dụ p( xk , y j ) p( xk ) × p( y j | xk ) p( xk ) × p( y j | xk )p( xk | y j ) = = = p( y j ) K K ∑ p ( xi , y j ) ∑ p ( xi ) × p ( y j | xi ) i =1 i =1 p ( x1 ) p ( y1 | x1 ) 3p ( x1 | y1 ) = p ( x 2 | y1 ) = p ( x1 ) p( y1 | x1 ) + p ( x 2 ) p ( y1 | x 2 ) 5 (1 / 4) × (4 / 5) 2 = = (1 / 4) × (4 / 5) + (3 / 4) × (2 / 5) 5 p(x1 | y1) < p(x2 | y1), như vậy chúng ta có thể khẳng định được kí hiệu x2 có khả năng được phát đi hơn x1? Trang 147 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Ví dụ (tt) Để ý, trong công thức của p(xi | yj) có chứa thừa số p(xi), nên p(xi | yj) đã bị ảnh hưởng bởi xác suất lề p(xi). Vì vậy để công bằng trong việc so sánh chúng ta phải dựa trên tỉ số p(xi | yj)/p(xi) cái mà không bị ảnh hưởng nhiều bởi p(xi). p ( x1 | y1 ) 2 / 5 8 = = p ( x1 ) 1/ 4 5 p ( x 2 | y1 ) 3 / 5 4 = = p( x2 ) 3/ 4 5 Như vậy thực sự kí hiệu x1 mới có khả năng được phát đi hơn kí hiệu x2. Từ xác suất điều kiện chúng ta giới thiệu khái niệm lượng tin có điều kiện. Trang 148 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Lượng tin có điều kiện I(xk | yj) Định nghĩa I(yj | xk) = –log p(yj | xk) I(xk | yj) = –log p(xk | yj) p(yj | xk) → 1 thì I(yj | xk) → 0 và ngược lại. Nếu khi phát đi xk và biết chắc yj sẽ nhận được thì ở phía nhận chúng ta không cần tốn thêm thông tin gì để giải thích. Nếu p(yj | xk) = 1/2 (I(yj | xk) = 1 bit) thì khi phát đi xk bên nhận sẽ có hai khả năng và yj chỉ là một trong hai khả năng đó, có nghĩa là bên nhận cần thêm thông tin (cần thêm 1 bit) để biết chính xác đó là khả năn ...
Tìm kiếm theo từ khóa liên quan:
Kênh rời rạc Dung lượng kênh tốc độ truyền tin Kênh vô dụng tốc độ truyền tin định lý kênhGợi ý tài liệu liên quan:
-
Nghiên cứu phương pháp mã hóa kênh nhằm nâng cao chất lượng tín hiệu trong quá trình truyền tin
6 trang 46 0 0 -
Các hệ thống thông tin sử dụng Matlab: Phần 2
224 trang 26 0 0 -
Bài giảng 1: Giới thiệu môn học Khoa học máy tính
9 trang 18 0 0 -
Bài giảng Lý thuyết thông tin: Chương giới thiệu - ThS. Huỳnh Văn Kha
4 trang 17 0 0 -
Bài giảng Lý thuyết thông tin: Chương 3.2 - ThS. Huỳnh Văn Kha
15 trang 16 0 0 -
4 trang 14 0 0
-
Bài giảng môn học Lý thuyết thông tin - Hồ Văn Quân
311 trang 14 0 0 -
4 trang 13 0 0
-
Cơ sở lý thuyết thông tin và mã hóa: Phần 1
148 trang 13 0 0 -
Bài giảng Lý thuyết thông tin: Chương 3.1 - ThS. Huỳnh Văn Kha
14 trang 12 0 0