Giáo trình: Lý thuyết thông tin part 6

Xây dựng công thức tính dung lượng kênh truyền đối xứngDo H(Y/X) không phụ thuộc vào phân phối của X = Max của I(X/Y) được quy về mã của H(Y). Hay C = Max I ( X / Y ) = Max( H (Y ) − H (Y / X )) Ta có thể tính dễ dàng:H (Y / X ) = −∑ p j log p j = const
Nội dung trích xuất từ tài liệu:
Giáo trình: Lý thuyết thông tin part 6 Giáo trình: Lý thuyết thông tin. Xây dựng công thức tính dung lượng kênh truyền đối xứngDo H(Y/X) không phụ thuộc vào phân phối của X => Max của I(X/Y) được quy về mã của H(Y).Hay C = Max I ( X / Y ) = Max( H (Y ) − H (Y / X ))Ta có thể tính dễ dàng: L H (Y / X ) = −∑ p j log p j = const j =iDo đó: L C = Max I ( X / Y ) = MaxH (Y ) + ∑ p j log p j j =iDo H(Y) ta cần chứng tỏ “=” xảy ra khi p1=p2=...=pL=1/LXét trường hợp P(X=xi)=1/M, với mọi i => chứng minh P(Y=yj)=1/L với mọi jThật vậy : M P (Y = y j ) = ∑ P(Y = y j , X = xi ) i =1 M M 1 1 = ∑ P( X = xi )P(Y = y j / X = xi ) = ∑P = qi ij M M i =1 i =1Từ A ta nhận thấy: ⎛ p11 ... p1L ⎞ ⎜ ⎟ ... ⎟ => ∑ A = tổng các phần tử của A. A = ⎜ ... ... ⎜p p ML ⎟ ⎝ M 1 ... ⎠ M M M ∑ = ∑A = ∑A => M = L ∑ qi =>∑ qi = + hang + cot Do L i =i i =i A 1M 1 = => H (Y ) = −∑ p P (Y = y j ) log P (Y = y j ) = log L = Max=> P (Y = y j ) = ML L=> H(Y) đạt max là logL khi P(Y=yj)=1/L hoặc P(X=xi)=1/M LVậy: C= log L – H(p’1, p’2, …, p’L ) hay C = log L + ∑ p j log p j j =1Chú ý: trường hợp kênh 1 bit với nhiễu β ⎛1 − β β⎞Ma trận truyền tin A = ⎜ ⎟ ⎜β 1− β ⎟ ⎝ ⎠Dung lượng C=1+(1-β) log(1-β)+βlogβ = 1- H(β, 1-β) H(β , 1-β) 51Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. Giáo trình: Lý thuyết thông tin. 1 – H(β,1-β) Định lý về dung lượng kênh truyềnGiả sử ma trạn A có dạng vuông và có ma trận nghịch đảo là A-1Ký hiệu A=||pij|| với i=1,2,...,M và j =1,2,...,M A-1=||qij|| với i=1,2,...,M và j =1,2,...,M ⎡M ⎤ MĐặt tham số dk= ∑ q jk exp 2 ⎢− ∑ q ji H (Y / X = xi )⎥, ∀k = 1, M ⎣ i =1 ⎦ j =1Nếu dk>0 thì dung lượng kênh truyền có dạng: ⎧M ⎤⎫ ⎡M C = Log ⎨∑ exp 2 ⎢− ∑ q ji H (Y / X = xi )⎥ ⎬ ⎣ i =1 ⎦⎭ ⎩ j =1Giá trị cực đại đạt khi tín hiệu vào X=X* thỏa phân phối P(X*=xk)=2-CdkHay C=max I(X/Y)=I(X*/Y)Chú ý: - Điều kiện dk>0 cho phép hàm I(X/Y) là hàm lồi => Tồn tại Max tuyệt đối tại phân phối của X* với p(X*=xk)=2-C dk =pk (với mọi k). - Nếu điều kiện ma trận vuông hoặc ma trận ngịch đảo không thỏa thì giá trị cực đại max sẽ nằm trên đường biên của miền xác định {pk>0 và -Σpk=1} Bài tập 1. Cho một kênh truyền có ma trận truyền tin như sau: x1 ⎡1 / 2 1 / 3 1 / 6⎤ x 2 ⎢1 / 3 1 / 6 1 / 2⎥ ⎢ ⎥ x3 ⎢1 / 6 1 / 2 1 / 3⎥ ⎣ ⎦ y1 y 2 y3 Tính dung lượng kênh truyền. 2. Chứng minh các công thức tính dung lượng kênh truyền trên. 52Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. ...