Chương 3: Thông tin và định lượng thông tin

Tốc độ lập tin của nguồn và thông lượng kênh rời rạc: Tốc độ lập tin và độ dư của nguồn. Khái niệm thông lượng của kênh. Thông lượng của kênh rời rạc không nhiễu. Thông lượng của kênh rời rạc có nhiễu
Nội dung trích xuất từ tài liệu:
Chương 3: Thông tin và định lượng thông tinCơ s Lý thuy t Truy n tin-2004Chương 3: Thông tin và đ nh lư ng thông tin Hà Qu c Trung1 1 Khoa Công ngh thông tin Đ i h c Bách khoa Hà n iChương 3: Thông tin và đ nh lư ng thông tin 1 Lư ng tin c a ngu n tin r i r c 2 Entropi c a ngu n r i r c 3 T c đ l p tin c a ngu n và thông lư ng kênh r i r c 4 Entropi c a ngu n và thông lư ng kênh liên t c 1. Lư ng tin c a ngu n tin r i r c 1 Lư ng tin c a ngu n tin r i r c Ngu n tin r i r c Bi n đ i ngu n tin r i r c Lư ng tin riêng, lư ng tin tương h , lư ng tin có đi u ki n Tính ch t c a lư ng tin Lư ng tin trung bình 2 Entropi c a ngu n r i r c 3 T c đ l p tin c a ngu n và thông lư ng kênh r i r c 4 Entropi c a ngu n và thông lư ng kênh liên t cChương 3: Thông tin và đ nh lư ng thông tin 1. Lư ng tin c a ngu n tin r i r c 3/ 55 1.1.Ngu n tin r i r c Ngu n tin r i r c Ngu n tin t o ra m t chu i các bi n ng u nhiên r i r c x1 , x2 , . . . , xn , . . . Ký hi u Ph n t nh nh t ch a thông tin, M t giá tr c a bi n ng u nhiên, Ví d mã morse, 4 ký hi u B ký hi u: t p h p t t c các ký hi u có th (t t c các giá tr có th c a bi n ng u nhiên r i r c), còn g i là b ng ch cái X = {x1 , x2 , . . . , xn } T : T p h p h u h n các ký hi u B t : T p h p t t c các t có th Ngu n đ c trưng b i trư ng xác su t {X , p(x)}, X = {x1 x2 . . . xn ....}Chương 3: Thông tin và đ nh lư ng thông tin 1. Lư ng tin c a ngu n tin r i r c 4/ 55 Các lo i ngu n tin r i r c Ngu n r i r c không nh : xác su t xu t hi n c a các ký hi u không ph thu c vào các ký hi u đã xu t hi n trư c đó p(xn |x1 , x2 , . . . xn−1 ) = p(xn ) Ngu n r i r c có nh p(xn |x1 , x2 , . . . xn−1 ) < p(xn ) Ngu n d ng: Xác su t xu t hi n c a các ký t ch ph thu c vào v trí tương quan gi a các ký t , không ph thu c vào v trí so v i g c p(xi , n) = p(xi , n + k)∀k Ngu n d ng Ergodic: Ngu n có các giá tr trung bình t p h p b ng các giá tr trung bình theo th i gian Ngu n có t c đ thông tin đi u khi n đư c (thay đ i)Chương 3: Thông tin và đ nh lư ng thông tin 1. Lư ng tin c a ngu n tin r i r c 5/ 55 Các lo i ngu n tin r i r c (Ti p) Ngu n đi n tín Telex Ngu n có t c đ thông tin không đi u khi n đư c (không thay đ i)Chương 3: Thông tin và đ nh lư ng thông tin 1. Lư ng tin c a ngu n tin r i r c 6/ 55 Ngu n Markov Ngu n Markov đ nh 1: xác su t c a m t ký hi u ch ph thu c vào ký hi u trư c đó p(xin |xjn−1 , xkn−2 ...) = p(xin |xjn−1 ) T i th i đi m n ngu n có th tr ng thái xj v i xác su t pij = p(xj,n |xi,n−1 ) khi th i đi m n − 1 ngu n đã tr ng L thái xi . Khi đó pij = 1 j=1 Xác su t đ ký hi u th n là xj L p(xjn ) = p(xjn , xin−1 ) = i=1 L L p(xin−1 )p(xjn |xin−1 ) = p(xin−1 )pij i=1 i=1Chương 3: Thông tin và đ nh lư ng thông tin 1. Lư ng tin c a ngu n tin r i r c 7/ 55 Ngu n Markov (Ti p) Bi u di n b ng ma tr n       p(x1n ) p(x1n−1 ) p11 p12 . . . p1L p(x1n ) p(x1n−1 ) p21 p22 . . . p2L   . . .  Pn−1 =  . . .  T =  . . . . . . Pn =       . . . . . . p(xLn ) p(xLn−1 ) pL1 pL2 . . . pLL Phân b xác su t t i th i đi m n Pn = T T Pn−1 = (T T )n P0Chương 3: Thông tin và đ nh lư ng thông tin 1. Lư ng tin c a ngu n tin r i r c 8/ 55 1.2.Bi n đ i ngu n tin r i r c Bi n đ i c u trúc th ng kê c a ngu n tin r i r c {X , p(x)} → {Y , p(y)} N u không có nhi u, phép bi n đ i là 1-1, ánh x có th bi u di n theo b ng: A → 00 B → 01 C → 10 D → 11 T ng quát, phép bi n đ i bi u di n b ...