Báo cáo: LÝ THUYẾT THÔNG TIN

THÔNG TIN là một đại lượng toán học dùng để đo lượng tin không chắc (hay lượng ngẫu nhiên) của một sự kiện hay của phân phối ngẫu nhiên cho trước. Hay một số tài liệu tiếng anh gọi là Uncertainty Measure. Ý nghĩa entropy: Entropy thông tin mô tả mức độ hỗn loạn trong một tín hiệu lấy từ một sự kiện ngẫu nhiên. Nói cách khác, entropy cũng chỉ ra có bao nhiêu thông tin trong tín hiệu, với thông tin là các phần không hỗn loạn ngẫu nhiên của tín hiệu....
Nội dung trích xuất từ tài liệu:
Báo cáo: LÝ THUYẾT THÔNG TINLÝLÝ THUYẾT THÔNG TIN ENTROPY ENTROPYĐịnh nghĩa entropy:Entropy là một đại lượng toán học dùng để đo lượng tin không chắc(hay lượng ngẫu nhiên) của một sự kiện hay của phân phối ngẫunhiên cho trước. Hay một số tài liệu tiếng anh gọi là UncertaintyMeasure.Ý nghĩa entropy: nghĩaEntropy thông tin mô tả mức độ hỗn loạn trong một tín hiệu lấy từmột sự kiện ngẫu nhiên. Nói cách khác, entropy cũng chỉ ra có baonhiêu thông tin trong tín hiệu, với thông tin là các phần không hỗnloạn ngẫu nhiên của tín hiệu.Ở đây ta chỉ nghiên cứu các sự kiện ngẫu nhiên rời rạc. Entropy của một sự kiệnGiả sử có một sự kiện A có xác suất xuất hiện là p. Khi đó, ta nói A cómột lượng không chắc chắn được đo bởi hàm số h(p) với p ⊆ [0,1].Hàm h(p) được gọi là Entropy nếu nó thoả 2 tiêu đề toán học sau:Tiên đề 1: h(p) là hàm liên tục không âm và đơn điệu giảm.Tiên đề 2: nếu A và B là hai sự kiện độc lập nhau, có xác suất xuấthiện lần lượt là pA và pB.Khi đó, p(A,B) = pA.pB nhưng h(A,B) = h(pA) + h(pB). Entropy của một phân phốiXét biến ngẫu nhiên rời rạc X có phân phối: X x1 x2 … xn P p1 p2 … pnNếu gọi Ai là sự kiện X=xi, (i=1,2,3,..) thì Entropy của Ai là: h(Ai)=h(pi)Gọi Y=h(X) là hàm ngẫu nhiên của X và nhận các giá trị là dãy cácEntropy của các sự kiện X=xi, tức là Y=h(X)={h(p1), h(p2), …, h(pn)}Vậy, Entropy của X chính là kỳ vọng toán học của hàm Y=h(X) có dạng: H(X)=H(p1, p2, p3, …,pn) = p1h(p1)+ p2h(p2)+…+pnh(pn).Tổng quát: n H ( X ) = ∑ pi h( pi ) i =1 Dạng Dạng giải tích của entropy h(p)=-log2(p) (đvt: bit)Do đó, 1 n n H ( X ) = −∑ p(i ) log 2 p (i ) = ∑ p(i ) log 2    p (i )  i =1 i =1Qui ước trong cách viết: log(pi)= log2(pi)Lượng thông tin Shannon của 1 kết cục x :Lượng 1 h ( x ) = log 2 p ( x) Ví Ví dụMột dòng chữ luôn chỉ có các ký tự a sẽ có entropy bằng 0, vì ký tựtiếp theo sẽ luôn là a.Nếu sự kiện A có xác suất xuất hiện là 1/2 thì h(A)=h(1/2)= -log(1/2) = 1 (bit)MộtMột dòng chữ chỉ có hai ký tự 0 và 1 ngẫu nhiên hoàn toàn sẽ cóentropy là 1 bit cho mỗi ký tự. mỗi Ví Ví dụXét biến ngẫu nhiên X có phân phối như sau X x1 x2 x3 P 1/2 1/4 1/4 H(X) H(X) = -(1/2log(1/2)+1/4log(1/4)+1/4log(1/4)) =3/2 (bit)TínhTính chất 1 H ( p1 , p2 ,..., pn ) = H ( p1 + p2 + ... + pr , pr +1 + pr + 2 + ... + pn )   p  pr + ( p1 + p2 + ... + pr ) H  r  1 ,..., r    ∑ pi ∑ pi   i =1  i =1   p  p + ( pr +1 + pr + 2 + ... + pn ) H  n r +1 ,..., n n     ∑ pi ∑1 pi   i = r +1  i =r +TínhTính chất 2: Định lý cực đại của entropy H(p1, p2, …,pn)≤ log(n)Trong đó: đẳng thức xảy ra khi và chỉ khi p1=…= pn= 1/n Bài Bài tậpXét con ...