Giáo trình lý thuyết thông tin 3

Tham khảo tài liệu 'giáo trình lý thuyết thông tin 3', kỹ thuật - công nghệ, kĩ thuật viễn thông phục vụ nhu cầu học tập, nghiên cứu và làm việc hiệu quả
Nội dung trích xuất từ tài liệu:
Giáo trình lý thuyết thông tin 3 Chương 3: Cơ sở lý thuyết thông tin thống kê 3.6.4. Tính chất của các tín hiệu có phân bố chuẩn Định lý: Trong số những quá trình (tín hiệu) có cùng công suất trung bình ( σ 2 ), tín hiệu có phân bố Gausse sẽ cho entropie vi phân lớn nhất. Tức là: ∞ h ( X ) = − ∫ W1 ( x ) .log W1 ( x ) .dx ≤ log 2πeσ2 −∞ max h ( X ) = log 2πeσ2 khi W1 ( x ) − mËt ®é chuÈn Chứng minh: Gọi x(t) là tín hiệu không Gausse. ⎧ ~2 ⎫ ⎛~⎞ ⎪x⎪ ~ 1 x(t) là tín hiệu Gause: W1 ⎜ x ⎟ = exp ⎨- ⎬ 2πP~ ⎪ 2Px ⎪ ⎝⎠ ~ ⎩ ⎭ x Điều cần chứng minh ở định lý trên trương đương với việc chứng minh bất đẳng thức sau: h ( X ) − log 2πePx ≤ 0 (*) Trước hết theo giả thiết, ta có: D ~ = Dx = D x ∞ ~2 ∞ ⎛~⎞ ~ ⇒ ∫ x W1 ⎜ x ⎟ d x = ∫ x 2 W1 ( x ) dx (a) ⎝⎠ −∞ −∞ Ta có: ∞ ⎛~⎞ ⎛~⎞ ⎛~⎞ ~ h ⎜ X ⎟ = − ∫ W1 ⎜ x ⎟ log W1 ⎜ x ⎟ d x = ⎝⎠ ⎝⎠ ⎝⎠ −∞ ∞ ∞ ⎛ ~ ⎞ ~ log e ∫ x W1 ( x ) dx = log 2πD ∫ W1 ⎜ x ⎟ d x + 2 2D −∞ ⎝⎠ −∞ ∞ ∞ ⎛ ⎞ ⎛~⎞ ~ ⎜ do ∫ W1 ⎜ x ⎟ d x = ∫ W1 ( x ) dx = 1 vµ do (a) ⎟ ⎜ ⎟ ⎝ −∞ ⎝ ⎠ ⎠ −∞ 80 Chương 3: Cơ sở lý thuyết thông tin thống kê ∞ ⎡1 ⎤ x2 ⎛~⎞ log e ⎥ W1 ( x ) dx ⇒ h ⎜ X ⎟ = − ∫ ⎢ − log 2πD − ⎣2 2D −∞ ⎢ ⎥ ⎝⎠ ⎦ ∞ ⎛~⎞ W1 ( x ) logW1 ⎜ x ⎟ dx ∫ =− ⎝⎠ −∞ ⎛~⎞ h (X) − h ⎜ X ⎟ ≤ 0 Từ (*) ⇒ cần chứng minh: ⎝⎠ Ta có: ∞ ∞ ⎛~⎞ ⎛~⎞ h ( X ) − h ⎜ X ⎟ = − ∫ W1 ( x ) log W1 ( x ) dx + W1 ( x ) log W1 ⎜ x ⎟ dx ∫ ⎝⎠ ⎝⎠ −∞ −∞ ⎛~⎞ W1 ⎜ x ⎟ ∞ ⎝ ⎠ dx = ∫ W1 ( x ) log (**) W1 ( x ) −∞ log a x ≤ x − 1 . Với a > 1 bao giờ ta cũng có: Nên: ⎡ ⎛~⎞ ⎤ W1 ⎜ x ⎟ ⎢ ⎥ ∞ ⎛~⎞ ⎢ ⎝ ⎠ − 1⎥ dx h ( X ) − h ⎜ X ⎟ ≤ ∫ W1 ( x ) ⎢ W1 ( x ) ⎥ ⎝ ⎠ −∞ ⎢ ⎥ ⎣ ⎦ ∞ ∞ ⎛~⎞ ≤ ∫ W1 ⎜ x ⎟ dx ...