Cơ sở lý thuyết truyền tin - Chương 4: Mã hiệu

Mã hiệu là mã sử dụng tập ký hiệu số (các chữ số) đề mã hóa thông tin. Mã hóa: một song ánh giữa hai nguồn tin (một phép biển đổi 1-1 giữa các tin của hai nguồn tin)
Nội dung trích xuất từ tài liệu:
Cơ sở lý thuyết truyền tin - Chương 4: Mã hiệuCơ s Lý thuy t Truy n tin-2004 Hà Qu c Trung1 1 Khoa Công ngh thông tin Đ i h c Bách khoa Hà n i Chương 4: Mã hi uChương 4: Mã hi u 0. 2/1 Gi i thi u X lí thông tin: Có m t ngu n tin nguyên th y Bi n đ i ngu n tin nguyên th y cho phù h p v i các quá trình x lí thành các ngu n tin trung gian khác Bi n đ i ngư c t các ngu n tin thành ngu n tin có d ng ban đ u Bi u di n c a các ngu n tin trung gian b ng mã hi u Mã hi u: Các khái ni m liên quan Đi u ki n đ s d ng đư c mã hi u Cách bi u di n mã hi uChương 4: Mã hi u 0. 3/1 1. Mã hi u, tham s , đ c tínhChương 4: Mã hi u 1. Mã hi u, tham s , đ c tính 4/1 1.1.Khái ni m mã hi u Mã hi u là mã s d ng t p ký hi u s (các ch s ) đ mã hóa thông tin Mã hóa m t song ánh gi a hai ngu n tin (m t phép bi n đ i 1-1 gi a các tin c a hai ngu n tin) K t qu thu đư c là m t ngu n tin có các thông s th ng kê phù h p: Entropy Đ chính xác Chi u dài các tin K t qu thu đư c này là mã hi u V y mã hi u là m t ngu n tin v i mô hình th ng kê xác đ nh trư c, th a mãn yêu c u nào đó, s d ng các ký hi u sChương 4: Mã hi u 1. Mã hi u, tham s , đ c tính 5/1 Các khái ni m liên quan c a mã hi u Mã hi u g m m t t p h u h n các ký hi u có phân b xác su t nào đó, g i là d u mã hay ký hi u mã T p h p m t s nào đó các d u mã g i là t h p mã Trong t p h p t t c các t h p mã, m t t p h p các t h p mã đư c xây d ng theo m t lu t nào đó, g i là t h p mã có th (h p l ) Trong quá trình mã hóa, m t tin c a ngu n nguyên th y đư c ánh x vào m t t h p mã. M t t h p mã như v y g i là t mã. Nh ng t h p có th khác g i là t h p c m (t h p không s d ng) M t dãy t mã b t kỳ t o thành m t t thông tinChương 4: Mã hi u 1. Mã hi u, tham s , đ c tính 6/1 Ví d : mã BCD Binary Coded Decimal đóng gói Ngu n tin nguyên th y g m các tin là các ký hi u t 0 − 9 Mã hóa thành các ký hi u nh phân 0 − 1 Các d u (ký hi u mã): 0, 1 Các t h p mã có th : 0000 đ n 1111, g m 16 t h p mã Các t h p mã đư c s d ng (t mã): 0 1 2 ......... 9 0000 0001 0010 ........ 1001 Các t h p mã b c m: 1010,1011,1100,1101,1110,1111 M t t thông tin: 2005 → 0010000000000101 001000000000010100Chương 4: Mã hi u 1. Mã hi u, tham s , đ c tính 7/1 Các khái ni m liên quan c a mã hi u Quá trình bi n đ i ngu n tin ban đ u s d ng mã hi u g i là quá trình mã hóa. Ngu n tin r i r c g m nhi u tin t o thành b n tin. Các ngu n tin trong th c t có s lư ng các tin r t l n. Ngư c l i các mã hi u thư ng có s lư ng các ký hi u tương đ i nh . Do đó m t tin c a ngu n ban đ u thư ng đư c mã hóa thành m t chu i các ký hi u mã:(t mã) Quá trình bi n đ i ngư c l i t m t t mã thành m t tin ban đ u g i là quá trình gi i mã Ngo i l : mã hóa m t chu i các tin c a ngu n tin nguyên th y thành m t ho c nhi u t mã: mã kh i (mã theo t )Chương 4: Mã hi u 1. Mã hi u, tham s , đ c tính 8/1 1.2.Các thông s cơ b n c a mã hi u Mã hi u là m t t p h p các t mã, thành l p t m t b ng ký hi u S lư ng ký hi u trong b ng ký hi u g i là cơ s Đ dài c a t mã: s lư ng các ký hi u c a t mã Đ dài trung bình c a t mã: L R= p(xi )ni i=1 L là t ng s t mã: s tin đư c mã hóa, s t mã, s t h p mã có th đư c s d ng Mã đ y: L = M, M là t ng s các t mã c ...