Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
L i nói đ uờ ầ
Ngay nay, các lĩnh v c khoa h c máy tính và truy n thông đãự ọ ề
thâm nh p l n nhau và g n k t d n đ n làm thay đ i r t nhi u lĩnhậ ẫ ắ ế ẫ ế ổ ấ ề
v c công ngh và s n xu t. Chính đi u này đã làm cho r t nhi uự ệ ả ấ ề ấ ề
lĩnh v c khoa h c công ngh có nh ng đi u ki n c s đ phátự ọ ệ ữ ề ệ ơ ở ể
tri n m nh m . Trong hoàn c nh đó, vi c nghiên c u tìm hi u v lýể ạ ẽ ả ệ ứ ể ề
thuy t tín hi u và truy n tin ngày càng tr nên quan tr ng và c nế ệ ề ở ọ ầ
đ c đ t trong m t tình hình m i.ượ ặ ộ ớ
V i yêu c u c n có m t giáo trình cho sinh viên ngành Đi n tớ ầ ầ ộ ệ ử
- Vi n thông, giáo trình Lý thuy t tín hi u và truy n tin đã đ cễ ế ệ ề ượ
biên so n. Trong quá trình biên so n không tránh kh i thi u sótạ ạ ỏ ế
mong đ c gi góp ý đ giáo trình ngày càng hoàn thi n h n.ọ ả ể ệ ơ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
3
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Ch ng 1ươ
Các khái ni m c b n c a lý thuy t tín hi u và truy n tinệ ơ ả ủ ế ệ ề
1.1. V trí, vai trò và l ch s phát tri n ị ị ử ể
1.1.1. V trí, vai trò c a lý thuy t thông tinị ủ ế
Trong cu c s ng con ng i luôn có nhu c u trao đ i, giao ti pộ ố ườ ầ ổ ế
v i nhau, cái mà m i ng i trao đ i v i nhau g i là thông tin. Nhớ ỗ ườ ổ ớ ọ ờ
s phát tri n c a khoa h c công ngh , con ng i cũng có th nh nự ể ủ ọ ệ ườ ể ậ
thông tin t đài, báo, m ng internet, truy n hình ... v.v. Hay đ n gi nừ ạ ề ơ ả
nh các b n sinh viên nh n thông tin t gi ng viên và ph c t p h nư ạ ậ ừ ả ứ ạ ơ
n a là s liên l c, thông tin gi a các m ng máy tính v i nhau. Đi uữ ự ạ ữ ạ ớ ề
đó có nghĩa là thông tin là cái gì đó đ c truy n t đ i t ng này t iượ ề ừ ố ượ ớ
đ i t ng khác đ chuy n, thông báo m t đi u gì đó. Thông tin số ượ ể ể ộ ề ẽ
ch có ý nghĩa khi đi u gì đó mà bên nh n ch a bi t.ỉ ề ậ ư ế
Nh nh ng ví d trên trình bày, thông tin có th đ c ch aư ữ ụ ể ượ ứ
trong nhi u d ng nh hình nh, âm thanh, văn b n. Nh ng d ng nàyề ạ ư ả ả ữ ạ

khoa h c k thu t. S bùng n v thông tin đang làm thay đ i di nọ ỹ ậ ự ổ ề ổ ệ
m o cu c s ng c a con ng i, t o ra s phát tri n m nh m c aạ ộ ố ủ ườ ạ ự ể ạ ẽ ủ
các ph ng th c truy n thông, truy n tin và l u tr thông tin. Cũngươ ứ ề ề ư ữ
chính nh thông tin mà con ng i đ c cung c p nh ng c s lýờ ườ ượ ấ ữ ơ ở
thuy t và cái nhìn tri t h c sâu s c h n v các v n đ con ng iế ế ọ ắ ơ ề ấ ề ườ
g p ph i hôm nay và trong t ng lai. Lý thuy t thông tin đã đ c ápặ ả ươ ế ượ
d ng trong h u h t các lĩnh v c công ngh nh truy n thông, nén,ụ ầ ế ự ệ ư ề
b o m t, đ c bi t đã đ c áp d ng vào trong lĩnh v c giáo d c ả ậ ặ ệ ượ ụ ự ụ ở
nhi u khía c nh nh đào t o, nghiên c u và phát tri n công ngh .ề ạ ư ạ ứ ể ệ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
5
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
V y lý thuy t tín hi u và thông tin đã có l ch s hình thànhậ ế ệ ị ử
phát tri n nh th nào?ể ư ế
1.1.2. L ch s hình thành và phát tri nị ử ể
Ng i đ t viên g ch đ u tiên đ xây d ng lý thuy t thông tinườ ặ ạ ầ ể ự ế
là Hartley R.V.L. Năm 1928, ông đã đ a ra s đo l ng thông tin làư ố ượ
m t khái ni m trung tâm c a lý thuy t thông tin. D a vào khái ni mộ ệ ủ ế ự ệ
này, ta có th so sánh đ nh l ng các h truy n tin v i nhau. Nămể ị ượ ệ ề ớ
1933, V.A Kachenhicov ch ng minh m t lo t nh ng lu n đi m quanứ ộ ạ ữ ậ ể
tr ng c a lý thuy t thông tin trong bài báo “V kh năng thông quaọ ủ ế ề ả
c a không trung và dây d n trong h th ng liên l c đi n”.ủ ẫ ệ ố ạ ệ
Năm 1935, D.V Ageev đ a ra công trình “Lý thuy t tách tuy nư ế ế
tính”, trong đó ông phát bi u nh ng nguyên t c c b n v lý thuy tể ữ ắ ơ ả ề ế
tách các tín hi u. ệ
Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuy tế
th ch ng nhi u’ đánh d u m t b c phát tri n r t quan tr ng c aế ố ễ ấ ộ ướ ể ấ ọ ủ
lý thuy t thông tin. ế
Trong hai năm 1948 – 1949, Shanon C.E công b m t lo t cácố ộ ạ
công trình vĩ đ i, đ a s phát tri n c a lý thuy t thông tin lên m tạ ư ự ể ủ ế ộ

g n, thông tin là cái mà lo i tr s không ch c ch n.ọ ạ ừ ự ắ ắ
Đ nh nghĩa đ u tiên ch a nêu rõ b n ch t c a thông tin, đ nhị ầ ư ả ấ ủ ị
nghĩa th hai nói rõ h n v b n ch t c a thông tin và đ c dùng đứ ơ ề ả ấ ủ ượ ể
đ nh l ng thông tin trong k thu t.ị ượ ỹ ậ
Ngoài ra có ng i còn đ nh nghĩa thông tin là nh ng tính ch t xácườ ị ữ ấ
đ nh c a v t ch t mà con ng i (ho c h th ng k thu t) nh nị ủ ậ ấ ườ ặ ệ ố ỹ ậ ậ
đ c t th gi i v t ch t bên ngoài ho c t nh ng quá trình x y raượ ừ ế ớ ậ ấ ặ ừ ữ ả
trong b n thân nó.ả
V i đ nh nghĩa này, m i ngành khoa h c là khám phá ra cácớ ị ọ ọ
c u trúc thông qua vi c thu th p, ch bi n, x lý thông tin. đâyấ ệ ậ ế ế ử Ở
“thông tin” là m t danh t ch không ph i là đ ng t đ ch m tộ ừ ứ ả ộ ừ ể ỉ ộ
hành vi tác đ ng gi a hai đ i t ng (ng i, máy) liên l c v i nhau.ộ ữ ố ượ ườ ạ ớ
Theo quan đi m tri t h c, thông tin là m t qu ng tính c a th gi iể ế ọ ộ ả ủ ế ớ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
7
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
v t ch t (t ng t nh năng l ng, kh i l ng). Thông tin khôngậ ấ ươ ự ư ượ ố ượ
đ c t o ra mà ch đ c s d ng b i h th c m.ượ ạ ỉ ượ ử ụ ở ệ ụ ả
Thông tin t n t i m t cách khách quan, không ph thu c vàoồ ạ ộ ụ ộ
h th c m. Trong nghĩa khái quát nh t, thông tin là s đa d ng. Sệ ụ ả ấ ự ạ ự
đa d ng đây có th hi u theo nhi u nghĩa khác nhau: Tính ng uạ ở ể ể ề ẫ
nhiên, trình đ t ch c,…ộ ổ ứ
1.2.1.2. Tin
Tin là d ng v t ch t c th đ bi u di n ho c th hi n thôngạ ậ ấ ụ ể ể ể ễ ặ ể ệ
tin. Có hai d ng là tin r i r c và tin liên t c.ạ ờ ạ ụ
Ví d các b c nh, b n nh c, bài nói, b ng s li u, ...v.v làụ ứ ả ả ạ ả ố ệ
các tin.
1.2.1.3. Tín hi uệ
Thông tin là m t hi n t ng v t lý, nó th ng t n t i và đ cộ ệ ượ ậ ườ ồ ạ ượ
truy n đi d i d ng v t ch t nào đó.ề ướ ạ ậ ấ

- H th ng truy n tin liên t cệ ố ề ụ
Tuy nhiên, m t cách t ng quát h th ng thông tin có th đ cộ ổ ệ ố ể ượ
bi u di n b i s đ kh i sau:ể ễ ở ơ ồ ố
1.2.2.1. Ngu n tinồ
Ngu n tin là n i s n sinh ra hay ch a các tin c n truy n đi.ồ ơ ả ứ ầ ề
Khi m t đ ng truy n tin đ c thi t l p đ truy n tin t ngu n tinộ ườ ề ượ ế ậ ể ề ừ ồ
đ n n i nh n tin, m t dãy các ph n t c s (các tin) c a ngu n sế ơ ậ ộ ầ ử ơ ở ủ ồ ẽ
đ c truy n đi v i m t phân b xác su t nào đó. Dãy này đ c g iượ ề ớ ộ ố ấ ượ ọ
là m t b n tin. Do đó có th đ nh nghĩa:ộ ả ể ị
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
9
Ngu n tinồ Kênh tin Nh n tinậ
Nhi uễ
Hình 1.1. S đ kh i h th ng thông tinơ ồ ố ệ ố
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Ngu n tin là t p h p các tin mà h th ng truy n tin dùng đồ ậ ợ ệ ố ề ể
l p các b n tin khác nhau đ truy n tin.ậ ả ể ề
N u t p tin là h u h n thì ngu n sinh ra nó đ c g i là ngu nế ậ ữ ạ ồ ượ ọ ồ
r i r c. N u t p tin là vô h n thì ngu n sinh ra nó đ c g i làờ ạ ế ậ ạ ồ ượ ọ
ngu n liên t c.ồ ụ
Ngu n tin có hai tính ch t: Tính th ng kê và tính hàm ý.ồ ấ ố
V i ngu n r i r c, tính th ng kê bi u hi n ch xác su tớ ồ ờ ạ ố ể ệ ở ỗ ấ
xu t hi n các tin là khác nhau.ấ ệ
Tính hàm ý bi u hi n ch xác su t xu t hi n c a m t tinể ệ ở ỗ ấ ấ ệ ủ ộ
nào đó sau m t dãy tin khác nhau nào đó là khác nhau.ộ
Ví d : ụ P(x/ta) ≠ P(x/ba)
Thông tin tr c khi truy n đi có th đ c x lý mã hoá đướ ề ể ượ ử ể
nén, ch ng nhi u và b o m t.ố ễ ả ậ
1.2.2.2. Kênh tin
Kênh tin là n i hình thành, truy n hay l u tr tín hi u mang tinơ ề ư ữ ệ

- L u gi tin, ví d nh b nh máy tính, băng ghi âm, ghiư ữ ụ ư ộ ớ
hình,...
- Bi u th tin làm cho các giác quan c a con ng i hay các bể ị ủ ườ ộ
c m bi n c m th đ c đ x lý tin, ví d nh băng ghi âm, hìnhả ế ả ụ ượ ể ử ụ ư
nh,...ả
- X lý tin đ a tin v d ng d s d ng. Ch c năng này có thử ư ề ạ ễ ử ụ ứ ể
th c hi n b i con ng i hay b ng các thi t b máy móc.ự ệ ở ườ ằ ế ị
1.2.3. H th ng thông tin sệ ố ố
Các h th ng thông tin t ng t đ c ti p t c phát tri n tệ ố ươ ự ượ ế ụ ể ừ
th k tr c và đ t đ c nhi u thành t u. Tuy nhiên, h th ngế ỷ ướ ạ ượ ề ự ệ ố
thông tin t ng t có nh ng nh c đi m c h u không th kh cươ ự ữ ượ ể ố ữ ể ắ
ph c. Các h th ng này th ng r t c ng k nh, không hi u qu vàụ ệ ố ườ ấ ồ ề ệ ả
chi phí r t cao. Ví d v n đ v nhi u trong h th ng thông tinấ ụ ấ ề ề ễ ệ ố
t ng t luôn làm đau đ u các nhà khoa h c.ươ ự ầ ọ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
11
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Các h th ng r i r c (s ) có nhi u u đi m và kh c ph cệ ố ờ ạ ố ề ư ể ắ ụ
đ c nh ng nh c đi m c a h th ng liên t c. Ngày nay, các hượ ữ ượ ể ủ ệ ố ụ ệ
th ng r i r c ngày càng đ c phát tri n m nh m và thu đ cố ờ ạ ượ ể ạ ẽ ượ
nh ng thành t u v t c ngoài s mong đ i.ữ ự ượ ả ự ợ
Đ th c hi n đ c các h th ng r i r c tr c h t ph i r iể ự ệ ượ ệ ố ờ ạ ướ ế ả ờ
r c hoá tín hi u mang tin. Có hai lo i r i r c hoá: R i r c hoá theoạ ệ ạ ờ ạ ờ ạ
tr c th i gian hay còn g i là l y m u và r i r c hoá theo biên đụ ờ ọ ấ ẫ ờ ạ ộ
hay còn g i là l ng t hoá.ọ ượ ử
L y m u tín hi u là t m t hàm ban đ u ta l y ra nh ng m uấ ẫ ệ ừ ộ ầ ấ ữ ẫ
nh ng th i đi m nh t đ nh. Đi u quan tr ng là làm th nào đ cóở ữ ờ ể ấ ị ề ọ ế ể
th thay th t ng đ ng các m u l y đ c v i tín hi u g c. Đi uể ế ươ ươ ẫ ấ ượ ớ ệ ố ề
này đ c gi i quy t b i đ nh lý l y m u c a Shannon. Shannonượ ả ế ở ị ấ ẫ ủ
chính là cha đ c a lý thuy t tín hi u và truy n tin.ẻ ủ ế ệ ề

max
). L ng t hoá là phân chia kho ng này thành m t s m c nh tượ ử ả ộ ố ứ ấ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
12
S(t)
S
max
S
min
t
Hình 1.2. Quá trình l y m u tín hi uấ ẫ ệ
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
đ nh, ch ng h n là: Sị ẳ ạ
0
= S
min
, S
1
= ...,..., S
n
= S
max
và qui các giá trị
biên đ không trùng v i các giá tr này v các giá tr g n v i nóộ ớ ị ề ị ầ ớ
nh t. Có nghĩa là s có sai s khi th c hi n l ng t hoá. Nh v yấ ẽ ố ự ệ ượ ử ư ậ
vi c l ng t hoá s bi n hàm S(t) thành m t hàm S'(t) có d ng b cệ ượ ử ẽ ế ộ ạ ậ
thang. S sai khác gi a S(t) và S'(t) đ c g i là sai s l ng t hoá.ự ữ ượ ọ ố ượ ử
Sai s l ng t càng nh thì S'(t) càng g n v i S(t).ố ượ ử ỏ ầ ớ
Hình 1.3 minh ho quá trình l ng t hoá.ạ ượ ử
Khi đã th c hi n vi c r i r c hoá tín hi u ta s có các ngu nự ệ ệ ờ ạ ệ ẽ ồ

1.3. Đ đo thông tinộ
Đ đo c a m t đ i l ng là cách ta xác đ nh đ l n c a đ iộ ủ ộ ạ ượ ị ộ ớ ủ ạ
l ng đó. M i đ đo ph i tho mãn 3 tính ch t sau:ượ ỗ ộ ả ả ấ
- Đ đo ph i cho phép ta xác đ nh đ c đ l n c a đ i l ng.ộ ả ị ượ ộ ớ ủ ạ ượ
Đ i l ng càng l n, giá tr đo đ c càng ph i l n.ạ ượ ớ ị ượ ả ớ
- Đ đo ph i không âm.ộ ả
- Đ đo ph i tuy n tính, t c là giá tr đo đ c c a đ i l ngộ ả ế ứ ị ượ ủ ạ ượ
t ng c ng ph i b ng t ng giá tr c a các đ i l ng riêng ph n khiổ ộ ả ằ ổ ị ủ ạ ượ ầ
s d ng đ đo này đ đo chúng.ử ụ ộ ể
Đ xác đ nh đ đo thông tin, chúng ta nh n th y r ng thông tinể ị ộ ậ ấ ằ
càng có nhi u ý nghĩa khi nó càng hi m g p, do đó đ l n c a nóề ế ặ ộ ớ ủ
ph i t l ngh ch v i xác su t xu t hi n c a tin, hay nó là hàmả ỷ ệ ị ớ ấ ấ ệ ủ
f(1/p(x
i
)) cho tin x
i
có xác su t xu t hi n p(xấ ấ ệ
i
). M t tin không choộ
chúng ta l ng tin nào khi chúng ta đã bi t tr c v nó hay có xácượ ế ướ ề
su t b ng 1.ấ ằ
Đ xác đ nh d ng hàm này, ng i ta s d ng tính ch t th ba.ể ị ạ ườ ử ụ ấ ứ
Gi thi t r ng có hai tin xả ế ằ
i
và x
j
là đ c l p th ng kê đ m i tinộ ậ ố ể ỗ
không ch a thông tin v tin còn l i. N u hai tin có xác su t hi n làứ ề ạ ế ấ ệ
p(x
i

i
, x
j
) = p(x
i
) + p(x
j
) (1.2)
V y nên:ậ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
15
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
f(1/ (p(x
i
).p(x
j
))) = f(1/ p(x
i
)) + f(1/ p(x
j
))
(1.3)
Nh v y, trong tr ng h p này hàm f ph i có d ng hàm loga.ư ậ ườ ợ ả ạ
V y hàm log(1/p(xậ
i
)) là d ng hàm có th ch n làm đ đo thông tin.ạ ể ọ ộ
Ta c n ki m tra tính không âm c a hàm này. Vì ta có 0ầ ể ủ ≤ p(x
i
)≤ 1 nên
1/p(x

Hartley hay đ n v th p phân khi c s loga là 10.ơ ị ậ ơ ố
Ví d 1. Ngu n A có m kí hi u đ ng xác su t, m t tin doụ ồ ệ ẳ ấ ộ
ngu n A hình thành là m t dãy n kí hi u aồ ộ ệ
i
b t kỳ (aấ
i
∈A). Chúng ta
s xác đ nh l ng tin ch a trong m t tin nh v y. Tr c h t hãyẽ ị ượ ứ ộ ư ậ ướ ế
tìm l ng tin ch a trong m t tin aượ ứ ộ
i
. Do đ ng xác su t nên m i tin aẳ ấ ỗ
i
đ u có xác su t là 1/m, do đó:ề ấ
I(a
i
) = logm
L ng tin ch a trong m t dãy x g m n kí hi u b ng n l nượ ứ ộ ồ ệ ằ ầ
l ng tin c a m t kí hi u (vì chúng đ ng xác su t):ượ ủ ộ ệ ẳ ấ
I(x) = nlogm
Đ n v l ng tin tuỳ thu c cách ta ch n c s c a log, là bit,ơ ị ượ ộ ọ ơ ố ủ
nat, hay Hartley n u có s l n l t là 2, e hay 10. Rõ ràng khi m kíế ố ầ ượ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
16
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
hi u c a ngu n có nh ng xác su t khác nhau và không đ c l pệ ủ ồ ữ ấ ộ ậ
th ng kê v i nhau thì l ng tin riêng t ng kí hi u ph thu c vào xácố ớ ượ ừ ệ ụ ộ
su t xu t hi n p(aấ ấ ệ
i
) c a nó:ủ
I(a

a
3
a
4
a
5
a
6
a
7
a
8
Xác su tấ
P(a
i
)
1/4 1/4 1/8 x 1/16 1/16 1/16 1/16
Hãy xác đ nh l ng tin riêng c a aị ượ ủ
4
.
Gi i:ả
Ta có P(a
4
) =1/8 và I(a
4
) = log 8 = 3bit.
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
17
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
L ng tin ch a trong m t dãy kí hi u c a ngu n không nh ngượ ứ ộ ệ ủ ồ ữ

Gi i:ả
Theo bi u th c 1-4 ta có b ng giá tr l ng tin riêng c a các tinể ứ ả ị ượ ủ
nh sau:ư
L ng tinượ
riêng
I(a
1
)
a
2
a
3
A
4
a
5
a
6
a
7
a
8
2 2 3 3 4 4 4 4
Theo bi u th c (1-5) ta có:ể ứ
I(A) = 2*2*1/4 +2*3*1/8 +4*4*1/16 = 2,75 bit.
Đi u này cho ta th y r ng có th bi u di n các tin trong ngu nề ấ ằ ể ể ễ ồ
tin A b ng chu i có chi u dài trung bình là 2,75 bit thay vì dùng 4ằ ỗ ề
bit.
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
18

yxp
yxI −==
(1-6)
L ng tin t ng h là hi u l ng tin riêng và l ng tin cònượ ươ ỗ ệ ượ ượ
l i c a xạ ủ
i
sau khi đã nhân đ c yượ
j
(l ng tin đi u ki n). Do v y taượ ề ệ ậ
có:
)(
)/(
log)/()(),(
i
ji
jiiji
xp
yxp
yxIxIyxI =−=
(1-7)
M t khác ta có:ặ
∑
=
j
jiji
yxpypxp )/()()(
Do v y k t qu ta có:ậ ế ả
∑
=−=
j

y
j
là:
)()()(
jiji
yIxIyxI +=
M t cách t ng quát ta có:ộ ổ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
19
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
),()()()(
jijiji
yxIyIxIyxI −+=
1.3.3.2 Entropy c a ngu nủ ồ
Nh trên đã trình bày, l ng tin trung bình là l ng tin trungư ượ ượ
bình ch a trong m t kí hi u b t kỳ c a m t ngu n tin đã cho. Khi taứ ộ ệ ấ ủ ộ ồ
nh n đ c tin đ ng th i nh n đ c m t l ng tin trung bình nghĩaậ ượ ồ ờ ậ ượ ộ ượ
là đ b t ng v tin đó cũng đ c gi i thoát. Vì v y đ b t ng vàộ ấ ờ ề ượ ả ậ ộ ấ ờ
l ng tin có ý nghĩa v t lý trái ng c nhau nh ng v s đo l iượ ậ ượ ư ề ố ạ
gi ng nhau.ố
đây ta ch xét ngu n r i r c.Ở ỉ ồ ờ ạ
Đ b t ng c a tin xộ ấ ờ ủ
i
trong ngu n X đ c xác đ nh b i:ồ ượ ị ở
)(log
)(
1
log)(
i
i

)=1 thì ta có H(X)=0
2. H(X) l n nh t n u xác su t xu t hi n c a các kí hi u c aớ ấ ế ấ ấ ệ ủ ệ ủ
ngu n b ng nhau. Lúc đó đ b t đ nh c a m t tin b t kỳồ ằ ộ ấ ị ủ ộ ấ
trong ngu n là l n nh t. T c là:ồ ớ ấ ứ
H(X)
max
≤ logN. V i ngu n có N tin.ớ ồ
Ta có th ch ng minh đi u này nh sau:ể ứ ề ư
N u có N tin các xác su t xu t hi n b ng nhau thì H(X) =ế ấ ấ ệ ằ
logN.
Xét:
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
20
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
01
1
)1
1
(
1
loglogloglog)(
111 11
=−=−≤=−−=−
∑∑∑ ∑∑
=== ==
N
i
N
i
i

m
} là đ c l p thìộ ậ
v i z={x,y} ta có:ớ
H(Z) = H(X) +H(Y)
1.4. T c đ l p tin và đ d c a ngu nố ộ ậ ộ ư ủ ồ
Thông s thông kê quan tr ng nh t c a ngu n tin là Entropy.ố ọ ấ ủ ồ
Thông s th hai chính là t c đ l p tin. T c đ l p tin ph thu cố ứ ố ộ ậ ố ộ ậ ụ ộ
vào tính ch t v t lý c a ngu n tin.ấ ậ ủ ồ
T c đ l p tin R đ c tính b i bi u th c sau:ố ộ ậ ượ ở ể ứ
R = n
0
H(X) (1-11)
Trong đó n
0
là s kí hi u l p đ c trong m t đ n v th i gian.ố ệ ậ ượ ộ ơ ị ờ
Đ n v c a R là bit/s n u H(X) tính theo bit.ơ ị ủ ế
Đ d c a ngu n đ c đ nh nghĩa là s chênh l ch gi a H(X)ộ ư ủ ồ ượ ị ự ệ ữ
và H(X)
max
.
R
s
= H(X)
max
- H(X) (1-12)
Đ d t ng đ i c a ngu n đ c đ nh nghĩa nh sau:ộ ư ươ ố ủ ồ ượ ị ư
maxmax
max
)(
)(

D i đây ta trình bày m t s tín hi u th ng g p.ướ ộ ố ệ ườ ặ
- Ki u li t kê: hay còn g i là d ng b ng, các giá tr c a tínể ệ ọ ạ ả ị ủ
hi u đ c li t kê trong m t b ng giá tr .ệ ượ ệ ộ ả ị
T 0 1 4 ...
S(t) 0 3 7 ...
- D ng đ th : d ng đ th có lo i t a đ Đ các và t a đ c cạ ồ ị ạ ồ ị ạ ọ ộ ề ọ ộ ự
(d ng véc t ):ạ ơ
Khi tín hi u là th c ta có d ng đ th là tr c s . N u tín hi uệ ự ạ ồ ị ụ ố ế ệ
là tín hi u ph c ta có m t ph ng ph c nh hình 1.7 minh h a.ệ ứ ặ ẳ ứ ư ọ
Bi u di n ph c c a tín hi u th ng có d ng:ể ễ ứ ủ ệ ườ ạ
ϕ
j
Aec =
(1-14)
Trong đó A là biên đ và ộ ϕ là góc pha.
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
22
S(t)
t
Hình 1.6. a.H Đ các. B. H t a đ c cệ ề ệ ọ ộ ự
S(t
1
)
S(t
2
)
S(t
0
)
a b

đ n vơ ị
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
23
Im
Re
Hình 1.7. H t a đ ệ ọ ộ
c c.ự
0
b
a
Hình 1.8. D ng tín hi u e mũạ ệ
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Hàm đ c bi u di n b i bi u th c sau:ượ ể ễ ở ể ứ



<
≥
=−
at khi
at khi
0
1
)at(u
Đây là hàm thay đ i giá tr t 0 lên 1 ( ho c giá tr b t kỳ) t iổ ị ừ ặ ị ấ ạ
th i đi m t=a. Hình 1.19 là minh h a m t s tr ng h p c a hàmờ ể ọ ộ ố ườ ợ ủ
nh y b c đ n v .ả ậ ơ ị
c. Hàm Dirac (hay hàm xung đ n v )ơ ị
Khi vi phân hàm nh y b c đ n v ta có hàm xung đ n v hayả ậ ơ ị ơ ị
hàm Dirac. Th ng kí hi u là hàm này là hàm ườ ệ δ(t).

và đ c tr ng c a tínặ ư ủ
hi uệ
a. Đ dài c a tínộ ủ
hi uệ
Đ dài c a tín hi u làộ ủ ệ
kho ng th i gian t n t iả ờ ồ ạ
c a tín hi u t khi xu t hi n đ n khi k t thúc.ủ ệ ừ ấ ệ ế ế
b. Kho ng bi n thiên c a tín hi u:ả ế ủ ệ
∆ = S
max
- S
min
c. Tr trung bình c a tín hi u:ị ủ ệ
∫
+
=
τ
τ
0
0
1
t
t
tb
dt)t(ss
d. Tr hi u d ngị ệ ụ
∫
+
=
τ

0
1
t
t
dt)t(pP
f. Năng l ng c a tín hi uượ ủ ệ
∫
∞
∞−
== dt)t(sP.E
2
τ
1.7.2. Các thành ph n đ c tr ng c a tín hi uầ ặ ư ủ ệ
M t tín hi u b t k bao g m hai thành ph n chính là thànhộ ệ ấ ỹ ồ ầ
ph n tín hi u m t chi u và thành ph n xoay chi u. Ch thành ph nầ ệ ộ ề ầ ề ỉ ầ
bi n đ i m i ch a tin t c. Giá tr trung bình c a tín hi u chính làế ổ ớ ứ ứ ị ủ ệ
thành ph n m t chi u.ầ ộ ề
Ngoài ra m t tín hi u s(t) có th tách ra làm hai tín hi u ch nộ ệ ể ệ ẵ
và l .ẻ
Ch ng 2. C s lý thuy t phân tích tín hi uươ ơ ở ế ệ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
26
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Ch ng này s cung c p cho chúng ta nh ng công c c b nươ ẽ ấ ữ ụ ơ ả
đ phân tích tín hi u. ể ệ Đó là các chu i Fourier và phép bi n đ iỗ ế ổ
Fourier.
2.1. M đ uở ầ
Đ có th phân tích tín hi u thành d ng t ngể ể ệ ạ ổ c a các tín hi uủ ệ
thành ph n, các tín hi u đ n v thành ph n ph i tr c giao v i nhauầ ệ ơ ị ầ ả ự ớ
t ng đôi m t. Vì v y khi dùng m t công c toán h c đ phân tích tínừ ộ ậ ộ ụ ọ ể

ω
=
=
Ch ng minh r ng hai tín hi u trên tr c giao v i nhau trên đo nứ ằ ệ ự ớ ạ
[-T
0
/2; T
0
/2] v i wớ
0
= 2π/T
0
.
Gi i:ả
Xét tích phân theo bi u th c (2-1):ể ứ



≠⇔≠
=⇔=
=
−






−
==

ω
ωω
Đi u này đ t đ c khi ta chú ý đ n tính ch t sinx/xề ạ ượ ế ấ →1 khi
x→0. Đó là đi u ph i ch ng minh.ề ả ứ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
27