Trang 145
Bài 9 Kênh rời rạc không nhớ
Lượng tin tương hỗ
9.1 Kênh rời rạc không nhớ và ma trận kênh
9.2 Entropy điều kiện và lượng tin tương hỗ
9.3 Một số loại kênh
9.4 Sự nhập nhằng (equivocation) và tốc độ truyền tin
9.5 Dung lượng kênh
Trang 146
Kênh rời rạc không nhớ và ma trận kênh

Định nghĩa

Một kênh rời rạc không nhớ (DMC) được định nghĩa bằng một
bảng kí hiệu đầu vào (nguồn phát) X = {x
1
, ..., x
K
}, một bảng kí
hiệu đầu ra (nguồn nhận) Y = {y
1
, ..., y
J
}, và một sự phân bố xác
suất có điều kiện p(y
j
| x
k
), với 1
≤
k

[p(y
j
| x
k
)] có kích thước K
×
J.
∏
=
=
N
n
knjnkNkjNj
xypxxyyp
1
11
)|(}|{ LK
y
1
y
2
y
J
x
1
p(y
1
| x
1
) p(y

) p(y
2
| x
K
) ... p(y
J
| x
K
)
Trang 148
Nhận xét (tt)

Chúng ta thấy, ma trận kênh chính là cái mà biểu diễn tính chất
tạp nhiễu của kênh truyền.

Chú ý, nếu chúng ta biết sự phân bố xác suất trên X thì sự phân
bố xác suất của Y sẽ được xác định như sau
∑
=
=
K
k
kjkj
xypxpyp
1
)|()()(
Trang 149
Entropy điều kiện và lượng tin tương hỗ

Xét bài toán truyền tin sau

y
1
y
2
x
1
4/5 1/5
x
2
2/5 3/5
Trang 150
Ví dụ

p(x
1
| y
1
) < p(x
2
| y
1
), như vậy chúng ta có thể khẳng định được
kí hiệu x
2
có khả năng được phát đi hơn x
1
?
∑∑
==
×

5
2
)5/2()4/3()5/4()4/1(
)5/4()4/1(
)|()()|()(
)|()(
)|(
212111
111
11
=
×+×
×
=
+
=
xypxpxypxp
xypxp
yxp
5
3
)|(
12
=yxp
Trang 151
Ví dụ (tt)

Để ý, trong công thức của p(x
i
| y

Từ xác suất điều kiện chúng ta giới thiệu khái niệm lượng tin có
điều kiện.
5
4
4/3
5/3
)(
)|(
5
8
4/1
5/2
)(
)|(
2
12
1
11
==
==
xp
yxp
xp
yxp
Trang 152
Lượng tin có điều kiện I(x
k
| y
j
)

k
)
→
0 và ngược lại.

Nếu khi phát đi x
k
và biết chắc y
j
sẽ nhận được thì ở phía nhận
chúng ta không cần tốn thêm thông tin gì để giải thích.

Nếu p(y
j
| x
k
) = 1/2 (I(y
j
| x
k
) = 1 bit) thì khi phát đi x
k
bên nhận
sẽ có hai khả năng và y
j
chỉ là một trong hai khả năng đó, có
nghĩa là bên nhận cần thêm thông tin (cần thêm 1 bit) để biết
chính xác đólàkhả năng nào.

Xác suất p(y

với y
j
chúng ta giới thiệu khái
niệm lượng tin tương hỗ.
Trang 154
Lượng tin tương hỗ

Định nghĩa

Lượng tin tương hỗ giữa hai tin là lượng tin của của tin này
được chứa trong tin kia và ngược lại. Bằng công thức
Lượng tin tương hỗ = Lượng tin riêng – Lượng tin bị mất đi
I(x
k
, y
j
)= I(x
k
) – I(x
k
| y
j
) = I(y
j
) – I(x
k
| y
j
)


|yxp
loglog ==
Trang 155
Lượng tin có điều kiện trung bình
∑∑
==
−==
K
k
jkjk
K
k
jkjkj
yxpyxpyxIyxpyXI
11
)|(log)|()|()|()|(
∑∑
==
−==
J
j
kjkj
J
j
kjkjk
xypxypxyIxypxYI
11
)|(log)|()|()|()|(
∑∑∑
===

kjjk
xypyxpXYI
11
)|(log),()|(
Trang 156
Entropy điều kiện

Định nghĩa

Xét hai biến ngẫu nhiên x và y với phân bố xác suất đồng thời
p(x
k
, y
j
), k = 1, ..., K , j = 1, ..., J. Entropy điều kiện của x đã
cho y được định nghĩa là

H(
x
|
y
) có thể được diễn dịch như là độ bất ngờ trung bình về x
sau khi đã biết y.

Định lý 9.1

H(x | y)
≤
H(x), dấu “=” xảy ra
⇔