Giáo trình: Lý thuyết thông tin.
và đẳng thức chỉ xảy ra khi p
i
=
i
M
∀,
1

(đpcm).
Bài tập
Bài 1: Cho 2 biến ngẫu nhiên X, Y độc lập nhau có phân phối sau:

X x
1
x
2
P 1/2 1/2

Y y
1
y
2
y
3
y
4
P 1/4 1/4 1/4 1/4

Tính H(X), H(Y).
Bài 2: Kiểm tra lại kết quả của của bài 1 bằng tính chất 2.

56
có xác suất 20%.
Ta được một nhiến ngẫu nhiên mới X
*
có phân phối sau:

X
*
x
123
x
4
x
56
P 55% 25% 20%

- Tính entropy của X, X
*
và kiểm tra lại tính chất 3.
- Kiểm tra lại định lý cực đại từ dữ liệu cho trên.
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
21
Giáo trình: Lý thuyết thông tin.
BÀI 2.3: ENTROPY CỦA NHIỀU BIẾN
Mục tiêu
Sau khi hoàn tất bài học này bạn có thể:
- Hiểu biết các định nghĩa Entropy của nhiều biến và Entropy có điều kiện,
- Hiểu mối quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y độc lập,
- Hiểu mối quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y tương quan,
- Vận dụng mối quan hệ gữa các Entropy để tính các Entropy một cách hiệu quả,

i
ij
L
j
ij
pp
11
2
log Y)H(X,

Một cách tổng quát: ),...,,(log),...,(- )x,,H(x
21
,,
21n1
1
n
XX
n
xxxpxxp
n
∑
=…
L
Ví dụ Entropy của nhiều biến
Cho 2 BNN X và Y độc lập nhau và có các phân phối:

X=1 0 1

Entropy của Y với điều kiện X xảy ra được định nghĩa là:

)/()()/(
1
i
M
i
i
xXYHxpXYH ==
∑
=

Ví dụ Entropy có điều kiện
Xét biến ngẫu nhiên X và biến ngẫu nhiên Y có tương quan nhau. Các phân phối như sau:

X 1 . 2
P 0.5 0.5

Phân phối của Y có điều kiện X:

Y/X=1 0 1 2
P 0.25 0.5 0.25

Y/X=2 0 1 2
P 0 0 1

Entropy của Y/X=1 và Y/X=2 như sau :
H(Y/X=1)=H(0.25, 0.5 , 0.25)= -0.25 log0.25 – 0.5 log0.5-0.25 log0.25
=0.5 + 0.5 + 0.5= 1.5 (Bit)
H(Y/X=2)= H(0; 0; 1)= 0 (Bit)

111
2 i
M
i
ji
M
i
L
j
ii
xpyxpxpxpXH
∑∑∑
===
−=−=
)(log),()(log)()(
2
111
2 j
L
j
ji
M
i
L
j
jj
ypyxpypypYH

ij
=p(x
i
)p(y
j
)
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
23
Giáo trình: Lý thuyết thông tin.
∑∑∑∑
====
−≥−⇒
M
i
M
i
ijij
L
j
ijij
L
ij
ppqp
11
2
1
2
loglog
(2)
Đẳng thức xảy ra khi p(x

1
2
111
2
log),(log),(),(
(3)

Từ (1), (2) và (3), ta có H(X,Y)≤ H(X)+H(Y) và đẳng thức xảy ra khi X, Y độc lập (đpcm)

Hệ quả:
H(X
1
, …, X
n
) ≤ H(X
1
)+…+H(X
n
)
H(X
1
,…X
n
; Y
1
,…,Y
n
) ≤ H(X
1
,…X

=
M
i
L
j
ijiji
xypxpyxp
11
2
)]/().([log),(- ∑∑∑∑
====
−−=
M
i
M
i
L
j
ijji
L
j
iji
xypyxpxpyxp
111
2
1
2

Phân phối của Y có điều kiện X:
Y/X=1 0 1 2
P 0.25 0.5 0.25

Y/X=2 0 1 2
P 0 0 1

1. Tính các Entropy sau: H(X), H(Y).
2. Tính các Entropy có điều kiện sau: H(X/Y), H(Y/X).
3. Tính các Entropy sau: H(X,Y).
4. Từ kết quả câu 1,2 và 3 hãy minh họa các định lý 1, 2 và 3 cho bài học.
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
25