1. Độ đo thông tin:










)(
1
)(
i
i
xp
fxI
)(log
)(
1
log)(
i
i
i
xp
xp
xI 

2. Lượng tin riêng
)(log)(
5. Lượng tin đồng thời
 Rời rạc
),(log),(
iiii
yxPyxI 

);()()(),(
iiiiii
yxIyIxIyxI 


ji
iiii
yxPyxPYXHYXI
,
),(log),(),(),(

 Liên tục


yx
dxdyyxwyxwYXHYXI
,
),(log),(),(),(6. Độ bất định có điều kiện
 Rời rạc

dxdyxywyxwXYIXYH
,
)/(log),()/()/(

7. Quan hệ giữa các Entropi
 H(X,Y) = H(X)+H(Y/X)
= H(X)+H(X/Y)

 H(Y/X) = H(Y)
H(Y/X) = H(X)
Nếu X,Y độc lập thống kê

8. Lượng tin tương hỗ
)(
)/(
log)/()();(
i
ii
iiiii
xp
yxp
yxHxHyxI 

),()()();(
iiiiii
yxIyIxIyxI 9. Lượng tin tương hỗ trung bình
 Nguồn rời rạc

ji
j
ij
ji
yp
xyp
yxp
,
)(
)/(
log),(
)/()();( YXHXHYXI



),()()( YXHYHXH




)/()( XYHYH

10. Tốc độ lập tin của nguồn
)(.)(
0
XHnXR 


0
)
1
(
)(
maxmin
dx
N
d
wxw
xxxxX

)log(2
minmaxmax
xxFR 
Nguồn có công suất trung bình hữu hạn





tb
Pxw
xxX
)(
}{

tb
ePFR  2log.2
max

x


1. Các công thức xác suất
B).P(B)P(A,A)|P(B


)(/),()|( BPBAPBAP
ii





n
j
jj
ii
APABP
APABP
1
)().,(
)().,(

2. Mã hóa nguồn rời rạc
Mô hình (A, p(x
i
))




1log
2
 LR

 Hiệu suất mã hóa

 
1
log
)()(
2

L
XH
R
XH

Hiệu suất bằng 1





k
L
XH
2
max)(



J
XHR
P
e

)(
1

Mã hóa với từ mã có độ dài thay đổi
 Xây dựng bộ mã
min
R

min)(.
1



L
i
ii
xpnR

 Bất đẳng thức Kraft:
Nếu bộ mã có các từ mã có độ dài tương
ứng là n
1
<n
2
















Z
m
nL
mn
1
2
0
0

n
0
-Số kí hiệu được nhóm

4. Giới hạn Hamming về độ dài từ mã chống nhiễu
Mã phát hiện sai


t
i
ii
n
kn
mCmm
1
)1.(
Mã sửa sai
Điều kiện
E
NNR
1
.



t
i
ii
n
kkn
mCmmm
1
)1(.



t