CHƯƠNG 3
Bài 1: Giải sử có 3 thành phố A, B, C. Biết rằng dân thành phố A luôn nói thật, dân
thành phố B luôn nói dối, còn dân thành phố C thì cứ một lần nói thật lại một lần
nói dối xen kẽ nhau. Du khách D muốn xác minh đồng thời xem anh ta đang ở
thành phố nào và người anh ta gặp là dân thành phố nào. D cần phải đặt ít nhất bao
nhiêu câu hỏi, nếu người nói chuyện với D chỉ có thể trả lời là “Phải” hoặc
“Không”.
Bài 2: Có 25 đồng tiền (đúc bằng kim loại) cùng một giá trị, trong đó có 24 đồng
có khối lượng như nhau, cũn một đồng là tiền giả, có khối lượng nhẹ hơn các đồng
khác. Hỏi phải cân ít nhất bao nhiêu lần thì có thể tìm ra được đồng tiền giả này?
Bài 3: Khảo sát về tình hình thi tuyển sinh vào đại học, cao đẳng cho biết tỷ lệ thí
sinh đạt điểm trên điểm sàn là
8
10
, số thí sinh dưới điểm sàn là
2
10
. Trong số thí
sinh đạt điểm trên điểm sàn có 30% là học sinh thuộc vùng nông thôn, 70% thuộc
khu vực thành phố. Trong số thí sinh đạt điểm dưới điểm sàn có 60% học sinh
thuộc khu vực thành phố. Tìm lượng tin về năng lực học tập của thí sinh khi biết
khu vực cư trú?
Bài 4: Nêu ý nghĩa và chứng minh các công thức sau:
1.
)|()(),( YXIXIYXI
−=
2.
),()()(),( YXHYHXHYXI
−+=
3.
( , ) ( ) ( | )H X Y H X H Y X

y
2
y
3
1
x
1
0.2
5
0.5 0.25
x
2
0.5 0.2
5
0.25
x
3
0.2
5
0.2
5
0.5
- Tại đầu ra kênh nhận được tin y
j
do nguồn X phát. Hãy cho biết tin nào
thuộc nguồn X có khả năng nhiều nhất chuyển thành tin y
j
. (i=1,2,3).
X
Kênh tin

2
1/8 1/1
6
1/16
x
3
1/4 1/8 1/8
- Hãy cho biết cấu trúc thống kê của nguồn X, Y. Entopi của nguồn X, nguồn
Y, Ma trận nhiễu trên kênh, H(X,Y), I(X,Y).
Bài 7: Cho cấu trúc thống kê của nguồn X={x
1
, x
2
, x
3
, x
4
}.
x
i
x
1
x
2
x
3
x
4
2
P(x

8
2/8
x
4
2/8 1/8 2/
8
3/8
- Tính entropi đầu vào kênh tin H(X); Entropi đầu ra kênh H(Y); I(X|Y), I(Y|
X), H(X,Y).
Bài 8: Cho cấu trúc thống kê của đích Y={y
1
, y
2
, y
3
}.
y
i
y
1
y
2
y
3
P(y
i
) 1/2 1/
4
1/4
Ma trận nhiễu trên kênh.

phân tách được và độ chậm phân giải của bộ mã bằng phương pháp dùng bảng thử.
Bài 3: Hãy giải thích tại sao 3 bộ mã Fano, Huffman, Shannon phân tách được.
Bài 4. Để làm giảm sai lầm khi nhận tin bằng cách truyền lặp lại một bit 5 lần. khi
nhận 5 bit liền nhau ở cuối kênh được xem như là 1 bit. Giá trị bit này là 0 nếu số
bit 0 trong dãy lớn hơn số bit 1, ngược lại nếu số bit 1 nhiều hơn thì giá trị bit là 1.
Biết xác suất nhiễu 1 bit là p=0.2; tổng số bit nhận sai sau 5 lần lặp tuân theo luật
phân phối nhị thức B(p,5). Hãy tính xác suất truyền sai.
Bài 5: Cho xâu x = ‘KHOA_CONG_NGHE_THONG_TIN’.
- Để thỏa mãn điều kiện của bộ mã thống kê tối ưu thì độ dài trung bình từ mã
phải thỏa mãn giới hạn nào? (Tính giới hạn trên, giới hạn dưới của bộ mã).
- Sử dụng thuật toán mã hóa Fano, Shanon, Huffman để mã hóa xâu x với cơ
số mã m = 2.
- Tính trị số kinh tế, vẽ cây mã của từng bộ mã. Có nhận xét gì về 3 phương
pháp mã hóa?
- Mở rộng cho cơ số mã m = 3 cho ba phương pháp.
o Viết lại thuật toán mã hóa
o Áp dụng mã hóa xâu x
o Tính trị số kinh tế của mỗi bộ mã.
Bài 6: Cho nguồn U = {u
1
, u
2
, u
3
, u
4
} với xác suất xuất hiện tương ứng
P(u
i
) = {0,4; 0,25; 0,2; 0,15}. Xét nguồn mới U

3
= 1100011, a
4
= 1010001.
- Sử dụng phương pháp phát hiện sai bằng quãng cách Hamming, bộ mã này
có thể sửa sai được mấy ký hiệu?
- Nếu tại đầu ra kênh tin nhận được tin b
1
= 0011010 và b
2
= 1101101 có thể
sửa sai được cho 2 tin b
1
, b
2
được không? Nếu được sửa lại về tin chính xác.
Bài 9: Cho các bộ mã:
a
1
0 1 0 1 1 0 0
a
2
1 1 0 1 0 0 0
a
3
1 0 0 1 1 1 0
a
4
0 1 1 0 1 0 1
- Xây dựng bộ mã phát hiện sai bằng phương pháp parity chẵn/ lẻ và phương

CHƯƠNG 5
Bài 1: Giả sử có phép dịch chuyển
A B C D E F G H I J K L M
1 2 3 4 5 6 7 8 9 1
0
11 12 13
N O P Q R S T U V W X Y Z
1
4
15 16 17 1
8
19 2
0
21 22 23 2
4
25 26 27
Cho bản rõ x = ‘BAI_TAP_LY_THUYET_THONG_TIN’
a. Sử dụng mã hóa vị (MHV), hãy tìm bản mã của bản rõ x.
b. Cho mã dịch vòng được định nghĩa
( ) ( )
( ) ( )
k
k 26
e x x k mod 26
d x y k mod 26 ( , )x y Z
= +


= − ∈
