ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Anh Vũ XỬ LÝ ẢNH VÀ ỨNG DỤNG THEO DÕI ĐỐI TƯỢNG
CHUYỂN ĐỘNG

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY

Ngành : Công Nghệ Điện Tử - Viễn Thông

XỬ LÝ ẢNH VÀ ỨNG DỤNG THEO DÕI ĐỐI TƯỢNG
CHUYỂN ĐỘNG
KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành : Công Nghệ Điện Tử - Viễn Thông Cán bộ hướng dẫn : Nguyễn Vinh Quang

Mục lục Mở đầu…………………………………………………………………………….1
Phần 1: LÝ THUYẾT XỬ LÝ ẢNH …………………………………………….2
Chương 1: Lý Thuyết xử lý ảnh …………………………………………………2
1.1:Thu nhận ảnh và số hóa…………………………………………………2
1.2:Phân tích ảnh…………………………………………………………….2
1.3:Quyết định……………………………………………………………… 3
Chương 2: Thu nhận hình ảnh…………………………………………… … 3
2.1:Thu nhận ảnh…………………………………………………………….3
2.2:Lưu ảnh………………………………………………………………… 7
Chương 3: Phân tích ảnh……………………………………………………….…8
3.1:Khái niệm pixel và pixil lân cận…………………………………………8
TÓM TẮT NỘI DUNG KHÓA LUẬN:

Nội dung của khóa luận là ứng dụng lý thuyết của xử lý ảnh số qua thiết bị thu ảnh , ở
đây là web camera để điều khiển một hệ cơ tự động theo dõi đối tượng chuyển động.
Khóa luận được chia làm hai phần chính, phần lý thuyết và phần thực nghiệm :
-Trong phần lý thuyết , ta sẽ tìm hiểu các khái niệm cơ bản của xử lý ảnh số,
bao gồm lý thuy
ết về Xử lý ảnh,Thu nhận hình ảnh và Phân tích ảnh.
-Ở phần này, giới thiệu các khái niệm về xử lý ảnh và ứng dụng các thuật toán
về xử lý ảnh như là công cụ toán học tích chập, các phưong pháp tiền xử lý : lọc nhiễu,
phát hiện biên, phân ngưỡng ảnh….
-Phần thực hành gồm 3 phần:
Phần 1 tìm hiểu ngôn ngữ lập trình và thư viện AVICap của Microsoft.
Phần 2 sẽ giới thiệ
u về cách giao tiếp và điều khiển công LPT trên VC++.
Phần 3 là phần chính , bao gồm thuật toán và chương trình chính điều khiển.

Mô hình sản phẩm theo dõi đối tượng dùng camera .
PHẦN 1: LÝ THUYẾT XỬ LÝ ẢNH

CHƯƠNG 1 : HỆ THỐNG XỬ LÝ ẢNH Một hệ thống xử lý ảnh điển hình được cho trên hình vẽ sau:
trước khi phân tích, xử lý hay lưu trữ ảnh. 1.2
Phân tích ảnh

Ở giai đoạn này ảnh được xử lý theo nhiều công đoạn nhỏ như: cải thiện ảnh, khôi
phục ảnh để làm nổi bật một số đặc tính chính của ảnh hay làm ảnh gần với trạng thái
gốc. Tiếp theo là phát hiện các đặc tính như biên, phân vùng.
1.3 Quyết định

Cuối cùng tùy theo mục đích của ứng dụng, sẽ là giai đoạn nhận dạng hay các
quyết định khác.
CHƯƠNG 2: THU NHẬN HÌNH ẢNH

2.1 Thu nhận ảnh

Để thu nhận ảnh người ta thường dùng các camera truyền hình, các camera gồm
tube hoặc sensor mạch rắn và các thiết bị điện tử đi kèm. Camera sensor mạch rắn
có một số ưu điểm so với camera tube như nhẹ hơn, nhỏ hơn, bền hơn, bền hơn và
tiêu thụ công suất thấp hơn. Tuy nhiên, một số camera tube có độ phân giải cao
hơn camera sensor mạch rắn. Một trong số những loại đượ
c sử dụng phổ biến của
camera tivi là Vidicon.

này tỷ lệ với số electron được thay thế và do đó tỷ l ệ với cường độ sáng t
ại vị trí
cụ thể của dòng quét. Sự thay đổi này khi dòng electron quét sẽ tạo ra một tín hiệu
hình ảnh tỷ lệ với cường độ của ảnh đầu vào.
Cuộn hội tụ dòng electron: Lớp nhạy sáng

Các chân tube
Màn hình
Lưới

Dòng electron Súng phóng electron
Lớp phủ kim loại trong suốt


Các thiết bị CCD gồm hai loại: Sensor quét dòng và sensor khối. Thành phần cơ
bản của Sensor CCD quét dòng là một hàng phân tử ảnh silic gọi là photosites. Các
photo hình ảnh cho qua một cấu trúc cổng đa tinh thể trong suốt và được hấp thụ
trong tinh thể silic, do đó tạo nên một cặp lỗ electron. Các quang điện tử tạo ra
được tập hợp vào các photosite, lượng điện tích được tập hợp trong mỗi photosite
tỷ lệ với cường độ chiếu sáng tại điểm đó. Một sensor quét dòng điển hình gồm
một hàng các phân tử ảnh photosite, hai cổng truyề
n được sử dụng để chốt lại nội
dung của các phần tử hình ảnh vào các thanh ghi vận chuyển và một cổng nối ra
được sử dụng để chốt nội dung của các thanh ghi vận chuyển vào bộ khuyếch đại,
lối ra của bộ khuyếch đại này là một tín hiệu điện áp tỷ lệ với các nội dung của
hàng photosites.

Các thanh
Ghi điều khiển
. Lối ra
.
.
.

Thanh
g
hi v

cấu quét này được lặp lại 30 lần mỗi giây.
Các camera quét dòng chỉ cho ra một dòng hình ảnh của hình ảnh lối vào. Những
thiết bị này đặc biệt phù hợ
p cho các ứng dụng mà các đối tượng chuyển động qua
sensor (như trong các băng truyền) . Sự chuyển động của một đối tượng theo hướng
vuông góc với sensor tạo ra hình ảnh hai chiều. Các sensor quét dòng có độ phân giải
thấp 32x3, trung bình 256x256 và cao 480 phân tử ảnh và các sensor thí nghiệm CCD
có khả năng đạt được độ phân giải khoảng 1024x1024 hay cao hơn.

Ở đây, ta ký hiệu ảnh lối ra hai chiều của camera hay thiết bị cho ảnh khác là
f(x,y) trong đó x, y biể
u thị toạ độ không gian (ví dụ mặt phẳng ảnh) và giá trị f tại
điểm (x,y) bất kỳ tỷ lệ với toạ độ (cường độ sang) của hình ảnh tại điểm đó . Hình 2.5
minh hoạ một điểm ảnh và quy ước toạ độ của nó.

Hình 2.5. Quy ước toạ độ cho biểu diễn hình ảnh Giá trị của điểm ảnh (x.y) bất kỳ
được cho bởi giá trị (cường độ sáng) của f tại điểm đó.:

Gốc hình ảnh
y f(x,y)


−−−−
−
)
−
MNfNfNf
Mfff
mfoff
(2.1) ở đây các biến rời rạc:x=0, 1, 2 …, N-1
y= 0, 1, 2, …, M-1
Mỗi phần tử trong mảng được gọi là một phần tử ảnh hay pixel. Từ mảng ta thấy
pixel tại gốc của ảnh được biểu thị là f(0,0), pixel bên phẩi là f(0,1), v.v. Thông thường
N, M và số mức cường độ rời rạc của mỗi pixel đã lượng tử hoá là luỹ thừa nguyên
của 2.

2.2 Lưu ảnh.

Để lưu trữ ảnh trên máy tính, một số định dạng ảnh đã được nghiên cứu như
IMG, PCX, TIFF, GIF.
Định dạng ảnh IMG dung cho ảnh đen trắng. Phần đầu của ảnh IMG có 16 byte
chứa các thông tin:
• 6 byte đầu: dung để đánh dấu định dạng ảnh IMG. Giá trị của 6 byte này được
viết là 0x0001 0x0008 0x0001.
• 2 byte tiếp theo: chứa độ dài mẫu tin. Đó là độ dài của dãy các byte kề liền nhau
mà dãy này sẽ đượ
c lặp lại một số lần nào đó. Số lần lặp lại này sẽ được lưu
trong byte đếm. Nhiều dãy giống nhau được lưu trong một byte. Đây là một
cách lưu trữ hình ảnh dưới dạng nén.


CHƯƠNG 3: PHÂN TÍCH ẢNH

3.1 Khái niệm pixel và pixel lân cận

Pixel là phân tử nhỏ nhất cấu tạo nên hình ảnh. Mỗi pixel có một toạ độ ̣̣̣̣̣(x,y) và
màu xác định.

Hình 3.1 Pixel P và các lân cận của P
P1
̣
(x-1, y-1)
P2
(x-1, y)
P3
(x-1, y+1)
P4
̣
(x, y-1)
P
(x, y)
P5
(x, y+1)
P6
(x+1, y-1)
P7
(x+1, y)
P8
(x+1, y+1)


g(x,y) = h(x,y) ⊗ f(x,y)
=
h(x-x
()()
∫∫
∞
∞−
∞
∞−
−− ''','',' dydxyxfyyxxh
`
,y-y
`
) f(x
`
,y
`
) dx`

dy
`
(3.1)

◊ Trường hợp rời rạc:
y(m,n) = h(m,n) ⊗ x(m,n) =
(3.2)
()(
∑∑
∞
∞−

Ví dụ:
Cho các ma trận:
+ Ma trận tín hiệu :
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
352
141
+ Ma trận đáp ứng xung:
⎥
⎥

2
-1). Quá trình nhân chập của h và x
được minh hoạ trong hình 3.3 sau:
1 4 1 n n
2 5 3 1 1 -1 1
1 4 1 1 a) x(m,n) b) h(m,n) c) h(-m,-n) -1 1 -2 5 1 5 5 1
1 1 0 0 3 10 5 2
2 3 -2 -3 d) h(1-m,-n) e) y(1,0) = -2+3=1 f) y(m,n)

Hình 3.3 . Ví dụ về toán tử nhân chập

Tích chập là một khái niệm rất quan trọng trong xử lý ảnh, đặc biệt là tính chất
của nó có liên quan đến biến đổi Fourier: Biến đổi Fourier của một tích chập bằng tích
đơn giản các biến đổi Fourier của tín hiệu đó:


If(Row <> 0 and (Row <=N) then
Sum:=Sum+ImageIn [Col, Row ] * H [k,l]

End;
ImageOut [i,j] = Sum
End;

End;3.2.2 Kỹ thuật lọc số

Chất lượng hình ảnh kém do rất nhiều nguyên nhân như do nhiễm điện tử của máy
thu hay chất lượng bộ số hóa kém. Nhiễu ảnh số được xem như là sự dịch chuyển
nhanh của tín hiệu thu nhận trên một khoảng cách ngắn. Về mặt tần số, nhiễu ứng
với các thành phần tần số cao trong ảnh. Như vậy để xử lý nhiễu ta có thể lọc các
thành phần t
ần số cao. Việc lọc dựa vào tính dư thừa thông tin không gian ; các
pixel lân cận có thể có cùng hoặc gần cùng một số đặc tính. Kỹ thuật lọc này dùng
một mặt nạ và di chuyển khắp ảnh gốc. Tùy theo cách tổ hợp điểm đang xét với các
điểm lân cận mà ta có kỹ thuật lọc tuyến tính hay kỹ thuật lọc phi tuyến. Điểm ảnh
chịu tác động của biến đổi là
điểm ở tâm của mặt nạ. Các kỹ thuật lọc này được
trình bày kỹ trong phần làm trơn ảnh.

3.2.3 Biến đổi Fourier
3.2.3.1 Khái niệm và công thức

Biến đổi Fourier cho một tín hiệu có thể biểu diễn như sau:


Trong đ ó:
F(x) : biểu diễn biên độ tín hiệu
e
-2jπ ux
: biểu diễn pha.

Biến đổi Fourier ngược của F(u) cho f(x) đ ược định nghĩa như sau: ƒ(x) =
F(u)e
∫
∞
∞−
∫
∞
∞−
-2jπ ux
du (3.5)

b) Không gian hai chiều

Cho f(x,y) là hàm biểu diễn ảnh liên tục trong không gian hai chiều, cặp biến đổi
Fourier được định nghĩa như sau:
-Biến đổi Fourier thuận:
F(u,v) =
f(x,y) e
∫∫
∞
∞−

trong nhiều quá trình khác nhau hay trong phân tích hàm. Khai triển Fourier rời rạc
DFT cho một dãy {u(n), n=0,1, N} được định nghĩa bởi:

V(k) =
u(v) W
∑
−
=
1
0
N
n
kn
N
v ới k=0, 1, , N-1 (3.7)

với W
N
= e
-j2π/N
và biến đổi ngược

u(n) =
∑
−
=
1
0
1
N

N
n
N
u(k)W
N
-kn
với k=0,1,….N-1 (3.10) Các DFT và DFT đơn vị có tính đối xứng. Hơn nữa khai triển DFT và DFT đơn vị
của một chuỗi và biến đổi ngược lại của nó có tính chu kỳ và chu kỳ N.

b) DFT cho tín hiệu hai chiều (ảnh số)

DFT hai chiều của một ảnh MxN:{u(m,n)} là một biến đổi tách được và được định
nghĩa:

V(k,l) =
u(m,n) W
∑∑
−
=
−
=
1
0
1
0
N
m

-km
W
N
-ln
với 0 ≤m,n≤ N-1 (3.12)

Cặp DFT đơn vị hai chiều được định nghĩa:

V(k,l) =
∑∑
−
=
−
=
1
0
1
0
1
N
m
N
n
N
u(m,n) W
N
km
W
N
ln

V(k,l) =
∑∑
−
=
1
00
1
N
m
N
u(m,n)W
N
(km +ln)
với 0 ≤m,n≤ N-1 (3.15)

u(m,n) =
∑∑
−
=
−
=
1
0
1
0
1
N
m
N
l

=
−
=
1
0
1
0
N
m
N
l
c
u
1
(m’,n’) với 0 ≤m,n≤ N-1 (3.17)

với h(m,n), u
1
(m,n) là ma trận NxN và h(m,n)
c
=h(m mod N, n mod N)

3.2.3.4. Thuật toán biến đổi Fourier nhanh.

- Trường hợp một chiều

Từ công thức v(k) =
∑
−
=


v(k) =
∑
−
=
12
0
2
1
M
n
M
u(n)W
2M
nk
(3.18)

- Khai triển công thức trên ta được
v(k) = (
∑
−
=
1
0
1
M
n


v(k) với k=[0,M-1] là một DFT trên M =N/2. Thực chất của thuật toán FFT là dung
nguyên tắc chia đôi và tính chu kỳ để tính DFT. Với k=[0,M-1] dung công thức (3.19).
Với k=[M,M-1] dung phép trừ trong công thức (3.19) có thể dung thuật toán này để
tính DFT ngược.

-Trường hợp hai chiều:

Do DFT hai chiều là tách được nên từ công thức (3.14) ta có:

V(k,l) =
∑
−
=
1
0
1
N
m
N
W
N
kn
u(m,n) W
∑
−
=
1
0
N

g(x,y) là hàm điểm ảnh đã được xử lý.
h là toán tử áp lên f. Dạng đơn giản nhất của h là lân cận có kúch tghước1x1, khi
đó g chỉ phụ thuộc vào giá trị của f tạ
i (x,y) và h trở thành hàn ánh xạ cường độ
sáng điểm ảnh.

Một trong những kỹ thuật được sử dụng rộng rãi nhất là sử dụng mặt nạ nhân
chập. Trên hình 3.4 minh hoạ một mặt nạ là một mảng 2 chiều có kích thước 3x3,
các hệ số của mặt nạ được chọn để phát hiện một thuộc tính cho trước trong một
hình ảnh.
Hình 3.4. Một lân cận kích thước 3x3 quanh điểm (x,y)
y
(x,y)

x •
Để hiểu rõ về m
ặt nạ nhân chập ta xét một ví dụ cụ thể sau. Giả sử chúng ta có
một hình ảnh có cường độ không đổi chứa một số điểm ảnh tách rời nhau, cường độ

+w7f(x+1,y-1)+w8f(x+1,y) +w9f(x+1, y+1) (3.23)
Hình 3.6. Mặt nạ tổng quát kích thước
3x3 trình bày các hệ số và vị trí pixel hình
ảnh tương ứng.
W1
(x-1,y-1)
W2
(x-1,y)
W3
(x-1,y+1)
W4
(x, y-1)
W5
(x,y)
W6
(x,y+1)
W7
(x+1, y-1)
W8
(x+1, y)
W9
(x+1,
y+1)