1

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

LÊ THI TÂM

NGHIÊN CỨU MỘT SỐ KỸ THUẬT
TRA CỨU BIỂN BÁO GIAO THÔNG

Chuyên ngành: Khoa học máy tính
Mã số: 60 48 0101

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: PGS. TS. ĐỖ NĂNG TOÀN

HÀ NỘI - 2013


1

LỜI CẢM ƠN

Trong quá trình thực hiện luận văn này, em luôn nhận được sự hướng dẫn, chỉ
bảo tận tình của PGS. TS Đỗ Năng Toàn, Viện Công nghệ Thông tin thuộc Viện
Khoa học và Công nghệ Việt Nam là cán bộ trực tiếp hướng dẫn khoa học cho em.
Em xin chân thành cảm ơn sự giúp đỡ quý báu đó.
Em xin chân thành cảm ơn các Thầy, Cô giáo trong khoa Công nghệ thông tin
và các cán bộ, nhân viên phòng Đào tạo Sau đại học, trường Đại học sư phạm Hà
Nội 2 cùng các anh chị đồng nghiệp trong cơ quan đã tạo những điều kiện thuận lợi


MỤC LỤC
LỜI CẢM ƠN ...................................................................................................................... 1
LỜI CAM ĐOAN ................................................................................................................. 2
MỞ ĐẦU ............................................................................................................................... 4
NỘI DUNG ........................................................................................................................... 7
Chương 1: KHÁI QUÁT XỬ LÝ ẢNH VÀ BÀI TOÁN TRA CỨU .............................. 7
BIỂN BÁO GIAO THÔNG ................................................................................................ 7
1.1. KHÁI QUÁT XỬ LÝ ẢNH ....................................................................................... 7
1.1.1. Xử lý ảnh là gì ..................................................................................................... 8
1.1.2. Một số khái niệm trong xử lý ảnh ........................................................................ 9
1.1.3. Một số phương pháp biểu diễn ảnh.................................................................... 10
1.1.4. Phương pháp phát hiện biên ảnh ........................................................................ 12
1.1.5. Phân vùng ảnh.................................................................................................... 13
1.1.6. Một số phương pháp tra cứu ảnh ....................................................................... 18
1.2. BÀI TOÁN TRA CỨU BIỂN BÁO GIAO THÔNG ............................................... 22
Chương 2: MỘT SỐ KỸ THUẬT TRA CỨU BIỂN BÁO GIAO THÔNG................. 23
2.1. MÔ HÌNH HỆ THỐNG TRA CỨU ẢNH THEO NỘI DUNG ............................... 23
2.2.1. Không gian màu ................................................................................................. 26
2.2.2 Các moment màu ................................................................................................ 27
2.2.3 Lược đồ màu (histogram màu) ........................................................................... 29
2.2.4. Véc tơ gắn kết màu ............................................................................................ 30
2.2.5. Sơ đồ tương quan màu ....................................................................................... 31
2.2.6. Các đặc điểm bất biến màu ................................................................................ 32
2.3. TRA CỨU ẢNH DỰA TRÊN HÌNH DẠNG .......................................................... 33
2.3.1. Biên và các phương pháp phát hiện biên ........................................................... 34
2.3.2. Xử lý ảnh trong miền tần số và biến đổi Fourier [3, 4, 5] ................................. 42
2.3.3. Mô tả Fourier ..................................................................................................... 46
2.3.4. Các bất biến moment ......................................................................................... 49
2.3.5. Các hàm xoay/góc xoay ..................................................................................... 50

kiếm, tra cứu ảnh hiệu quả, có độ chính xác cao và có hiệu năng tốt.
Việc tìm kiếm được một bức ảnh mong muốn trong hàng triệu bức ảnh thuộc
đủ loại chủ đề khác nhau là rất khó khăn.
Khi số lượng ảnh trong một bộ sưu tập còn ít, việc nhận diện một bức ảnh hay
việc so sánh sự giống và khác nhau giữa nhiều bức ảnh có thể thực hiện được bằng
mắt thường, tuy nhiên khi có số lượng rất lớn ảnh thì việc so sánh bằng mắt thường
là rất khó khăn, đòi hỏi phải có những phương pháp hiệu quả và chính xác hơn.
Trong thực tế, bài toán tra cứu ảnh số có rất nhiều ứng dụng quan trọng. Ví dụ
như so sánh mẫu vân tay, tìm kiếm ảnh tội phạm v.v... là những bài toán tra cứu ảnh
được áp dụng trong ngành khoa học hình sự.
Ngoài ra các lĩnh vực ở trên ra thì các đối tượng được nhận dạng, tra cứu có
nhiều kiểu như tiếng nói, chữ viết, khuôn mặt, mã vạch … và trong lĩnh vực giao
thông thì việc tra cứu các biển báo cũng là một vấn đề được quan tâm. Đây là kiểu
đối tượng có tính chất hình học đặc trưng, thường bắt gặp trong đời sống hằng ngày
với công dụng là đưa ra những cảnh báo thông tin cho người tham gia giao thông.


5

Tuy nhiên các biển cáo giao thông thì không có quy luật mà chỉ là hệ thống các ký
hiệu với ý nghĩa qui ước kèm theo. Việc ghi nhớ hình dạng và ý nghĩa của tất cả các
loại biển báo đối với chúng ta sẽ là một khó khăn lớn, do đó chúng ta thường hay có
nhu cầu tra cứu tìm hiểu trực quan. Bởi vậy việc xây dựng một chương trình nhằm
phát hiện và nhận dạng các loại biển báo giao thông cho phép người dùng có thể tra
cứu trực quan thông tin của biển báo khi không nhớ nội dung biển báo này. Nhằm
đạt được điều đó đòi hỏi phải sử dụng tới các kỹ thuật nhận dạng và tra cứu ảnh.
Chính vì vậy mà tôi chọn đề tài “ Nghiên cứu một số kỹ thuật tra cứu biển báo giao
thông”.
Vấn đề này chính là động lực để chúng tôi tìm hiểu các phương pháp tra cứu
ảnh số đang được ứng dụng nhiều trong thực tế và tìm kiếm phương pháp phù hợp

thông
b. Phạm vi nghiên cứu: Phương pháp tìm kiếm ảnh dựa trên nội dung ảnh.
5. Những đóng góp mới của đề tài
Đề tài “Nghiên cứu một số kỹ thuật tra cứu biển báo giao thông” giúp cho
việc phát triển các phần mềm phát hiện và nhận dạng biển báo giao thông nói riêng
và nhận dạng ảnh nói chung.
Chương trình sẽ trợ giúp đắc lực cho công tác tra cứu, tìm kiếm cũng như có
thể cải tiến để áp dụng cho một số lĩnh vực khác như giáo dục, sở hữu trí tuệ, y học,
khoa học hình sự...
6. Phương pháp nghiên cứu
Đề tài được nghiên cứu với sự kết hợp của nhiều phương pháp: phân tích,
phân loại và đặc tả dữ liệu; nghiên cứu, phân tích và tổng hợp tài liệu; phương pháp
phân tích và thiết kế hệ thống thông tin theo công nghệ hướng đối tượng; các kỹ
thuật lập trình; phương pháp thiết kế cơ sở dữ liệu đa phương tiện và phương pháp
mô hình hoá trực quan.

.


7

NỘI DUNG

Chương 1: KHÁI QUÁT XỬ LÝ ẢNH VÀ BÀI TOÁN TRA CỨU
BIỂN BÁO GIAO THÔNG

1.1. KHÁI QUÁT XỬ LÝ ẢNH
Những năm gần đây, vấn đề tra cứu ảnh số nhận được sự quan tâm ngày
càng lớn. Nguyên nhân một phần là do sự phát triển của công nghệ chế tạo thiết bị
thu nhận và lưu trữ ảnh số cũng như sự phát triển mạnh mẽ của mạng Internet.


Hình 1.1 – Các bước cơ bản trong xử lý ảnh

· Thu nhận ảnh: Quá trình tiếp nhận thông tin từ vật thể thông qua camera
màu hoặc trắng đen, ảnh thu nhận được có thể là ảnh tương tự hoặc ảnh đã số
hóa.
· Tiền xử lý ảnh: Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên
cần đưa vào bộ tiền xử lý để nâng cao chất lượng. Chức năng chính của bộ
tiền xử lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn.


9

· Phân đoạn ảnh: Là tách một ảnh đầu vào thành các vùng thành phần để biểu
diễn phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên
phong bì thư cho mục đích phân loại bưu phẩm, cần chia các câu, chữ về địa
chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để
nhận dạng. Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ
gây lỗi, làm mất độ chính xác của ảnh. Kết quả nhận dạng ảnh phụ thuộc rất
nhiều vào công đoạn này.
· Biểu diễn ảnh: Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh
(ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận. Việc biến đổi
các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng
máy tính. Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng
(Feature Selection) gắn với việc tách các đặc tính của ảnh dưới dạng các
thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối
tượng khác trong phạm vi ảnh nhận được. Ví dụ: trong nhận dạng ký tự trên
phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt
ký tự này với ký tự khác.
· Nhận dạng và nội suy ảnh: Nhận dạng ảnh là quá trình xác định ảnh. Quá

nhị phân. Một vùng ảnh R có thể biểu diễn đơn giản nhờ một ma trận nhị phân:

Với các biểu diễn trên, một vùng ảnh hay ảnh nhị phân đựoc xem như chuỗi
0 hay 1 đan xen. Các chuỗi này được gọi là mạch (run). Theo phương pháp này, mỗi
mạch sẽ được biểu diễn bởi địa chỉ bắt đầu của mạch và chiều dài mạch theo dạng
{<hàng,cột>, chiều dài}.


11

1.1.3.2. Mã xích
Mã xích thường được dùng để biểu diễn biên của ảnh. Thay vì lưu trữ toàn
bộ ảnh, người ta lưu trữ dãy các điểm ảnh như A, B…M. Theo phương pháp này, 8
hướng của vectơ nối 2 điểm biên liên tục được mã hóa. Khi đó ảnh được biểu diễn
qua điểm ảnh bắt đầu A cùng với chuỗi các từ mã. Điều này được minh họa trong
hình dưới đây:

Hình 1.2 – Hướng các điểm biên và mã tương ứng

1.1.3.3. Mã tứ phân

Theo phương pháp mã tứ phân, một vùng ảnh coi như bao kín một hình chứ
nhật. Vùng này được chia làm 4 vùng con (Quadrant). Nếu một vùng con gồm toàn
điểm đen (1) hay toàn điểm trắng (0) thì không cần chia tiếp. Trong trường hợp
ngược lại, vùng con gồm cả điểm đen và trắng gọi là vùng không đồng nhất, ta tiếp
tục chia thành 4 vùng con tiếp và kiểm tra tính đồng nhất của các vùng con đó. Quá
trình chia dừng lại khi mỗi vùng con chỉ chứa thuần nhất điểm đen hoặc điểm trắng.
Quá trình đó tạo thành một cây chia theo bốn phần gọi là cây tứ phân. Như vậy, cây
biểu diễn ảnh gồm một chuỗi các ký hiệu b (black), w (white) và g (grey) kèm theo
ký hiệu mã hóa 4 vùng con. Biểu diễn theo phương pháp này ưu việt hơn so với các


1.1.5. Phân vùng ảnh
Phân vùng ảnh là bước then chốt trong xử lý ảnh. Giai đoạn này nhằm phân
tích ảnh thành những thành phần có cùng tính chất nào đó dựa theo biên hay các
vùng liên thông. Tiêu chuẩn để xác định các vùng liên thông có thể là cùng mức
xám, cùng màu hay cùng độ nhám…
Vùng ảnh là một chi tiết, một thực thể trông toàn cảnh. Nó là một tập hợp
các điểm có cùng hoặc gần cùng một tính chất nào đó : mức xám, mức màu, độ
nhám… Vùng ảnh là một trong hai thuộc tính của ảnh. Nói đến vùng ảnh là nói đến
tính chất bề mặt. Đường bao quanh một vùng ảnh (Boundary) là biên ảnh. Các điểm
trong một vùng ảnh có độ biến thiên giá trị mức xám tương đối đồng đều hay tính
kết cấu tương đồng.
Dựa vào đặc tính vật lý của ảnh, người ta có nhiều kỹ thuật phân vùng : phân
vùng dựa theo miền liên thông gọi là phân vùng dựa theo miền đồng nhất hay miền
kề, phân vùng dựa vào biên gọi là phân vùng biên. Ngoài ra còn có các kỹ thuật
phân vùng khác dựa vào biên độ, phân vùng dựa theo kết cấu.
1.1.5.1 Phân vùng theo ngưỡng biên độ
Đặc tính đơn giản nhất và có thể hữu ích nhất của ảnh đó là biên độ của các
tính chất vật lý của ảnh như: độ tương phản, độ truyền sáng, màu sắc hoặc quang
phổ.
Như vậy, có thể dùng ngưỡng biên độ để phân vùng khi biên độ đủ lớn đặc
trưng cho ảnh. Thí dụ, biên độ trong bộ cảm biến ảnh hồng ngoại có thể phản ánh
vùng có nhiệt độ thấp hay vùng có nhiệt độ cao. Kỹ thuật phân ngưỡng theo biên độ
rất có lợi đối với ảnh nhị phân như văn bản in, đồ họa, ảnh màu hay ảnh X-quang.
Việc chọn ngưỡng rất quan trọng. Nó bao gồm các bước :


14

·


Giả sử ảnh có lược đồ xám và cách chọn các ngưỡng như hình trên với:
T0=Lmin, …, T4=Lmax. Ta có 5 ngưỡng và phân ảnh thành 4 vùng, ký hiệu Ck là
vùng thứ k của ảnh, k=1,2,3,4. Cách phân vùng theo nguyên tắc :
P(m,n) ∈ Ck nếu Tk-1 ≤ P(m,n) < Tk , k=1,2,3,4.
Khi phân vùng xong, nếu ảnh rõ nét thì việc phân vùng coi như kết thúc. Nếu
không, cần điều chỉnh ngưỡng.
1.1.5.2 Phân vùng theo miền đồng nhất
Kỹ thuật phân vùng ảnh thành các miền đồng nhất dựa vào các tính chất
quan trọng nào đó của miền ảnh. Việc lựa chọn các tính chất của miền sẽ xác định
tiêu chuẩn phân vùng. Tính đồng nhất của một miền ảnh là điểm chủ yếu xác định
tính hiệu quả của việc phân vùng. Các tiêu chuẩn hay được dùng là sự thuần nhất về
mức xám, màu sắc đối với ảnh màu, kết cấu sợi và chuyển động.
Các phương pháp phân vùng ảnh theo miền đồng nhất thường áp dụng là :
· Phương pháp tách cây tứ phân
· Phương pháp cục bộ
· Phương pháp tổng hợp
Phương pháp tách cây tứ phân
Về nguyên tắc, phương pháp này kiểm tra tính đúng đắn của tiêu chuẩn đề ra
một cách tổng thể trên miền lớn của ảnh. Nếu tiêu chuẩn được thỏa mãn, việc phân
đoạn coi như kết thúc. Trong trường hợp ngược lại, chia miền đang xét thành 4
miền nhỏ hơn. Với mỗi miền nhỏ, áp dụng một cách đệ quy phương pháp trên cho
đến khi tất cả các miền đều thỏa mãn điều kiện.
Phương pháp này có thể mô tả bằng thuật toán sau :


16

Tiêu chuẩn xét miền đồng nhất ở đây có thể dựa vào mức xám. Ngoài ra, có
thể dựa vào độ lệch chuẩn hay độ chênh giữa giá trị mức xám lớn nhất và giá trị


Hình 1.4 – Minh họa khái niệm liên thông

Dựa theo nguyên lý của phương pháp nối, ta có 2 thuật toán :
-

Thuật toán tô màu (Blob Coloring) : sử dụng khái niệm 4 liên
thông, dùng một cửa sổ di chuyển trên ảnh để so sánh với tiêu
chuẩn nối.

-

Thuật toán đệ quy cục bộ: sử dụng phương pháp tìm kiếm
trong một cây để làm tăng kích thước vùng.

Phương pháp tổng hợp
Hai phương pháp nối (hợp) và tách đều có nhược điểm. Phương pháp tách sẽ
tạo nên một cấu trúc phân cấp và thiết lập mối quan hệ giữa các vùng. Tuy nhiên,
nó thực hiện việc chia quá chi tiết. Phương pháp hợp cho phép làm giảm số miền
liên thông xuống tối thiểu, nhưng cấu trúc hàng ngang dàn trải, không cho ta thấy rõ
mối liên hệ giữa các miền.
Vì nhược điểm này, người ta nghĩ đến phối hợp cả 2 phương pháp. Trước
tiên, dùng phương pháp tách để tạo nên cây tứ phân, phân đoạn theo hướng từ gốc
đến lá. Tiếp theo, tiến hành duyệt cây theo chiều ngược lại và hợp các vùng có cùng
tiêu chuẩn. Với phương pháp này ta thu được một cấu trúc ảnh với các miền liên
thông có kích thước tối đa.


18



o

VIR Image Engine do Công ty Virage Inc. phát triển, cũng giống như

QBIC, hệ thống này cho phép tra cứu ảnh dựa trên các thuộc tính màu sắc,
kết cấu và cấu trúc.
o

VisualSEEK và WebSEEK do trường Đại học Tổng hợp Columbia

(Mỹ) phát triển. Cả hai hệ thống này đều hỗ trợ các cách tìm kiếm theo màu
sắc, kết cấu và bố cục không gian.
o

NeTra do trường Đại học Tổng hợp California (Mỹ) phát triển. Hệ

thống này hỗ trợ tìm kiếm theo màu sắc, hình dạng, bố cục không gian và kết
cấu cũng như theo sự phân mảnh của ảnh .
o

MARS hay Multimedia Analysis and Retrieval System do trường Đại

học Tổng hợp Illinois phát triển, hỗ trợ tìm kiếm theo màu sắc, bố cục không
gian, kết cấu và hình dạng.
o

Viper hay Visual Information Processing for Enhanced Retrieval do

trường Đại học Geneva phát triển, tìm kiếm theo màu sắc và kết cấu.

kiện, Con người hoặc Vị trí cho ta các cách nhìn khác nhau vào cùng
một nội dung giới thiệu. Mỗi cách nhìn bao gồm các lớp và các trường
hợp ví dụ biểu diễn bằng metaphor của một trình duyệt hệ thống file
trong đó các lớp tương ứng với các thư mục và các trường hợp ví dụ
tương ứng với các file.
o Duyệt ngữ nghĩa: Sau khi tìm kiếm được tâm điểm chú ý là một ảnh
nào đó, mô hình bản thể ngữ nghĩa cùng với dữ liệu ảnh ví dụ có thể
được sử dụng để tìm ra mối quan hệ giữa ảnh được lựa chọn và các ảnh
trong cơ sở dữ liệu ảnh. Các ảnh này sẽ được đưa ra cho người sử dụng
chọn. Những ảnh đó có thể không phù hợp hoàn toàn với truy vấn
nhưng nói chung là tương đối phù hợp.


21

1.1.6.3. Tra cứu ảnh theo đồ thị
Động lực của phương pháp này dựa trên một thực tế là những ảnh thích hợp
về mặt trực giác thường không có chung những đặc điểm mức thấp nhưng vẫn có sự
tương tự về mặt khái niệm và về mặt ngữ cảnh đối với con người. Ví dụ, những ảnh
chụp người trong bộ đồ tắm thường có màu sắc, hình dạng và kết cấu rất đa dạng
nhưng về mặt khái niệm thì lại được con người cảm nhận là tương tự nhau.
Vì vậy phương pháp tra cứu ảnh theo đồ thị được giới thiệu ở đây không dựa
trên các đặc điểm ở mức thấp (trừ giai đoạn khởi tạo) mà dựa vào những sự liên kết
có tính trực giác giữa các ảnh được thiết lập bởi người sử dụng bằng cách phản hồi
thích hợp.
Mục tiêu của phương pháp này là xây dựng một sơ đồ để tích luỹ thông tin
do những tương tác với người sử dụng theo cách đơn giản hơn phản hồi thích hợp
và sử dụng những thông tin này để việc tra cứu ảnh cho những kết quả có ý nghĩa
trực giác hơn [8].



Chương 2: MỘT SỐ KỸ THUẬT TRA CỨU BIỂN BÁO GIAO THÔNG

2.1. MÔ HÌNH HỆ THỐNG TRA CỨU ẢNH THEO NỘI DUNG
Tra cứu ảnh theo nội dung (Content Based Images Retrieval CBIR) hay truy
vấn theo nội dung ảnh (Query Based Image Content QBIC) là một ứng dụng của thị
giác máy tính đối với bài toán tìm kiếm ảnh [30][35]. “Dựa vào nội dung ảnh
(Content- Based) ” nghĩa là việc tìm kiếm sẽ phân tích nội dung thực sự của các bức
ảnh. Nội dung ảnh ở đây được thể hiện bằng màu sắc, hình dạng, kết cấu (texture),
các đặc trưng cục bộ (local features), … hay bất cứ thông tin nào có từ chính nội
dung ảnh. Cụm từ CBIR được T.Kato đưa ra vào năm 1992 trong quá trình thu thập
ảnh một cách tự động từ cơ sở dữ liệu dựa trên biểu diễn màu sắc và hình dạng của
ảnh. Tee Cheng Siew đã giới thiệu một số đặc trưng nội dung ảnh[23]:
Đặc trưng màu sắc: Màu sắc là một đặc trưng nổi bật và được sử dụng phổ
biến nhất trong tìm kiếm ảnh theo nội dung. Mỗi một điểm ảnh (thông tin màu sắc)
có thể được biểu diễn như một điểm trong không gian màu sắc ba chiều. Các không
gian màu sắc thường dùng là: RGB, Munsell, CIE, HSV. Tìm kiếm ảnh theo màu
sắc tiến hành tính toán biểu đồ màu cho mỗi ảnh để xác định tỉ trọng các điểm ảnh
của ảnh mà chứa các giá trị đặc biệt (màu sắc). Các nghiên cứu gần đây đang cố
gắng phân vùng ảnh theo các màu sắc khác nhau và tìm mỗi quan hệ giữa các vùng
này.
Đặc trưng kết cấu: Trích xuất nội dung ảnh theo kết cấu nhằm tìm ra mô
hình trực quan của ảnh và cách thức chúng được xác định trong không gian. Kết cấu
được biểu diễn bởi các texel mà sau đó được đặt vào một số các tập phụ thuộc vào
số kết cấu được phát hiện trong ảnh. Các tập này không chỉ xác định các kết cấu mà
còn chỉ rõ vị trí các kết cấu trong ảnh. Việc xác định các kết cấu đặc biệt trong ảnh
đạt được chủ yếu bằng cách mô hình các kết cấu như những biến thể cấp độ xám 2
chiều. Ví dụ về một số loại kết cấu[41]