ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Phùng Duy Dũng

NHẬN DẠNG BIỂN BÁO GIAO THÔNG
ĐƯỜNG BỘ THEO THỜI GIAN THỰC
TRÊN THIẾT BỊ DI ĐỘNG

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

HÀ NỘI-2015


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Phùng Duy Dũng

NHẬN DẠNG BIỂN BÁO GIAO THÔNG
ĐƯỜNG BỘ THEO THỜI GIAN THỰC
TRÊN THIẾT BỊ DI ĐỘNG

Ngành: Công nghệ thông tin
Chuyên ngành: Kỹ thuật phần mềm
Mã số: 60480103

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS. NGUYỄN VIỆT HÀ


Cuối cùng, tôi muốn gửi lời cảm ơn đến gia đình và tất cả bạn bè, những người
luôn kịp thời động viên và giúp đỡ tôi vượt qua những khó khăn trong cuộc sống.

Tôi xin chân thành cảm ơn!

ii


Mục lục

1

2

Đặt vấn đề

1

1.1

Lý do chọn đề tài . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

Các nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . .

2


Hệ thống biển báo giao thông đường bộ thế giới . . . . . .

7

2.1.2

Hệ thống biển báo giao thông đường bộ Việt Nam . . . . .

7

Tổng quan về xử lý ảnh . . . . . . . . . . . . . . . . . . . . . . .

13

2.2.1

Các khái niệm trong xử lý ảnh . . . . . . . . . . . . . . .

13

2.2.2

Các kỹ thuật tiền xử lý ảnh . . . . . . . . . . . . . . . . .

14

2.2.3

Các kỹ thuật nhận dạng ảnh . . . . . . . . . . . . . . . .


Phát hiện hình ellipse . . . . . . . . . . . . . . . . . . . .

25

Nhận dạng loại biển báo giao thông đường bộ . . . . . . . . . . .

28

3.3.1

Nhận dạng qua điểm đặc trưng cục bộ . . . . . . . . . . .

28

3.3.2

Nhận dạng qua nhị phân hoá sự phụ thuộc các điểm ảnh .

28

3.3

iii


4

Thực nghiệm

32

5

Kết luận

40

Tài liệu tham khảo

40

iv


Danh sách hình vẽ
1.1

Sơ đồ các phần của nghiên cứu . . . . . . . . . . . . . . . . . . .

4

1.2

Các giao đoạn nhận dạng biển báo giao thông . . . . . . . . . . .

5

2.1

Một vài biển báo giao thông đường bộ Việt Nam . . . . . . . . . .


12

2.7

Ví dụ về số hoá ảnh . . . . . . . . . . . . . . . . . . . . . . . . .

13

2.8

Ảnh được làm mịn với Gaussian Blur . . . . . . . . . . . . . . . .

15

2.9

Các loại biên trong ảnh . . . . . . . . . . . . . . . . . . . . . . .

16

2.10 Tách biên với thuật toán Canny . . . . . . . . . . . . . . . . . . .

17

2.11 Khởi tạo không gian tỷ lệ . . . . . . . . . . . . . . . . . . . . . .

19

2.12 Tìm các điểm đặc trưng . . . . . . . . . . . . . . . . . . . . . . .


27

3.5

Tìm và so sánh đặc trưng SURF với FANN . . . . . . . . . . . . .

28

3.6

Các điểm mẫu theo phân bố Gaussian . . . . . . . . . . . . . . .

29

4.1

30 biển báo giao thông. . . . . . . . . . . . . . . . . . . . . . . .

35

4.2

Confusion Matrix theo phương pháp SURF . . . . . . . . . . . .

36

v


4.3

Các ký hiệu viết tắt
QCVN
UNECE
TT
BGTVT
ROI
CPU
GPU
RAM
LOG
SIFT
SURF
HOG
BRIEF
BRISK

Quy chuẩn Việt Nam
United Nations Economic Commission for Europe
Thông tư
Bộ Giao Thông Vận Tải
Region of interest
Central processing unit
Graphics processing unit
Ramdom access memory
Laplacian of Gaussian
Scale-invariant feature transform
Speeded up robust features
Histogram of oriented gradients
Binary robust independent elementary features
Binary robust invariant scalable keypoints

trợ từ các công nghệ. Chính vì vậy trong luận văn này chúng tôi đề xuất một cách
thức tiếp cận để nhận dạng biển báo giao thông theo thời gian thực, qua đó có thể
hỗ trợ phần nào người tham gia giao thông.
1 />
1


1.2

Các nghiên cứu liên quan

Trên thế giới đã có nhiều nghiên cứu về vấn đề nhận diện biển báo giao thông
đường bộ. Jack Greenhalgh và Majid Mirmehdi [8] đã đề xuất phương pháp nhận
diện các biển báo giao thông đường bộ dựa vào nội dung văn bản xuất hiện trong
biển báo. Phương pháp của Jack Greenhalgh và Majid Mirhedi bao gồm hai bước
là phát hiện và nhận dạng biển báo. Trong đó thuật toán MSER được sử dụng để
phân vùng ảnh ở bước phát hiện biển báo, thuật toán OCR được dùng để đoán
nhận nội dung văn bản nếu có của các vùng và đưa ra kết luận biển báo dựa trên
nội dung văn bản được đoán nhận bằng phương pháp OCR. Jack Greenhalgh và
Majid Mirmehdi đơn thuần tập trung giải quyết các biển báo có nhiều ký tự chữ
cái với kết quả trung bình độ đo F1 là 87% và thời gian xử đạt 14 khung hình/giây.
Tuy nhiên tác giả sử dụng tài nguyên khá lớn - máy tính CPU Core I5 3.3Ghz,
không phù hợp với các thiết bị di động, ngoài ra các biển báo giao thông đường
bộ tại Việt Nam không chứa nhiều các ký tự chữ cái latin nên nghiên cứu này chưa
thể áp dụng vào thực tế ở Việt Nam.
Marcin L.Eichner và Toby P. Breckon [6] cũng đề xuất phương pháp sử dụng
thuật toán RANSAC dựa trên đặc trưng hình học của các vùng màu để phát hiện
vùng biển báo và sử dụng giải thuật mạng nơ-ron để nhận dạng biển báo. Tuy
nhiên Marcin L.Eichner và Toby P. Breckon chỉ tập chung nghiên cứu vào các
biển báo giới hạn tốc độ phương tiện bao gồm 10 loại khác nhau và đạt được độ

báo trên đường, điều này còn thường xuyên xảy ra hơn trong khu đô thị lớn và
các thành phố ở Việt Nam khi mà biển báo được thay đổi thường xuyên và mật
độ biển báo rất dày do những chính sách thiếu nhất quán và có phần tình thế của
các nhà quản lý giao thông. Để giúp đỡ người tham gia giao thông không bị bỏ
qua những biển báo giao thông, những người đang học lái xe có thể dễ dàng nhận
biết ra những biển báo, chúng tôi quyết định nghiên cứu nhằm đưa ra một phương
pháp xử lý hiệu quả trong thời gian thực để kiểm tra một bức ảnh số có chứa biến
báo giao thông hay không và đưa ra loại biển báo mà bức ảnh này có chứa.
Từ việc xây dựng thuật toán xử lý ảnh để nhận dạng biển báo giao thông theo
thời gian thực, chúng tôi áp dụng kỹ thuật này để nhận dạng hình ảnh các biển báo
giao thông thu được từ các thiết bị số như camera hành trình trên ô tô, điện thoại
thông minh. Các ứng dụng của bài toán trong thực tế có thể như: hỗ trợ người lái
xe phát hiện biển báo giao thông trên đường đi qua việc đọc tên biển báo mỗi khi
qua biển báo, tích hợp cùng các hệ thống trong xe ô tô tự hành, xây dựng cơ sở dữ
liệu toạ độ biển báo giao thông đường bộ trực quan và chính xác.

1.4

Phương pháp đề xuất

Với mục tiêu đặt ra là phát triển một phương pháp nhận dạng biển báo giao
thông đường bộ. Cũng như để đảm bảo tính thời gian thực trên các thiết bị di động,
chúng tôi đã chọn cách thức nghiên cứu nhận dạng biển báo hiệu giao thông đường
bộ qua hai bước:
• Phát hiện: Phân loại biển báo giao thông đường bộ theo đặc trưng hình học
cơ bản. Phát triển các thuật toán nhận dạng các hình hình học trên trong môi
trường thực tế bằng các thuật toán xử lý ảnh. Sau khi phát hiện các biển báo
giao thông đường bộ trong khung ảnh thực tế thực hiện việc cắt, trích rút hình
biển báo giao thông đường bộ trả về cho bước tiếp theo.
• Nhận dạng: Với từng loại dữ liệu khung hình tiền đoán biển báo hiệu giao

• Chương 5: Kết luận và hướng ứng dụng, nghiên cứu tiếp theo.

6


Chương 2

Các kiến thức cơ sở
2.1
2.1.1

Hệ thống biển báo giao thông đường bộ
Hệ thống biển báo giao thông đường bộ thế giới

Biển báo giao thông đường bộ trên thế giới ban đầu chỉ là các biển báo tự phát
tại các tuyến đường riêng biệt sau dần được thống nhất lại trong các quy chuẩn
của từng vùng. Trong đó quy chuẩn về biển báo giao thông phổ biến nhất trên thế
giới là Công ước về Biển báo và Tín hiệu đường bộ (1986) của tổ chức UNECE
hay gọi tắt là công ước Viên về Biển báo và Tín hiệu Đường bộ.
Trong đó biển báo giao thông đường bộ được chia làm 8 nhóm:
• Biển báo nguy hiểm
• Biển báo ưu tiên
• Biển báo cấm hoặc báo hạn chế
• Biển hiệu lệnh
• Biển có quy định riêng biệt
• Biển cung cấp thông tin, các tiện ích, dịch vụ
• Biển chỉ hướng đi, vị trí, chỉ dẫn khác
• Các bảng phụ
2.1.2


biển và chữ viết tương ứng. Vị trí đặt biển báo cũng được quy định cụ thể tại điều
17 của quy chuẩn:
• Biển báo hiệu phải đặt ở vị trí để người sử dụng đường dễ nhìn thấy và có
đủ thời gian để chuẩn bị đề phòng, thay đổi tốc độ hay thay đổi hướng nhưng
không được làm cản trở sự đi lại của người sử dụng đường. Trường hợp không
tính toán xác định cự ly nhìn thấy biển, cho phép lấy cự ly đảm bảo người sử
dụng đường nhìn thấy biển báo hiệu là 150m trên những đường xe chạy với
tốc độ cao và có nhiều làn đường, là 100m trên những đường ngoài phạm vi
khu đông dân cư và 50m trên những đường trong phạm vi khu đông dân cư.
10


• Biển được đặt về phía tay phải và mặt biển vuông góc với chiều đi. Biển báo
phải đặt thẳng đứng, trong các trường hợp cần thiết cho phép lắp đặt thêm
biển báo phía bên trái để nhắc lại biển đã lắp đặt phía bên phải. Biển viết
bằng chữ áp dụng riêng với xe thô sơ và người đi bộ, trong trường hợp hạn
chế được phép đặt mặt biển song song với chiều đi.
• Khoảng cách mép ngoài của biển phía phần xe chạy phải cách mép phần xe
chạy là 0.5m. Trường hợp có khó khăn như không có lề đường, hè, khuất
tầm nhìn hoặc trường hợp khác tương tự mới được phép xê dịch theo phương
ngang nhưng mép biển phía phần xe chạy không được chờm lên mép phần xe
chạy hoặc không cách mép phần xe chạy quá 1.7m.
• Ở trong khu dân cư hoặc trên các đoạn đường có hè đường cao hơn phần xe
chạy thì cho phép đặt biển trên hè đường nhưng mặt biển không được nhô ra
quá hè đường và không choán quá nửa bề rộng hè đường. Nếu không đảm bảo
được nguyên tắc đó thì phải treo biển ở phía trên phần xe chạy.
• Trên những đoạn đường có phần đường thô sơ đi riêng, phân biệt bằng dải
phân cách thì cho phép đặt biển trên dải phân cách. Trên những đường xe
chạy tốc độ cao và có nhiều làn đường thì biển có thể treo ở phía trên phần xe
chạy, có thể đặt biển hướng dẫn cho từng làn đường và biển được treo trên giá


2.2
2.2.1

Tổng quan về xử lý ảnh
Các khái niệm trong xử lý ảnh

• Ảnh thực: Là ảnh trong thực tế liên tục về không gian và giá trị độ sáng, được
coi như một hàm liên tục với hai biến thực. Ví dụ: a(x,y) là giá trị độ sáng của
điểm ảnh tại toạ độ thực (x,y).
• Ảnh số: Ảnh số là ảnh trong thế giới thực được thu nhận từ các thiết bị ghi
hình và số hoá để lưu trữ và xử lý. Số hoá là quá trình chuyển bức ảnh liên tục
về không gian và giá trị độ sáng sang bức ảnh số trong không gian rời rạc hai
12


chiều bằng phương pháp lấy mẫu (rời rạc về không gian) và lượng hoá giá trị
(rời rạc về giá trị độ sáng). Hình 2.7 thể hiện việc số hoá hình ảnh một chiếc
ôtô.

Hình 2.7: Ví dụ về số hoá ảnh

• Điểm ảnh: Hay còn gọi là Pixel (viết tắt của Picture element) là đơn vị cơ
bản nhất để tạo nên một bức ảnh số. Mỗi điểm ảnh có toạ độ (x, y) rời rạc với
độ xám hoặc màu nhất định. Kích thước và khoảng cách giữa các điểm ảnh
đó được chọn thích hợp sao cho cho mắt người cảm nhận được sự liên tục về
không gian và mức xám.
• Độ phân giải: Là mật độ điểm ảnh được ấn định để hiển thị trên một ảnh số.
Một ảnh số biểu diễn một hình ảnh trong thực tế có độ phân giải khác nhau
phụ thuộc vào giai đoạn lấy mẫu. Ảnh có độ phân giải càng cao càng biểu

cosθ −sinθ
=
y
sinθ cosθ

x
y

(2.2.1)

• Biến đổi tỉ lệ: hay còn gọi là co giãn tuyến tính với tỉ lệ sx theo trục ngang và
sy theo trục dọc
x
s 0 x
= x
(2.2.2)
y
0 sy y
• Phép trượt ảnh: có hai khả năng là trượt song song theo trục ngang hoặc trượt
song song theo trục dọc một đơn vị k.

x
1 k
=
y
0 1

x
y




2.2.2.2

Khử nhiễu ảnh

Nhiễu ảnh là một hiện tượng ngẫu nhiên luôn có trong quá trình xử lý ảnh
thực. Có rất nhiều nguồn tạo ra nhiễu như sự thay đổi thông số thiết bị thu hình,
do sự biến đối của môi trường, do sai số lượng tử hoá hay sai số đường truyền...
Một số phương pháp khử nhiễu thông dụng như bộ lọc trung bình, bộ lọc trung
bình xén Alpha, bộ lọc trung vị nhưng phương pháp được ứng dụng nhiều nhất là
làm mịn ảnh bằng hàm Gausian hay còn gọi là kỹ thuật Gaussian Blur (Hình 2.8).

Hình 2.8: Ảnh được làm mịn với Gaussian Blur

Phương pháp làm mờ mịn giống như hiệu ứng hình ảnh được đặt dưới một
lớp màn trong suốt bị mờ giúp loại bỏ các nhiễu cục bộ. Về mặt toán học Gaussian
Blur cho một hình cũng chính là tính tích chập của ma trận điểm ảnh với hàm
Gaussian (hàm phân tán chuẩn trong thống kê). Phương trình hàm Gaussian dùng
trong không gian một chiều và hai chiều như sau:
1
G(x) = √
2πσ
1
G(x, y) = √
2πσ

x2
e 2σ 2