MỤC LỤC
MỤC

LỤC 3
MỞ

ĐẦU 8
BẢNG PHÂN CÔNG NHIỆM VỤ 12
CHƯƠNG 1: GIỚI THIỆU 13
1.1 GIỚI THIỆU CHƯƠNG 13
1.2 GIỚI THIỆU TỔNG QUAN BIỂN SỐ XE 13
1.2.1 Màu sắc và ký

tự 14
1.2.2 Kích

thước 15
1.2.3 Cỡ chữ và cách bố

trí 15
1.2.4 Chất

liệu 16
1.3 CÁC NGHIÊN CỨU LIÊN QUAN 16
1.3.1 Thu nhận hình ảnh 16
1.3.2 Trích xuất biển số

xe 17
1.3.3 Cô lập ký tự 18
1.3.4 Nhận


Mục
lục
2.6.1 Chia biển số thành 2 hàng 34
2.6.2 Cắt các ký tự trong 2 hàng 35
2.7 KẾT LUẬN CHƯƠNG 37
CHƯƠNG 3: NHẬN DẠNG KÝ TỰ BIỂN SỐ XE 38
3.1 GIỚI THIỆU CHƯƠNG 38
3.2 TỔNG QUAN CÁC PHƯƠNG PHÁP NHẬN DẠNG KÝ TỰ 38
3.2.1 Phương pháp so khớp mẫu (template matching): 38
3.2.2 Phương pháp hình thái học (morphology) 38
3.2.3 Phương pháp mạng nơron (nơron network): 38
3.3 PHƯƠNG PHÁP ĐỐI SÁNH MẪU DỰA TRÊN ĐẶC TRƯNG 39
3.3.1 Tạo các mẫu. 40
3.3.2 Tiến hành nhận dạng các ký tự 41
3.4 KẾT LUẬN CHƯƠNG 45
CHƯƠNG 4: ĐÁNH GIÁ KẾT QUẢ 46
4.1 GIỚI THIỆU CHƯƠNG 46
4.2 CƠ SỞ DỮ LIỆU 46
4.2.1 Cơ sở dữ liệu của quá trình thử nghiệm và đánh giá hệ

thống 46
4.2.2 Đặc điểm các biển số trong cơ sở dữ

liệu 47
4.3 KẾT QUẢ 49
4.3.1 Kết quả nhận dạng: 49
4.3.2 Một số ký tự nhận dạng bị nhầm

lẫn 51
4.3.3 Nguyên nhân nhận dạng không

kiểm soát
giao thông và xe ra vào bãi đỗ dựa trên cơ sở nhận
dạng biển số phương tiện

là giải pháp hữu hiệu
giúp cho công tác quản lý, giám sát phương tiện
trở nên thuận tiện

đơn giản, an toàn hơn, giảm
được nhân lực trong công tác quản lý. Ở các nước
trên thế

giới, các hệ thống tự động giám sát
phương tiện dựa trên kỹ thuật xử lý ảnh nhận dạng
biển số từ lâu đã thu hút sự chú ý của cộng đồng
nghiên cứu. Hệ thống nhận dạng biển

số xe đã
được ứng dụng rộng rãi ở các nước phát triển như
Trung Quốc, Hàn Quốc, Hoa

Kỳ và các nước châu
Âu. Tuy nhiên, đặc trưng của nghiên cứu trong
lĩnh vực này là bị

giới hạn trong một khu vực hoặc
một quốc gia vì thiếu một tiêu chuẩn đăng ký biển
số

xe chung cho tất cả các nước.

thuận lợi.

Trong
trường hợp này,
giải pháp hệ
thống nhận
dạng biển số xe
nếu được áp
dụng sẽ

đơn
giản hóa, tiết
kiệm chi phí,
tăng cường an
ninh cho việc
quản lý, giám
sát.
Mở
đầu
Mục tiêu nhiệm vụ nghiên cứu
Mục tiêu của đề tài là nghiên cứu, xây dựng hệ thống quản lý, giám sát xe ra vào
bãi

đỗ dùng kỹ thuật xử lý ảnh nhận dạng biển số xe giúp giảm hiệu quả tình trạng quá
tải,

đảm bảo an toàn, giảm chi phí nhân công cho các bãi đỗ xe. Bên cạnh đó đề tài còn
mong

muốn giúp cho mọi người có một cái nhìn toàn diện hơn về vai trò và khả năng

dưới dạng văn

bản sẽ được đưa vào cơ sở dữ liệu cho việc đối chiếu xe ra.
Phương pháp nghiên cứu
• Tìm hiểu lý thuyết
o Tìm hiểu phần mềm và các Toolbox trong Matlab R2013a.
o Tìm hiểu về kỹ thuật xử lý ảnh.
o Tìm hiểu các thuật toán tìm vùng biển số xe.
o Tìm hiểu các thuật toán nhận dạng ký tự.
o Tìm hiểu cơ sở dữ liệu.
• Nghiên cứu thực nghiệm – lắp đặt hệ thống
o Hệ thống nhận dạng sử dụng camera để thu ảnh phương tiện.
o Nhận dạng vùng biển số theo phương pháp tìm thành phần liên thông lớn nhất
trong ảnh kết hợp đặc điểm hình thái học của biển số Việt Nam, sau khi thu
được vùng biển số tiến hành tách các ký tự trong biển số đó bằng cách tìm các
thành phần liên thông cho mỗi ký tự kết hợp đặc điểm hình thái học của ký
tự:

Chiều rộng < 22% chiều rộng của vùng biển số, chiều cao < 85 % và >
33%

chiều cao của vùng biển số. Cuối cùng, nhận dạng các ký tự tách được
dựa trên

thuật toán so sánh khớp mẫu.
o Biển số nhận dạng được và thời gian được lưu vào cơ sở dữ liệu để đối chiếu

xe ra.
Kết quả dự kiến
• Nắm vững các kỹ thuật xử lý ảnh, thuật toán nhận dạng.

như sau:
1.2.1 Màu sắc và ký tự
• Màu xanh chữ trắng là biển xe của các cơ quan hành chính sự nghiệp. Nếu trực
thuộc Chính phủ thì là biển xanh 80, các tỉnh thành thì theo số của các tỉnh
thành

tương ứng (xem phần dưới)
• Màu đỏ cấp cho xe quân đội, xe của các doanh nghiệp quân đội biển 80 màu
trắng.

Biển số quân đội với 2 chữ cái đầu tiên là viết tắt, A-Quân đoàn; B-Bộ tư
lệnh;

H-Học viện; K-Quân khu; T-Tổng cục; Q-Quân chủng.
• Màu vàng cấp cho xe thuộc bộ tư lệnh biên phòng.
• Màu trắng với 2 chữ và năm số là biển cấp cho các đối tượng có yếu tố nước
ngoài.

NG là xe ngoại giao. NN là xe của các tổ chức, cá nhân nước ngoài.
Màu trắng

còn được cấp cho xe của khối cá nhân và doanh nghiệp, 2 số đầu theo
thứ tự các

tỉnh, 5 số cuối là số thứ tự cấp ngẫu nhiên.
1.2.2 Kích thước
Biển số xe máy được quy định dựa trên thông tư số 06/2009/tt-bca-c11 của Bộ
Công an bao gồm kích thước như sau:
Một biển gắn phía sau xe có kích thước: 140 mm × 190 mm như hình
Hình 1.3. Kích thước của biển số xe (Thông tư số 06/2009/TT-BCA-C11)

với các cường độ khác nhau. Tính năng chính của hệ thống này cảm nhận bao gồm các
điều kiện chiếu sáng rộng từ hoàng hôn đến trưa dưới ánh nắng mặt trời và hệ thống
này

có khả năng các hình ảnh chụp xe chuyển động nhanh mà không làm mờ.
Salgado và cộng sự [10] được sử dụng một hệ thống phụ có cảm biến CCD độ
phân

giải cao với máy ảnh bổ sung với một số khả năng hoạt động kỹ thuật số mới.
Kim và cộng sự [12] sử dụng một máy quay phim để có được các hình ảnh.
Comelli [14] được sử dụng một máy ảnh truyền hình và một thẻ frame grabber để
có được các hình ảnh cho hệ thống ANPR.
1.3.2 Trích xuất biển số xe
Trích xuất biển số xe là giai đoạn quan trọng nhất trong một hệ thống ANPR.
Phần

này thảo luận về một số nghiên cứu trước đây được thực hiện trong giai đoạn này:
Hontani [13] đề xuất một phương pháp trích xuất cho các ký tự mà không cần biết
trước khi vị trí và kích thước hình ảnh. Kỹ thuật này dựa trên phân tích tỉ lệ hình dạng.
Trong phân tích tỉ lệ hình dạng, nghiên cứu sử dụng bộ lọc Gaussian.
Kim và cộng sự [12] sử dụng bộ lọc mạng nơron và bộ vi xử lý dựa trên sự kết
hợp

hai hình ảnh lọc để xác định vị trí biển số xe. Hai mạng nơron sử dụng các bộ lọc
theo

chiều dọc và ngang.
Lee và cộng sự [16] đã phát minh ra một phương pháp để trích xuất biển số phụ
thuộc vào màu sắc của biển số. Trong phương pháp này, một mạng nơron được sử dụng
để chiết xuất màu sắc của một điểm ảnh HLS (Hue Lightness Saturation) và giá trị tám

1.3.3 Cô lập ký tự
Nhiều cách tiếp cận khác nhau đã được đề xuất trong giai đoạn này và một số cách điển
hình như sau:
Nieuwoudt [18] sử dụng thành phần liên thông tăng đối với cô lập ký tự. Ý tưởng
cơ bản kiểm tra một điểm ảnh và điểm lân cận của nó, nếu bất kỳ của những điểm lân
cận cũng phù hợp với tiêu chuẩn thì cả các điểm ảnh được xem là cùng một vùng.
Morel [17] sử dụng phương trình vi phân từng phần (PDE) dựa trên mạng nơron
và logic mờ.
1.3.4 Nhận dạng
Một số nghiên cứu trước đây trong việc nhận dạng của ký tự như sau:
Hasen [19] đề xuất một cách tiếp cận mô hình thống kê nhận dạng, nhưng kỹ
thuật

của này không hiệu quả. Cách tiếp cận này được dựa trên mô hình xác suất và sử
dụng

nhận dạng tiếp cận mô hình thống kê.
Mei Yu [21] và Naito [9] được sử dụng phương pháp so khớp mẫu. Có một mẫu
riêng biệt cho mỗi ký tự đầu vào. Sau đó, so sánh ký tự đầu vào hiện tại để tìm một
mẫu

trong đó phù hợp là tốt nhất.
Hamami [20] thông qua một phương pháp tiếp cận cấu trúc cú pháp để nhận dạng
ký tự trong một tài liệu văn bản, kỹ thuật này có thể mang lại một kết quả tốt hơn khi
áp

dụng vào việc công nhận các ký tự riêng lẻ. Cách tiếp cận này được dựa trên các
phát

hiện đặc trưng cấu trúc theo bốn hướng (lên, xuống, trái và phải), cho phép phân

cho kết quả khác nhau thì hệ thống không đạt yêu cầu về tính an ninh.
Kết quả nhận dạng không phải lúc nào cũng tuyệt đối, có thể phát sinh lỗi trong bất
kỳ giai đoạn nào của hệ thống nhận dạng biển số xe. Ngoài ra, từ yêu cầu cụ thể phong
phú của thực tế, ta có thể rút ra những khó khăn mà một hệ thống nhận dạng biển số xe
gặp phải là:
• Điều kiện tự nhiên của không gian và thời gian áp dụng hệ thống: ánh sáng, thời
tiết, Điều này rất dễ hiểu vì rõ ràng nhận dạng biển số của một chiếc xe khi
trời

đang mưa bao giờ cũng khó khăn hơn khi trời nắng ráo.
• Điều kiện bối cảnh: Trong một nơi mà phông nền đơn giản chỉ với các mặt
phẳng

thì bao giờ việc nhận dạng cũng dễ hơn là một nơi mà khung cảnh hỗn
độn, người

xe tấp nập.
• Điều kiện hiện trạng của biển số: không phải mọi biển số đều có hiện trạng mới,
chúng có thể cong vênh, sơn có thể tróc, bạc màu, vấy bẩn
• Điều kiện về cách thức bố trí thiết bị: cách lắp đặt camera, tốc độ di chuyển của
xe, tốc độ bắt hình của camera cũng tạo ra những vấn đề không nhỏ.
Những cải tiến gần đây trong công nghệ như camera hồng ngoại, máy ảnh có độ
phân giải cao và công nghệ sản xuất biển số xe với nền phản chiếu cao đã cải thiện tính
chính xác của hệ thống nhận dạng biển số xe. Cảm biến và các thiết bị ngoại vi phần
cứng được sử dụng để cải thiện việc thu lại hình ảnh và loại bỏ chi tiết không liên quan.
Thiết bị tách ảnh theo thời gian (Frame Grabber) cho phép số hóa nhanh hình ảnh thu
được và máy tính với phần mềm nhận dạng biển số xe sẽ làm cho hệ thống có thể hoạt
động được trong thời gian thực với độ chính xác cao.
1.4.3 Ứng dụng
Hệ thống nhận dạng biển số xe đã được áp dụng từ lâu tại nhiều nơi trên thế giới,

2.2 Thu nhận ảnh
Trong nhận dạng biển số xe, việc thu nhận ảnh là một bước rất quan trọng. Tùy
theo

môi trường và hoàn cảnh tại thời điểm thu nhận mà ảnh ta có được là ảnh mờ hay
tỏ, ảnh

có nhiều xe hay không, chất lượng ảnh có tốt hay không ảnh hưởng lớn đến các
quá trình

xử lý và nhận dạng sau này. Đề tài sử dụng Image Acquisition Toolbox của
Matlab

R2013a cùng với chức năng “Getsnapshot” để thu nhận các tín hiệu từ các thiết
bị ngoại

vi (tín hiệu đầu vào từ phim, video và thiết bị ghi hình camera).
Image Acquisition Toolbox là tập hợp các hàm của MatLab có nhiệm vụ thu thập
ảnh số từ các thiết bị thu hình. Cụ thể là:
• Thu thập hình ảnh từ các thiết bị thu hình khác nhau, từ loại chuyên dụng đến
loại

rẻ tiền như WebCam (giao tiếp USB) .
• Trình chiếu (preview) luồng dữ liệu video từ thiết bị thu hình.
• Trích hình ảnh từ luồng dữ liệu video
• Thiết lập các callback cho các sự kiện khác nhau.
• Chuyển dữ liệu hình ảnh vào không gian workspace của MatLab để xử lý ảnh
tiếp

theo.

xám
2.3.2 Xử lý nhiễu
Đề tài dùng bộ lọc trung vị để tiến hành xử lý nhiễu ở những bước đầu tiên.
Trước

khi tiến hành ta phải lọc nhiễu xuất hiện trong vùng biển số để nâng cao độ
chính xác

của các quá trình xử lý tiếp theo. Phần lớn ảnh giảm chất lượng là do bị
tác động bởi

nhiễu. Nhiễu trong ảnh phát sinh do quá trình thu nhập ảnh, số hóa ảnh,
hoặc trong quá

trình truyền ảnh. Ảnh nhiễu được mô hình bởi:
Với f(x,y) là điểm ảnh gốc, n(x,y) là thành phần nhiễu và g(x,y) là pixel bị
nhiễu.
Xác định được mô hình nhiễu thì có thể khôi phục được ảnh gốc.
Lọc trung vị là một kĩ thuật lọc phi tuyến (non-linear) khá hiệu quả đối với hai
loại

nhiễu: nhiễu đốm (speckle noise) và nhiễu muối tiêu (salt-pepper noise). Kĩ thuật
này là

một bước rất phổ biến trong xử lý ảnh. Bộ lọc trung vị có hiệu quả hơn nhân
chập khi

mục đích là loại bỏ nhiễu và giữ nguyên đường biên bao quanh đối tượng.
Ý tưởng chính của thuật toán lọc trung vị như sau: sử dụng một cửa sổ lọc (ma
trận 3x3) quét qua lần lượt từng điểm ảnh của ảnh đầu vào. Tại vị trí mỗi điểm ảnh lấy

vùng
(Region) trong ảnh, T biến thiên theo từng vị trí khác nhau và được tính toán lại tại từng
vùng ảnh, có nghĩa là công thức trên áp dụng cho từng vùng cục bộ của ảnh với T thay
đổi thì đó gọi là phương pháp dùng ngưỡng cục bộ (Local Thresholding).
Như vậy với giải pháp phân hoạch ngưỡng trên ảnh, T là một nhân tố vô cùng
quan trọng mang tính quyết định sự thành bại của thuật toán. Otsu một thuật toán đơn
giản để tính T phục vụ cho phân hoạch ảnh toàn cục.
Otsu là tên một nhà nghiên cứu người Nhật đã nghĩ ra ý tưởng cho việc tính
ngưỡng T một cách tự động (adaptive) dựa vào giá trị điểm ảnh của ảnh đầu vào nhằm
thay thế cho việc sử dụng ngưỡng cố định (fixed hay const). Phương pháp này cho kết
quả là mỗi ảnh khác nhau có một ngưỡng tương ứng khác nhau bằng các bước xử lý
như

sau:
1. Chọn một giá trị khởi tạo cho T. Nên chọn giá trị mang tính công thức, ví dụ T =
(min + max) / 2, T = giá trị trung bình của toàn bộ ảnh, tránh dùng các giá trị
mang tính định lượng thiết lập cứng.
2. Phân hoạch ảnh sử dụng T. kết quả của bước này sẽ tạo ra 2 nhóm điểm ảnh: G1
chứa tất cả các điểm ảnh với giá trị (intensity) > T và G2 chứa các điểm ảnh với
giá trị (intensity) ≤ T.
3. Tính trung bình (Average hay Mean) m1 và m2 của các điểm ảnh thuộc G1 và
G2.
4. Tính lại T dựa vào m1 và m2: T = (m1 + m2) / 2.
5. Lặp lại bước 2 đến 4 cho tới khi nào giá trị chênh lệch giữa T cũ và T mới là
không đáng kể (nhỏ hơn một giá trị cho trước ΔT). ΔT thường được sử dụng là
sai số từ các phép tính toán trong quá trình xử lý. Trong trường hợp này T được
tính ở 4 sẽ có phép sai số là 1 / 2 * (giá trị đơn vị của điểm ảnh).
Hình 2.4 Ảnh nhị phân
2.4 Chương trình tìm góc nghiêng
2.4.1 Biến đổi radon

nghiêng

và xoay về phương thẳng. Đây là việc rất quan trọng, vì nếu không quay về
phương

thẳng thì khi cắt biển số sẽ bị phạm vào biển số. Chúng ta xác định góc
nghiêng bằng

phương pháp biến đổi Radon. Trước khi biến đổi Radon, ảnh chứa biển
số được biến đổi

thành ảnh được tách biên nhị phân [1],[2].
Sau đó, ta tiến hành biến đổi Radon để tìm góc xoay. Thực hiện biến đổi Radon với
góc θ chạy trong khoảng ( 0: 180), ta sẽ được một ma trận với các điểm R(θ) với từng
góc θ và tọa độ pixel tương ứng.
Sau khi biến đổi Radon, chúng ta xác định được góc Rmax, ứng với Rmax thì ta có
được θ max và góc lệch là ( 90º - θ max). Sau đó ta sử dụng hàm Rotate trong
MATLAB

để xoay ảnh với góc lệch tìm được.
Lưu đồ giải thuật chương trình xoay ảnh:
Hình 2.7 Lưu đồ giải thuật chương trình xoay ảnh
2.5 Trích xuất vùng biển số
Trích xuất vùng biển số là bước tiếp theo sau khi thu nhận ảnh. Như chúng ta đã
qui

ước biển số là một tấm kim loại nhỏ có gắn các chữ số và đặt trước các xe với mục
đích

xác định xe đó nhưng máy không hiểu điều này, máy không thể hiểu được các