Luận Văn Tốt Nghiệp

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------

NGUYỄN ĐỨC QUẢNG

Thiết kế hệ thống giám sát các phương tiện xe cộ
sử dụng công nghệ nhận dạng biển số xe
Chuyên ngành:

KỸ THUẬT ĐIỆN TỬ

LUẬN VĂN THẠC SĨ KỸ THUẬT
KỸ THUẬT ĐIỆN TỬ

NGƯỜI HƯỚNG DẪN KHOA HỌC:
PGS.TS. NGUYỄN VĂN ĐỨC

HÀ NỘI – 2016

Nguyễn Đức Quảng

14BKTĐT
Trang: 1

CB140219


Luận Văn Tốt Nghiệp


Nguyễn Đức Quảng

14BKTĐT
Trang: 2

CB140219


Luận Văn Tốt Nghiệp

văn này. Em rất biết ơn công lao chỉ dạy, hướng dẫn của PGS.TS Nguyễn Văn
Đức, qua thầy em đã biết cách tìm hiểu cơ sở lý thuyết, phân tích và tiếp cận
vấn đề, đưa ra và triển khai thực hiện ý tưởng. Em cũng rất biết ơn những công
lao chỉ dạy của tất cả các thầy, các cô trong quá trình tham gia học tập tại
trường Đại Học Bách Khoa Hà Nội, các thầy, các cô vừa trực tiếp và vừa gián
tiếp tạo điều kiện giúp đỡ em trong suốt thời gian qua. Em xin chân thành cảm
ơn!
Hà Nội, ngày 24 tháng 3 năm 2016
Học viên:

Nguyễn Đức Quảng

Nguyễn Đức Quảng

14BKTĐT
Trang: 3

CB140219


Điểm ảnh ........................................................................................ 21
Ảnh số ............................................................................................. 21

Nguyễn Đức Quảng

14BKTĐT
Trang: 4

CB140219


Luận Văn Tốt Nghiệp

Kích thước ảnh............................................................................... 22
Phân loại ảnh số ............................................................................. 22
1.2.4.1 Ảnh màu RGB ......................................................................... 22
1.2.4.2 Ảnh đa mức xám ..................................................................... 23
1.2.4.3 Ảnh nhị phân........................................................................... 24
Một số khái niệm cơ bản trong kỹ thuật phân vùng ảnh.................... 25
Điểm biên ....................................................................................... 25
Đường biên ..................................................................................... 25
Ý nghĩa của đường biên trong xử lý ảnh ...................................... 25
TỔNG QUAN VỀ CÔNG NGHỆ NHẬN DẠNG BIỂN SỐ XE
26
Các bước cơ bản trong nhận dạng biển số xe ..................................... 26
Tiền xử lý ảnh đầu vào .................................................................. 27
Tìm vị trí biển số ............................................................................ 28
Trích xuất vùng ảnh chứa các kí tự trên biển số .......................... 29
Tiền xử lý ảnh biển số .................................................................... 29
Xác định vị trí các kí tự ................................................................. 30

3.2.2.2 Cách sử dụng chữ và số trong sê ri đăng ký của biển số như
sau:

37
Biển số máy kéo, xe máy điện ........................................................ 38

Phân tích đặc trưng biển số xe ở Việt Nam ......................................... 39
Đặc trưng về hình dạng và kích thước .......................................... 39
Đặc trưng về màu sắc .................................................................... 39
Đặc trưng về chuỗi kí tự trên biển số:........................................... 40
Những khó khăn cho quá trình xử lý ảnh nhận dạng biển số ............ 40
Trong gian đoạn trích xuất biển số ............................................... 40
Trong giai đoạn trích xuất kí tự .................................................... 41
Trong giai đoạn nhận dạng kí tự................................................... 42
THIẾT KẾ CHƯƠNG TRÌNH NHẬN DẠNG BIỂN SỐ XE
VIỆT NAM

43

Kỹ thuật trích xuất biển số xe trên ảnh ............................................... 43
Làm mờ ảnh ................................................................................... 43
Làm nổi biên .................................................................................. 44
4.1.2.1 Sử dụng bộ lọc Canny để làm nổi biên ................................... 44
4.1.2.2 Giải thuật cho kỹ thuật thêm thông tin chuyển vùng xám lên
biên Canny: ........................................................................................... 48
4.1.2.3 Thuật toán tô màu cho một điểm biên Canny ....................... 49
Tách vùng biển số .......................................................................... 51
4.1.3.1 Kỹ thuật nối biên tái tạo biển số ............................................. 52

Nguyễn Đức Quảng

Mô tả hoạt động của hệ thống .............................................................. 87
Khâu 1: thu thập ảnh từ các camera ............................................ 87
Khâu 2: Tìm kiếm và nhận dạng biển số xe.................................. 88
Khâu 3: Kiểm tra thông tin biển số nhận dạng được và ghi vào cơ
sở dữ liệu.................................................................................................... 89
Thiết kế cơ sở dữ liệu ........................................................................... 89
Giới thiệu về hệ quản trị cơ sở dữ liệu .......................................... 89
MySQL ........................................................................................... 90

Nguyễn Đức Quảng

14BKTĐT
Trang: 7

CB140219


Luận Văn Tốt Nghiệp

Thiết kế cơ sở dữ liệu ..................................................................... 91
KẾT QUẢ VÀ ĐÁNH GIÁ ..................................................... 93
Giao diện phần mềm hệ thống giám sát phương tiện giao thông ....... 93
Giao diện quan sát ......................................................................... 93
Giao diện đăng ký thông tin khách đến ........................................ 94
Giao diện quản lý xe đang ở trong cơ quan .................................. 95
Gia diện giám sát lịch sử vào ra .................................................... 96
Kết quả nhận dạng biển số xe .............................................................. 96
Đánh giá ................................................................................................ 98
Phương hướng phát triển ..................................................................... 99


DANH SÁCH CÁC KÍ HIỆU, CÁC TỪ VIẾT TẮT
Từ viết tắt

Từ gốc

Dịch nghĩa

ANPR

Automatic Number Plate Recognition Nhận diện biển số xe tự động

CRS

Computer Recognition Systems

Các hệ thống nhận dạng máy tính

DBMS

Database Management System

Hệ quản trị cơ sở dữ liệu

CSDL

Cơ sở dữ liệu

Cơ sở dữ liệu

LAN


Bảng 4-3 Tập các nhóm kí tự dễ bị nhận dạng lỗi

83

Bảng 5-1 Thông số kỹ thuật của Camera IP Vivotek 8365 EH

87

Bảng 5-2 Bảng xe đăng ký

91

Bảng 5-3 Bảng lịch sử ra vào

92

Bảng 6-1 Kết quả nhận dạng biển số tối bẩn

97

Bảng 6-2 Kết quả nhận dạng biển số ban ngày ở QL 1A

98

Bảng 6-3 Kết quả nhận dạng biển số ban ngày ở Giải Phóng- Hà Nội

98

Nguyễn Đức Quảng

Hình 3-3 Biển số máy kéo, xe máy điện ..............................................................34
Hình 3-4 Biển số ô tô nước ngoài ........................................................................34
Hình 3-5 Biển số mô tô nước ngoài .....................................................................35
Hình 3-6 Biển số ô tô liên doanh, dự án, xe quân đội làm kinh tế ........................35
Hình 3-7 Biển số mô tô trong nước......................................................................37
Hình 3-8 Biển số máy kéo, xe máy điện ..............................................................39
Nguyễn Đức Quảng

14BKTĐT
Trang: 11

CB140219


Luận Văn Tốt Nghiệp

Hình 3-9 Các loại biển số xe (nguồn: Internet) ....................................................39
Hình 3-10 Biển số bẩn, mờ ..................................................................................41
Hình 3-11 Điều kiện thiếu sáng,nhị phân lấy ngưỡng tự động theo phương pháp
OTSU không hiệu quả. ........................................................................................41
Hình 4-1 Kỹ thuật trích xuất biển số xe ...............................................................43
Hình 4-2 Ảnh thu được từ camera........................................................................44
Hình 4-3 Ảnh sau khi làm mờ với bộ lọc Gaussian kích thước 7x7 ......................44
Hình 4-4 Làm nổi biên với ảnh không làm mờ.....................................................45
Hình 4-5 Làm nổi biên sau khi làm mờ bằng bộ lọc Gaussian..............................46
Hình 4-6 Hình cần làm nổi biên ...........................................................................46
Hình 4-7 Hình được nổi biên bằng bộ lọc Canny .................................................47
Hình 4-8 Thêm thông tin cho biên Canny ............................................................47
Hình 4-9 So sánh hai kết quả nổi biên..................................................................48
Hình 4-10 Thuật toán thêm thông tin chuyển vùng xám lên biên Canny ..............49

Hình 4-30 Thuật toán tách biển số sử dụng cửa sổ dẹt dọc 1×H ...........................65
Hình 4-31 Ảnh sau khi lọc bằng cửa sổ dẹt dọc ...................................................66
Hình 4-32 Vùng biển số được trích ra ..................................................................67
Hình 4-33 Các bước thực hiện trích ảnh kí tự ......................................................67
Hình 4-34Ảnh biển số sau khi làm mờ .................................................................68
Hình 4-35 Ảnh biển số sau khi làm nổi biên ........................................................68
Hình 4-36 Ảnh sau khi nối biên ...........................................................................68
Hình 4-37 Sau khi tái tạo, chỉ giữ lại thông tin về kí tự, các kí tự được làm nổi ...69
Hình 4-38 Trích kí tự sử dụng các đường bao hình chữ nhật................................70
Hình 4-39 Kí tự được trích xuất ...........................................................................70
Hình 4-40 Ảnh kí tự sau khi nhị phân bằng phương pháp OTSU .........................71
Hình 4-41 Cấu trúc mạng nơ-ron sử dụng một lớp ẩn [18] [19] [8] ......................73
Hình 4-42 Giá trị tại các đầu ra khi nhận dạng ảnh chụp số 0 ..............................74
Hình 4-43 Đầu ra mang nơ-ron khi nhận dạng ảnh chụp số 1...............................75
Hình 4-44 Giá trị các đầu ra khi nhận dạng ảnh chụp số 2 ...................................75
Hình 4-45 Giá trị tại các đầu ra khi nhận dạng anh chụp số 3 ..............................76
Hình 4-46 Đầu ra mạng nơ-ron khi nhận diện ảnh chụp số 4 ...............................76
Hình 4-47 Đầu ra mạng nơ-ron khi nhận diện ảnh chụp số 5 ...............................77
Hình 4-48 Giá trị các đầu ra khi nhận dạng số 6 ..................................................77
Hình 4-49 Giá trị tại các đầu ra khi nhận dạng số 7..............................................78
Hình 4-50 Giá trị tại các đầu ra khi nhận dạng số 8..............................................78
Hình 4-51 Giá trị các đầu ra khi nhận dạng số 9 ..................................................79
Hình 4-52 Thuật toán nhận dạng ký tự số sử dụng 3 tầng nhận dạng ...................80
Hình 4-53 Số 2 bị mất nét gạch ngang .................................................................81
Hình 4-54 Nửa trên ảnh chụp số 2 và số 7 ...........................................................81

Nguyễn Đức Quảng

14BKTĐT
Trang: 13

Luận Văn Tốt Nghiệp

MỞ ĐẦU

Lý do chọn đề tài
Ngày nay, trong giai đoạn phát triển mạnh mẽ về kỹ thuật điện tử và máy tính,
các hệ thống máy tính, camera, smart phone có trang bị camera ngày càng phổ biến,
là mảnh đất màu mỡ cho việc phát triển các ứng dụng liên quan đến ảnh và xử lý
biến đổi ảnh.
Nhận dạng biển số xe tự động là một công nghệ đã và đang được rất nhiều
công ty phần mềm, các phòng thí nghiệm nghiên cứu và phát triển vì tính ứng dụng
cao và khả năng thương mại của nó. Công nghệ này được ứng dụng giải quyết các
bài toán liên quan đến quản lý xe cộ, bến bãi, thu phí tự động, giám sát giao
thông,…Tuy nhiên ở Việt Nam, với đặc thù biển số được quy định riêng, việc phát
triển các ứng dụng liên quan đến nhận dạng biển số tự động vẫn còn nhiều cơ hội
và thách thức. Đây cũng chính là lý do để tác giả lựa chọn đề tài.

Lịch sử nghiên cứu
Công nghệ nhận dạng biển số xe (Automatic Number Plate Recognition –
ANPR) được lần đầu phát minh vào năm 1976 tại trung tâm phát triển khoa học
Cảnh sát ở Anh. Đó là sự kết hợp giữa phần cứng và phần mềm giúp hệ thống có
thể tự động đọc biển số xe mà không cần đến sự giám sát của con người. Đến năm
1979, các hợp đồng được kí kết để sản xuất các hệ thống công nghiệp, đầu tiên tại
EMI Electronics, và sau đó tại Computer Recognition Systems (CRS) tại
Wokingham, Vương quốc Anh. Các hệ thống thử nghiệm đầu tiên được triển khai
trên đường A1 và hầm Dartford. Tuy nhiên công nghệ này đã không được sử dụng
rộng rãi cho đến khi những cải tiến mới giúp giảm chi phí và đơn giản hóa các hệ
thống nhận dạng bắt đầu xuất hiện vào thập niên 90. [2] [1]
Ngày nay, rất nhiều phòng thí nghiệm, các công ty, tổ chức cá nhân vẫn đang
tiếp tục nghiên cứu ứng dụng công nghệ xử lý ảnh nhận dạng biển số xe, nhiều công

Nhận dạng biển số xe thời gian thực

-

Nhận dạng được cả biển số loại một dòng và hai dòng

-

Nhận dạng được biển trắng, biển xanh, biển đỏ

-

Tỉ lệ nhận dạng trên 80% với thời gian nhận dạng dưới 100ms với kích
thước video đầu vào lớn: 1080x1920px, máy tính sử dụng chip Core i5.

Phương pháp nghiên cứu
Như trình bày trong luận văn, thì phương pháp nghiên cứu của tác giả là tiến
hành việc nghiên cứu lý thuyết về các phép biển đổi ảnh, các bộ lọc trong thư viện
OpenCV. Nghiên cứu phân tích đưa ra các đặc trưng về kích thước, màu sắc, hình
dạng,… của biển số xe ở Việt Nam, làm cơ sở cho việc thiết kế các phép biến đổi
ảnh phù hợp, đưa ra các tham số đặc trưng trong giai đoạn trích chọn biển số xe và
trích vùng kí tự. Từ đó thiết kế hệ thống giám sát phương tiện giao thông sử dụng
công nghệ nhận dạng biển số xe.

Nguyễn Đức Quảng

14BKTĐT
Trang: 16

CB140219


Luận Văn Tốt Nghiệp

TỔNG QUAN VỀ CÔNG NGHỆ XỬ LÝ ẢNH

Giới thiệu về hệ thống xử lý ảnh
“Xử lý ảnh là một lĩnh vực mang tính khoa học và công nghệ. Nó là một ngành khoa
học mới mẻ so với nhiều ngành khoa học khác nhưng tốc độ phát triển của nó rất
nhanh, kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là máy tính chuyên
dụng riêng cho nó.”
Nội dung chương 1 được trích dẫn và tham khảo từ giáo trình “Xử lý ảnh” do
PGS.TS Nguyễn Quang Hoan, Học viện Công nghệ Bưu chính Viễn Thông biên
soạn. [3]
Quá trình phát triển của xử lý ảnh
Trích dẫn từ giáo trình “Xử lý ảnh” do PGS.TS Nguyễn Quang Hoan, Học
viện Công nghệ Bưu chính Viễn Thông biên soạn: “Xử lý ảnh được đưa vào giảng
dạy ở bậc đại học ở nước ta khoảng chục năm nay. Nó là môn học liên quan đến
nhiều lĩnh vực và cần nhiều kiến thức cơ sở khác. Đầu tiên phải kể đến Xử lý tín
hiệu số là một môn học hết sức cơ bản cho xử lý tín hiệu chung, các khái niệm về
tích chập, các biến đổi Fourier, biến đổi Laplace, các bộ lọc hữu hạn… Thứ hai, các
công cụ toán như Đại số tuyến tính, Sác xuất, thống kê. Một số kiến thứ cần thiết
như Trí tuệ nhân tao, Mạng nơ-ron nhân tạo cũng được đề cập trong quá trình phân
tích và nhận dạng ảnh. Các phương pháp xử lý ảnh bắt đầu từ các ứng dụng chính:
nâng cao chất lượng ảnh và phân tích ảnh. Ứng dụng đầu tiên được biết đến là nâng
cao chất lượng ảnh báo được truyền qua cáp từ Luân đôn đến New York từ những
năm 1920. Vấn đề nâng cao chất lượng ảnh có liên quan tới phân bố mức sáng và
độ phân giải của ảnh. Việc nâng cao chất lượng ảnh được phát triển vào khoảng
những năm 1955. Điều này có thể giải thích được vì sau thế chiến thứ hai, máy tính
phát triển nhanh tạo điều kiện cho quá trình xử lý ảnh số thuận lợi. Năm 1964, máy
tính đã có khả năng xử lý và nâng cao chất lượng ảnh từ mặt trăng và vệ tinh Ranger

trưng của ảnh hay đối tượng trong ảnh.
Các bước xử lý ảnh cơ bản

Thu nhận ảnh

Tiền xử lý ảnh

Phân đoạn ảnh

Biểu diễn và
mô tả

Nhận dạng và
nội suy

Cơ sở tri thức

Hình 1-1 Các bước xử lý ảnh cơ bản [1]

Nguyễn Đức Quảng

14BKTĐT
Trang: 19

CB140219


Luận Văn Tốt Nghiệp

1.1.3.1 Thu nhận ảnh

Trang: 20

CB140219


Luận Văn Tốt Nghiệp

1.1.3.6 Cơ sở tri thức
Ảnh thu được của đối tượng luôn đi kèm với nhiễu, biến dạng về đường nét,
độ sáng tối, dung lượng điểm ảnh, môi trường xung quanh. Các phép biến đổi toán
học đơn thuần khó có thể đạt được kết quả chính xác. Nên trong các khâu xử lý
mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh của con người. Nhiều khâu
đã được thực hiện theo phương pháp trí tuệ con người (ví dụ mạng nơ-ron nhân tạo).

Giới thiệu về ảnh số
Điểm ảnh
Ảnh tự nhiên là ảnh liên tục về không gian và độ sáng. Khi số hóa, ảnh được
biến đổi gần đúng thành một tập điểm phù hợp với ảnh thật về không gian và độ
sáng. Khoảng cách giữa các điểm ảnh được thiết lập sao cho mắt người không nhận
biết được ranh giới giữa chúng. Mỗi điểm như vậy được gọi là điểm ảnh. Một bức
ảnh hai chiều thì mỗi điểm ảnh tương ứng với một cặp tọa độ (x,y).
Định nghĩa: “Trong ảnh số, một điểm ảnh là một điểm vật lý trong ảnh quét,
là đơn vị nhỏ nhất trong các thiết bị hiển thị có thể xác định địa chỉ tất cả các điểm.
Địa chỉ của một điểm ảnh tương ứng với tọa độ vật lý của nó” – Dịch từ wikipedia.
Hoặc: “ Điểm ảnh là một phần tử của ảnh số tại tọa độ (x,y) với độ sáng hoặc
màu nhất định. Kích thước và khoảng cách giữa các điểm ảnh được thiết lập sao cho
mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số
gần như thật. Mỗi phần từ trong ma trận được gọi là phần từ ảnh” – Giáo trình Xử
lý ảnh, PGS.TS Nguyễn Quang Hoan. [3]
Ảnh số

Trang: 22

CB140219


Luận Văn Tốt Nghiệp

ba số nguyên giữa 0 và 255, mỗi số đại diện cho cường độ của màu đỏ, xanh lá cây,
xanh lam trong trật tự như thế.
Ảnh số RGB là ảnh mà màu của mỗi điểm ảnh là một cặp 3 số nguyên giá trị
trong khoảng từ 0 đến 255 thể hiện cho cường độ của màu đỏ, xanh lá cây và xanh
lam.
Ví dụ:
 (0, 0, 0) là màu đen
 (255, 255, 255) là màu trắng
 (255, 0, 0) là màu đỏ
 (0, 255, 0) là màu xanh lá cây
 (0, 0, 255) là màu xanh lam
 (255, 255, 0) là màu vàng
 (0, 255, 255) là màu xanh ngọc
 (255, 0, 255) là màu hồng cánh sen

Hình 1-4 Ảnh màu (Lena)
1.2.4.2 Ảnh đa mức xám
Một điểm ảnh có hai thông số đặc trưng là vị trí (x, y) và mức xám của nó.
Thang đo mức xám thông thường là 16, 32, 64, 128, 256. Trong đó thang 256 mức

Nguyễn Đức Quảng

14BKTĐT


Một số khái niệm cơ bản trong kỹ thuật phân vùng ảnh
Điểm biên
Một điểm ảnh được coi là điểm biên nếu có sự thay đổi nhanh hoặc đột ngột
về mức xám hoặc màu. Ví dụ trong ảnh nhị nhân, điểm đen được coi là điểm biên
nếu lân cận nó có ít nhất một điểm trắng.
Đường biên
Đường biên hay còn gọi là đường bao (boundary) là tập hợp các điểm liên
tiếp tạo thành một đường biên.

Hình 1-7 Logo ĐHBKHN được làm nổi đường biên
Ý nghĩa của đường biên trong xử lý ảnh
Đường biên là một loại đặc trưng tiêu biểu trong phân tích nhận dạng ảnh.
Thứ hai, sử dụng đường biên để phân tách các vùng xám, ngược lại dùng các vùng
xám để tìm đường phân cách.

Nguyễn Đức Quảng

14BKTĐT
Trang: 25

CB140219