BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
--------------------------------------MẪN ĐỨC THẮNG

MẪN ĐỨC THẮNG

KỸ THUẬT ĐIỆN TỬ

THIẾT KẾ THIẾT BỊ ĐIỂM DANH TỰ ĐỘNG
ỨNG DỤNG CÔNG NGHỆ RFID VÀ NHẬN DẠNG
KHUÔN MẶT QUA CAMERA

LUẬN VĂN THẠC SĨ KỸ THUẬT
KỸ THUẬT ĐIỆN TỬ

2011B

Hà Nội – Năm 2013


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
--------------------------------------MẪN ĐỨC THẮNG

THIẾT KẾ THIẾT BỊ ĐIỂM DANH TỰ ĐỘNG
ỨNG DỤNG CÔNG NGHỆ RFID VÀ NHẬN DẠNG
KHUÔN MẶT QUA CAMERA
CHUYÊN NGÀNH KỸ THUẬT ĐIỆN TỬ

LUẬN VĂN THẠC SĨ KỸ THUẬT
KỸ THUẬT ĐIỆN TỬ


i


CHƯƠNG 3: MODULE CHỨNG THỰC KHUÔN MẶT KẾT HỢP VỚI CÔNG
NGHỆ RFID ......................................................................................................... 28
3.1. Giới thiệu về các công nghệ chứng thực sinh trắc học ................................. 28
3.2. Tổng quan về bài toán chứng thực khuôn mặt ............................................. 29
3.2.1 Bài toán chứng thực khuôn mặt và các ứng dụng. ................................. 29
3.2.2 Ưu điểm của phương pháp chứng thực khuôn mặt. ............................... 30
3.3 Phương pháp nhận dạng khuôn mặt Client Specific Fisherface .................... 31
3.3.1 Không gian khuôn mặt và số chiều của không gian khuôn mặt.............. 31
3.3.2 Phương pháp Client Specific Fisherface. ............................................... 31
3.4. Phương pháp phân tích các thành phần chủ yếu (PCA) ............................... 32
3.5. Xây dựng hệ cơ sở mới sử dụng phương pháp LDA.................................... 35
3.5.1 Thuật toán LDA .................................................................................... 35
3.5.2 Xây dựng hệ cơ sở mới theo phương pháp LDA ................................... 35
3.6 Chứng thực khuôn mặt sử dụng phương pháp Client Specific Fisherface ..... 38
3.6.1 Giả thiết cho bài toán chứng thực. ........................................................ 38
3.6.2 Thuật toán Client Specific Fisherface .................................................... 38
3.6.3 Quá trình chứng thực khuôn mặt sử dụng Client Specific Fisher face. ... 41
3.7. Công nghệ RFID và tích hợp hệ thống ........................................................ 43
3.7.1.Thẻ RFID .............................................................................................. 43
3.7.2. Phân loại thẻ RFID............................................................................... 44
3.7.3. Đầu đọc( Reader) ................................................................................. 46
3.7.4. Cơ chế trao đổi dữ liệu giữa đầu đọc với thẻ ........................................ 47
CHƯƠNG 4: PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG QUẢN LÝ SINH VIÊN 49

ii


6.1.2 Đánh giá chung về hệ thống .................................................................. 74
6.2. Hướng phát triển của đề tài ......................................................................... 76
6.3. Kết luận ...................................................................................................... 76
TÀI LIỆU THAM KHẢO ..................................................................................... 78

iv


LỜI CAM ĐOAN
Trước hết, tôi gửi lời cảm ơn chân thành tới tập thể các thầy cô trong Viện
Điện tử viễn thông, Trường Đại học Bách Khoa Hà Nội đã tạo ra một môi trường
tốt để tôi học tập và nghiên cứu. Tôi cũng xin cảm ơn các thầy cô trong Viện Đào
tạo sau đại học đã quan tâm đến khóa học này, tạo điều kiện cho các học viên có
điều kiện thuận lợi để học tập và nghiên cứu. Đặc biệt, tôi xin gửi lời cảm ơn sâu
sắc đến PGS.TS Nguyễn Tiến Dũng đã tận tình chỉ bảo, hướng dẫn và sửa chữa cho
nội dung của luận văn này.
Tôi cam đoan rằng nội dung của luận văn này là hoàn toàn do tôi tìm hiểu,
nghiên cứu và viết ra. Tất cả đều được tôi thực hiện cẩn thận và có sự định hướng
của giáo viên hướng dẫn.
Tôi xin chịu trách nhiệm với những nội dung trong luận văn này.
Tác giả

Mẫn Đức Thắng

v


DANH MỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT
TỪ
STT

BDIP

2

BVLC

3

PCA

4

RFID

5

ROC

6

SVM

Support Vector Machine

Vecto trợ giúp

7

AUC


Characteristic

Sequential Minimal

Tối ưu hóa tối thiểu tuần tự

Optimization
Automatic Identification

Nhận dạng tự động thu thập dữ

Data Collection

liệu
Quản lý sinh viên

vi


DANH MỤC CÁC BẢNG
Bảng 5.1: Bảng so sánh các wrapper kết nối OpenCV với .NET ............................ 55
Bảng 5.2: Kết quả kiểm tra với tập ảnh đầu vào ..................................................... 58

vii


DANH MỤC CÁC HÌNH VẼ ĐỒ THỊ
Hình 1.1: Ưu điểm của hệ thống QLSV bằng phần mềm ......................................... 2
Hình 1.2: Hạn chế của hệ thống QLSV sử dụng công nghệ RFID ............................ 3
Hình 1.3: Sơ đồ khối hệ thống QLSV ứng dụng nhận dạng khuôn mặt và RFID...... 6

Hình 5.4: Đường cong ROC với các đặc trưng khác nhau ...................................... 59
Hình 5.5: Ảnh đầu vào và ảnh đã khoanh vùng các khuôn mặt phát hiện được. .... 60
Hình 5.6: Ảnh khuôn mặt được tách ra. ................................................................. 61
Hình 5.7: Kết hợp đặc trưng Haar và bộ phân loại SVM để nhận dạng khuôn mặt . 61
Hình 5.8: Ảnh khuôn mặt của 1 người trong tập dữ liệu khuôn mặt ....................... 61
Hình 5.9: 10 Eigenface đầu tiên trong hệ cơ sở PCA. ............................................ 63
Hình 5.10: Minh họa xây dựng 1 ảnh từ các vector riêng eigenface. ..................... 64
Hình 5.12: Khối đọc thẻ RFID............................................................................... 65
Hình 5.13: Khối giao tiếp máy tính ........................................................................ 65
Hình 5.14: Khối vi điều khiển................................................................................ 66
Hình 5.15: Khối nguồn .......................................................................................... 66
Hình 5.16: Mô hình kết hợp RFID và chứng thực khuôn mặt ............................... 68
Hình 5.17: Module thu nhận thông tin RFID ......................................................... 69
Hình 5.18: Giao diện phần mềm xử lí đăng nhập: Thông tin môn học hiện tại ....... 70
Hình 5.19: Giao diện phần xử lí đăng nhập: đăng nhập thành công........................ 70

ix


Hình 5.20: Giao diện phần xử lí đăng nhập: đăng nhập thất bại ............................. 71
Hình 5.21: Giao diện chính của phần mềm ............................................................ 71
Hình 5.22: Giao diện quản lý sinh viên .................................................................. 72
Hình 5.23: Giao diện quản lý lịch học.................................................................... 72
Hình 5.24: Giao diện quản lý môn học .................................................................. 73
Hình 5.25: Giao diện quản lý chứng thực vào ra cho sinh viên .............................. 73
Hình 6.1: Các kết quả nghiên cứu đạt được ........................................................... 75

x



Hình 1.1: Ưu điểm của hệ thống QLSV bằng phần mềm
Thứ hai,việc áp dụng công nghệ RFID vào hệ thống QLSV tuy có thể giải
quyết được bài toán điểm danh sinh viên nhưng vẫn tồn tại một nhược điểm có thể
làm ảnh hưởng đến kết quả xử lý. Đó là trong trường hợp các sinh viên có thể mượn
thẻ của nhau để ra vào lớp học hoặc chỉ đơn giản là cầm nhầm thẻ của nhau, cả hai
điều đó đều làm mất đi độ chính xác của việc giám sát để xác định thời gian đi học
của sinh viên. Điều này đặt ra một bài toán kỹ thuật đòi hỏi tăng cường độ chính
xác của thông tin đầu vào cho hệ thống quản lý, khắc phục các thiếu sót và nhầm
lẫn trong quá trình giám sát truy nhập hệ thống của các sinh viên.

2


Hình 1.2: Hạn chế của hệ thống QLSV sử dụng công nghệ RFID
Trước những hạn chế còn tồn tại ở các hệ thống hiện thời, để xây dựng
được một hệ thống QLSV đáp ứng được đầy đủ các chức năng cơ bản và đảm bảo
được cho bài toán điểm danh một cách chính xác nhất, nâng cao tính bảo mật và an
toàn cho hệ thống, em đã lựa chọn đề tài “Thiết kế thiết bị điểm danh tự động ứng
dụng công nghệ RFID và nhận dạng khuôn mặt qua camera”.
1.2. Lịch sử nghiên cứu
Công nghệ thông tin và tự động hóa là hai lĩnh vực phát triển rất mạnh và đạt
được nhiều thành tựu trong thời gian trở lại đây. Nếu như các hệ thống quản lý nhân
sự, quản lý bán hàng, quản lý sinh viên,v.v nằm trong các ứng dụng phổ biến của
công nghệ thông tin thì các hệ thống áp dụng các công nghệ tự động hóa như quét
mã vạch, nhận dạng vân tay,v.v với những tính năng ưu việt và độ bảo mật cao
cũng có thể dễ dàng bắt gặp trong các hệ thống quản lý sân bay, quản lý nhân sự,
tương tác người máy,v.v
Hệ thống nhận diện bằng sóng vô tuyến- RFID từ lâu được biết đến như một
cuộc cách mạng trong các hệ thống nhúng và trong môi trường tương tác hiện nay.



4


Với mục đích nghiên cứu và đề xuất một phương pháp nhận dạng khuôn mặt
mới, dựa trên việc sử dụng các đặc trưng về kết cấu của khuôn mặt, em đã tìm hiểu
về bộ phân loại SVM kết hợp với đặc trưng BVLC và BDIP được sử dụng trong
module nhận dạng khuôn mặt. Tiếp theo, em đã nghiên cứu cơ sở lý thuyết của
phương pháp PCA để xây dựng hệ cơ sở mới trong module chứng thực khuôn mặt.
Đồng thời tìm hiểu về công nghệ RFID áp dụng vào hệ thống để tăng tính bảo mật.
Nội dung cơ bản của đồ án tốt nghiệp của em tập trung vào những phần chính sau
đây:
-

Nghiên cứu và xây dựng mô hình nhận dạng khuôn mặt kết hợp công
nghệ RFID ứng dụng trong hệ thống quản lý sinh viên.

-

Tìm hiểu tổng quan về phương pháp nghiên cứu đề xuất và các công nghệ
được sử dụng trong hệ thống.

-

Nghiên cứu về bộ phân loại SVM kết hợp với đặc trưng BVLC và BDIP
được sử dụng trong module nhận dạng khuôn mặt.

-

Nghiên cứu phương pháp xây dựng hệ cơ sở mới sử dụng phương pháp


Hình 1.3: Sơ đồ khối hệ thống QLSV ứng dụng nhận dạng khuôn mặt và
RFID

6


Hệ thống bao gồm hai phần chính là xác thực thông tin đầu vào và phần mềm
QLSV. Module xác thực thông tin đầu vào gồm có webcam để chụp ảnh người sử
dụng, đầu đọc thẻ RFID đọc thông tin về mã thẻ đã được nạp trong thẻ, cơ sở dữ
liệu chứa mã thẻ RFID của các sinh viên và cơ sở dữ liệu khuôn mặt. Đầu vào sẽ là
khuôn mặt người sử dụng và thẻ RFID được xử lý cùng một thời điểm. Phần mềm
QLSV sẽ dựa trên thông tin đầu vào là khuôn mặt người sử dụng và mã thẻ RFID
để thực hiện các chức năng tiếp theo.
1.4.2 Các chức năng cơ bản của hệ thống
a. Hoạt động của hệ thống
Hệ thống sẽ hoạt động cơ bản theo chu trình sau:
1.

Thu nhận thông tin User image và RFID serial

2.

RFID serial được đưa vao RFID Database để kiểm tra sự tồn tại và tính hợp

lệ.
3.

Nếu hợp lệ, RFID Database trả về cho hệ thống FaceID tương ứng với RFID




7.

Phần mềm QLSV sẽ có Students Database, với thông tin được trả về sau quá

trình đăng nhập thành công (ảnh khuôn mặt, thông tin thẻ RFID đã sử dụng, thời
gian đăng nhập) sẽ được xử lý để thực hiện các chức năng: Quản lý sinh viên, điểm
danh và kết xuất các báo cáo định kỳ.
b. Phương pháp nhận dạng và xác thực khuôn mặt sử dụng trong hệ thống
Để nhận dạng khuôn mặt, hiện nay có 2 phương pháp chủ yếu [14]:
-

Nhận dạng dựa trên các đặc trưng của các phần tử trên khuôn mặt (Feature

based face recognition). Phương pháp này nhận dạng khuôn mặt dựa trên các đặc
trưng hình học của các chi tiết trên một khuôn mặt( như vị trí, diện tích, hình dạng
của mắt, mũi, miệng, v.v) và mối quan hệ giữa chúng (như khoảng cách của hai
mắt, khoảng cách của hai lông mày, v.v).
-

Nhận dạng dựa trên xét tổng thể khuôn mặt (Appearance based face

recognition). Phương pháp này sẽ xem mỗi bức ảnh khuôn mặt có kích thước RxC
là một vector trong không gian RxC chiều. Ta sẽ xây dựng một không gian mới có
chiều nhỏ hơn sao cho khi biểu diễn trong không gian đó, các đặc điểm chính của
một khuôn mặt không bị mất đi. Trong không gian đó, các ảnh của cùng một người
sẽ được tập trung lại thành một nhóm gần nhau và cách xa các nhóm khác.
Ngoài ra còn có một số phương pháp khác như :
-

Công nghệ nhận dạng bằng sóng vô tuyến RFID là một công nghệ phát triển
rất mạnh mẽ trong lĩnh vực nhận dạng tự động thu thập dữ liệu AIDC. Nhận dạng tự
động (Automatic Identification) là một thuật ngữ chỉ các công nghệ tự động dùng để
giúp các máy nhận dạng các đối tượng. Nhận dạng tự động thường được thực hiện
bằng cách tự động bắt dữ liệu. Đó là cách mà người quản lý muốn nhận dạng các
đối tượng, bắt thông tin về chings và bằng cách nào đó thu nhận dữ liệu đưa vào
máy tính thay vì nhập dữ liệu bằng tay. Mục tiêu của Auto-ID là tăng tính hiệu quả,
giảm lỗi dữ liệu đầu vào và giảm sức lao động trong việc nhận dạng. Các công nghệ
Auto-ID bao gồm: mã vạch (Bar codes), nhận dạng tiếng nói, nhận dạng khuôn mặt,
một số công nghệ sinh trắc học (Biometric), nhận dạng đặc trưng quang học OCR
và nhận dạng nhãn vô tuyến RFID.
Trong hệ thống QLSV này,em đã tích hợp công nghệ nhận dạng bằng sóng
vô tuyến RFID để tăng độ chính xác, đảm bảo yêu cầu an ninh đồng thời tạo sự linh
hoạt cho hệ thống.

9


Hệ thống RFID gồm ba bộ phận cấu thành [18]:
 Thẻ RFID (RFID tag) được tạo nên bởi vi chip (IC) và anten, được gắn vào
đối tượng cần nhận dạng, trong hệ thống này thẻ RFID sẽ được cấp phát cho
các nhân viên.
 Đầu đọc RFID (RFID reader)
 Module xử lý RFID database trong phần mềm QLSV.

Hình 1.4:Mô hình hệ thống RFID cơ bản
Nội dung về cơ chế hoạt động của RFID trong hệ thống sẽ được trình bày cụ
thể trong những phần sau.
d. Phần mềm quản lý sinh viên
Ngày nay phần mềm được ứng dụng trong hầu hết các lĩnh vực của cuộc

kỹ thuật được lựa chọn áp dụng trong đồ án để xây dựng nên hệ thống nhận dang
khuôn mặt mà nhóm em đã nghiên cứu và tìm hiểu.
2.1. Cơ sở lý thuyết của bài toán nhận dạng khuôn mặt
Nhận dạng khuôn mặt (Face detetion) là bước đầu tiên trong hai bước của
quá trình nhận dạng khuôn mặt người (Face recognition). Nhận dạng khuôn mặt là
một công nghệ được phát triển rất mạnh đã có nhiều ứng dụng thực tế trong các lĩnh
vực từ công nghiệp, dịch vụ, y tế cho đến quân sự. Nhận dạng khuôn mặt cũng
giống như nhận dạng bằng sóng vô tuyến, là một công nghệ nhận dạng tự động
AIDC (Auto Identification Data Collection) và nằm trong hệ thống các phương
pháp nhận dạng dựa trên các đặc điểm sinh trắc học (biometric) bao gồm một số
phương pháp như nhận dạng khuôn mặt, nhận dạng vân tay (fingerprint), nhận dạng
đồng

tử

mắt

(iris

recognition)

hay

nhận

dạng

tiếng

nói

lại có thể chia làm 4 hướng tiếp cận chính [14]:
 Hướng tiếp cận dựa trên tri thức (knowledge-based).
 Hướng tiếp cận dựa trên các đặc trưng không thay đổi (feature invariant).
 Hướng tiếp cận dựa trên so khớp mẫu (template matching).
 Hướng tiếp cận dựa trên diện mạo (appearance-based).
a) Hướng tiếp cận dựa trên tri thức
Hướng tiếp cận này chủ yếu dựa trên các luật định nghĩa về khuôn
mặt người. Các luật này thường mô tả về các mối quan hệ giữa các thành
phần trên khuôn mặt người. Các quan hệ đặc trưng có thể được mô tả như
quan hệ về khoảng cách và vị trí. Theo phương pháp này, những người thực
hiện sẽ trích chọn đặc trưng của khuôn mặt trước tiên để có được các ứng
viên, sau đó các ứng viên này sẽ được xác định thông qua các luật để biết
ứng viên nào là khuôn mặt và ứng viên nào không phải là mặt. Khó khăn với
phương pháp này là làm sao chuyển từ tri thức của con người về khuôn mặt
sang các luật một cách có hiệu quả vì nếu các luật chặt chẽ quá thì có thể xác
định thiếu các khuôn mặt vì không phải khuôn mặt nào cũng đáp ứng được

13