ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN THỊ THUỶ

PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT
NGƯỜI VÀ ỨNG DỤNG TRONG QUẢN LÝ
NHÂN SỰ

Ngành: Khoa học máy tính
Chuyên Ngành: Khoa học máy tính
Mã Số: 8480101.01

LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC:
Ts. Nguyễn Văn Vinh

HÀ NỘI-NĂM 2018

Nguyễn Thị Thủy

i

Đại Học Công Nghệ


LỜI CAM ĐOAN
Luận văn thạc sĩ đề tài “Nhận dạng khuôn mặt người và ứng dụng trong quản lý
nhân sự” là công trình cá nhân tôi. Các nội dung nghiên cứu và kết quả trình bày trong
luân văn này là trung thực và rõ ràng. Các tài liệu tham khảo được trích dẫn đầy đủ và

lượng cho một hệ thống nhận dạng khuôn mặt.................................................................... 4
1.3.2. Hướng tiếp cận của luận văn.......................................................................................... 7
CHƯƠNG 2: CÁC KỸ THUẬT CHO NHẬN DẠNG KHUÔN MẶT...............8
I. Học máy.......................................................................................................................................... 8
1.1. Phương pháp Deep Learning (CNN)............................................................................... 8
1.2. Phương pháp truyền thống.................................................................................................. 8
II. Các kỹ thuật sử dụng trong nhận dạng khuôn mặt........................................................ 9
Nguyễn Thị Thủy

iii

Đại Học Công Nghệ


2.1. Phát hiện khuôn mặt (Viola Jone Face detection)....................................................... 9
2.2. Trích chọn đặc trưng Weber local Descripor- WLD............................................... 12
2.3. Giới thiệu phương pháp phân tích thành phần chính PCA................................... 15
2.3.1. Giới thiệu phương pháp PCA....................................................................................... 15
2.3.2. Đặc trưng PCA.................................................................................................................. 19
2.3.3. Phương pháp phân tích thành phần chính(PCA).................................................. 19
2.3.4. Các bước thực hiện trích chọn đặc trưng PCA...................................................... 21
2.4. Học máy hộ trợ vestor SVM............................................................................................ 23
2.4.1. Cơ sở lý thuyết................................................................................................................... 23
2.4.2. SVM tuyến tính................................................................................................................. 23
2.4.3. SVM Phi Tuyến tính........................................................................................................ 25
CHƯƠNG 3: ỨNG DỤNG CÁC KỸ THUẬT TRONG NHẬN DẠNG
KHUÔN MẶT.............................................................................................................................. 30
3.1. Phát hiện khuôn mặt (Viola Jone Face Detection)................................................... 30
3.2. Trích chọn đặc trưng (WLD)............................................................................................ 30
3.3. Phân tích thành phần chính PCA và nhận dạng/phân lớp SVM......................... 31

9

Hình 0.5 Ví dụ về Haar features .......................................................................

91

Hình 0.6 Ví dụ ảnh Integral ..............................................................................

91

Hình 0.7 Ảnh ví dụ tính Ô pixcel......................................................................

92

Hình 0.8 Các bước loại khuôn mặt hay không ..................................................

93

Hình 0.9 Kết quả phát hiện khuôn mặt .............................................................

93

Hình 0.10 Tính kích thích sai khác ...................................................................

95

Hình 0.11 Ảnh trên là ảnh gốc, ảnh thứ 2 là ảnh trích chọn đặc trưng ..............

95


và eigenface ..... 323
Database................... 334

Hình 0.22 Ảnh 12 khuôn mặt người được đánh thứ tự từ 1 đến 12 ................. 334
Hình 0.23 Kích thước chuẩn hóa của một mẫu khuôn mặt trong học tập ........ 345
Hình 0.24 Một phần của tập ảnh luyện ...........................................................
Nguyễn Thị Thủy

v

356
Đại Học Công Nghệ


Hình 0.25 Một phần của tập ảnh thử nghiệm................................................................... 356
Hình 0.26 Bảng 1.1. Bảng Thực nghiệm nhận dạng số lượng ảnh..........................367
Hình 0.27 kết quả thực nghiệm so với chỉ sử dụng PCA............................................ 367
Hình 0.28 Mô hình nhận dạng ở cửa ra vào tại cơ quan.............................................. 378

Nguyễn Thị Thủy

vi

Đại Học Công Nghệ


DANH MỤC CÁC TỪ VIẾT TẮT
PCA

Principal Component Analysis

dựng để nhận dạng một người cụ thể trong thế giới thực. ta có thể nói tới một số
phương pháp như: học máy và học sâu.Tuy nhiên hai phương pháp này lại có
nhược điểm lớn là phải xây dựng một tập cơ sở dữ liệu lớn và đồng thời việc xử
lý dữ liệu lớn đòi hỏi phải nhanh và chính xác. Vậy nên hai phương pháp trên sẽ
mất thời gian để nhận dạng. nhiệm vụ đặt ra là nghiên cứu và xây dựng một
chương trình sử dụng Phương pháp nhận dạng có độ chính xác cao mà khối
lượng và thời gian tính toán lại ít.
Để giải quyết vấn đề trên tôi xin đề xuất ra phương pháp phát hiện khuôn
mặt sử dụng phương pháp Viola jone face detection, trích chọn đặc trưng sử dụng
phương pháp Weber local Descriptor và kết hợp phân tích thành phần chính sử
dụng phương pháp PCA và học máy vestor (SVM) để nhận dạng khuôn mặt.
2. Mục đích nghiên cứu của luận văn, đối tượng, phạm vi nghiên cứu Mục
đích của luận văn:
Nghiên cứu đề tài này nhằm mục đích tìm hiểu bài toán nhận dạng khuôn
mặt, từ đó xây dựng các hệ thống ứng dụng trong thực tiễn như: điểm danh, giám
sát người ra vào, an ninh trong sân bay
Đối tượng và phạm vi áp dụng:

Nguyễn Thị Thủy

1

Đại Học Công Nghệ


Đề tài tập trung tìm hiểu một số phương pháp nhận dạng khuôn mặt người
phổ biến hiện nay và đưa ra phương án nhận dạng cho bài toán nhận dạng khuôn
mặt người.
Để đặt được mục tiêu trên đề tài tập trung tìm hiểu các nội dung sau:
- Tìm hiểu phương pháp phát hiện khuôn mặt sử dụng phương pháp Viola

1.1. Tổng quan và các khái niệm liên quan đến nhận dạng khuôn mặt
1.1.1. Hệ thống sinh trắc học
Hệ thống sinh trắc học là một hệ thống được thiết kế để xác minh và nhận
dạng một người dựa vào những đặc trưng sinh học duy nhất của người đó.
1.1.2. Hệ thống nhận dạng khuôn mặt
Hệ thống nhận dạng khuôn mặt là một hệ thống được thiết kế để tìm thông
tin của một người. Kĩ thuật nhận dạng là kiểm tra sự phù hợp dựa trên phép so
sánh một-nhiều cụ thể là tìm ra một người là ai trong số những người đã được lưu
trữ trong hệ thống dựa vào thông tin khuôn mặt.
1.1.3. Hệ thống xác minh hay xác thực khuôn mặt là gì
Hệ thống xác minh/xác thực khuôn mặt là một hệ thống được thiết kế để
xác minh thông tin của một người .Kĩ thuật xác minh là kiểm tra sự phù hợp trên
phép so sánh một-một cụ thể là đối chiếu thông tin mới nhận về một người với
thông tin đã lưu trữ về người này có khớp hay không dựa trên thông tin khuôn
mặt.

Hình 0.1 So sách tác vụ nhận dạng khuôn mặt và xác minh khuôn mặt

Nguyễn Thị Thủy

3

Đại Học Công Nghệ


1.1.4. Những thách thức trong bài toán nhận dạng khuôn mặt
Những biến đổi quá lớn giữa các ảnh khuôn mặt khác nhau từ một người
cần nhận dạng gồm trạng thái cảm xúc trên khuôn mặt, ánh sáng, và các thay đổi
vị trí của khuôn. Giới hạn về số ảnh cần thiết cho việc nhận dạng, tập học không
thể bao quát được tất cả các biến đổi có thể có trên khuôn mặt của một người cần

 Wenyi Zhao, Arvindh Krishnaswamy, Rama Chellappa, Danie L.Swets,
ohn Weng (1998)[1] sử dụng phương pháp PCA (phân tích thành phần
chính) kết hợp LDA (phân tích độc lập tuyến tính). Bước 1, chiếu ảnh
khuôn mặt từ không gian ảnh thô sang không gian các không gian khuôn
mặt (Mỗi lớp khuôn mặt được nhận dạng sẽ được mô hình hóa bằng một
không gian khuôn mặt) dùng PCA. Bước 2, sử dụng phương pháp LDA để
tạo bộ phân loại tuyến tính có khả năng phân lớp các lớp khuôn mặt.
 Emmanuel Viennet và Francoise Fogelman Soulie (1998),[3] sử dụng
phương pháp mạng neural nhân tạo để xử lý và nhận dạng khuôn mặt
 Antonio J.Colmenarez và Thomas S.Huang (1998),[4] sử dụng kỹ thuật
học thị giác và phù hợp mẫu 2-D. Ông quan niệm bài toán dò tìm khuôn
mặt là thao tác phân loại khuôn mặt trong đó khuôn mặt thuộc về một lớp
và các đối tượng khác thuộc về lớp còn lại bằng cách ước lượng mô hình
xác suất cho mỗi lớp, và việc dò tìm sử dụng luật quyết định Maximumlikelihood.
 Kazunori Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor
Elagin, Hartmut Neven, and Christoph (1998),[5] nhận dạng khuôn mặt
dựa vào sóng Gabor và phương pháp phù hợp đồ thị bó. Với ý tưởng dùng
đồ thị để biểu diễn khuôn mặt, ảnh khuôn mặt được đánh dấu tại các vị trí
đã được xác định trước trên khuôn mặt, gọi các vị trí này chính là các vị trí
chuẩn. Khi thực hiện thao tác so khớp đồ thị với một ảnh, các điểm chuẩn
(Jets) sẽ trích ra từ ảnh và so sánh các điểm chuẩn này với tất cả các điểm
chuẩn tương ứng trong các đồ thị khác nhau, và đồ thị nào phù hợp nhất
với ảnh sẽ được chọn.
 Baback Moghaddam và Alex Pentland (1998) [6], đưa ra phương pháp phù
hợp thị giác trực tiếp từ các ảnh cần sử dụng cho mục đích nhận dạng
khuôn mặt và dùng độ đo xác suất để tính độ tương tự.
 Massimo Tistaelli và Enrico Grosso (1998) [7], đưa ra kỹ thuật thị giác
động. Vì khả năng quan sát các chuyển động của khuôn mặt và xử lý các
Nguyễn Thị Thủy


lượng bằng một mô hình của HMM.

Nguyễn Thị Thủy

6

Đại Học Công Nghệ


 Guodong Guo, stan Z.LI, Kap luk chan(17 january 2001), dùng phương
pháp SVM để nhận dạng khuôn mặt . Sử dụng chiến lược kết hợp nhiều bộ
phận loại nhị phân để xây dựng bộ phân loại SVM đa lớp.
1.3.2. Hướng tiếp cận của luận văn
Trong đề tài này chúng tôi sử dụng phương pháp Phát hiện khuôn mặt sử
dụng phương pháp Viola Jone Face Detection, Trích chọn đặc trưng sử dụng
phương pháp Weber Local Descripor, phân tích thành phần chính và phương
pháp phân lớp SVM để nhận dạng.
Sơ đồ hệ thống nhận dạng khuôn mặt được minh họa trong hình sau:

Hình 0.2 Mô hình nhận dạng khuôn mặt người

Nguyễn Thị Thủy

7

Đại Học Công Nghệ


CHƯƠNG 2: CÁC KỸ THUẬT CHO NHẬN DẠNG KHUÔN MẶT
I. Học máy



II. Các kỹ thuật sử dụng trong nhận dạng khuôn mặt
2.1. Phát hiện khuôn mặt (Viola Jone Face detection)
- Haar features: ý tưởng : độ sáng tối của các vùng trên gương mặt là khác
nhau. Ví dụ: vùng mắt tối hơn vùng má, vùng mũi sáng hơn vùng hai bên
- Kết quả của mỗi đặc trưng được tính bằng hiệu của tổng các pixel trong
miền ô trắng trừ đi tổng các pixel trong miền ô đen.

Hình 0.3 Haar Features sử dụng trong Viola Jones (Nguồn: bài báo Viola Jone face detection)

Hình 0.4 Applying on a give image (Nguồn: bài báo Viola Jone face detection)

Thuật toán viola jones sử dụng cửa sổ 24x24 để đánh giá các đặc trưng của
ảnh. Nếu xem xét tất cả các tham số của các đặc trưng, ta tính được khoảng
160.000+ đặc trưng cho mỗi cửa sổ.

Nguyễn Thị Thủy

9

Đại Học Công Nghệ


Hình 0.5 Ví dụng về các haar features (Nguồn: Bài báo Viola Jone face detection)

- Integral Image: giá trị ở pixel (x, y) là tổng của các pixel ở trên và bên
trái (x,y). Cho phép tính tổng của các pixel trong bất kì hình chữ nhật chỉ với 4
giá trị ở 4 góc.



∆

Strong clasifier Weak classifier
- Mặc dù một ảnh có thể chứa một hoặc nhiều khuôn mặt nhưng số lượng
vật không phải khuôn mặt vẫn lớn hơn rất nhiều => thuật toán nên tập trung vào
việc bỏ những vật không phải khuôn mặt một cách nhanh chóng.
- Một bộ phân lớp cascade (cascade classifier) được sử dụng tất cả các đặc
trưng được nhóm vào vài stage. Mỗi stage gồm một số các đặc trưng.

Nguyễn Thị Thủy

11

Đại Học Công Nghệ


- Mỗi stage được sử dụng để xác định một cửa số có phải là khuôn mặt hay
không

Hình 0.8 các bước loại khuôn mặt hay không

Hình 0.9 Kết quả Phát hiện khuôn mặt (Nguồn: bài báo Viola Jone Face Detection)

2.2. Trích chọn đặc trưng Weber local Descripor- WLD
Weber local Description (WLD): việc nhận thức của con người về một vật
mẫu không chỉ phụ thuộc vào sự thay đổi của một kích thích (âm thanh, ánh
sáng…) mà còn phụ thuộc vào cường độ gốc của kích thích. WLD gồm 2 thành
Nguyễn Thị Thủy


khi lượng tự giá trị Ɵ được đưa về [0, II]

Nguyễn Thị Thủy

13

Đại Học Công Nghệ


Hình 0.10 Tính kích thích sai khác (Nguồn WLD, tác giả Jie Chen,
Member, IEEE, Shiguang Shan, Member, IEEE, Chu He, Guoying Zhao,
Matti Pietikäinen, Senior Member, IEEE, Xilin Chen, Senior Member,
IEEE, Wen Gao, Fellow, IEEE)

Hình 0.11 ảnh trên là ảnh gốc ảnh thứ 2 là gốc trích chọn đặc trưng
(Nguồn WLD, tác giả Jie Chen, Member, IEEE, Shiguang Shan, Member,
IEEE, Chu He, Guoying Zhao, Matti Pietikäinen, Senior Member, IEEE,
Xilin Chen, Senior Member, IEEE, Wen Gao, Fellow, IEEE)

- WLD histogram
 Phần 0, 5: biến đổi của tần số cao.
 Phần 1, 4: biến đổi của tần số trung bình
 Phần 2, 3: biến đổi của tần số thấp
Nguyễn Thị Thủy

14

Đại Học Công Nghệ



Mục tiêu của phương pháp PCA là thực hiện giảm số chiều nhưng vẫn đảm
bảo tối đa sự phân tán dữ liệu. Có thể nói phương pháp trích chọn đặc trong tìm
cách giữ lại những thành phần thống kê quan trọng nhất của tập dữ liệu ban đầu.
Giả sử ta cần giảm số chiều của dữ liệu từ N chiều xuống còn K (K
(2.3)
…

là thành phần thứ m của vestor

. Mỗi có thể viết dưới

dạng:
=

+

+ …+

Như vậy mỗi phần tử của tập

%

(2.4)
mẫu bây giờ như là một vestor trong hệ cơ

sở .
Nguyễn Thị Thủy

17

Đại Học Công Nghệ


Bằng cách sử dụng M vectors cơ sở ta có thể biểu diễn mỗi quan sát. Điều

,

−

Ta có (
∑

)=
S

(2.9)
vậy
≤K ∑

( )

(2.10)

K
Ma trận phân bố các phần tử của tập mẫu O là:
S=
(2.11)

∑

Để sai số xấp xỉ bé nhất thì phải chọn
của S thoả mãn công thức:
(2.12) ∑
= −
−