ĐẠI HỌC CÔNG NGHỆ
ĐẠI HỌC QUỐC GIA HÀ NỘI


Nguyễn Thành Trung TRÍCH CHỌN ĐẶC TRƯNG TRÊN KHUÔN MẶT
NGƯỜI
KHÓA LUẬN TỐT NGHIỆP HỆ CHÍNH QUY

Ngành: Công Nghệ Thông Tin
Hà Nội – 2010
ĐẠI HỌC CÔNG NGHỆ
ĐẠI HỌC QUỐC GIA HÀ NỘI

Nguyễn Thành Trung

TRÍCH CHỌN ĐẶC TRƯNG TRÊN KHUÔN MẶT

Hà Nội, ngày 20 tháng 5 năm 2010
Nguyễn Thành Trung

Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung ii
Tóm tắt Bài toán trích chọn đặc trưng trên ảnh mặt người là bài toán cơ bản và quan trọng
trong nhóm các bài toán về xử lý ảnh mà đầu vào là ảnh 2D. Đầu ra của nó được sử
dụng làm đầu vào cho bài toán nhận dạng mặt, nhận dạng cảm xúc, Trong khóa luận
này chúng tôi đưa ra một phương pháp lai và xây dựng hệ thống áp dụng phương pháp
lai này nhằm mục đích nhận dạng các điểm đặc trưng trong các bức ảnh mặt người

3.2 Phương pháp trích chọn đặc trưng hình học 14
3.2.1 Tổng quan 14
3.2.1 Xác định các điểm đặc trưng trên khuôn mặt 14
3.2.2 Phát hiện hình dáng các bộ phận trên khuôn mặt 16
3.2.3 Nhân trắc học và áp dụng với phương pháp trích chọn đặc trưng hình học 17
3.3 Trích chọn đặc trưng diện mạo 19
3.3.1 Tổng quan 19
3.3.2 Mã LBP 19
3.3.3 Bộ lọc Gabor 23
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung iv Chương 4 Xây dựng hệ thống nhận dạng các điểm đặc trưng 25
4.1 Tổng quan về hệ thống 25
4.2 Thiết kế hệ thống 27
4.3 Thực nghiệm 33
4.3.1 Phát hiện khuôn mặt trong ảnh 33
4.3.2 Xác định các vùng đặc trưng 36
4.3.3 Xác định 6 điểm đặc trưng 41
4.3.3 Xác định 14 điểm đặc trưng 46
Chương 5 Tổng kết và hướng phát triển 55
Tài liệu tham khảo 56
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung v


Hình 24 – Chia khuôn mặt thành 3 phần. 37
Hình 25 – Một số ví dụ về xác định vùng mắt phải. 39
Hình 26 – Một số ví dụ về xác định vùng mắt trái 40
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung vi Hình 27 – Một số ví dụ xác định vùng miệng (a) đúng, (b) sai. 41
Hình 28 – Đánh dấu hàng có histogram lớn nhất. 41
Hình 29 – Xác định vị trí mống mắt bằng histogram. 42
Hình 32 – Xác định mống mắt là tâm vùng đặc trưng. 42
Hình 31 – Một ví dụ dùng thuật toán phát hiện cạnh Canny sau khi lấy ngưỡng. 43
Hình 32 – Ví dụ về xác định 2 lỗ mũi. 43
Hình 33 – Xác định đường mép bằng histogram (a)Trường hợp chính xác, (b) Trường hợp không chính xác. 44
Hình 34 – Ví dụ lấy ngưỡng trong khoảng [5 50] 45
Hình 35 – Ví dụ xác định cạnh bằng thuật toán Canny. 45
Hình 36 – Ví dụ xác định 2 điểm khóe miệng. 46
Hình 37 – Thực nghiệm 8 điểm đặc trưng. 46
Hình 38 – Ví dụ về xác định 8 điểm đặc trưng. 54
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung vii Danh sách bảng

Bảng 1 – Tỷ lệ khoảng cách giữa các mốc. 18

cuộc sống của từng cá thể. Giao tiếp là một nhu cầu xã hội cơ bản, nó xuất hiện sớm
nhất trong đời sống của mỗi người và là yếu tố ảnh hưởng trực tiếp tới quá trình hình
thành lên tâm sinh lý của con người. Hơn thế nữa, giao tiếp giúp con người có thể
truyền tải thông tin, học hỏi tri thức và thể hiện cảm xúc. Nhờ có giao tiếp làm cho con
người văn hóa, xã hội văn minh và đất nước phát triển. Nhận thấy tầm quan trọng của
hoạt động giao tiếp nên con người đã bỏ rất nhiều thời gian và công sức vào nghiên
cứu yếu tố quyết định thành công của việc giao tiếp, không chỉ trong lĩnh vực giao tiếp
giữa con người với con người, mà ngày nay con người đã bắt đầu nghiên cứu về các hệ
thống tương tác người – máy. Mặt khác, trong giao tiếp thì khuôn mặt là nơi con người
thể hiện suy nghĩ, tình cảm, thái độ nên để con người và máy tính có thể tương tác với
nhau tự nhiên hơn thì các hệ thống được xây dựng dựa trên nền tảng là những thay đổi
của khuôn mặt. Muốn xác định được các thay đổi đó cần trích chọn được ra các yếu tố
riêng biệt của từng khuôn mặt, trên khía cạnh đó bài toán Trích chọn đặc trưng trên
khuôn mặt ra đời là động lực to lớn thúc đẩy sự phát triển của các hệ thống tương tác
người – máy tự động. Là một bài toán cơ bản và đã có rất nhiều các giải pháp trích
chọn đặc trưng khác nhau được đưa ra nhưng hầu hết các giải pháp trước đó đều gặp
khó khăn trong việc xử lý các bức ảnh khuôn mặt với độ phân giải khác nhau hay với
những điều kiện ánh sáng không thuận lợi. Trong khóa luận này, chúng tôi sẽ trình bày
về phương pháp lai để xác định các điểm đặc trưng trên khuôn mặt. Phương pháp lai
này sẽ khắc phục được những khó khăn mà các phương pháp trước đó gặp phải như
ảnh hưởng của điều kiện ánh sáng hay một số nhiễu trong ảnh. Dựa vào phương pháp
lai này chúng tôi xây dựng lên một hệ thống để xác định 20 điểm đặc trưng, hệ thống
đã được chạy thử nghiệm trên bộ dữ liệu Cohn – Kanade và cho kết quả khả quan.
Phần còn lại của khóa luận được trình bày như sau: tại Chương 2 chúng tôi giới thiệu
tổng quan về bài toán phát hiện khuôn mặt người trong ảnh 2D. Tiếp theo, chúng tôi
Chương 1. Giới thiệu Nguyễn Thành Trung 2


2.2.1 Chiến lược phát hiện khuôn mặt
Hiện nay có rất nhiều phương pháp nhận dạng khuôn mặt người, dựa vào các tính chất
của các phương pháp, ta có thể chia ra làm hai hướng tiếp cận chính như sau:
Hướng tiếp cận dựa trên đặc trưng cơ bản
Đây là phương pháp dựa chủ yếu trên những hiểu biết của con người về khuôn mặt. Ví
dụ như những bộ phận trên khuôn mặt mắt, mũi, miệng, ngoài ra còn có thể về hình
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung 4 dạng, đường nét hay cấu tạo của khuôn mặt. Trong phướng pháp này có 2 chiến lược
tiếp cận khác nhau là:
Từ dưới lên (Bottum-up): Cố gắng xác định từng đặc trưng riêng biệt sau đó nhóm
chúng lại với nhau và kiểm tra lại. Phương pháp này có ưu điểm là không bị ảnh
hưởng của hướng xoay hay di chuyển của khuôn mặt nhưng có một số giới hạn
sau:
 Thứ nhất, các đặc trưng dễ bị ảnh hưởng bởi các yếu tố như độ sáng tối, hay
nhiễu trong ảnh.
 Thứ hai, các bước thực hiện trong cách tiếp cận này đòi hỏi chi phí quá đắt
về thời gian nên không đáp ứng được yêu cầu thời gian thực.
Từ trên xuống (Top-down): Tạo ra một mẫu hay model về khuôn mặt chuẩn có thể
là 2 chiều hoặc 3 chiều, sau đó cố gắng ghép mẫu đó vào bức ảnh. Phương pháp
này có những nét chính sau:
 Xây dựng mẫu,
 Tìm kiếm trên toàn bộ ảnh đề ghép mẫu với những thực thể trên ảnh đề tìm
ra.
Một phương pháp tiếp cận theo hướng từ trên xuống là Active Shape Model
được đưa ra bởi Cootes tại [24].

thông thường. Những bước sử dụng để xác định được đường cắt của phần đầu trong
bức ảnh:
 Xác định đường viền bao xung quanh trọng tâm C và trục tọa độ theo chiều dọc
(trục y) của bóng.
 Xác định những phần cho đường cong lõm (có đạo hàm âm) nhỏ nhất trên
đường viền của bóng.
 Tính độ thừa của những phần nhô ra đề xác định tỷ lệ chu vi (trừ những phần
cắt) mục đích là đo độ dài của đường cắt.
 Kiểm tra những phần nhô ra vượt quá ngưỡng thấp.
 Kiểm tra những đường cắt giao với trục y của bóng.
 Chọn đường cắt đầu tiên nếu có nhiều đường cắt thỏa mãn.
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung 6
Hình 1 Xác định đường cắt của đầu.

Sau khi đường cắt L của đầu được xác định vùng đầu được xác định dễ dàng – là phần
trên tính từ đường cắt. Để xác định được vùng đầu chính xác đưa ra một trọng số của
đầu là H = α * W với W là độ rộng của đầu và α = 1.4. Sau khi xác định được vị trí của
phần đầu thì bức ảnh được chuyển sang định dạng gray-scale (đen - trắng) sau đó cân
bằng histogram và điều chỉnh kích thước về độ phân giải đánh giá. Sau đó sử dụng
mạng nơron 3 tầng đề xác định hướng của đầu. Đầu vào là bức ảnh (sau khi đã nhân
xoắn với ma trận mặt nạ Gauss và 3 mẫu quay – bất biến Gabor). Đầu ra của mạng là 3
hướng quay của đầu : 1) trực diện hoặc gần trực diện 2) Nhìn sang hoặc nhìn nghiêng
3) Trường hợp nhìn ra sau hoặc không xác định được.
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung

+ Đặc trưng cạnh (Edge Features):

+ Đặc trưng đường thẳng (Line Features):

+ Đặc trưng tâm – xung quanh (Center – surround Features):

Dùng các đặc trưng trên ta có thế tính được các giá trị của đặc trưng giống Haar bằng
cách lấy hiệu tổng giá trị điểm ảnh trong vùng màu đen và tổng giá trị điểm ảnh trong
vùng màu trắng theo công thức sau:
f
giống Haar
=

 ù đ –

 ù ắ
Như vậy, để tính giá trị của đặc trưng giống Haar thì phải tính tổng giá trị từng pixel
để tính giá trị của đặc trưng giống Haar cho tất cả vị trí trên ảnh cần chi phí tính toán
quá lớn, không đáp ứng được yêu cầu thời gian thực. Do đó Viola [25] đưa ra một
cách thức tính mới như sau:
+ Tính từ một bức ảnh bình thường thông qua một số các toán tử trên pixel ta thu đuợc
một bức ảnh mới gọi là ảnh tích hợp:
ii(x,y) = ∑(x‟,y‟) (x‟ < x,y „ <y)
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung 9 s(x,y) = s(x,y-1) + i(x,y) s(x,-1) = 0



+



} - {



+



} +




Nhưng trong ảnh tích hợp chúng ta chỉ phải thực hiện phép tính đơn giản:



= P4 – (P1 + P2) + P3
Tiếp theo để lựa chọn đặc trưng giống Haar dùng cho thiết lập ngưỡng Viola và Jones
[25] dùng phương pháp học máy AdaBoost.
2.3.2 Phương pháp học máy Adaboost
Tổng quan
Adaboost là phương pháp học máy được xây dựng bởi Yoav Freund và Robert
Schapire [31] vào năm 1995. Là một cải tiến của hướng tiếp cận kết hợp các bộ phân

j
(x)

= {
0 ượ ạ
1 ế 



<




Trong đó :
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung 11 + x : cửa sổ con (thường dùng là 24x24 pixel),
+ 

: ngưỡng,
+ f
j
: giá trị đặc trưng giống Haar,
+ p
j


, 

=1

2. Với mỗi đặc trưng j, huấn luyện bộ phân lớp h
j
ứng với đặc trưng j. Lỗi
được đánh giá như sau : wt, ej =

|



|


3. Chọn bộ phân lớp ht với lỗi et là nhỏ nhất
4. Cập nhật lại trọng số
Wt+1,I = Wt,I 

1
với ei = 0 nếu mẫu xi được phân lớp đúng và ei=1
trường hợp ngược lại.
=

1 

5. Bộ phận lớp cuối cùng là bộ phân lớp mạnh được xác định như sau
H(x) = 

nhanh các chênh lệch độ xám của các hình chữ nhật trong ảnh gốc. Ước lượng các đặc
trưng giống Haar. Kết quả ước lượng sẽ được đưa qua bộ điều chỉnh Adaboost để loại
bỏ bớt các đặc trưng không cần thiết để giảm số lượng các đặc trưng. Các đặc trưng
còn lại sẽ được đưa qua bộ phân lớp đề có quyết định xem có là mặt hay không. Mỗi
bộ phân loại yếu sẽ quyết định kết quả cho một đặc trưng giống Haar, được xác định
ngưỡng đủ nhỏ sao cho có thể vượt qua tất cả các bộ dữ liệu trong tập mẫu huấn luyện.
Trong quá trình xác định khuôn mặt người, mỗi vùng ảnh con sẽ được kiểm tra với các
đặc trưng trong chuỗi đặc trưng giống Haar, nếu có một đặc trưng giống Haar nào đó
không cho ra kết quả là khuôn mặt người thì các đặc trưng khác không cần xét nữa.
Thứ tự xét các đặc trưng giống Haar trong chuỗi sẽ được xác định dựa vào trọng số
của đặc trưng đó, do Adaboost quyết định dựa vào số lần và thứ tự xuất hiện của các
đặc trưng giống Haar.
Chương 3 : Trích chọn đặc trưng trên khuôn mặt Nguyễn Thành Trung 13 Chương 3
Tổng quan về các phương pháp trích chọn đặc
trưng

Trong chương này phần đầu chúng tôi sẽ trình bày tổng quan về các hướng tiếp cận
để trích chọn đặc trưng. Tiếp đó chúng tôi sẽ trình bày về hai hướng tiếp cận chính là
trích chọn đặc trưng là trích chọn đặc trưng hình học và đặc trưng diện mạo.

3.1 Các hướng tiếp cận

Hiện nay có rất nhiều các phương pháp trích dẫn dữ liệu từ khuôn mặt, mỗi phương
pháp có những ưu nhược điểm và đặc điểm riêng nhưng theo cách thức mà những

là 2 vùng tối nhất và sử dụng các điều kiện về hình học như vị trí bên trong mặt, kích
thước và hình dáng để xác định. Phương pháp dùng phép lặp lấy ngưỡng để phát hiện
ra vùng tối nhất với điều kiện ánh sáng thay đổi. Xác định lỗ mũi cũng tương tự như
xác định 2 mống mắt.

Hình 6  Lặp để xác định ngưỡng trên cửa sổ tìm kiếm

Để xác định khóe môi, xác định vị trí theo chiều dọc sử dụng phép chiếu toàn bộ theo
trục x. Vị trí theo trục x được xác định bằng phép chiếu toàn bộ trên ảnh của cạnh
miệng.
Chương 3 : Trích chọn đặc trưng trên khuôn mặt Nguyễn Thành Trung 15
Hình 7  Phép chiếu toàn bộ.
Để dò tìm khóe miệng sử dụng hai phương pháp:
+ Tìm điểm ảnh có độ xám lớn nhất trong các vùng dự kiến sau đó tìm xác định điểm
khóe miệng sẽ nằm trên đường giữa 2 môi.
+ Tìm phần có giá trị điểm ảnh tối nhất trên đường giữa hai môi, chắc chắn khoảng
cách giữa 2 vùng đảm bảo điều kiện thỏa mãn về khoảng cách giữa 2 khóe miệng trên
thực tế và chọn vị trí có độ tương phản là cao nhất.

Hình 8  Xác định 2 đường biên ngang của môi.

Phương pháp trên có một số những ưu điểm như thỏa mãn điều kiện thực thi với thời
gian thực. Một số phương pháp có thể áp dụng với những độ phân giải khác nhau (với
cả độ phân giải thấp), tuy nhiên vẫn có trường hợp phát hiện ra lông mày thay vì mắt.

tìm và phát hiện trong chuỗi ảnh. Thuật toán sử dụng các trạng thái dò tìm khác nhau
là cải tiển của thuật toán Lucas-Kanade [11]. Tuy nhiên có giới hạn là chuyển động
của đầu.

Trích đoạn Thiết kế hệ thống

---