Lời cám ơn
Xin chân thành cám ơn các thầy, các cô thuộc khoa Công Nghệ Thông Tin trường
Đại Học Khoa Học Tự Nhiên đã tận tình dạy dỗ, truyền đạt cho chúng em nhiều kiến
thức quý báu.
Chúng em xin gửi lời cám ơn sâu sắc đến Thầy Lê Hoàng Thái, Thầy đã tận tình
hướng dẫn, giúp đỡ chúng em trong suốt thời gian thực hiện đề tài.
Xin chân thành cảm ơn các bạn trong chuyên ngành Khoa Học Máy Tính khoa Công
Nghệ Thông Tin đã giúp đỡ chúng tôi rất nhiều trong quá trình thực hiện đề tài.
Cuối cùng, lời cám ơn sâu sắc nhất xin gởi đến cha mẹ vì ơn sinh thành và giáo
dưỡng.
Xin cám ơn!
Thành phố Hồ Chí Minh, tháng 7/2007
Nhóm sinh viên thực hiện
Đỗ
Thanh Toàn – Đoàn Ngọc Khiêm
Trình bày luận văn
Nội dung của luận văn được tổ chức và trình bày trong 6 chương:
Chương 0: Mở đầu: Giới thiệu về đề tài.
Chương 1: Tổng quan về bài toán nhận dạng mặt người và các cách tiệp cận.
Chương 2:Dò tìm khuôn mặt trong ảnh.
Chương 3: Trích chọn đặc trưng cho ảnh khuôn mặt.
Chương 4:Nhận dạng ảnh khuôn mặt.
Chương 5: Ứng dụng thử nghiệm.
Chương 6: Đánh giá và hướng phát triển.
2
Mục lục
Danh sách các hình
Hình 1.3.1 – 1 : Mô hình tổng quát của bài toán nhận dạng mặt người 18
Hình 2.2.1 – 1 : Sơ đồ hệ dò tìm khuôn mặt bằng AdaBoost – NN 23
Hình 2.2.2 – 1 : Minh hoạ hệ dò tìm khuôn mặt bằng AdaBoost-Adaboost 24
mặt trong tập ảnh tự tạo 43
Bảng 3.3.4 – 1 : Kết quả so sánh PCA và ICA trên bộ dữ liệu trong nước 44
Hình 3.3.4 – 1 :Biểu đồ kết quả thử nghiệm hai phương pháp rút trích đặc trưng PCA – ICA
trên bộ dữ liệu tự tạo: thống kê trên bộ test 44
Hình 3.3.4 – 2 : Các ảnh với phương pháp rút trích PCA bị nhận dạng sai với bộ dữ liệu tự tạo
45
Hình 4.2.1 – 1 :Sơ đồ hệ thống nhận dạng mặt người dùng SVM 46
Hình 4.2.2 – 1 :Sơ đồ hệ thống nhận dạng mặt người dùng mạng Nơron 48
Bảng4.3.2 – 1 : Thời gian huấn luyện SVM và NN bộ dữ liệu nước ngoài 50
Bảng 4.3.2 – 2 : Thời gian nhận dạng thư mục test nước ngoài bằng SVM và NN 51
Bảng 4.3.2 – 3 : Kết quả so sánh nhận dạng SVM và NN trên bộ dữ liệu nước ngoài 52
Hình 4.3.2 – 1 : Biểu đồ kết quả thử nghiệm hai phương pháp nhận dạng SVM và NN trên 52
bộ dữ liệu nước ngoài: thống kê trên bộ test 52
Bảng 4.3.4 - 1: Thời gian huấn luyện SVM và NN bộ dữ liệu trong nước 52
Bảng 4.3.4 - 2: Thời gian nhận dạng thư mục test trong nước bằng SVM và NN 53
Bảng 4.3.4 - 3: Kết quả so sánh SVM và NN trên bộ dữ liệu trong nước 53
Hình 4.3.4 - 1 :Biểu đồ kết quả thử nghiệm hai phương pháp nhận dạng SVM và NN 54
trên bộ dữ liệu trong nước: thống kê trên bộ test 54
4
Hình 5.2.1 – 1 : Một số ảnh train trong ứng dụng 55
Hình 5.2.1 – 2 : Một số ảnh test trong ứng dụng 56
Hình 5.2.1 – 3 : 1 đoạn Video trong ứng dụng 56
Hình 5.2.3 – 1 : Sơ đồ quá trình tách frame từ video 58
Bảng 5.3-1 : Kết quả nhận dạng trên ảnh tĩnh 59
Hình A.2.2 – 1 : Strong classifier H(x) được xây dựng bằng AdaBoost 70
Hình A.2.2 - 2: Ví dụ minh hoạ sự kết hợp của 3 phân lớp tuyến tính 71
Bảng A.2.2 – 1 : Thuật toán AdaBoost 72
Bảng A.2.2 – 2 : Một phiên bản khác của thuật toán AdaBoost 75
Hình A.2.3 - 1 : Các đặc trưng Haar-like cơ sở 76
Hình A.2.3 - 2: Các miền hình học đặc trưng Haar – like 76
Hình A.5.1 - 1 : Siêu mặt phân cách tuyến tính cho trường hợp phân cách được và 111
kí hiệu các support véc tơr chính là các điểm được bao bằng viền tròn 111
Hình A.6.1-1: Mô hình một Nơron thần kinh 117
Hình A.6.2.1 - 1: Mô hình Nơron nhân tạo 118
Hình A.6.2.1.1 - 1: Mô hình toán học tổng quát của một Nơron 119
Hình A.6.2.1.3 - 1: Các xử lý tương đương trong một Nơron 120
Hình A.6.2.1.4 - 1: Hoạt động tính toán của Nơron 122
Hình A.6.2.2 - 1: Năm sơ đồ liên kết cơ bản của mạng Nơron: (a) mô hình mạngtruyền thẳng
một lớp; (b) mô hình mạng truyền thẳng đa lớp; (c) mô hình: một Nơron đơn với liên kết phản
hồi đến chính nó; (d) mô hình: mạng lặp một lớp; (e) mô hình: mạng lặp đa lớp 125
Hình A.6.2.2 - 2: Liên kết bên trong của phản hồi 126
Hình A.6.2.3 - 1: Ma trận trọng số nối kết 127
Hình A.6.2.3 - 2 : Học có giám sát 128
Hình A.6.2.3 - 3 : Học tăng cường 128
Hình A.6.2.3 - 4: Học không giám sát 129
Hình A.6.2.3 - 5: Luật học phát sinh trọng số (di không được cung cấp trong trường hợp học
không giám sát) 131
Hình A.6.2.4 - 1: Một số dạng hàm dùng trong ánh xạ từ đầu vào -> đầu ra 133
6
Bảng A.6.2.4 – 1 : Một số hàm truyền thông dụng trong mạng Nơron 134
Hình A.6.2.5 – 1 : Các loại liên kết của Nơron 135
Hình A.6.3.1 - 1 : Cấu hình mạng RBF tiêu biểu 136
Hình A.6.3.1 - 2 : Những tập phân lớp trong không gian 2 chiều 138
HìnhA.6.3.1 - 3 : Ánh xạ các tập phân lớp lên neuron RBF 139
Hình A.6.4.1-1: Minh họa mạng lan truyền thẳng ba lớp 141
Hình B.3.1 – 1: Giao diện chính của chương trình 150
Hình B.3.2 -1: Màn hình minh họa chức năng test trên video 151
Hình B.3.2 – 2 : Giao diện của chương trình khi hoạt động 152
Hình B.3.3 – 1 : Màn hình tham số huấn luyện cho mạng nơron 153
Hình B.3.4 -1 : Màn hình đọc dữ liệu đã huấn luyện 154
Hình 3.3.2 – 1 :Biểu đồ kết quả thử nghiệm hai phương pháp rút trích đặc trưng PCA – ICA
trên bộ dữ liệu CalTech: thống kê trên bộ test 40
Hình 3.3.2 – 2: Các ảnh với phương pháp rút trích PCA bị nhận dạng sai với bộ dữ liệu nước
ngoài 41
Hình 3.3.2 – 3 : Các ảnh với phương pháp rút trích ICA bị nhận dạng sai với bộ dữ liệu nước
ngoài 42
Hình 3.3.3 – 1 : Một số ảnh quay phải, trái, quá tối hoặc độ sáng không đồng đều trên khuôn
mặt trong tập ảnh tự tạo 43
Bảng 3.3.4 – 1 : Kết quả so sánh PCA và ICA trên bộ dữ liệu trong nước 44
Hình 3.3.4 – 1 :Biểu đồ kết quả thử nghiệm hai phương pháp rút trích đặc trưng PCA – ICA
trên bộ dữ liệu tự tạo: thống kê trên bộ test 44
Hình 3.3.4 – 2 : Các ảnh với phương pháp rút trích PCA bị nhận dạng sai với bộ dữ liệu tự tạo
45
Hình 4.2.1 – 1 :Sơ đồ hệ thống nhận dạng mặt người dùng SVM 46
Hình 4.2.2 – 1 :Sơ đồ hệ thống nhận dạng mặt người dùng mạng Nơron 48
Bảng4.3.2 – 1 : Thời gian huấn luyện SVM và NN bộ dữ liệu nước ngoài 50
Bảng 4.3.2 – 2 : Thời gian nhận dạng thư mục test nước ngoài bằng SVM và NN 51
Bảng 4.3.2 – 3 : Kết quả so sánh nhận dạng SVM và NN trên bộ dữ liệu nước ngoài 52
Hình 4.3.2 – 1 : Biểu đồ kết quả thử nghiệm hai phương pháp nhận dạng SVM và NN trên 52
bộ dữ liệu nước ngoài: thống kê trên bộ test 52
Bảng 4.3.4 - 1: Thời gian huấn luyện SVM và NN bộ dữ liệu trong nước 52
Bảng 4.3.4 - 2: Thời gian nhận dạng thư mục test trong nước bằng SVM và NN 53
Bảng 4.3.4 - 3: Kết quả so sánh SVM và NN trên bộ dữ liệu trong nước 53
Hình 4.3.4 - 1 :Biểu đồ kết quả thử nghiệm hai phương pháp nhận dạng SVM và NN 54
9
trên bộ dữ liệu trong nước: thống kê trên bộ test 54
Hình 5.2.1 – 1 : Một số ảnh train trong ứng dụng 55
Hình 5.2.1 – 2 : Một số ảnh test trong ứng dụng 56
Hình 5.2.1 – 3 : 1 đoạn Video trong ứng dụng 56
Hình 5.2.3 – 1 : Sơ đồ quá trình tách frame từ video 58
Hình A.4.10.3 - 1:minh họa kiến trúc 2 trong mô hình ICA 107
Hình A.4.10.3 - 2:Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA 108
Hình A.4.10.3 - 3:Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA trên pixel 108
Hình A.4.11.1- 2. Sự phân phối dữ liệu trong không gian 3 chiều và các trục tương ứng của
PCA và ICA. Mỗi trục là một cột của ma trận nghịch đảo của ma trận trộn W-1 tìm thấy bới
PCA và ICA. Các trục của PCA trực giao trong khi ICA thì không, do đó khoảng cách các
điểm dữ liệu sẽ thay đổi khi chiếu xuống không gian mới này 110
Hình A.5.1 - 1 : Siêu mặt phân cách tuyến tính cho trường hợp phân cách được và 111
kí hiệu các support véc tơr chính là các điểm được bao bằng viền tròn 111
Hình A.6.1-1: Mô hình một Nơron thần kinh 117
Hình A.6.2.1 - 1: Mô hình Nơron nhân tạo 118
Hình A.6.2.1.1 - 1: Mô hình toán học tổng quát của một Nơron 119
Hình A.6.2.1.3 - 1: Các xử lý tương đương trong một Nơron 120
Hình A.6.2.1.4 - 1: Hoạt động tính toán của Nơron 122
Hình A.6.2.2 - 1: Năm sơ đồ liên kết cơ bản của mạng Nơron: (a) mô hình mạngtruyền thẳng
một lớp; (b) mô hình mạng truyền thẳng đa lớp; (c) mô hình: một Nơron đơn với liên kết phản
hồi đến chính nó; (d) mô hình: mạng lặp một lớp; (e) mô hình: mạng lặp đa lớp 125
Hình A.6.2.2 - 2: Liên kết bên trong của phản hồi 126
Hình A.6.2.3 - 1: Ma trận trọng số nối kết 127
Hình A.6.2.3 - 2 : Học có giám sát 128
Hình A.6.2.3 - 3 : Học tăng cường 128
Hình A.6.2.3 - 4: Học không giám sát 129
Hình A.6.2.3 - 5: Luật học phát sinh trọng số (di không được cung cấp trong trường hợp học
không giám sát) 131
11
Hình A.6.2.4 - 1: Một số dạng hàm dùng trong ánh xạ từ đầu vào -> đầu ra 133
Bảng A.6.2.4 – 1 : Một số hàm truyền thông dụng trong mạng Nơron 134
Hình A.6.2.5 – 1 : Các loại liên kết của Nơron 135
Hình A.6.3.1 - 1 : Cấu hình mạng RBF tiêu biểu 136
Hình A.6.3.1 - 2 : Những tập phân lớp trong không gian 2 chiều 138
Trong nước:
• Nhận dạng mặt người dựa vào thông tin dựa vào thông tin khuôn mặt
xuất hiện trên ảnh. Sử dụng phương pháp SVM và HMM [2].
• Nhận dạng mặt người dựa trên FSVM và AdaBoost [1].
• Đề xuất phương pháp rút trích đặc trưng hình học (phát hiện mắt,
miệng) cho bài toán nhận dạng mặt người [3].
Ở giai đoạn dò tìm khuôn mặt phần lớn chỉ áp dụng phương pháp Adaboost, tuy
nhiên phương pháp Adaboost có nhược điểm là phát hiện ra đôi khi sai ảnh khuôn mặt.
13
Có nhiều phương pháp chứng thực lại ảnh khuôn mặt sau khi được phát hiện bởi
Adaboost, trong luận văn chúng tôi so sánh các phương pháp đã được thực hiện là
Adaboost, Adaboost + NN, Adaboost + RBF và đề xuất của chúng tôi là Adaboost +
Adaboost.
Sau khi dò tìm được khuôn mặt, phương pháp trích chọn đặc trưng truyền thống
được sử dụng là phương pháp chia ô lưới thông thường, hoặc phương pháp PCA, tuy
nhiên các phương pháp này còn có những yếu điểm vì vậy chúng tôi áp dụng phương
pháp rút đặc trưng mới ICA. Sau đó, quá trình phân lớp sẽ được thực hiện bằng
phương pháp SVM, Mạng Nơron và so sánh kết quả của hai phương pháp phân lớp
này. Sau đó, từ các kết quả lý thuyết và thực nghiệm chúng tôi lựa chọn ra phương
pháp tốt nhất trong từng giai đoạn để tạo thành một hệ thống tối ưu.
Hệ thống đề xuất cũng được kiểm chứng thông qua một ứng dụng thực tế: truy tìm đối
tượng trong video. Cụ thể, bài toán có thể phát biểu ngắn gọn như sau: Cho trước một
CSDL ảnh mặt người các đối tượng cần truy tìm và một đoạn video quay lại khu vực
cần kiểm soát. Vấn đề đặt ra là: xây dựng hệ thống truy tìm tự động trả lời câu hỏi: ảnh
mặt nguời các đối tượng cần truy tìm có xuất hiện trong đoạn video đã quay hay
không? Bài toán này được áp dụng rộng rãi cho nhiều lĩnh vực khác nhau: Phát hiện
khủng bố, ngăn chặn truy cập bất hợp pháp, …
Đó chính là nội dung đề tài khóa luận của chúng tôi: “Đề xuất phương pháp truy tìm
ảnh mặt người trên video”
Về nội dung, luận văn tập trung vào các vấn đề sau:
rất nguy hiểm khi bị mất thẻ và người nhặt được thẻ biết được mật khẩu. Cách giải
quyết tốt là sử dụng song mật khẩu. Nghĩa là: để rút được tiền, người dùng cần thực
hiện các thao tác:
+ Đưa thẻ vào
+Nhập mật khẩu
+Nếu đúng, đưa tiếp khuôn mặt vào
+Nếu hợp lệ thì cho rút tiền
+Nếu không hợp lệ thì không cho rút.
Hệ thống trên sử dụng khuôn mặt như là mật khẩu thứ hai. Nếu hệ thống nhận dạng
chính xác thì đây là một cách rất tốt để tránh sự truy cập thẻ bất hợp pháp của kẻ xấu.
16
- Trong lĩnh vực kinh doanh thương mại điện tử: Với sự phát triển của khoa học công
nghệ, việc kinh doanh trên mạng đang trở nên phổ biến. Hai bên đối tác không cần gặp
mặt trực tiếp (face to face) mà chỉ cần trao đổi trên mạng thông qua hình ảnh của người
đại diện. Song có rất nhiều vụ lừa đảo, giả danh,…Làm sao để biết được người đang
giao dịch với mình là thật hay giả?
- Khi lần theo dấu vết của một đối tượng tình nghi, làm sao để biết được đó có phải là
đối tượng mà ta đang tìm kiếm hay không?
- Ngăn chặn việc xuất/ nhập cảnh bất hợp pháp: Một số người không được quyền
xuất/nhập cảnh vào một nước. Nhưng họ cố tình khai gian giấy tờ để xuất/nhập cảnh
bất hợp pháp. Làm sao để ngăn chặn được sự gian lận này?
- Truy tìm đối tượng dựa theo mô tả: Công an đang truy tìm hung thủ cho một vụ án,
nhân chứng nhớ được khuôn mặt của hung thủ, làm sao xác định được thông tin về
hung thủ một cách nhanh nhất khi trong tay có một csdl ảnh rất lớn, có chứa ảnh của
hung thủ.
1.2. Những khó khăn đề ra trong bài toán nhận dạng mặt người
- Những biến đổi quá lớn giữa các ảnh khuôn mặt của cùng một người cần nhận dạng
gồm trạng thái cảm xúc trên khuôn mặt, ánh sáng, các vị trí thay đổi của khuôn mặt
(nghiêng trái , phải, ngước lên, cuối xuống).
- Giới hạn về số ảnh cần thiết cho việc huấn luyện, tập các ảnh khuôn mặt huấn luyện
Emmanuel Viennet và Francoise Fogelman Soulie (1998) , sử dụng phương pháp
mạng neural nhân tạo để xử lý và nhận dạng khuôn mặt.
Antonio J.Colmenarez và Thomas S.Huang (1998), sử dụng kỹ thuật học thị giác và
phù hợp mẫu 2-D. Ông quan niệm bài toán dò tìm khuôn mặt là thao tác phân loại
khuôn mặt trong đó khuôn mặt thuộc về một lớp và các đối tượng khác thuộc về
lớp còn lại bằng cách ước lượng mô hình xác suất cho mỗi phân lớp, và việc dò
tìm sử dụng luật quyết định Maximum-likelihood.
Kazunori Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor Elagin,
Hartmut Neven, and Christoph (1998), nhận dạng khuôn mặt dựa vào sóng Gabor
và phương pháp phù hợp đồ thị bó. Với ý tưởng dùng đồ thị để biểu diễn khuôn
mặt, ảnh khuôn mặt được đánh dấu tại các vị trí đã được xác định trước trên khuôn
mặt, gọi các vị trí này chính là các vị trí chuẩn. Khi thực hiện thao tác so khớp đồ
19
thị với một ảnh, các điểm chuẩn (Jets) sẽ trích ra từ ảnh và so sánh các điểm chuẩn
này với tất cả các điểm chuẩn tương ứng trong các đồ thị khác nhau, và đồ thị nào
phù hợp nhất với ảnh sẽ được chọn.
Baback Moghaddam và Alex Pentland (1998) , đưa ra phương pháp phù hợp thị
giác trực tiếp từ các ảnh cần sử dụng cho mục đích nhận dạng khuôn mặt và dùng
độ đo xác suất để tính độ tương tự.
Massimo Tistaelli và Enrico Grosso (1998), đưa ra kỹ thuật thị giác động. Vì khả
năng quan sát các chuyển động của khuôn mặt và xử lý các tính huống theo dự định
là thông tin rất quan trọng, từ đó nhận được mô tả đầy đủ hơn về khuôn mặt cho
mục đích thu thập mẫu và nhận dạng.
Jeffrey Huang, Chengjun Liu, và Harry Wechsler (1998), đề xuất thuật toán căn cứ
trên tính tiến hóa (Evolutionary computation) và di truyền (Genetic) cho các tác vụ
nhận dạng khuôn mặt. Đối với cách tiếp cận này, hai mắt sẽ được dò tìm trước tiên
và thông tin này được xem là vết để quan sát khuôn mặt, trình xử lý dò tiếp mắt
bằng cách sử dụng một thuật toán lai để kết hợp thao tác học và tiến hóa trong quá
trình học.
Daniel Bgraham và Nigel M Allinson (1998), sử dụng phương pháp được gọi là tạo
nhiều phương pháp để giải quyết, luận văn chúng tôi sẽ giải quyết từng giai đoạn
của bài toán nhận dạng mặt người bằng cách so sánh các phương pháp đã có và
các phương pháp do chúng tôi đề xuất.
- Từ kết quả so sánh, tiến tới xây dựng mô hình hoàn chỉnh cho bài toán nhận
dạng mặt người.
- So sánh, đánh giá mô hình đề xuất với một số mô hình truyền thống trên CSDL
ứng dụng cụ thể, từ đó chỉ ra tính ưu việt của mô hình đề xuất, từ đó đưa ra lớp bài
toán thích hợp với mô hình đề xuất.
21
Cụ thể trong từng vấn đề:
Để detect khuôn mặt trong ảnh, luận văn so sánh bốn phương pháp: Adaboost [3],
Adaboost + mạng Nơron 3 lớp [12], Adaboost + Mạng Nơron RBF [27], Adaboost
+ Adaboost.
Đặc trưng được lựa chọn cho khuôn mặt là đặc trưng toàn cục của khuôn mặt kết
hợp với các đặc trưng của các bộ phận: mắt trái, mắt phải, miệng [3].
Về vấn đề rút trích đặc trưng, luận văn so sánh hai phương pháp rút trích đặc trưng
cho khuôn mặt được xem là mạnh nhất hiện nay là phân tích thành phần chính
(Principal Component Analysis - PCA) [3] và phân tích thành phần độc lập
(Independent Component Analysis - ICA).
Phương pháp huấn luyện cho máy nhận dạng khi đã có tập vectơ đặc trưng: luận
văn so sánh hai phương pháp được xem là mạnh nhất hiện nay là Mạng Nơron (NN)
và Support Vectơ Machine (SVM) [6].
22
Chương 2: Dò tìm khuôn mặt trong ảnh
2.1 Bài toán:
Ảnh hay frame của video đầu vào cho hệ thống nhận dạng mặt người thường là ảnh bao
gồm cả background, để có thể nhận dạng được đối tượng trong ảnh trước hết phải giải
quyết bài toán dò tìm khuôn mặt của đối tượng nằm tại vị trí nào trong ảnh.
2.2 Đề xuất phương pháp:
2.2.1 Các phương pháp đã được thực hiện [1][3][12][27]:
Hình 2.3.1 – 1 : Một số ảnh có mặt người trong tập mẫu huấn luyện
Tập con các ảnh không chứa khuôn mặt: gồm 4548 ảnh không chứa mặt
24
người được lấy ngẫu nhiên từ các ảnh phong cảnh, thú vật, …
Hình 2.3.1 – 2 : Một số ảnh không chứa mặt người trong tập mẫu huấn luyện
Tập ảnh dùng để test: CalTech[4], Tập ảnh gồm 450 ảnh màu của Markus Weber ở học
viện kỹ thuật California. Sau khi qua bộ dò tìm Adaboost thì ta được 441 ảnh mặt
người lẫn không phải mặt người.
Nhận xét về tập ảnh CalTech: Hầu hết các ảnh có môi trường độ sang không đồng đều,
có ảnh quá sáng hoặc quá tối, có ảnh thì bị che khuất thành phần quan trọng như mắt,
một số ảnh có các trạng thái khuôn mặt khác nhau.
Ví dụ một số ảnh khó xử lý trong tập ảnh CalTech:
Hình 2.3.1 – 3 : Ví dụ về ảnh ngược sáng
25
Copyright: Tài liệu đại học ©