ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
lª thÞ kim nga NGHIÊN CỨU MỘT SỐ KỸ THUẬT
PHÁT HIỆN CHẤT LIỆU VÀ ỨNG DỤNG
LUẬN VĂN THẠC SỸ Hà Nội – 2006

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
bản công khai và miễn phí trên mạng Internet.
Nếu sai tôi xin hoàn toàn chịu trách nhiệm.
Hà nội, ngày 25 tháng 11 năm 2006
Người cam đoan Lê Thị Kim Nga LỜI CẢM ƠN

Tôi xin chân thành bày tỏ lòng biết ơn đến các thầy cô giáo đã nhiệt tình
giảng dạy trong suốt thời gian tôi học tập tại lớp Cao học K11T2 trường Đại học
Công Nghệ và đặc biệt tôi xin được gửi lời cảm ơn sâu sắc đến TS Đỗ Năng Toàn,
Viện Công nghệ thông tin, Viện Khoa học Việt Nam - Người đã tận tình chỉ bảo,
hướng dẫn và giúp đỡ tôi hoàn thành bản Luận văn này.
Tôi xin bày tỏ lòng biết ơn tới gia đình, đã tạo điều kiện tốt nhất về mọi mặt,
động viên tôi trong suốt quá trình học tập cũng như làm tốt nghiệp.
Cuối cùng, xin cảm ơn các đồng nghiệp, các bạn bè đã động viên cổ vũ để tôi
hoàn thành luận văn đúng thời hạn.

Hà Nội, ngày 25 tháng 11 năm 2006
2.4.1 Mô hình Mạng Nơron nhân tạo 30
2.4.2 Hàm kích hoạt 31
2.4.3 Vấn đề học 31
2.4.4 Mạng Nơron dùng cho phân tích thành phần chính 32
2.4.5 Mạng Nơron xoắn và bài toán phát hiện chất liệu 32
2.5 Cách tiếp cận mô hình Markov ẩn HMM 37
2.5.1 Nền tảng của phương pháp 37
2.5.2 Mô hình HMM 43
2.5.3 Vấn đề phát hiện bằng HMM 45
Chương 3 - ỨNG DỤNG PHÁT HIỆN CHẤT LIỆU 47
3.1 Phát hiện kính 47
3.1.1 Tính chất cơ lý của chất liệu thủy tinh 47
3.1.2 Thuật toán 55
3.1.3 Một số kết quả thực nghiệm 56
3.2 Phát hiện mặt người 56
3.2.1 Cách tiếp cận Mạng Nơron 56
3.2.2 Cách tiếp cận mô hình HMM 64
KẾT LUẬN 72
TÀI LIỆU THAM KHẢO 74
Trang
Bảng 2.1. Chữ ký chi tiết dựa trên CBA 23
Bảng 2.2. Chữ ký của ba ảnh X, Y, Z 24
Bảng 3.1. Thống kê một số tính chất và đặc trưng cơ bản của một vài loại
thủy tinh điển hình. 48

2

DANH MỤC CÁC HÌNH VẼ
Trang Trang
Hình 1.1. Sơ đồ chức năng phát hiện chất liệu 15
Hình 2.1. Hai ảnh và biểu đồ màu toàn cục của chúng 16
Hình 2.2. Ví dụ chỉ ra LCH bị lỗi 17
Hình 2.3. Xây dựng đồ thị hai phía 19
Hình 2.4. Đồ thị hai phía biểu diễn mối quan hệ giữa các khối và giá trị đối
sánh nhỏ nhất. 19
Hình 2.5. Sử dụng giá trị đối sánh cực tiểu để tính toán khoảng cách giữa hai
ảnh L và M, L và N. 20
Hình 2.6. Tập các ảnh mẫu 22
Hình 2.7. Ma trận Co-occurrence 26
Hình 2.8. Vùng lân cận 3 x 3 với 4 cặp điểm đối xứng. 27
Hình 2.9. Mã mô tả giải thuật xây dựng ma trận Ordinal Co-occurrence. 28
Hình 2.10. Nơron nhân tạo j. 30
Hình 2.11. Cấu trúc LeNet-5, Mạng Nơron xoắn. 34
Hình 2.12. Đồ thị của hai hàm P(x/
1
) và P(x/
2
). 39
Hình 2.13. Mô tả thuật toán Viterbi. 42

Trong cuộc sống hằng ngày, chúng ta thường xuyên cần phải phát hiện
và phân biệt các sự vật hiện tượng trong thế giới thực như các đối tượng, chất
liệu, thực phẩm, địa danh v.v và thậm chí là thời gian trong ngày. Việc phát
hiện các loại sự vật hiện tượng này một cách tự động là một vấn đề hết sức
thiết thực trong một xã hội hiện đại.
Ngày nay, với sự phát triển mạnh mẽ của ngành Khoa học máy tính cũng
như sự bùng nổ của lĩnh vực Công nghệ thông tin đã đẩy nhanh sự phát triển
của nhiều lĩnh vực xã hội như quân sự, y học, giáo dục, kinh tế, giải trí v.v
Sự phát triển của phần cứng cả về phương diện thu nhận, hiển thị, cùng với
tốc độ xử lý đã mở ra nhiều hướng mới cho sự phát triển phần mềm, đặt biệt
là Công nghệ xử lý ảnh cũng như Công nghệ thực tại ảo đã ra đời và phát
triển nhanh. Nó có thể giải quyết được bài toán phát hiện hay nhận dạng tự
động các loại đối tượng, chất liệu trong thực tế, chẳng hạn có thể tạo ra hệ
thống phát hiện kẻ gian đột nhập vào các cơ quan cần được giám sát sau giờ
hành chính như các Kho bạc, Ngân hàng v.v thay vì cần phải có những đội
bảo vệ canh gác cẩn thận. Hoặc có thể phát hiện có mảnh kính vỡ trong thực
phẩm hay phát hiện những tấm kính trong một khu vực cần quan tâm v.v
thậm chí có thể phát hiện những loại thực phẩm bị hỏng không thể sử dụng
được. Phát hiện mặt người trong một bức ảnh cũng đã có rất nhiều ý nghĩa
trong quân sự, an ninh v.v Rõ ràng bài toán phát hiện đối tượng cũng như
nhận dạng đối tượng ngày càng quan trọng đối với sự phát triển của xã hội,
đặc biệt rất quan trọng cho xã hội Việt Nam.

5
Bài toán phát hiện đối tượng là một trong những bài toán cốt yếu trong
các lĩnh vực nhận dạng mẫu hay thị giác máy, nó là cơ sở cho nhiều ứng dụng
quan trọng, muốn nhận dạng thì trước hết phải phát hiện ra nó đã chứ. Nhận
dạng hay phát hiện đối tượng có rất nhiều cách tiếp cận để giải quyết, mặc dù
mỗi một loại đối tượng sẽ có một kỹ thuật cụ thể, song chúng vẫn có một cơ
sở chung. Cách tiếp cận dựa vào chất liệu của đối tượng đang là một hướng

nội dung được tổ chức như sau:
Chương 1: Tổng quan về phát hiện chất liệu trong ảnh
Chương này trình bày định nghĩa chất liệu của một đối tượng trong ảnh,
cũng như bài toán phát hiện chất liệu và cách giải quyết. Đồng thời cũng trình
bày một cách tổng quan về nội dung ảnh của chất liệu cùng với một số kỹ
thuật phát hiện chất liệu cơ bản.
Chương 2: Các kỹ thuật phát hiện chất liệu
Các kỹ thuật được trình bày dựa vào các đặc trưng cơ bản của chất liệu
và các phương pháp phát hiện dựa trên mạng nơron, mô hình xác suất
Markov ẩn.
Chương 3: Ứng dụng
Trong phần này luận văn trình bày ứng dụng phát hiện chất liệu kính và
phát hiện mặt người theo mô hình màu da dựa trên mạng nơron và mô hình
Markov ẩn.

7
Chương 1 -
TỔNG QUAN VỀ PHÁT HIỆN CHẤT LIỆU
TRONG ẢNH
Chương này trình bày tổng quan về bài toán phát hiện chất liệu trong
ảnh, đề cập đến hai vần đề chính là các đặc trưng ảnh của chất liệu và các độ
đo tương ứng.
1.1 Bài toán phát hiện chất liệu trong ảnh
1.1.1 Chất liệu trong ảnh
Theo quan điểm thông thường, chất liệu chính là những đặc trưng cho
một dạng vật chất cụ thể.
Theo quan điểm khoa học công nghệ nhận dạng ảnh, chất liệu của một
đối tượng chính là thành phần bao phủ bên ngoài của đối tượng đó, là thành
phần không thể thiếu được trong mỗi đối tượng. Có rất nhiều chất liệu khác
nhau như kính, vải, gỗ, nước, tuyết v.v Chất liệu tồn tại khác nhau ở mỗi đối

khác nhau sẽ được đặc tả bởi các đặc trưng khác nhau).
- Đánh giá độ tương tự (độ giống) của chất liệu cần xét với các đặt trưng
mà ta đã biết thông qua các đặc trưng mà ta đã trích chọn ở trên.
Đó cũng chính là hai bài toán lớn trong lĩnh vực nhận dạng mẫu và
thị giác máy.
Như đã nói ở trên, ảnh của chất liệu được ghi lại trong hình hoặc camera
phần lớn được thể hiện bởi các yếu tố như: Màu sắc, kết cấu, hình dạng, thông

9
tin không gian. Tuỳ thuộc mỗi một chất liệu sẽ có một đánh giá về đặc trưng
riêng cho chúng. Bên cạnh đó sẽ có những hàm đánh giá độ tương tự
tương ứng cho phù hợp.
1.2 Các đặc trưng của chất liệu trong ảnh
1.2.1 Màu sắc
Sự cảm nhận về màu là rất quan trọng đối với con người. Sự cảm nhận
màu phụ thuộc vào cả yếu tố hai ánh sáng vật lý và việc xử lý phức tạp của
thần kinh mắt (eye-brain) tức là nó phải tích hợp những thuộc tính kích thích
và thực nghiệm. Con người sử dụng thông tin màu sắc để phân biệt các đối
tượng, chất liệu v.v
Mọi người đều biết màu là gì, nhưng sự mô tả chính xác và chi tiết về
màu thì lại là một chuyện khác. Màu sắc luôn là chủ đề lớn trong các ngành
khoa học khác nhau. Mặc dù vậy, một số vấn đề chủ yếu liên quan đến màu
sắc, đặt biệt là trong cảm nhận màu của con người mà tại đó sự hoạt động của
não đóng vai trò quan trọng vẫn chưa được hiểu một cách đầy đủ. Những
thuộc tính cấp thấp về cảm nhận màu của con người cũng đã được mô hình hoá
thành công trong khuôn khổ phạm vi của các thiết bị đo màu. Trong khuôn khổ
này ta thấy rằng các phương pháp thống kê là công cụ đầy sức mạnh cho việc
phân tích và mô tả dữ liệu hình ảnh.
Một ảnh màu điển hình được lấy từ Camera số hoặc download từ
Internet thường có ba kênh màu (ảnh xám chỉ có một kênh), những giá trị của

bởi việc đồng nhất cấu trúc ban đầu và quy tắc sắp xếp của chúng. Chúng hiệu
quả nhất khi áp dụng vào những kết cấu rất đều đặn. Phương pháp thống kê,
gồm: Fourier power spectra, co-occurrence matrices, shift-invariant principal

11
component analysis (SPCA), Tamura feature, Wold decomposition, Markov
random field, fractal model và kỹ thuật multi-resolution filtering như Gabor
and wavelet transform mô tả kết cấu bằng phân phối thống kê của cường
độ điểm ảnh.
1.2.3 Hình dạng
Định nghĩa hình dạng của đối tượng thường là rất khó. Hình dạng
thường được mô tả bằng lời nói hoặc hình vẽ, và mọi người thường sử dụng
thuật ngữ như tròn, méo v.v Xử lý hình dạng dựa trên máy tính đòi hỏi rất
phức tạp, trong khi rất nhiều phương pháp mô tả hình dạng thực tế đang tồn
tại nhưng không có một phương pháp chung nào cho mô tả hình dạng. Có hai
kiểu đặc điểm hình dạng chính thường được sử dụng: Đặc điểm dựa trên biên,
đặc điểm dựa trên vùng. Đặc điểm dựa trên biên chỉ sử dụng đường bao ngoài
của hình dạng trong khi đó đặc điểm vùng sử dụng toàn bộ vùng của hình
dạng. Ví dụ những đặc điểm biên bao gồm mã xích, mô tả Fourier, những
đường viền hình học như uống cong, chiều dài biên v.v Đặc điểm vùng như
số chu trình, độ lệch tâm v.v
1.2.4 Mối quan hệ không gian
Mối quan hệ không gian đặc trưng cho sự sắp xếp các đối tượng bên
trong một bức ảnh. Mối quan hệ giữa hai đối tượng có thể được phân loại một
cách rõ ràng như là hướng hoặc tô pô hình học. Mối quan hệ hướng dựa vào
vị trí liên quan và khoảng cách mêtric giữa hai đối tượng trong ảnh. Mặt khác,
mối quan hệ tô pô hình học không dựa vào khoảng cách thu được giữa hai đối
tượng mà dựa vào khái niệm lý thuyết tập hợp như giao, hợp, kết nối v.v
*** Một trong những vấn đề thách thức to lớn để giải quyết bài toán phát
hiện hay nhận dạng đối tượng là việc chọn lựa và sự biểu diễn các đặc

- Sự đối xứng: Là vô lý nếu chúng ta nói rằng ảnh A giống với ảnh B
nhưng ảnh B thì không giống ảnh A, d(A,B)=d(B,A).
- Sự bắc cầu: Là vô lý nếu ta nói ảnh A giống với ảnh B , ảnh B không
giống ảnh C nhưng ảnh C lại rất giống với ảnh A. Tuy nhiên thuộc tính bắc
cầu này có thể không đúng cho một dãy các ảnh. Thậm chí ảnh I
i
là giống với
ảnh I
i+1
với tất cả i=1,…,n thì điều này không có nghĩa rằng ảnh I
i
tương tự
với ảnh I
n
. Ví dụ trong băng Video mỗi frame tương tự với frame kề nó
nhưng frame đầu tiên và frame cuối cùng có thể là rất khác nhau.
- Sự bền vững: Hệ thống cần có khả năng để thay đổi những điều kiện
ảnh, ví dụ nếu ảnh được lấy dưới ánh sáng đèn điện (hơi đỏ), thì hệ thống
cũng phải cho kết quả đúng khi lấy ảnh dưới điều kiện ánh sáng ban ngày
(hơi xanh).
Có nhiều độ đo khoảng cách tương tự đã được đưa ra nhưng chúng đều
không đầy đủ các thuộc tính trên. Dưới đây là một số độ đo chung nhất
thường được sử dụng:
Histogram intersection Distance:
Độ đo khoảng cách này được định nghĩa trên phần chung của hai biểu đồ
màu. Cho hai biểu đồ màu h
1
, h
2
khoảng cách giữa chúng có thể được định










Quadratic form Distance:
Khoảng cách giữa hai biểu đồ màu N chiều h
1
và h
2
được định nghĩa:

)()(
2121
hhAhhdist
QF


Với A=[a
ij
] là ma trận với trọng số biểu thị sự giống nhau giữa mức i và
mức j, a
ij
được tính như sau:
a
ij

ij
ij
ij
ijij
EMD
g
dg
dist

Trong đó g
ij
biểu thị khoảng cách tương tự giữa mức i và mức j, g
ij
>0 là
sự tối ưu hoá giữa hai phân bố như là tổng giá trị được cực tiểu hoá.

15

i
i
ij
hg
1



i
j
ij
hg

Ảnh chất liệu
Trích chọn đặc trưng:
Màu sắc, kết cấu
So sánh độ tương tự
Ảnh kết quả (ảnh có khoanh
các vùng chất liệu)

16
Chương 2 -
CÁC CÁCH TIẾP CẬN TRONG PHÁT HIỆN CHẤT LIỆU

Phần này trình bày một số phương pháp được sử dụng hiệu quả trong
cách tiếp cận để giải quyết bài toán phát hiện chất liệu. Trong đó bao gồm
các kỹ thuật dựa vào các đặc trưng cơ bản của chất liệu và các cách tiếp cận
phát hiện chất liệu dựa trên mạng nơron, mô hình xác suất Markov ẩn.
2.1 Phương pháp Habin cải tiến
Như chúng ta đã biết, biểu đồ màu là một trong những phương pháp để
đối sánh giữa hai chất liệu. Đã có hai cách tiếp cận truyền thống để phát hiện
chất liệu là biểu đồ màu toàn cục (Global Color Histogram - GCH) và biểu đồ
màu cục bộ (Local Color Histogram - LCH), song chúng cũng chính là điểm
khởi đầu cho phương pháp Habin. GCH chỉ đưa ra biểu đồ màu của ảnh mà
không có thông tin không gian (thông tin vùng), do vậy hiệu quả tìm kiếm
chắc chắn sẽ bị giới hạn. Ví dụ, trong hình 2.1, ảnh A và B có cùng biểu đồ
màu do đó khoảng cách giữa A và và B sẽ bằng 0. Tuy nhiên hai ảnh này là
khác nhau.

Hình 2.1. Hai ảnh và biểu đồ màu toàn cục của chúng.

17
Còn phương pháp LCH đề cập theo ba bước:

Trong hình 2.3 là ví dụ chỉ rõ cách xây dựng đồ thị hai phía. Bước đầu
giống như bước đầu của phương pháp LCH. Trong việc xây dựng đồ thị hai
phía G(X,Y,E), mỗi khối sẽ tương ứng với một đỉnh. Trong ví dụ này một ảnh
sẽ chia làm bốn khối và như vậy đồ thị có hướng sẽ có tám đỉnh, mỗi khối
trong một ảnh sẽ được nối với các khối của ảnh kia.
Nếu trọng số của mỗi cạnh chỉ rõ khoảng cách giữa hai khối được nối
với nhau thì phương pháp này sẽ tìm kiếm giá trị đối sánh nhỏ nhất trên đồ thị
và xử lý giá trị này như khoảng cách giữa hai ảnh. Thực tế, sự tương tự giữa
các khối có thể được tính bằng công thức:
S
ij
=d
max
-d
ij

Với d
max
là khoảng cách lớn nhất giữa các khối, khối i và khối j thuộc hai
ảnh tương ứng, d
ij
là khoảng cách giữa khối i và khối j. S
ij
là độ tương tự giữa
hai khối i và j.