HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
NGUYỄN HUY HOÀNG

NGHIÊN CỨU PHƯƠNG PHÁP TRA CỨU ẢNH DỰA
TRÊN NỘI DUNG VÀ XÂY DỰNG HỆ THỐNG TRA
CỨU CÂY THUỐC

Chuyên ngành: KHOA HỌC MÁY TÍNH
Mã số:
60.48.01TÓM TẮT LUẬN VĂN THẠC SĨHÀ NỘI – 2013

Luận văn được hoàn thành tại:
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: ………………………………
(Ghi rõ học hàm, học vị)


1.5.4. Hệ thống VisualSeek và WebSeek 10
1.5.5. Hệ thống Photobook 10
CHƯƠNG 2 11
PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG ẢNH 11
2.1. Trích chọn đặc trưng ảnh dựa trên màu sắc 11
2.1.1. Lược đồ màu (Histogram) 11
2.1.2. Vector liên kết màu (Color Coherence
Vector) 12
2.2. Trích chọn đặc trưng ảnh dựa trên kết cấu 12
2.2.1. Ma trận đồng hiện (Co-occurence Matrix) 13
2
2.2.2. Phép biến đổi Wavelet 13
2.2.3. Các đặc trưng lọc Gabor 14
2.2.4. Các đặc trưng biến đổi sóng 14
2.3. Trích chọn đặc trưng ảnh dựa trên hình dạng 15
2.3.1. Trích chọn đặc trưng theo biên 15
2.3.1.1. Lược đồ hệ số góc 15
2.3.1.2. Vector liên kết hệ số góc (Edge
Direction Coherence Vector) 16
2.3.2. Trích chọn đặc trưng theo vùng 17
2.4. Trích chọn sử dụng điểm nổi bật 17
2.4.1. Đặc trưng cục bộ bất biến (SIFT) 17
2.4.2. SURF 19
CHƯƠNG 3 20
CÀI ĐẶT THỬ NGHIỆM VÀ ỨNG DỤNG 20
3.1. Cài đặt thử nghiệm 20
3.1.1. Môi trường phát triển, cơ sở dữ liệu 20
3.1.2. Phương pháp thực nghiệm 21
3.1.2.1. Lựa chọn mẫu thử nghiệm 21
3.1.2.2. Phương pháp đánh giá 21

gian của ảnh để làm cơ sở cho việc tra cứu, sắp xếp, tổ
chức cơ sở dữ liệu ảnh. Tra cứu ảnh dựa trên hình dạng sử
dụng các đặc trưng hình dạng của các ảnh mục tiêu để tìm
kiếm, nó là một khía cạnh rất quan trọng của tra cứu ảnh
dựa trên nội dung. Hiện nay có nhiều hệ thống cho phép
tra cứu thông tin dựa trên hình ảnh như như Google Image
Swirl, Bing, Tiltomo, Tineye, Pixolution…Các hệ thống
trên đã đưa ra các kết quả tìm kiếm rất tốt dựa trên ảnh
mẫu. Tuy nhiên, hạn chế của các hệ thống trên là vẫn tồn
tại sự nhập nhằng về dữ liệu, các thông tin chưa cô đọng
theo chủ đề xác định, với bài toán đặt ra ở đây là cây
thuốc. Với mục đích cuối cùng có thể xây dựng được một
5
hệ thống tra cứu cây thuốc dựa trên hình ảnh. Cho phép
người Việt Nam nhận biết và sử dụng hiệu quả về các cây
thuốc ở Việt Nam thông qua hình ảnh. Luận văn này sẽ đi
sâu vào những nhiệm vụ chính như sau:
- Nội dung
+ Nghiên cứu và đánh giá các kỹ thuật tra cứu ảnh
theo nội dung.
+ Tìm hiểu cách thức nhận biết cây thuốc thông
thường trong cuộc sống như qua lá, hoa, thân hay rễ…để
từ đó có thể giới hạn đối tượng làm mẫu và truy vấn
+ Đề xuất sử dụng một số kỹ thuật khác và đưa ra
sự so sánh với các hệ thống ảnh trước đó.
+ Từ đó đưa ra các phương pháp cải tiến và khắc
phục những hạn chế hiện tại.
+ Thử nghiệm chương trình tra cứu ảnh theo nội
dung thông qua mô hình truy vấn đề xuất và các kết quả
đạt được như độ chính xác, tốc độ xử lý…

Các yếu tố trực quan như màu sắc, kết cấu, hình dạng và
bố cục không gian trực tiếp liên quan đến khía cạnh của
cảm nhận nội dung ảnh, cùng với các khái niệm ở mức
cao như ý nghĩa đối tượng, khung cảnh trong ảnh, được
dùng như là manh mối cho tìm kiếm hình ảnh với nội
dung tương tự từ cơ sở dữ liệu.

8
1.2. Mô hình xử lý
Để xây dựng hệ thống truy vấn ảnh, cần giải quyết
3 vấn đề chính sau
• Rút trích các đặc trưng trên ảnh (Feature
Exaction)
• Xác định độ đo sự tương đồng giữa hai ảnh
(Similarity Measure)
• Lập chỉ mục cho CSDL ảnh (Image Indexing)
Từ đó xây dựng nên các thành phần cho hệ thống
truy vấn ảnh:

Hệ thống truy vấn ảnh với cơ sở tri thức
9
1.3. Các thành phần chính của một hệ thống
CBIR
Hiện nay, trọng tâm chính của CBIR là nghiên cứu
chủ yếu trên 3 chủ đề chính:
Trích chọn đặc trưng: Các đặc trưng của hình ảnh
bao gồm các đặc trưng nguyên thủy và các đặc trưng ngữ
nghĩa/đặc trưng logic. Đặc trưng nguyên thủy như màu
sắc, hình dạng, kết cấu và các mối quan hệ không gian
được định lượng trong tự nhiên, chúng có thể được trích

1.5.3. Hệ thống RetrievalWare
1.5.4. Hệ thống VisualSeek và WebSeek
1.5.5. Hệ thống Photobook
11
CHƯƠNG 2
PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG
ẢNH
Chương 2 sẽ đưa ra một số khái niệm liên quan đến
các thuộc tính, kỹ thuật của việc truy vấn theo nội dung
ảnh. Qua đó làm tiền đề để nghiên cứu xâu hơn các kỹ
thuật trích chọn nội dung ảnh và đối sánh ảnh.
2.1. Trích chọn đặc trưng ảnh dựa trên màu sắc
2.1.1. Lược đồ màu (Histogram)
Là đại lượng đặc trưng cho phân bố màu cục bộ
của ảnh .
Độ đo tính tương tự về màu sắc được tính bằng
phần giao của 2 lược đồ màu ảnh truy vấn H(I
Q
) và ảnh
trong cơ sở dữ liệu ảnh H(I
D
). Kết quả sẽ là một lược đồ
màu thể hiện độ giống nhau giữa 2 ảnh trên.
Tuy nhiên vì lược đồ màu chỉ thể hiện tính phân bố
màu toàn cục của ảnh mà không xét đến tính phân bố cục
bộ của điểm ảnh nên có thể có 2 ảnh trông rất khác nhau
nhưng lại có cùng lược đồ màu.
12
2.1.2. Vector liên kết màu (Color Coherence
Vector)

1 1 0 0
0 0 2 2
൩
ta có ma trận đồng hiện P
(1,0)
với
P
(1,0)
=
൥
4 0 2
2 2 0
0 0 2
൩

2.2.2. Phép biến đổi Wavelet
Vân thu được từ biến đối wavelet được hầu hết các
nghiên cứu công nhận là đặc trưng về vân tốt nhất cho
việc phân đoạn ảnh.
14
Thuật toán tính ra các đặc trưng vân theo biến đổi
Wavelet:
• Tính biến đổi Wavelet trên toàn ảnh.
• Ứng với mỗi vùng cần tính, ta tính được 3
thành phần ứng với các miền HL, LH và HH
• Khi áp dụng biến đổi wavelet ở những mức
sâu hơn, ta sẽ có tương ứng 3xV thành phần
ứng với V là chiều sâu của biến đổi
Wavelet.
2.2.3. Các đặc trưng lọc Gabor

ݔ
െ
݊
ሻ

Hơn nữa, theo so sánh của các đặc trưng biến đổi
sóng khác nhau, chọn riêng lọc sóng không là then chốt
cho phân tích kết cấu.
2.3. Trích chọn đặc trưng ảnh dựa trên hình
dạng
2.3.1. Trích chọn đặc trưng theo biên
2.3.1.1. Lược đồ hệ số góc
Lược đồ gồm 73 phần tử trong đó:72 phần tử
đầu chứa số điểm ảnh có hệ số gốc từ 0 – 355 độ, các
hệ số góc này cách nhau 5 độ. Phần tử cuối chứa số
phần tử không nằm trên biên cạnh .

Ảnh minh họa lược đồ hệ số góc
16

Đường biên của ảnh
2.3.1.2. Vector liên kết hệ số góc (Edge
Direction Coherence Vector)
Là lược đồ tinh chế lược đồ hệ số góc, chia mỗi ô
chứa (bin) thành 2 nhóm điển ảnh: Nhóm điểm liên kết hệ
số góc (coherent pixels) và nhóm điểm không liên kết hệ
số góc (non-coherence pixels).
Một pixel trong một ô chứa (bin) được gọi là điểm
liên kết hệ số góc (coherent) nếu nó thụôc vùng gồm các
điểm thuộc cạnh có hệ số góc tương tự với kích thướt lớn

Hai hình trên có thể được nhận ra là c
ủ
cảnh bởi SIFT
Giống như nhi
ều thuật toán về xử lý ảnh, SIFT l
thuật toán khá phức tạp, phải trải qua nhiều bư
ớ
s
ử dụng nhiều kiến thức về toán học. Sau đây s
bước chính trong thuật toán:
1. Xây dựng không gian scale
2. Xác đinh vị trí điểm đặc trưng
3. Thêm hướng cho điểm đặc trưng
4. Mô tả điểm đặc trưng

Invariant Feature
ổi tiếng nhất
ưng c
ủa ảnh
i David Lowe v
ào

ủa c
ùng 1
ảnh, SIFT l
à
ớc xử lý v
à
đây sẽ l
à các

3.1. Cài đặt thử nghiệm
3.1.1. Môi trường phát triển, cơ sở dữ liệu
Chương trình được thiết kế trên Visual Studio
2010, ngôn ngữ C# (C Sharp) và CSDL SQL Server 2008.
Chương trình cũng có sử dụng một số thư viện hỗ trợ xử
lý ảnh như EmguCV.dll, AForge.dll và một số thư viện hỗ
trợ khác tham khảo qua internet.

Dữ liệu mẫu từ chương trình
21
3.1.2. Phương pháp thực nghiệm
3.1.2.1. Lựa chọn mẫu thử nghiệm
Hiệu quả hoạt động của hệ thống được đánh giá
bằng cách chạy thử nghiệm trên cơ sở dữ liệu hình ảnh đã
có. Em sử dụng 2 cách thức chọn mẫu thử nghiệm chính:
- Lấy ngẫu nhiên một mẫu ảnh có trong CSDL để
tra cứu.
- Chỉ định một mẫu cố định để tra cứu.
3.1.2.2. Phương pháp đánh giá
Sử dụng top-N, chỉ ra tỷ lệ các loại cây chính xác
xuất hiện là một trong vị trí N từ kết quả trả về. Em sử
dụng 2 tỷ lệ chính nằm trong giới hạn là top-10 và top-15.
Ngoài ra còn các đại lượng đánh giá khác bao gồm: Độ
chính xác = Số ảnh tìm được đúng / Số ảnh tìm được, Độ
trung thực = Số ảnh tìm được đúng / Tổng số ảnh đúng
thực có trong CSDL và Thời gian tính toán trung bình.
Để trực quan hơn em có sử dụng thêm biểu đồ thời
gian và biểu đồ độ chính xác trung bình (xác suất số lần
xuất hiện kết quả đúng trong top-N với 10 lần thử nghiệm)


1500
2000
2500
3000
3500
20 50 100 150 200 250 500
Lược đồ màu
Lược đồ HSG
Vector LK màu
Auto Cologram
SIFT
SURF
0
10
20
30
40
50
60
70
80
90
100
10
20
30
40
50
60
70