BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI

HOÀNG THỊ MAI

NHẬN DẠNG LÁ NGÓN SỬ DỤNG MẠNG NƠRON LAN
TRUYỀN NGƯỢC

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
Chuyên nghành: Khoa học máy tính

Người hướng dẫn khoa học
PGS.TS ĐỖ NĂNG TOÀN

Hà nội/2015


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI

HOÀNG THỊ MAI

NHẬN DẠNG LÁ NGÓN SỬ DỤNG MẠNG NƠRON LAN
TRUYỀN NGƯỢC

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
Chuyên nghành: Khoa học máy tính
Mã số chuyên ngành: 60.48.01.01

Người hướng dẫn khoa học
PGS.TS ĐỖ NĂNG TOÀN

Tôi xin cam đoan số liệu và kết quả nghiên cứu trong luận văn là trung
thực và không sao chép. Các thông tin trích dẫn trong luận văn này đã được
chỉ rõ nguồn gốc tham khảo.
Tác giả luận văn

Hoàng Thị Mai


MỤC LỤC

Nội dung

Trang
MỞ ĐẦU

Chương 1: KHÁI QUÁT VỀ NHẬN DẠNG MẪU
VÀ BÀI TOÁN NHẬN DẠNG LÁ NGÓN

1
3

1.1. Khái quát về nhận dạng mẫu

3

1.1.1. Khái niệm nhận dạng mẫu

3

1.1.1.1. Mẫu là gì?


1.1.2.3. Trích chọn đặc trưng

6

1.1.2.4. Nhận dạng

7

1.1.2.5. Hậu xử lý

7

1.2. Bài toán nhận dạng lá ngón

7

1.2.1. Đặc điểm của lá ngón

7

1.2.2. Đặt bài toán

9

1.2.3. Các khó khăn trong giải quyết bài toán

10

Chương 2: NHẬN DẠNG LÁ NGÓN SỬ DỤNG MẠNG NƠRON

2.2.2. Một số biến thể của mạng nơron lan truyền ngược

20

2.2.2.1. Sử dụng tham số bước đà (Momentum)

20

2.2.2.2. Sử dụng hệ số học biến đổi

21

2.2.2.3. Sử dụng phương pháp Gradient kết hợp:

22

Chương 3: CHƯƠNG TRÌNH THỬ NGHIỆM

31

3.1. Giới thiệu bài toán

31

3.2. Thu thập, phân tích và xử lý dữ liệu

32

3.2.1. Thu thập dữ liệu


3.5.2. Đánh giá hệ thống

52

3.5.2.1. Độ chính xác

52

3.5.2.2. Ưu điểm và hạn chế

54

KẾT LUẬN

56


DANH MỤC HÌNH VẼ
Hình

Trang

Hình 1.1. các bước xử lý trong hệ thống nhận dạng mẫu

5

Hình 1.2. Cây lá ngón

9


40

Hình 3.8. Giao diện chức năng huấn luyện mạng nơron

41

Hình 3.9. Giao diện chức năng nhận dạng ảnh lá cây

42

Hình 3.10. Kết quả nhận dạng khi tham số khoảng cách giữa
các điểm lớn
Hình 3.11. Kết quả nhận dạng khi tham số khoảng cách giữa
các điểm nhỏ

53
54

DANH MỤC BẢNG BIỂU
Bảng
Bảng 3.1. Số lượng ảnh trong tập huấn luyện và tập thử

Trang
43


nghiệm của mỗi loài
Bảng 3.2. Kết quả thử nghiệm nhận dạng lá cây

44


sức mới mẻ này, tôi mong luận văn này sẽ trình bày một sự hiểu biết tương
đối về xử lý ảnh nói chung và nhận dạng lá ngón nói riêng. Đồng thời, hy
vọng rằng trong một tương lai không xa sẽ có điều kiện ứng dụng những
nghiên cứu đã đạt được trong luận văn này vào thực tế.
3. Đối tượng nghiên cứu
Trong luận văn này, tôi tìm hiểu cơ bản về phần lý thuyết nhận dạng mẫu
trong xử lý ảnh và đi sâu vào việc nhận dạng lá Ngón sử dụng mạng nơron lan
truyền ngược.
4. Nội dung nghiên cứu
Giới thiệu về các phương pháp chung nhất trong nhận dạng mẫu bằng
mạng nơron lan truyền ngược.
Tìm hiểu tổng quan về lý thuyết xử lý ảnh.
Cài đặt bài toán về nhận dạng mẫu bằng mạng nơron lan truyền ngược.
5. Phạm vi nghiên cứu
Lý thuyết về xử lý ảnh–nhận dạng mẫu bằng mạng nơron lan truyền ngược.
Một số thuật toán.
6. Phương pháp nghiên cứu
Dự kiến luận văn sử dụng hai phương pháp nghiên cứu chính là:
Phương pháp đọc tài liệu, phân tích, tổng hợp.
Phương pháp thực nghiệm, kiểm tra, đánh giá.

2


Chương 1: KHÁI QUÁT VỀ NHẬN DẠNG MẪU
VÀ BÀI TOÁN NHẬN DẠNG LÁ NGÓN
1.1. Khái quát về nhận dạng mẫu
1.1.1. Khái niệm nhận dạng mẫu
1.1.1.1. Mẫu là gì?

trong nghiên cứu ngày nay. Nhận dạng mẫu tích hợp hầu hết vào các hệ thống
máy móc thông minh, có khả năng tự đưa ra quyết định để giải quyết vấn đề.
1.1.1.4. Ứng dụng của nhận dạng mẫu
Nhận dạng mẫu có rất nhiều ứng dụng trong đời sống cũng như trong
khoa học kỹ thuật:
Trong nông nghiệp: Nhận dạng mẫu được sử dụng để phân tích mùa
màng, dự báo các đại dịch như châu chấu, sâu bệnh, cúm gia cầm, cúm lợn…
Ngoài ra nhận dạng mẫu cũng còn được dùng để phân loại đất từ các ảnh
được chụp từ vệ tinh.
Khám phá tri thức trên Web: Ngày nay việc bùng nổ lượng thông tin
khổng lồ trên Internet làm cho việc tìm kiếm và lọc thông tin trên mạng là hết
sức quan trọng. Nhận dạng mẫu được nhúng vào các máy tìm kiếm để trả lại
kết quả tìm kiếm thông minh và chính xác. Ngoài ra nó cũng được sử dụng
trong các hệ thống lọc thư rác, nhận dạng tự động các trang web đen.
Trong lĩnh vực y học: Phân tích và biểu diễn gene, phân loại sinh học
dựa trên thông tin di truyền.
Trong lĩnh vực kinh tế: Phân tích đánh giá sự thay đổi kinh tế, chỉ số
chứng khoán,…
4


1.1.1.5. Các bài toán nhận dạng mẫu
Trên thực tế thường gặp các bài toán nhận dạng mẫu sau:
Phân lớp (classify): Dựa trên một tập con đã biết nhãn, đưa ra một cách
phân các đối tượng thuộc tập nền thành các lớp.
Phân cụm (cluster): Chia tập đối tượng thành nhóm sao cho các đối
tượng trong mỗi nhóm tương đối giống nhau còn các đối tượng khác nhóm thì
khác nhau.
Phân tích hồi quy (regression) hay nhận dạng hàm: Xác định một biến
(hàm) qua tập các biến khác.

làm cho công việc còn lại của bộ phân lớp trở nên dễ dàng. Mục tiêu chung
của bộ trích chọn đặc trưng là dựa trên tín hiệu thu được mô tả các đối tượng
bằng các giá trị của chúng mà chúng có giá trị gần xấp xỉ nhau đối với các đối
tượng thuộc cùng loại và khác xa nhau nếu khác loại. Hơn nữa để tiện xử lý
thì càng ít đặc trưng càng tốt. Điều này dẫn đến việc phải tìm ra các đặc trưng
khác nhau và chúng không phụ thuộc hoàn cảnh ta thu tín hiệu về đối tượng.
Đầu ra của công đoạn này được gọi là vector đặc trưng của đối tượng, thông
thường đây là một vector số thực.

6


1.1.2.4. Nhận dạng
Nhiệm vụ của thành phần này trong hệ thống là sử dụng các vector đặc
trưng được cung cấp từ bước trước (trích chọn đặc trưng) để gắn các đối
tượng vào các lớp hoặc phân tích hồi quy hay mô tả đối tượng. Các kỹ thuật
thường được sử dụng cho công đoạn nhận dạng đó là: thuật toán k-láng giềng
gần nhất, mạng neural, máy vector hỗ trợ SVM… Nói chung, ở bước này gần
như đã có công thức xử lý cố định thường không bị phụ thuộc vào bài nhận
dạng mẫu cụ thể nào.
1.1.2.5. Hậu xử lý
Một bộ nhận dạng hiếm khi chỉ để dùng đơn lẻ. Thay vào đó nó thường
dùng để đưa ra thao tác tương ứng, mỗi thao tác mất một chi phí tương ứng.
Hậu xử lý sẽ dùng đầu ra của bộ phân lớp để quyết định thao tác tương ứng.
Theo quan niệm, cách đơn giản nhất để đánh giá hoạt động của một bộ nhận
dạng là xem tỷ lệ nhận dạng sai với các mẫu mới. Do đó chúng ta cần phải
nhận dạng với tỷ lệ lỗi thấp nhất. Tuy nhiên chúng ta cần các thao tác tương
ứng phải làm cho tổng chi phí là thấp nhất. Có thể phải kết hợp các tri thức đã
biết về chi phí, và nó sẽ có ảnh hưởng đến việc ra các quyết định hành động.
Chúng ta cũng cần ước lượng trước chi phí để xem có thỏa mãn hay không.

của lá ngón đều chứa các chất độc nguy hại.
Người bị ngộ độc lá ngón có các triệu chứng khát nước, đau họng,
chóng mặt, hoa mắt, buồn nôn… sau đó bị mỏi cơ, thân nhiệt hạ, huyết áp hạ,

8


răng cắn chặt, sùi bọt mép, đau bụng dữ dội, tim đập yếu, khó thở, đồng tử
giãn và chết rất nhanh do ngừng hô hấp.
Sở dĩ ngộ độc lá ngón gây tử vong rất nhanh vì độc tính nội tại của nó
quá mạnh. Bởi thế, khi có biểu hiện ngộ độc phải lập tức áp dụng kinh
nghiệm dân gian như giã thật nhiều cây rau má hoặc rau muống, vắt lấy nước
cốt uống để làm giảm độc tính của lá ngón, sau đó đưa đến bệnh viện cấp cứu.

Hình 1.2. Cây lá ngón
1.2.2. Đặt bài

toán

Để nhận

dạng lá ngón bằng

nơron

lan truyền ngược

trước hết ta

phải phân biệt được

cây lá ngón như phương pháp PCA, LDA, LFA. Trong đó, PCA là phương
pháp trích rút đặc trưng nhằm giảm số chiều của ảnh tuy đơn giản nhưng lại
mang lại hiệu quả tốt. Nhận dạng lá ngón dùng PCA kết hợp với mạng nơron
là phương pháp mang lại hiệu quả nhận dạng cao bởi nó phát huy được ưu
điểm của PCA và mạng nơron.
1.2.3. Các khó khăn trong giải quyết bài toán
Dựa vào đặc điểm nhận dạng cũng như các thành phần độc tính hóa
học trong cây lá ngón đôi khi thực nghiệm sẽ gây ra nhiều khó khăn bất cập
trong việc xử lý vật phẩm như:
1. Nhận diện về mặt thực vật sinh học gây khó khăn do cây lá ngón
giống một số cây khác như cây chè vằng.
2. Nhận diện về mặt độc tính hóa học cũng gây ra nhiều khó khăn vì
độc tính của loại cây này giống độc tính của một số cây địa phương khác.
Một khó khăn thách thức nữa khi nhận dạng lá ngón bằng mạng nơron
lan truyền ngược là: khi dùng mạng nơron chưa có phương pháp luận chung
khi thiết kế cấu trúc mạng cho các bài toán nhận dạng mà phải cần tới kiến
thức của chuyên gia. Mặt khác khi xấp xỉ mạng nơron với một hệ phi tuyến sẽ
khó khăn khi luyện mạng vì có thể không tìm được điểm tối ưu toàn cục…

10


Chương 2: NHẬN DẠNG LÁ NGÓN SỬ DỤNG MẠNG NƠRON LAN
TRUYỀN NGƯỢC
2.1. Trích chọn đặc trưng của lá ngón

Cây Lá ngón còn có tên là Co ngón, Thuốc rút ruột, Hồ mạn trường,
Hồ mạn đằng, Đại trà đằng, Hoàng đằng, Câu vẫn, Đoạn trường thảo. Tên
khoa học là Gelsemium elegans Benth (Medica elegans Gardn) Họ Mã tiền
(Loganiaceae)

Để dẫn đến quan hệ đó, ta sử dụng ma trận Jacobi sau:

Xét phần tử (i, j) của ma trận trên:

trong đó:

Như vậy, ma trận Jacobi có thể viết lại như sau:

13


trong đó:

Bây giờ ta viết lại quan hệ hồi quy cho độ nhậy cảm dưới dạng ma trận:

Đến đây có thể thấy độ nhậy cảm được lan truyền ngược qua mạng từ
lớp cuối cùng trở về lớp đầu tiên:

Cần nhấn mạnh rằng ở đây thuật toán lan truyền ngược lỗi sử dụng
cùng một kỹ thuật giảm theo hướng như thuật toán LMS. Sự phức tạp duy

14


nhất là ở chỗ để tính gradient ta cần phải lan truyền ngược độ nhậy cảm từ các
lớp sau về các lớp trước như đã nêu trên.
Bây giờ ta cần biết điểm bắt đầu lan truyền ngược, xét độ nhậy cảm sM
tại lớp cuối cùng:

Bởi vì:

hợp i = 1, 2, 4, 8 như trong các hình vẽ dưới đây. Các đường màu đen là trả
lời của mạng, còn các đường mờ hơn là hàm cần xấp xỉ.

16


Khi ta tăng số nơron trong lớp ẩn lên thì khả năng xấp xỉ hàm số của
mạng sẽ tốt hơn.
Chẳng hạn, xét trường hợp sử dụng 9 nơron trong lớp ẩn và i = 8 ta có
được kết quả sau:

17