Đ Ạ I H Ọ C Ọ Ư Ó C G IA H À N Ộ I
KHOA CỒNG NGHỆ
NGUYẺN THỊ THANH TÂN
NHẬN DẠNG CHỮ VIẾT TAY HẠN CHÉ
DựA TRÊN MÔ HÌNH MANG NƠRON
KÉT HỢP VỚI THÓNG KE n g ữ cả nh
Chuyên ngành: Công nghệ thông tin
Mã số: 1.01.10
LU ẬN VĂ N TH Ạ C s ĩ
N gười hướng dẫn kh oa học:
PGS. TS. Ngô Quoc Tạo
H à N ộ i - 200 4
Nguyễn Thị Thanh Tân
Trang - 1 -
Luận văn thạc sĩ
MỤC LỤC
MỞ Đ ẦU 3
CHƯƠNG 1 - TỔNG QUAN VỀ NHẬN DẠNG CHỮ D ự A TRÊN MÔ HÌNH
MẠNG N Ơ R O N 8
1.1 Tổng quan về mạng nơron 8
1.1.1 Cấu trúc của một nơron 8
1.1.2 Các phương pháp huấn luyện một mạng nơron

10
1.2 Qui trình chung của một hệ nhận dạng chữ 12
1.2.1 Phân lớp mẫu 12
1.2.2 Nhận dạng văn bản 13
1.3 Mạng MLP và ứng dụng trong nhận dạng chữ 16

MỞ ĐẢU
Nguyễn Thị Thanh Tản Trang - 2 - Luận văn thạc sĩ
2.3.4 Thuật toán nhận dạng từ 52
2.4 Đánh giá khả năng nhận dạng của mô hình 60
2.5 Kết luận 60
CHƯƠNG 3 - CÀI ĐẬT HỆ THỐNG NHẬN DẠNG CHỮ VIẾT TAY HẠN CHẾ

.

.

.
.

.

62
3.1 Qui trình hoạt động của hệ thống 62
3.2 Quá trình tiền xử lý 64
3.2.1 Tiền xử lý trước khi phân tích ảnh văn bản cần nhận dạ n g

64
3.2.2 Tiền xử lý trước khi phân đoạn từ cần nhận dạn g

70
3.2.3 Tiền xử lý trước khi nhận dạng kí tự 74
3.3 Quá trình phân vùng ản h

PHỤ LỤC E - DANH MỤC CÁC THUẬT TO ÁN 101
PHỤ LỤC F - DANH M ự c CÁC HÌNH V Ẽ
102
PHỤ LỤC F - DANH MỤC CÁC BẢNG B IẾU
103
MỜ ĐÂU
Nũuvễi Thị Thanh Tân
Trang - 3 -
Luận vSn thạc sĩ
MỜĐẦU
Nhận dạng mẫu là một nơành khoa học mà vai trò của nó là phân lớp các đổi tượng
thành một số loại hoặc một số lớp riêng biệt [22], Tuỳ thuộc vào lĩnh vực ứng dụng,
các đối tượng có thể ở dạng ảnh, dạng tín hiệu sóng hoặc một kiểu dữ liệu bất kỳ
nào có mà cần phải phân lớp. Những đối tượng này được gọi bàng một thuật ngữ
chung đó là “mẫu” (pattern). Nhận dạng mẫu đã được biết đến từ rất lâu, nhưng
trước những năm 1960 nó hầu như chi là kết quả nghiên cứu về mặt lý thuyết trong
lĩnh \ực thống kê. Tuy nhiên, với sự phát triển không nsừng của khoa học kỹ thuật
về phần cứng cũng như phần mềm, các yêu cầu về mặt ứng dụng thực tế của lĩnh
vực nhạn dạng mẫu ngày càng tăng lên và hiện nay nhận dạng mẫu đã được sử dụng
trong rất nhiều lĩnh vực như y học, tự động hoá một số qui trình sản xuất công
nghiệp, dự báo thời tiêt, dự báo cháy rừng,v.v. Ngoài ra nhận dạng mẫu còn là
thành phần quan trọng trong hầu hết các hệ thống máy tính thông minh được xây
dựng để thực hiện việc ra quyết định.
Cùn2 với sự phát triển của nhận dạnẹ mầu, nhận dạng chữ đã và đang ngày càng trở
thành một ứng dụng không thể thiếu được trong đời sống xã hội của con người.
Nhận dạng chữ viết được ứng dụng để tự động hoá một số công việc văn phòng như
lưu t:ữ văn bản. phân loại thư tín, , nhằm giảm bớt các công việc nhàm chán
nhưng đòi hỏi nhiều thời gian và công sức của con người.
Với tìm quan trọng của mình, nhận dạng chữ viết hiện đang là một lĩnh vực thu hút
được sự quan tâm, nghiên cứu của các nhà khoa học. Hiện nay, bài toán nhận dạng

T.k.Ho, J.Favata, V.Govindaraju và S.N.Srihari ở trung tâm nghiên cứu vê nhận
dạng và phân tích văn bản của trường Đại Học Tổng Hợp New York đã cài đặt hệ
thống chuyên nhận dạng các địa chỉ thư ở bưu điện [17], nhóm nghiên cứu của
Fujisaki, H.S.M.Beigi, C.C.Tapert, M.Ukeison và C.G .W olf ở phòng nghiên cứu
Watson IBM đã cài đặt hệ thống nhận dạng chữ viết tay hạn chế trực tuyến trên một
trạm làm
việc
của IBM [21).
Như- vậy, việc tìm ra một lời giải khả thi cho bài toán nhận dạng chữ viết tay là một
vấn đề cấp thiết và rất phức tạp, hiện tại vẫn cần đầu tư nhiều thời gian và công sức
MỞ ĐÂU
Nguyen Thị Thanh Tân
Trang - 5 -
Luận văn thạc sĩ
cua con nsười. Tronc luận văn này, chúnG, tôi cũng không kỳ vọng là giải quyết
được chọn vẹn bài toán nhận dạng chừ viết tay mà chỉ hy vọng dóng góp thêm được
một phương pháp khả thi để giải quyết một lớp bài toán con trong lĩnh vực nhận
dạng chữ viết tay.
Bài toán đặt ra trons luận văn là “ nhận dạng chù’ viết tay hạn chế dựa trên mô
hình inạng noron kết họp vói thống kê ngữ cảnh”, vấn đề “chữ viết tay hạn chế”
hay “chữ viết tay có ràng buộc” trong luận văn được quan niệm như sau:
• Chữ viết tay được xem xét là các chừ số và chữ cái tiếng Anh viết tay không
dấu.
• Khoảng cách giữa các dòng chữ trong các văn bản đầu vào phải xác định
được (tức là giữa các dòns chừ phải có một khoảng cách tương đôi, không
được dính hay chồng lên nhau).
• Giữa các từ trên một dòng chữ phải có một khoảng cách nhất định (các từ
không được dính hay móc nối vào nhau).
• Các kí tự trên văn bản cần nhận dạng không được quá nghiêng.
Sở dĩ, chúng tôi lựa chọn mạng nơron làm công cụ để thể hiện các thuật toán nhận

Chương này tập trung vào việc xây dựng mô hình hiệu quả để nhận dạng chữ viết
tay hạn chế với những nội dung chính sau đây:
• Sơ đồ tổng quan của mô hình nhận dạng từ được đề xuất bời luận văn.
• Quá trình xây dựng mạng nơron bổn lớp cải tiến.
• Quá trình xây dựng bộ thống kê.
• Quá trình xây nhận dạng từ.
• Đánh giá khả năng nhận dạng của mô hình
Chu ong 3: Cài đặt hệ thống nhận dạng chữ viết tay hạn chế
N”U\en Thị Thanh Tân
Tran” - 7 -
Luận văn thạc sĩ
Chương này sẽ mô tả một cách cụ thể hơn về qui trình nhận dạng chừ viết tay hạn
chế. Đồng thời, sẽ cụ thể hóa đến mức chi tiết nhất có thề việc ứng dụng mô hình
nhận dạng đã được đề xuất ở chương 3 để nhận dạng chữ viết tay hạn chế.
Chương 4: Thử nghiệm hệ thống nhận dạng chữ viết tay hạn chế
Chương này sẽ mô tả chi tiết quá trình thử nohiệm cũno như các kết quả thử nghiệm
của hệ thống với các tập dữ liệu khác nhau.
Phần kết luận
Phần này sẽ nêu lên các vấn đề đã giải quyết được, chưa giải quyết được và hướng
phát triển trone tương lai của luận văn.
Các phần phụ lục A, B, c
Các phần phụ lục sẽ cung cấp các thông tin tham khảo có giá trị về các kết quả thực
nghiệm của chương trình, các kí hiệu, từ khóa được sử dụng trong luận văn, các tài
liệu tham khảo,
MỞ ĐÂU
Nguvcn Thị Thanh Tàn Trans - 8
Luận vãn thạc sĩ
CHƯƠNG 1 - TỔNG QUAN VÈ NHẬN DẠNG CHỮ DỰA
TRÊN MÔ HÌNH MẠNG NƠRON
1.1 Tổng quan về mạng noron

Z: Là hàm tổng trên một nơron, dùng để tính tổng giá trị kích hoạt lên nơron
đó ( thường tính bang tổng của tích các đầu vảo với trọng số liên kêt của nó).
TỔNG QUAN VỀ NHẬN DẠNG CHỮ DựA TRÊN MÔ HÌNH M ẠNG NƠRON
Nixuyễn Thị Thanh Tân
Trang - 9 -
Luận văn thạc sĩ
• uk\ Là tông giá trị kích hoạt lên nơron thứ k (giá trị này là đầu ra của hàm
tổng).
• bk- Là độ lệch của nơron thứ k, giá trị này được dùng như một thành phần
phân ngưỡng trên hàm kích hoạt.
• f(.): Là một hàm kích hoạt (Activation function), hàm này được dùng để giới
hạn phạm vi đầu ra của mỗi nơron. Giá trị của hàm này thường được xác
định dựa trên hàm tons và độ lệch đã cho. Thông thường, phạm vi đâu ra của
mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1, 1], Các hàm kích hoạt có
thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm kích hoạt nào là
tuỳ thuộc vào từng bài toán . Một số hàm kích hoạt thường sử dụng trong các
mô hình mạng nơron được thể hiện trên Bảng 1-1.
• yk‘. Là tín hiệu đâu ra của một nơron, môi nơron sẽ có tôi đa một đâu ra.
Với thuật ngữ toán học, cấu trúc của một nơron k, được mô tả bàng cặp biểu thức
sau:
P
uk = x wkjxj
và
yk=f(uk-bk)
y
Hàm Symmetrical
Hard Limit (hardlims)
+1
ü~
-1

tnrnu đâu vào thì sai sô ci ừ a giá trị đâu ra thực sự của mạng và aiá trị mục tiêu
tương ứng là nhỏ nhất.
Với bài toán nhận dạng, ta có thể nói: Phương pháp học có thầy là phương pháp học
để phàn lớp trên tập mẫu huân luyện đầu vào. Trong đó số lớp cần phân là biết
trước và thuật toán học mạno có nhiệm vụ phải xác định được các luật phân lớp sao
cho mỗi huấn luyện đầu vào sẽ được phân vào đúng lớp của nó. Một số thuật toán
điển hình tron? phương pháp học có thầy là: thuật toán LMS (Least Mean Square
error), thuật toán lan truyên ngược sai so (back propagation),
2. Phuong pháp học không có thầy
Ngược lại với học có thầy, phương pháp học không có thầy là học để thực hiện một
công việc mà không cần bất kỳ sự giám sát nào. Với cách tiếp cận nảy, tập mẫu
huấn luyện chỉ được cung cấp cho thuật toán dưới dạng: D = {(X|, X2, ,XN) } , với
(Xi, X2, ,XN) là vector đặc trưng của mẫu huấn luyện và nhiệm vụ của thuật toán
huấn luyện mạng là phải phân chia tập dữ liệu D thành các nhóm con, mỗi nhóm
chứa một tập vector đầu vào có các đặc trưng giống nhau, việc phân nhóm này cho
phép tạo ra các lớp một cách tự động. Đe phân nhóm trên tập mẫu huấn đâu vào, ta
thường phải xây dựng các tiêu chuẩn để đánh giá “độ giống nhau” giữa các mẫu.
Với bài toán nhận dạng, ta có thể nói: Phương pháp học không có thầy là phương
pháp học để phân lớp tập mẫu huấn luyện đầu vào. Trong đó, số lớp cần phânlà
không biết trước và thuật toán học mạng có nhiệm vụ phải xây dựng được các tiêu
chuẩn đánh giá “độ giống nhau” giữa các mẫu sao cho các lớp mẫu được tạo ra một
cách tự động là tương đương với các lớp mẫu thực sự.
Trong thực tế, phương pháp học có thầy được ứng dụng nhiều hơn phương pháp
học không có thầy. Kiểu huấn luyện không có thầy thường không thích hợp với bài
toán phân lóp bởi vì rất khó để xây dựng một phương pháp đảm bảo được chắc chắn
có sự tương ứng giữa các lớp được tạo ra một cách tự động với các lớp dữ liệu thực
sự, phương pháp này thường thích hợp hơn với các bài toán mô hình hoá dữ liệu.
TÔNG QUAN VỀ NHẬN DẠNG CHỬ DựA TRÊN MÔ HÌNH MẠNG N ơ RON
Nuuyễn I 11! Thanh Tàn Trang -12-
Luận văn thạc sĩ

Luặn văn thạc sĩ
1.2.2 Nhận dạng văn bản
Các bước cần thực hiện trong giai đoạn này được thê hiện trên Hình 1.2 , bao gồm:
1. Thu nhận và lưu trữ ảnh: Đây là cône đoạn đầu tiên trons một quá trình nhận
dạng ảnh. Trong một hệ thống nhận dạng, ảnh thường được thu nhận qua
scanner, sau đó được lưu trữ dưới các định dạng file (*.pcx, *.bmp, * -jpg, * tif,
* .gif, *.png, ). Nhìn chun» việc lựa chọn định dạng file lưu trữ sẽ tuỳ thuộc
vào các văn bản đầu vảo cần nhận dạng và các yêu cầu cụ thể của từng hệ
thống.
2. Tiền xử lý ảnh: Đây lả cônơ đoạn sử dụna, các kỹ thuật xử lý ảnh để nâng cao
chất lượng ảnh đầu vào. Nhìn chung, chất lượng của ánh đầu vào sẽ ảnh hưởng
nhiều đến chất lượng nhận dạng. Vì vậy, tiền xử lý ảnh là một bước không thể
thiếu được trong một hệ thống nhận dạng hay xử lý ảnh. Các kỹ thuật thường
được sử dựng trong quá trình tiền xử lý là: Phân ngưỡng, căn chỉnh độ lêch
trang văn bản, lọc nhiễu, nối nét đứt trên ảnh,
3. Phân đoạn ảnh: đây là một trong những công đoạn quan trọng nhất trọng nhất
của quá trình nhận dạng và có ảnh hưởng lớn đến kết quả nhận dạng. Hai cách
tiếp cận phổ biến được đề xuất trong quá trình phân đoạn ảnh là:
• Cách tiếp cận trên xuống (top-down): Toàn bộ ảnh văn bản cần phân đoạn
được coi là một khối lớn, sau đó khối này được phân thành các khối nhỏ hơn,
các khối nhỏ này lại tiếp tục được phân thành các khối nhỏ hơn nữa cho đến
khi thu được các kí tự hoặc không thể phân nhỏ hơn được nữa. Nhìn chung,
với cách tiếp cận này, phương pháp thường dùng để phân đoạn ảnh là sử
dụng các biểu đồ tần suất ngang và dọc. Tuy nhiên, do biểu đồ tần suất bị
ảnh hưởng nhiều bởi độ nghiêng trang văn bản nên trước khi xử lý phân
đoạn, ta thường phải căn chỉnh độ lệch của trang văn bản.
TỔNG QUAN VÈ NHẬN DẠNG CHŨ' DựA TRÊN MÔ HÌNH MẠNG NƠRON
Nüuven Thị Thanh Tàn
Trang - 14 -
Luận văn thạc sĩ

tiếp cận phổ biến thường được sử dụng là:
• Cách tiếp cận nhận dạng dựa trên phân hoạch không gian.
• Cách tiếp cận nhận dạng dựa trên kỹ thuật đối sánh mẫu
• Cách tiếp cận nhận dạng dựa vào cấu trúc.
• Cách tiếp cận nhận dạng dựa trên mạng nơron.
Hiện nay, cách tiếp cận nhận dạng dựa trên mô hình mạng nơron đang trở thành
một trong những hướng nghiên cứu chính và nó đã được ứng dụng rộng rãi không
chỉ trong lĩnh vực nhận dạne; chữ mà cả những lĩnh vực khác, chẳnghạn như: Điều
khiển thông tin, dự tính, dự báo, Mạng nơron có khả năng học từ kinh nghiệm
TỎNG QUAN VỀ NHẬN DẠNG CHỮ DựA TRÊN MÔ HÌNH MẠNG Nơ RON
Niiiiycn I hi Thanh l ãn
'1'rnnụ. -16-
Luận v;ìn thạc sĩ
hay từ một tập mẫu do vậy nó rất phù hợp với các bài toán đổi sánh, phân loại mẫu,
xấp xì hàm, tối ưu hoá. lượn2 tử hoá vcctor và phân hoạch không oian dừ liệu.
Trong sô các mô hình mạne có thể ứng dụno trong nhận dạng thì mô hình mạng
nhiều lớp truyền tlìẳns MLP (Multilayer Perceptrons) với thuật toán huấn luyện lan
truyền ngược sai số là mô hình mạng phổ biến nhất và được ứng dụng nhiều nhất.
Phần sau đây, luận văn sẽ sẽ tập trung khảo sát khả năng nhận dạng của mô hình
mạng này một cách cụ thể và chi tiết hơn.
1.3 Mạng MLP và ứng dụng trong nhận dạng chữ
Mạna; MLP là mô hình mạng phổ thường được sử dụng tronR nhận dạng [9], [19],
[22], [29]. Cấu trúc mạng MLP là sự kết hợp của nhiều lớp nơron (ít nhất lả hai
lớp), trong đó mỗi lớp nơron được tạo thành từ nhiều Perceptron và sự liên kết giữa
các lớp nơron là liên kết đầy đủ.
v ề lý thuyết, người ta đã chứng minh được rằng chì cần sử dụng mạng nơron hai
lớp truyền thẳng (gồm một lớp ẩn và một lớp ra) là đủ để giải quyết các bài toán
phân lớp trên tập dữ liệu đầu vào không khả tách tuyên tính bằng cách huân luyện
chúng theo cách có giám sát (có thầy) với một thuật toán học khá phổ biến là thuật
toán lan truyền ngược sai số.

1.3.2 Kiến trúc mạng nhiều lớp truyền thẳng (MLP)
Hình 1.4 thể hiện mô hình mạng ba lớp với hai lớp ẩn. Các liên kết trong mạng là
liên kết đầy đủ tức là một nơron trong một lớp bất kỳ của mạng được liên kết với tât
cả các nơron ở lớp liền trước của nó. Trong đó, các tín hiệu lan truyền trên mạng
gồm hai loại:
■ Các tín hiệu đầu ra của mỗi nơron, các tín hiệu này thường được truyền
thẳng (theo từng nơron) trong mạng.
* Sai số trên các lớp của mạng. Mỗi tín hiệu sai số thường xuất phát ở một
nơron đầu ra của mạng, và được lan truyền ngược (theo từng lớp) ở trên
mạng- >ỹ'-
Ịtrungũm Tiiár. ■ ^ ri-îifv-:”nị
ri- V - L O / m
TỔNG QUAN VÈ NHẬN DẠNG CHỮ DựA TRÊN MÔ HỈNH MẠNG Nơ RON
Nỉiuvễn Thị Thanh Tàn
Trang -18-
Luận văn thạc sĩ
Pk-
V
-—►í

Vc

4 \ > , . 7 V \
M Ỉ Ẵ
rẨ V
7 V
r r
V 4 . X y Y '
Ị
/ <

số liên kết đó sẽ dược hiệu chỉnh theo các luật hiệu chỉnh trọng số. Sai số của mạng
sẽ dược đo bằng độ sai lệch giữa dầu ra thu được với các giá trị mục tiêu tương ứng.
Các sai số này sau đó sẽ được lan truyền ngược lần lượt trên các lớp mạng (từ lóp
cuối cùng đến lớp đầu tiên). Các trọng số liên kết sẽ được hiệu chỉnh sao cho các
đầu ra thực sự của mạng càng gân với các RÍá trị mục tiêu càng tôt.
Forw ard p ro p a g a tio n
phase
x0 Hj! w 1, b 1, n 1, -1
- I
H,: w 2, b \ rr
V2
y
f
O : w -\ b \ n 3
A . „3
• v l
f3 01
I
r Z
4
p f* I °>.
I
lỊ
f <
0
f3 q ,
B ack- p r o p a g a tio n
phase
T ▼ ▼
f ' 1

/ '\
' ‘ Ằ
- J V
- —•
~?2
T T T
▼ ▼
T T T
r > f
Hình 1.5: Mô hình mạng MLP vói thuật toán huân luyện lan truyên ngược sai sô
TỔNG QUAN VÈ NHẶN DẠNG CHỮ DỰA TRÊN MÔ HÌNH MẠNG NƠRON
Níiuyen Thị Tlunh Tân Trang - 20 -
Luận văn thạc sĩ
Quá trình huấn luyện một mạng nơron ba lớp với thuật toán lan truyền ngược sai số
được mô tả một cách chi tiết trên Hình 1.5 . Phần phía trên của mô hình thể hiện
quá trình lan truyền thẳns các giá trị đầu ra của các lớp, còn phần phía dưới thể
hiện quá trình lan truyền ngược sai số từ lớp cuối cùng về lớp đầu tiên của mạng.
Đây là mô hình mạng thực tế có thể sử dụna; trong các chương trình nhận dạng.
Những kí hiệu sử dụng trên mô hình được qui định như sau:
■ ///, H2, O: Lần lượt là kí hiệu của lớp ẩn thứ nhất, lớp ẩn thứ hai và lóp đầu
ra.
■ p, q: Lần lượt là số đầu vảo và số đầu ra của mạng.
■ L: Là số lớp của mạne (ở đây L = 3).
" (x/, Xị, Xp): Là p đầu vào của mạng.
■ (o/, 02, ,oq)\ Là ợ đầu ra của mạng.
■ (Ji, t2, tq): Là q giá trị mục tiêu tương ứng của vector đầu vào.
• w‘: Là ma trận trọng số liên kết trên lớp thứ i (i = 1->L).
■ b': Là độ lệch (ngưỡng phân lóp) của các nơron trên lớp thứ i (i = 1—»L).
■ d \ Là hệ sô học trên lớp thứ i của mạng.
■ v' : Là tổng giá trị kích hoạt lên nơron thứ j của lớp i

Đối với mạng nhiều lớp, sai số là hàm gián tiếp của các trọng sổ trong các lớp ẩn.
Do vậy để tính được các đạo hàm chúng ta phải sử dụng cách tính đạo hàm thành
phần như sau: giả sử chúng ta có một hàm f là hàm trực tiếp duy nhất của biến a.
Chúng ta muốn tính đạo hàm của/ theo biến thứ ba w. Khi đó ta tính:
# 0 0 ) ) = df(a) da(w)
dw da dw
Ap dụng điều này để tính các đạo hàm trong các công thức (1.1) và (1.2), ta được:
TÓNG QUAN VỀ NHẬN DẠNG CHŨ' DỤ A TRÊN MÔ HÌNH MẠNG NƠRON
Niỉuyễn Thị Thanh Tân
Trang - 22 -
Luận văn thạc sĩ
ề r = Ể - ê r (1.4)
"\ m m r\, ti) ' '
õw”j ỡv, ỡvt',;y
(1.5)
db"; d v 56,”
Ta dễ dànu tính được vế thứ hai của các biểu thức trên do mạng đưa vào lớp thứ m
là hàm trực tiếp của các trọnơ sổ và độ lệch tron» lớp đó.
n'" 1
m V ' w „ . /M-1 . L /■
v- = 2 . 0 " +ố'
7 = 1
Bây giờ thuật toán xuống dốc nhanh nhất trở thành:
< ;( * + l) = <,(* )-« < ? ; O'”"1)7'
ồ;,(Ấ: + l) = ồ,m(Ả:)-a<5;'
Viết ở dạng ma trận ta được:
w“ (Ẳ + l) = (£)-«"'< r(/'-')r
b " \k + \) = bm(k)-amôm
( 1.6)
Và y- = / ' > ” ) (1.7)

Đe tính ổ 1" ta sử dụng cách tính dạo hàm thành phần ở trên:
Ổ’" =
ÔF (õv

Y ÕF
õ v "
dv"1 õv
M+\
(1.14)
C'y""1 , ' , ,
Trong đó, giá trị của ——— được viêt dưới dạng ma trận Jacobin như sau:
d v n
d v
ô v n
ỡvt"'+l ổv"'+l õ v
/» +1
õv
ổv"
/H + l
I
m+1
ỡv;
d v '"+'
ổv'
dv
m +1
õ v ? ' d v "
õ v '
. m +1 ^ . n ì + [
ỡv w + | ơV , „ v

dv"
/M +l r- 1'/;/ / m \
= w t (v )
(1.18)
Với: F (vm ) =
/"'(ví") 0.
0 / > * ) ■
0 0.
(1.19)
Với hàm kích hoạt / " ’ là hàm Log-Sigmoid, ta sẽ có: f'"(v"') =
Khi đó: (vr; ) = = (1

!

)(_

1

(1 + exp(v'” ))2 1 + exp(v("' ) 1 + exp(v;' )
Vậy:
1
( 1.20)
1 + exp(-v,"' )
) = ( ! - / > ; (1.21)
ổ'" =
ÕF fỡv",+1Y ÔF
dv"
V ỡv'" y
A
rl F