Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
MỤC LỤC
MỤC LỤC..................................................................................................................................1
CÁC HÌNH VẼ, BẢNG BIỂU TRONG LUẬN VĂN..............................................................2
THUẬT NGỮ TIẾNG ANH......................................................................................................2
Lời cảm ơn..................................................................................................................................3
Chương 1. Giới thiệu về mạng nơron nhân tạo..........................................................................5
1.1 Cấu trúc và mô hình mạng nơron ....................................................................................7
1.1.1 Mô hình một nơron sinh học.....................................................................................7
1.1.2 Cấu trúc và mô hình của một nơron nhân tạo...........................................................8
1.2 Cấu tạo và phương thức làm việc của mạng nơron.......................................................11
1.2.1 Mạng nơron một lớp................................................................................................13
1.2.2 Mạng nơron truyền thẳng nhiều lớp........................................................................14
1.2.3 Mạng nơron phản hồi..............................................................................................15
1.2.4 Mạng nơron hồi quy................................................................................................15
1.2.5 Mạng Hopfield.........................................................................................................15
1.2.6 Mạng BAM..............................................................................................................17
1.3 Các luật học....................................................................................................................18
1.3.1 Học có giám sát.......................................................................................................19
1.3.2 Học củng cố.............................................................................................................20
1.3.3 Học không có giám sát............................................................................................20
1.4 Thuật toán lan truyền ngược...........................................................................................22
1.5 Kết luận...........................................................................................................................29
Chương 2. Tìm hiểu mạng nơron Kohonen.............................................................................30
2.1 Giới thiệu........................................................................................................................30
2.2.1 Mạng nơron Kohonen nhận dạng ....................................................................33
2.2.2 Cấu trúc của mạng nơron Kohonen........................................................................33
2.2.3 Chuẩn hóa dữ liệu đầu vào......................................................................................34
2.2.4 Tính toán dữ liệu đầu ra của nơron.........................................................................35
2.2.5 Ánh xạ lưỡng cực....................................................................................................35
2.2.6 Chọn nơron thắng....................................................................................................36

Hình 1.8 Cấu trúc của BAM ....................................................................................................17
Hình 1.9: Cấu trúc huấn luyện mạng nơron.............................................................................18
Hình 1.10: Học có giám sát.....................................................................................................20
Hình 1.11: Học không có giám sát ..........................................................................................20
Hình 1.12: Sơ đồ cấu trúc chung của quá trình học.................................................................21
Hình 1.14: Mạng 3 lớp lan truyền ngược.................................................................................23
Hình 2.1: Một dạng mạng nơron Kohonen..............................................................................34
Hình 2.2: Sơ đồ khối biểu diễn huấn luyện mạng nơron Kohonen........................................38
Hình 3.1:Mô hình chung trong nhận dạng chữ viết.................................................................60
Hình 3.2: Sơ đồ huấn luyện mạng............................................................................................60
Hình 3.4: Biểu diễn ký tự e theo ma trận 5x7 pixcel...............................................................62
Hình 3.5: Biểu diễn ký tự e theo ma trận 5x7 bởi các giá trị .................................................62
Hình3.6: Biểu diễn ký tự e ở vector đầu vào...........................................................................62
Hình 3.7 Vẽ và gán ký tự.......................................................................................................62
Hình 3.8 Kết quả mạng nơron Kohonen nhận dạng ký tự e và ký tự c...................................63
Hình 3.9 Đưa chữ ký vào mạng và gán tên..............................................................................63
Hình 3.10 Kết quả mạng nơron Kohonen nhận dạng chữ ký.................................................64
THUẬT NGỮ TIẾNG ANH
- 2 -
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
ANN Mạng nơron cần huấn luyện
BAM Mạng BAM (Bidirectional Associative Memory)
SOM Mạng nơron tự tổ chức (Self Organizing Maps)
PE Phần tử xử lý (Processing Element)
OCR Nhận dạng ký tự quang (optical character recognition)
Lời cảm ơn
Chúng ta đều biết rằng, bộ não con người là một sản phẩm hoàn hảo của tạo
hóa, nó có khả năng tư duy và sáng tạo. Hiện nay, con người đang nghiên cứu
phương thức hoạt động của bộ não, sau đó áp dụng cho những công nghệ hiện đại.
- 3 -

Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
chúng ta nhìn thấy một vật gì đó, thì câu hỏi thường trực của mỗi người là; vật đó có
máy loại, và nó thuộc loại nào trong các loại có thể có.
Để giải quyết các bài toán nhận dạng, người ta đã đưa vào các cách tiếp cận
khác nhau, mỗi phương pháp tiếp cận trong những bài toán cụ thể đều có những ưu,
nhược điểm riêng. Phương pháp ứng dụng mạng nơron trong nhận dạng là một cách
tiếp cận mới và hiện đại. Nó có thể là công cụ rất mạnh để giải quyết các bài toán
trong lĩnh vực này.
Nội dung của đề tài đi vào tìm hiểu và xây dựng các phần tử nơron cơ bản,
xem xét và nghiên cứu cấu trúc một mạng nơron, giới thiệu về mạng nơron nhiều lớp
với thuật toán lan truyền ngược. Trọng tâm của đề tài đi vào tìm hiểu về mạng nơron
Kohonen (hay mạng nơron tự tổ chức – SOM).
Đề tài gồm ba chương
Chương 1, trình bày cấu trúc một phần tử nơron cơ bản, các cấu trúc mạng
nơron nhân tạo thường gặp, thuật toán học, phân tích ưu nhược điểm của chúng, và
giới thiệu về thuật toán lan truyền ngược.
Chương 2, tìm hiểu mạng nơron Kohonen.
Chương 3, nhận dạng ký tự quang sử dụng mạng nơron Kohonen.
Cuối cùng em xin cảm ơn các thày cô giáo, đặc biệt là PGS.TSKH Bùi Công
Cường đã tận tình chỉ dẫn cho em trong suốt thời gian làm đề tài. Xin cảm ơn các bạn
cùng lớp đã tạo điều kiện cho tôi được học tập và nghiên cứu trong môi trường tốt.
Hà nội, tháng 12 năm 2009.
Chương 1. Giới thiệu về mạng nơron nhân tạo
Học máy là một ngành khoa học nghiên cứu các thuật toán cho phép máy
tính có thể học được các khái niệm.
Phân loại: Có hai loại phương pháp học máy chính
- 5 -
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
• Phương pháp quy nạp : Máy học/phân biệt các khái niệm dựa trên dữ liệu đã
thu thập được trước đó. Phương pháp này cho phép tận dụng được nguồn dữ

• Phân tích thị trường chứng khoán (stock market analysis)
• Chơi trò chơi: tự động chơi cờ, hành động của các nhân vật ảo
• Rôbốt: là tổng hợp của rất nhiều ngành khoa học, trong đó học máy tạo nên hệ
thần kinh/bộ não của người máy.
• Các nhóm giải thuật học máy: Học có giám sát, học không giám sát, học
nửa giám sát, học tăng cường,…
1.1 Cấu trúc và mô hình mạng nơron
1.1.1 Mô hình một nơron sinh học
Phần tử xử lý cơ bản của một mạng nơron sinh học là một nơron, phần tử này
có thể chia làm bốn thành phần cơ bản như sau: dendrites, soma, axon, và synapses.
- Dendrites: là phần nhận tín hiệu đầu vào.
- Soma: là hạt nhân.
- Axon: là phần dẫn ra tín hiệu xử lý.
- Synapses: là đường tín hiệu điện hóa giao tiếp giữa các nơron.
Kiến trúc cơ sở này của bộ não con người có một vài đặc tính chung. Một
cách tổng quát, thì một nơron sinh học nhận đầu vào từ các nguồn khác nhau, kết hợp
chúng tại với nhau, thực thi tổ hợp phi tuyến chúng để cho ra kết quả cuối cùng ở đầu
ra. Hình 1.1 chỉ ra mối quan hệ giữa bốn phần tử của một nơron sinh học.
- 7 -
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
Hình 1.1 Một nơron sinh học
Một nơron sinh học chỉ có một số chức năng cơ bản như vậy, ta nhận thấy khả
năng xử lý thông tin của nó là rất yếu. Để có được khả năng xử lý thông tin hoàn hảo
như bộ não con người, thì các nơron phải kết hợp và trao đổi thông tin với nhau. Ta
hình dung sơ đồ liên kết, và trao đổi thông tin giữa hai nơron như hình 1.2.
Hình 1.2. Sự liên kết các nơron
1.1.2 Cấu trúc và mô hình của một nơron nhân tạo
Mô hình toán học của mạng nơron sinh học được đề xuất bởi McCulloch và Pitts,
thường được gọi là nơron M-P, ngoài ra nó còn được gọi là phần tử xử lý và được ký
hiệu là PE (Processing Element).

Việc lựa chọn hàm truyền tùy thuộc vào từng bài toán và kinh nghiệm của
người thiết kế mạng.
- 9 -
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa một
đầu ra.
Về mặt toán học, cấu trúc của một nơron i được mô tả bằng cặp biểu thức sau:

)(
iii
netfy
θ
−=
và
j
n
j
iji
xwnet
∑
=
=
1
trong đó: x
1
, x
2
, …x
m
là các tín hiệu đầu vào, còn w

xkhi
y
(1.6)
- Hàm giới hạn chặt (hay còn gọi là hàm bước)



<−
≥
==
01
01
)sgn(
xkhi
xkhi
xy
(1.7)
- Hàm bậc thang





<
≤≤
>
==
00
10
11

• Đồ thị các dạng hàm truyền được biểu diễn như sau:
- 10 -
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
Hình 1.4 Đồ thị các dạng hàm truyền
1.2 Cấu tạo và phương thức làm việc của mạng nơron
Dựa trên những phương pháp xây dựng nơron đã trình bày ở mục trên, ta có thể
hình dung mạng nơron như là một hệ truyền đạt và xử lý tín hiệu. Đặc tính truyền đạt
của nơron phần lớn là đặc tính truyền đạt tĩnh.
Khi liên kết các đầu vào/ra của nhiều nơron với nhau, ta thu được một mạng
nơron, việc ghép nối các nơron trong mạng với nhau có thể là theo một nguyên tắc
bất kỳ. Vì mạng nơron là một hệ truyền đạt và xử lý tín hiệu, nên có thể phân biệt các
loại nơron khác nhau, các nơron có đầu vào nhận thông tin từ môi trường bên ngoài
khác với các nơron có đầu vào được nối với các nơron khác trong mạng, chúng được
phân biệt với nhau qua vector hàm trọng số ở đầu vào w.
Nguyên lý cấu tạo của mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm nhiều
nơron có cùng chức năng trong mạng. Hình 1.5 là mô hình hoạt động của một mạng
nơron 3 lớp với 8 phần tử nơron. Mạng có ba đầu vào là x
1
, x
2
, x
3
và hai đầu ra y
1
, y
2
.
Các tín hiệu đầu vào được đưa đến 3 nơron đầu vào, 3 nơron này làm thành lớp đầu
vào của mạng. Các nơron trong lớp này được gọi là nơron đầu vào. Đầu ra của các
nơron này được đưa đến đầu vào của 3 nơron tiếp theo, 3 nơron này không trực tiếp

ứng đầu ra tương ứng, để khi có một kích thích bất kỳ tác động vào mạng,
mạng có khả năng suy diễn và đưa ra một đáp ứng phù hợp. Đây chính là chức
năng nhận dạng theo mẫu của mạng nơron. Để thực hiện chức năng này, mạng
nơron đóng vai trò như một bộ phận tổ chức các nhóm thông tin đầu vào, và
tương ứng với mỗi nhóm là một đáp ứng đầu ra phù hợp. Như vậy, một nhóm
bao gồm một loại thông tin đầu vào và một đáp ứng đầu ra. Các nhóm có thể
được hình thành trong quá trình học, và cũng có thể không hình thành trong
quá trình học.
Hình 1.6 là một số liên kết đặc thù của mạng nơron. Nơron được vẽ là các vòng
tròn xem như một tế bào thần kinh, chúng có các mối liên hệ đến các nơron khác
nhờ các trọng số liên kết. Tập hợp các trọng số liên kết này sẽ lập thành các ma trận
trọng số tương ứng.
1.2.1 Mạng nơron một lớp
Mỗi một nơron có thể phối hợp với các nơron khác tạo thành một lớp các
trọng số. Mạng một lớp truyền thẳng như hình 1.6a. Một lớp nơron là một nhóm các
nơron mà chúng đều có cùng trọng số, nhận cùng một tín hiệu đầu vào đồng thời.
Trong ma trận trọng số, các hàng là thể hiện nơron, hàng thứ j có thể đặt nhãn
như một vector w
j
của nơron thứ j gồm m trọng số w
ji
. Các trọng số trong cùng một
cột thứ j (j=1,2,...,n) đồng thời cùng nhận một tín hiệu đầu vào x
j
.
w
j
= [w
j1
, w

đầu vào không làm biến đổi các tín hiệu vào x
i
, tức là chúng không có các
trọng số hoặc không có các loại hàm chuyển đổi nào, chúng chỉ đóng vai trò
phân phối các tín hiệu.
• Lớp ẩn là lớp nơron sau lớp vào, chúng không trực tiếp liên hệ với thế giới
bên ngoài như các lớp nơron vào/ra.
• Lớp ra là lớp nơron tạo ra các tín hiệu ra cuối cùng.
1.2.3 Mạng nơron phản hồi
Mạng nơron phản hồi là mạng mà đầu ra của mỗi nơron được quay trở lại
nối với đầu vào của các nơron cùng lớp được gọi là mạng Laeral như hình 1.6b
1.2.4 Mạng nơron hồi quy
Mạng nơron phản hồi có thể thực hiện đóng vòng được gọi là mạng nơron
hồi quy như hình 1.6d. Mạng nơron hồi quy có trọng số liên kết đối xứng như mạng
Hopfield, mạng luôn hội tụ về trạng thái ổn định (Hình 1.6.b). Mạng BAM thuộc
nhóm mạng nơron hồi quy, gồm 2 lớp liên kết 2 chiều, không được gắn với tín hiệu
vào/ra. Nghiên cứu mạng nơron hồi quy mà có trọng số liên kết không đối xứng, thì
sẽ gặp phải vấn đề phức tạp nhiều hơn so với mạng truyền thẳng và mạng hồi quy có
trọng số liên kết đối xứng.
1.2.5 Mạng Hopfield
Mạng Hopfield là mạng phản hồi một lớp, được chỉ ra trong hình 1.6.b. Cấu
trúc chi tiết của nó được thể hiện trong hình 1.7. Khi hoạt động với tín hiệu rời rạc,
nó được gọi là mạng Hopfield rời rạc, và cấu trúc của nó cũng được gọi là mạng hồi
quy.
- 15 -
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
Hình 1.7 Cấu trúc của mạng Hopfield
Như mạng Hopfield đã vẽ ở trên, ta thấy nút có một đầu vào bên ngoài x
j
và


−+=
∑
≠
=
+
n
ij
j
i
k
jij
k
i
xywy
θ

i = 1,2,...,n (1.11)
Luật cập nhật trên được tính toán trong cách thức không đồng bộ. Điều này có
nghĩa là, với một thời gian cho trước, chỉ có một nút mạng cập nhật được đầu ra của
nó. Sự cập nhật tiếp theo trên một nút sẽ sử dụng chính những đầu ra đã được cập
nhật. Nói cách khác, dưới hình thức hoạt động không đồng bộ của mạng, mỗi đầu ra
được cập nhật độc lập.
Có sự khác biệt giữa luật cập nhật đồng bộ và luật cập nhật không đồng bộ.
Với luật cập nhật không đồng bộ thì sẽ chỉ có một trạng thái cân bằng của hệ (với giá
- 16 -
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
trị đầu đã được xác định trước). Trong khi đó, với luật cập nhật đồng bộ thì có thể
làm mạng hội tụ ở mỗi điểm cố định hoặc một vòng giới hạn.
1.2.6 Mạng BAM





=
∑
=
n
i
iijj
ywax
1
; với j = 1,2,...,m (1.13)
Sau đó x’ nuôi trở lại đầu vào của lớp y và tạo ra hàm y’’ theo phương trình
(1.12). Quá trình này cứ tiếp tục, bao gồm các bước như sau:
y
(1)
= a(wx
(0)
) (truyền thẳng lần thứ nhất)
- 17 -
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
x
(2)
= a(w
(T)
y
(1)
) (truyền ngược lần thứ nhất)
y

Thông thường, mạng nơron được điều chỉnh hoặc được huấn luyện để hướng các
đầu vào riêng biệt đến đích ở đầu ra. Cấu trúc huấn luyện mạng được chỉ ra ở hình
dưới. Ở đây, hàm trọng số của mạng được điều chỉnh trên cơ sở so sánh đầu ra với
đích mong muốn (taget), cho tới khi đầu ra của mạng phù hợp với đích. Những cặp
vào/đích (input/taget) được dùng để giám sát cho sự huấn luyện mạng.
Hình 1.9: Cấu trúc huấn luyện mạng nơron
Để có được một số cặp vào/ra, ở đó mỗi giá trị vào được gửi đến mạng và giá
trị ra tương ứng được thực hiện bằng mạng là sự xem xét và so sánh với giá trị
mong muốn. Bình thường, nó sẽ tồn tại một sai số vì giá trị mong muốn không hoàn
- 18 -
ANN Trọng số
w
i
So
sánh
Đích
Dữ
liệu
vào
Điều chỉnh
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
toàn phù hợp với giá trị thực. Sau mỗi lần chạy, ta có tổng bình phương của tất cả các
sai số. Sai số này được sử dụng để xác định các hàm trọng số mới.
Sau mỗi lần chạy, hàm trọng số của mạng được sửa đổi với đặc tính tốt hơn
tương ứng với đặc tính mong muốn. Từng cặp giá trị vào/ra phải được kiểm tra và
trọng số được điều chỉnh một vài lần. Sự thay đổi các hàm trọng số của mạng sẽ
được dừng lại, nếu tổng các bình phương sai số nhỏ hơn một giá trị đặt trước, hoặc
đã chạy đủ một số lần chạy xác định (trong trường hợp này, mạng có thể không thoả
mãn yêu cầu đặt ra do sai lệch còn cao). Có hai kiểu học:
• Học tham số: là các tham số về trọng số cập nhật kết nối giữa các nơron.

một số tín hiệu từ bên ngoài. Nhưng tín hiệu phản hồi chỉ mang tính chất đánh giá
hơn là mạng tính chất chỉ dẫn. Nó cho biết mức độ tốt hay xấu của một đầu ra đặc
biệt. Tín hiệu củng cố bên ngoài thường được xử lý bằng máy phát tín hiệu đánh giá
để tạo ra nhiều hơn nữa các thông tin tín hiệu đánh giá, sau đó dùng để điều chỉnh các
trọng số với mục đích đạt được tín hiệu đánh giá tốt hơn.
1.3.3 Học không có giám sát
Hình 1.11: Học không có giám sát
Trong phần học không có giám sát, sẽ không có thầy hướng dẫn, tức là không
có tín hiệu d cung cấp tới mạch phản hồi. Điều này cho thấy, ta sẽ không biết đầu ra
đạt giá trị gì. Với loại này, thì các nơron tự xoay xở với các dữ liệu mẫu mà nó có
được, chứ không có “thầy” gợi ý cần luyện theo hướng nào. Mạng phải tự khám phá
- 20 -
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
mẫu, đặc tính, sự tương quan hay loại đầu vào. Trong khi khám phá những đặc tính
này, tham số của mạng sẽ bị thay đổi. Quá trình này được gọi là tự tổ chức. Một ví dụ
điển hình là quá trình phân loại đối tượng không có thầy, những lớp thích hợp được
hình thành bằng cách khám phá sự tương tự và không tương tự trong số các đối
tượng.
Hình (1.12) mô tả cấu trúc chung của quá trình học của ba phương pháp học
đã nêu ở trên. Trong tín hiệu vào x
j
(j = 1,2,...,m), có thể được lấy từ đầu ra của các
nơron khác hoặc có thể được lấy ra từ bên ngoài. Trọng số của nơron thứ i được thay
đổi tùy theo tín hiệu ở đầu vào mà nó thu nhận giá trị đầu ra của nó.
Dạng tổng quát của luật học trọng số của mạng nơron cho biết số gia của
vector w
i
là
i
w

w
i
(t+1) = w
i
(t) +
η
f
r
(w
i
(t),x(t),d(t)).x(t). (1.17)
- 21 -
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
Phương trình liên quan đến sự biến đổi trọng số trong mạng nơron rời rạc, và tương
ứng với sự thay đổi trọng số trong mạng nơron liên tục theo biểu thức sau:
)(.. txr
dt
dw
i
η
=
(1.18)
Vấn đề quan trọng trong việc phân biệt luật học cập nhật trọng số có giám sát
hay không có giám sát, hoặc học củng cố là tín hiệu học r. Như vậy, đối với tín hiệu
học r thì nó làm thế nào để thay đổi hoặc cập nhật trọng số trong mạng nơron.
Mạng nơron nhân tạo có các tính chất sau:
• Là hệ phi tuyến
• Là hệ xử lý song song
• Là hệ học và thích nghi: Mạng được luyện từ số liệu quá khứ, có khả năng tự
chỉnh đầu vào khi số liệu đầu vào bị mất.

, d
(k)
), thuật toán lan truyền ngược thực hiện các bước như sau:
Đầu tiên, mẫu x
(k)
được lan truyền từ lớp đầu vào qua các lớp ẩn đi đến lớp đầu ra
có kết quả là y
(k)
. Sau đó, sai số giữa y
(k)
và d
(k)
được lan truyền ngược trở lại từ lớp
đầu ra tới lớp đầu vào để cập nhật trọng số. Hình (1.14) diễn giải thuật toán lan
truyền ngược. Kết quả có thể mở rộng sang mạng nơron nhiều lớp.
Trên hình (1.14) có m phần tử nơron đầu vào, l phần tử nơron ở lớp ẩn, và n phần
tử nơron ở lớp đầu ra. Đường nét liền diễn tả lan truyền thẳng của các tín hiệu, đường
nét đứt diên tả lan truyền ngược của các sai số. Đầu tiên huấn luyện vào cặp vào/ra
- 23 -
Website: http://www.docs.vn Email : [email protected] Tel (: 0918.775.368
ký hiệu (x,d) để cho đơn giản ta bỏ chỉ số k. Khi một mẫu đầu vào x được đưa vào
thì các phần tử trong mạng sẽ được tính như sau:
Đầu vào phần tử q của lớp ẩn sẽ được tính theo phương trình:
j
m
j
qjq
xvnet
∑
=

iqi
xvawzwnet
∑∑∑
===
==
(1.21)
Phương trình đầu ra của phần tử nowron thứ i sẽ là:
))(.()()(
111
j
m
j
qj
l
q
iqq
l
q
iqii
xvawazwanetay
∑∑∑
===
===
(1.22)
Các chỉ số trên được tính toán cho sự lan truyền tiến của các tín hiệu đầu vào
xuyên suốt qua các lớp mạng nơron. Trước khi ta đề cập đến các tín hiệu sai số của
sự lan truyền ngược, ta sẽ định nghĩa một hàm mục tiêu như sau:
[ ]
2
1 1

−=−=−=
n
i
l
q
qiqi
n
i
ii
n
i
ii
zwadnetadydwE
(1.23)
Sau đó, theo phương pháp độ dốc Gradient, các trọng số nối giữa lớp ẩn và lớp đầu ra
được cập nhật bởi
iq
w
∆
, và nó được tính theo công thức sau:
iq
iq
w
E
w
∂
∂
−=∆
η
(1.24)









∂
∂






∂
∂






∂
∂










∂
∂






∂
∂
−=
∂
∂
−=
δ
(1.26)
Trong đó, net
i
là đầu vào của phần tử nơron thứ i trong lớp đầu ra và
i
i
i
net
neta
neta

∂
∂








∂
∂
−=








∂
∂








net
net
E
v
E
v
ηηη
(1.27)
Từ công thức (1.23), thì mỗi sai số [d
i
-y
i
], với i=1,2,...,n là một hàm của z
q
.
Đánh giá thay đổi luật ta có:
( )
[ ]
jq
n
i
iqiiiqj
xnetawnetaydv ).('.).('.
1
∑
=
−−=∆
η
(1.28)
Sử dụng công thức (1.26), ta có thể viết lại công thức (1.28) như sau:

z
E
net
E
∑
=
=








∂
∂








∂
∂
−=
∂
∂