Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
MỤC LỤC
Tổng quan về mạng nơron nhân tạo 2
Mạng nơron lan truyền ngược sai số 13
Giải thuật di truyền 29
Giới thiệu về JOONE 45
Phát triển JOONE 62
Kiểm nghiệm lại các quy tắc học đã cài đặt. Ứng dụng JOONE cho bài toán
tính năng lượng bức xạ mặt trời 95
KẾT LUẬN 117
PHỤ LỤC A - Hướng dẫn cài đặt và sử dụng 119
PHỤ LỤC B - Bảng chữ viết tắt và thuật ngữ 120
PHỤ LỤC C – Danh sách cỏc hỡnh 121
PHỤ LỤC E – Danh sách các bảng 124
PHỤ LỤC F – Danh sách từ khoá 125
Tài liệu tham khảo 127
Trần Ngọc Tú - Lớp CNPM – K44 1
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
Tổng quan về mạng nơron nhân tạo
I.1.
Giới thiệu chung
Mạng nơron nhân tạo (Artificial Neural Networks) trong một vài năm trở lại
đõy đã được nhiều người quan tâm và đã áp dụng thành công trong nhiều lĩnh vực
khác nhau, như tài chính, y tế, địa chất và vật lý. Thật vậy, bất cứ ở đõu có vấn đề
về dự báo, phân loại và điều khiển, mạng nơron nhân tạo đều có thể ứng dụng
được. Sự thành công nhanh chóng của mạng mạng nơron nhân tạo có thể là do một
số nhân tố chính sau:
• Năng lực: mạng nơron nhân tạo là những kỹ thuật mô phỏng rất tinh vi, có
khả năng mô phỏng các hàm cực kỳ phức tạp. Đặc biệt, mạng nơron nhân
tạo hoạt động phi tuyến. Trong nhiều năm, mô hình tuyến tính là kỹ thuật
được sử dụng rộng rãi trong hầu hết các lĩnh vực, vì thế mô hình tuyến tính

con chó nhanh chóng học được rằng rung chuông gắn liền với ăn. Khớp thần kinh
giữa phần vỏ não thính giác và tuyến nước bọt đã nhạy hơn, vì thế khi rung chuông
vỏ não thính giác bị kích thích, con chó bắt đầu tiết nước bọt.
Do đó, từ một số rất lớn các đơn vị xử lý rất đơn giản này (mỗi đơn vị thực
hiện tổng trọng số cỏc ngừ vào sau đó kích hoạt một tín hiệu nhị phân nếu tổng ngõ
vào vượt quá ngưỡng), bộ não điều khiển để hoạt động những công việc cực kì
phức tạp. Dĩ nhiên, sự phức tạp trong hoạt động của bộ não không thể trình bày hết,
nhưng dù sao mạng trí tuệ nhân tạo có thể đạt được một vài kết quả đáng chú ý với
mô hình không phức tạp hơn bộ não.
I.1.2. Mô hình nơron nhân tạo
Nơron nhân tạo được định nghĩa như sau:
Trần Ngọc Tú - Lớp CNPM – K44 3
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
• Nơron nhân tạo nhận một số cỏc ngừ vào (từ dữ liệu gốc, hay từ ngõ ra các
nơron khác trong mạng). Mỗi kết nối đến ngõ vào có một cường độ (hay
trọng số), những trọng số này tương ứng với tác dụng khớp thần kinh trong
nơron sinh học. Mỗi nơron cũng có một giá trị ngưỡng.
• Tín hiệu được truyền qua hàm kích hoạt (hay còn gọi là hàm truyền) tạo
giá trị ngõ ra nơron.
Nếu sử dụng hàm truyền nấc (nghĩa là ngõ ra nơron là 0 nếu ngõ vào nhỏ hơn
0, và là 1 nếu ngõ vào lớn hơn hay bằng 0) thì nơron hoạt động giống như nơron
sinh học. Thực tế, hàm nấc ít khi sử dụng trong mạng trí tuệ nhân tạo. Lưu ý rằng
trọng số có thể âm, nghĩa là khớp thần kinh có tác dụng kiềm chế hơn là kích hoạt
nơron.
Mô hình một nơron nhõn tạo.
I.2.
Mạng nơron nhân tạo
I.2.1. Mô hình
Trên đõy mô tả các nơron đơn lẻ. Trong thực tế các nơron được kết nối với
nhau. Khi mạng hoạt động, chúng phải cú ngừ vào (mang giá trị hoặc biến của thế

khoảng [0, 1] hoặc [-1, 1]; số nhị phân 0, 1 hay số nhị cực -1, +1. Số biến của vộctơ
vào ra không bị hạn chế song sẽ ảnh hưởng tới thời gian tính và tài nguyên của máy
tính. Với số lượng lớn các biến của cỏc vộctơ đầu vào và ra đồng nghĩa với việc
tăng số lượng các số liệu quan sát. Thường số biến của vộctơ ra nhỏ hơn số biến của
vộctơ vào nhưng không phải bắt buộc là như vậy. Các lĩnh vực mà mạng nơron
thường được ứng dụng là :
• Phân loại (Classification)
• Mô hình hoá (Modeling)
• Biến đổi (Transformation and mapping)
a. Phân loại:
Một trong các công việc đơn giản và thường được sử dụng nhiều trong việc
quản lý các đối tượng đa biến là phân loại. Đó có thể là sắp xếp các đối tượng vào
các tập theo từng loại hoặc theo tầng lớp hoặc theo các lớp con của các lớp lớn hơn.
Thường xuyên việc phân loại theo tầng lớp bao gồm nhiều mức của cỏc phộp
ra quyết định, phân lớp một đối tượng vào nhúm, nhúm con, chủng loại, chủng loại
con, hoặc lớp. Ví dụ trong hoá học việc dự báo các đặc điểm cấu trúc khác nhau
cùng một hợp chất chưa biết trên phổ của nó.
b. Mô hình hoá:
Các hệ thống phân loại đưa ra các câu trả lời rời rạc như cú, khụng hoặc một
số nguyên định danh đối tượng đầu vào thuộc lớp nào. Tuy nhiên việc mô hình hoá
yêu cầu hệ thống phải sản sinh ra các câu trả lời mang tính liên tục. Trong việc mô
hình hoá một số lượng nhỏ các số liệu được sử dụng để xây dựng mô hình. Mô hình
này có thể đưa ra các dự báo cho tất cả các đối tượng đầu vào có thể. Việc tìm ra
đường cong phù hợp với các số liệu thực nghiệm (curve-fitting) là một trong những
ứng dụng thuộc dạng này. Trong phần lớn các ứng dụng chúng chỉ là thủ tục một
biến vào - một biến ra như sau:
Y = f(x, a, b, … , p)
Ở đây hàm f chứa một tập các tham số a, b, …., p. Các tham số này phải được
xác định bằng việc tối thiểu hoá độ chênh lệch giữa số liệu thực nghiệm và giá trị
tính toán từ mô hình:

Đào tạo mạng nơron
I.3.1. Phõn loại các phương pháp đào tạo mạng nơron
Có nhiều phương pháp để đào tạo một mạng nơron, chỳng được phõn loại theo
các chỉ tiêu khác nhau:
1) Phõn loại theo cách học có giám sát hay không:
a. Học có giám sát
b. Học không có giám sát
c. Học có giám sát và kiểm tra chéo.
2) Phõn loại theo số lượng mẫu học một lần:
a. Học cả tập mẫu một lần.
b. Học từng mẫu một, cần phải quan tõm thứ tự mẫu học.
c. Học từng phần của tập mẫu.
Tuỳ theo dạng bài toán mà ta quyết định chọn phương pháp học nào. Với bài
toán học có giám sát tức là có “thầy giáo” hướng dẫn và điều chỉnh lại trọng số của
mạng để đạt được lời giải. Như vậy cần phải chuẩn bị một tập mẫu học cho quá
trình học này. Các phần tiếp theo sẽ nêu một số điểm chính về việc chuẩn bị số liệu
học.
Vấn đề sắp xếp, bố trí thứ tự các số liệu học như thế nào cũng khá quan trọng,
vì nếu ta sử dụng học từng mẫu một, mạng thường sẽ rơi vào tình trạng “học mẫu
sau quên mẫu trước” và thường thì mẫu cuối cùng sẽ cho sai số nhỏ nhất. Vì vậy
phương pháp này ít được sử dụng so với phương pháp học từng phần của tập mẫu
hoặc học toàn bộ tập mẫu một lần.
I.3.2. Chuẩn bị dữ liệu đào tạo
Một khi ta quyết định giải quyết một vấn đề sử dụng mạng nơron nhân tạo ta
cần phải thu thập dữ liệu cho mục tiêu huấn luyện. Tập hợp dữ liệu huấn luyện bao
gồm một số các trường hợp, mỗi trường hợp chứa những giá trị của đầu vào và đầu
Trần Ngọc Tú - Lớp CNPM – K44 7
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
ra khác nhau. Những việc đầu tiên cần làm là: những biến nào sử dụng, bao nhiêu
trường hợp cần thu thập.

giá trị nằm xa ra khỏi vùng giá trị bình thường thì mạng huấn luyện phải có ngưỡng.
Cách tốt nhất đối với trường hợp này là nhận ra và loại bỏ những giá trị nằm xa đó
(có thể hủy trường hợp này hoặc xem giá trị nằm xa này là giá trị bị mất). Nếu giá
trị xa này khó nhận ra, mạng nơron nhân tạo có chức năng huấn luyện chịu được
giá trị nằm khỏi vùng này nhưng cách huấn luyện này thường kém hiệu quả hơn là
huấn luyện chuẩn.
Tóm lại, cách thu thập dữ liệu có thể nói gọn lại như sau:
• Chọn những giá trị huấn luyện có tác dụng.
Trần Ngọc Tú - Lớp CNPM – K44 8
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
• Dữ liệu số và danh định có thể xử lý trực tiếp bằng mạng nơron nhân
tạo. Chuyển những loại biến khác sang một trong các dạng này.
Cần hàng trăm hoặc hàng ngàn trường hợp mẫu huấn luyện; càng nhiều biến
thì càng nhiều mẫu huấn luyện. mạng nơron nhân tạo có khả năng nhận ra những
biến hữu dụng để huấn luyện.
I.3.3. Tiền xử lý và hậu xử lý
Tất cả các mạng nơron nhân tạo lấy giá trị vào và ra là số. Hàm truyền
thường được chọn sao cho có thể chấp nhận bất cứ vùng giá trị vào nào, và giá trị
ngõ ra hữu hạn (có tác dụng nén). Mặc dù ngõ vào có bất kì giá trị nào, nên hàm
truyền có giá trị bão hòa và chỉ nhạy trong một vùng hữu hạn nào đó.
biểu diễn đồ thị một hàm truyền cơ bản nhất, hàm xích ma (sigmoid) có biểu
thức toán học như sau:
x
e
y
−
+
=
1
1

Mạng nơron nhõn tạo có khả năng biến đổi cả những biến danh định hai
trạng thái và nhiều trạng thái để sử dụng trong mạng. Nhưng biến danh định trong
một tập rất nhiều trạng thái sẽ cần một số lớn tập mã nhị phõn n bít, dẫn đến kích
thước mạng rất lớn và khó huấn luyện. Trong trường hợp như vậy chúng ta có thể
mô phỏng biến danh định sử dụng chỉ số số đơn (mặc dù chưa đúng), ngoài ra
chúng ta phải tìm kỹ thuật khác tốt hơn để biểu diễn thông tin.
I.4.
Học quá mức và tổng quát hoá [4]
Một vấn đề mà các kỹ thuật trên không thực sự cực tiểu sai số là khi chúng ta
đưa một trường hợp mới vào mạng. Nói cách khác, thuộc tính mong muốn nhất của
mạng là khả năng tổng quát hóa các trường hợp mới. Thực ra, mạng được huấn
luyện cực tiểu hóa sai số dựa trên tập huấn luyện, tập này không hoàn hảo và hữu
hạn, rõ ràng sẽ không đúng khi cực tiểu sai số trên mặt phẳng sai số thực – mặt
phẳng sai số của mô hình cơ sở và chưa biết.
Sự phân biệt ở đõy chính là học quá mức hay khít quá mức. Cách dễ nhất để
minh họa khái niệm này là việc dò theo đồ thị đường cong đa thức hơn là minh họa
bằng mạng nơron nhân tạo nhưng ý nghĩa thì giống nhau.
Đa thức là phương trỡnh cú cỏc hệ số và lũy thừa hằng số.
Ví dụ:
y = 2x + 3
y= 3x
2
+ 4x + 1
Các đa thức khác nhau có đồ thị khác nhau, với bậc lớn hơn (và do đó có
nhiều số hạng hơn) sẽ có đồ thị phức tạp hơn. Với một tập dữ liệu cho trước, chúng
ta muốn tìm ra đa thức biểu diễn dữ liệu này. Dữ liệu có thể có nhiễu, vì thế chúng
ta không cần thiết tìm ra phương trình đúng nhất cho tất cả các điểm. Đa thức bậc
thấp hơn sẽ không thể đủ chính xác với tất cả các điểm, trong khi đó đa thức bậc
cao hơn chính xác tất cả các dữ liệu sẽ rất phức tạp, đa thức này sẽ có đồ thị không
đúng với hàm cơ sở.

Vấn đề đối với kỹ thuật này về việc thí nghiệm lặp đi lặp lại là tập xác minh
không thực sự đóng vai trò chọn lựa mạng, nghĩa là nó chỉ là một phần trong quá
trình huấn luyện. Độ tin cậy của nó chỉ ở mức độ vừa phải – khi số lần thí nghiệm
đủ, chúng ta có khả năng rơi vào trường hợp mạng thực hiện tốt trên tập xác minh.
Để thêm độ tin cậy hiệu suất của mô hình cuối cùng thì trong thực tế thường sử
dụng thêm một tập thứ ba – là tập kiểm tra. Mô hình cuối cùng được kiểm tra với
tập dữ liệu kiểm tra để đảm bảo rằng kết quả của tập xác minh và huấn luyện là thật.
I.5.
Tổng kết chương
Trong chương này đã giới thiệu tóm tắt về cấu trúc của mạng nơron và ứng
dụng của nó. So với các phương pháp truyền thống thì mạng nơron có một khả năng
vượt trội, tuy nhiên để ứng dụng nó thành công cũng cần nghiên cứu nhiều khớa
cạnh về đào tạo mạng nơron, như lựa chọn cấu trúc mạng nơron, thiết kế tập mẫu
học (nếu sử dụng phương pháp học có giám sát), và sau quá trình học phải tạo ra
mạng nơron có tính tổng quát cao để có thể đem ứng dụng thực tế được tốt. Sau đõy
là một số quy tắc được rút ra khi thiết kế mạng nơron và đào tạo nó:
• Chọn một số cấu trúc mạng ban đầu (thường một lớp ẩn có số nơron ẩn
bằng nửa tổng số nơron ngõ vào và ngõ ra).
Trần Ngọc Tú - Lớp CNPM – K44 11
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
• Thực hiện lặp đi lặp lại số thí nghiệm của mỗi cấu trúc mạng, giữ lại
mạng tốt nhất (thường dựa trên sai số xác minh). Thí nghiệm nhiều lần
trên mỗi cấu trúc mạng để tránh rơi vào sai số cục bộ.
• Trong mỗi lần thí nghiệm, nếu xảy ra việc học chưa đủ (mạng không đạt
được mức hiệu suất chấp nhận) thì thử tăng số nơron trong lớp ẩn. Nếu
không hiệu quả, thỡ thờm một lớp ẩn. Nếu xảy ra học quá mức (sai số
xác minh bắt đầu tăng lên) thử bỏ bớt một vài nơron ẩn (và có thể bỏ lớp
ẩn).
Trần Ngọc Tú - Lớp CNPM – K44 12
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng

Hiệu chỉnh trọng số
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
Luồng dữ liệu truyền trong mạng lan truyền ngược sai số
I.7.
Các khái niệm liên quan đến giải thuật lan truyền ngược sai số [1]
I.7.1. Mặt lỗi
Quá trình học theo giải thuật lan truyền ngược sai số là một quá trình tìm các
trọng số của mạng sao cho ánh xạ của quá trình lan truyền tiến khớp nhất với bộ dữ
liệu chứa các mẫu của hàm đớch. Sai số trung bình bình phương thường được sử
dụng để đo lường sự trùng khớp giữa ánh xạ cần xõy dựng với hàm đớch cho trước
(qua tập mẫu).
Cho tập mẫu:
Ω = {(X
k
, T
k
) = (x
k1
, x
k1
, , x
kM
; t
k1
, t
k1
, ,t
kN
);
x

2
∑∑
= =
−
=
(2.0)
Về mặt hình học ta có thể xem RMSE như một mặt lỗi. Để có thể hình dung, ta
xét bài toán với mô hình tuyến tính tạo ra bởi mạng nơron một lớp:
xa a y
10
+=
Trong mô hình này hai tham số tương ứng với hai trọng số a
0
và a
1
. minh hoạ
một không gian ba chiều với hai tham số a
0
và a
1
tạo thành mặt đáy và sai số RMSE
chính là trục thứ ba.
Trần Ngọc Tú - Lớp CNPM – K44 14
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
Mặt lỗi trong không gian trọng số [11]
biểu diễn một mặt lỗi. Cho trước một tập mẫu, chiều cao của từng điểm trên
mặt lỗi cho biết sai số của mô hình ứng với cặp trọng số (a
0
, a
1

Trần Ngọc Tú - Lớp CNPM – K44 15
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
3. Cập nhật trọng số theo hướng giảm dốc nhất của mặt lỗi.
4. Xem điểm mới như điểm x
0
và tiếp tục lặp lại từ bước 2.
Lặp đi lặp lại quá trình từ bước (2) đến bước (4) thì đến lúc nào đó giá trị của
bộ trọng số sẽ tiếp cận được điểm thấp nhất trong mặt lỗi.
I.7.3. Cực tiểu cục bộ
Ta có thể hình dung cách làm việc của phương pháp giảm gradient như sau:
ném một quả bóng trên mặt lỗi, rồi để nó tự lăn xuống cho đến khi nó nằm yên tại
điểm thấp nhất trên mặt lỗi. Tuy nhiên nếu mặt lỗi nhấp nhô, nghĩa là có nhiều điểm
trũng với độ cao thấp khác nhau, do quả bóng được đẩy vào một điểm ngẫu nhiên
trờn mặt lỗi nên nó chỉ lăn vào điểm trũng gần nó nhất. Điểm trũng này chưa hẳn là
điểm trũng thấp nhất. Điểm trũng không phải thấp nhất mà quả bóng lăn vào rồi
nằm yên tại đó được gọi là cực tiểu cục bộ.
Dù không thể tính toán được dạng toàn mặt lỗi, nhưng ta có thể tính được
chiều cao và độ dốc mặt lỗi tại bất kỳ điểm nào trong không gian trọng số. Trong
toán học, độ dốc mặt lỗi được xác định qua đạo hàm riêng theo từng trọng số trong
mạng nơron.
I.7.4. Qui tắc chuỗi
Cho trước một tập mẫu, đạo hàm mặt lỗi đơn giản là tổng đạo hàm lỗi tính
trờn từng mẫu trong tập mẫu đó. Do đó ta sẽ tập trung phõn tích và tìm cách đạo
hàm hàm lỗi trên từng mẫu. Phương pháp tính đạo hàm này dựa trên “quy tắc
chuỗi”.
Nếu cắt mặt lỗi bằng một mặt phẳng song song với trục biểu diễn một trọng số
w nào đó, ta sẽ có kết quả như minh họa trong hình 9.
Mặt cắt của mặt lỗi trên một mặt phẳng song song với trục một trọng số.
Bằng cách cắt mặt lỗi như trờn, trong mặt cắt có chứa một đường cong lỗi.
minh hoạ đường cong này có một vùng trũng. Mục đớch của ta là tìm các giá trị của

w
w
w
E
w
E
n
∂
∂
∂
∂
∂
∂
=
∂
∂

2
1
1
(2.1)
I.8.
Đạo hàm hàm lỗi [1]
Ta sẽ xem cách một trọng số của nút ẩn ảnh hưởng đến hàm lỗi như thế nào.
Trước tiên, trọng số này ảnh hưởng trực tiếp lên tổng trọng hoá trên dữ liệu nhập và
thay đổi giá trị đầu ra của hàm truyền của nút ẩn này. Giá trị này sẽ được chuyển
cho tất cả các nút xuất và tương tự, cũng ảnh hưởng đến giá trị đầu ra của hàm
truyền gắn với nút xuất. Cuối cùng, các giá trị kết xuất của mạng sẽ được so sánh
Trần Ngọc Tú - Lớp CNPM – K44 17
0

(2.2)
Ta sẽ xét chi tiết từng đạo hàm thành phần trong công thức trên
a. Đạo hàm
zE ∂∂ /
Một nút xuất không ảnh hưởng gì đến sai số của các nút xuất khác trong lớp
xuất. Để đơn giản, trong công thức trên ta bỏ qua các chỉ số của các nút xuất, nếu
nút xuất đang xét có giá trị thực là z và giá trị đúng của nút đó là t, thì sai số bình
phương là:
2
)(
2
1
tzE −=
(2.3)
Các giá trị cụ thể của z và t cho ta một giá trị cụ thể của E. Bất kỳ một thay đổi
nào của z cũng làm thay đổi E (do t không đổi) và tỷ lệ thay đổi bằng (z - t), nghĩa
là:
tz
z
E
−=
∂
∂
(2.4)
b. Đạo hàm
vz
∂∂
/
Số hạng thứ hai trong chuỗi chính là đạo hàm z theo v, với v là tổng trọng hoá
của các tín hiệu vào nơron xuất. Giả sử ta dùng các nơron trong mạng có hàm

=
+=
J
j
jj
ybbv
1
0
(2.7)
Trần Ngọc Tú - Lớp CNPM – K44 18
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
Trong đó b
0
là trọng ngưỡng và b
j
là các trọng số các cung gắn với nơron xuất
đang xét, y
j
là giá trị của các nút ẩn.
Với b
0
ta có:
1
0
=
∂
∂
b
v
, tức là v thay đổi tỷ lệ cùng với trọng b

(2.8)
Thay công thức (2.4) và (2.6) vào công thức (2.8) ta có:
)1()( zztzp −−=
(2.9)
Đạo hàm riêng tương ứng với các trọng số là:



>
=
=
∂
∂
0.
0
jyp
jp
b
E
j
j
(2.10)
I.8.2. Đạo hàm hàm lỗi theo trọng số nút ẩn
Đạo hàm hàm lỗi của mạng đối với các trọng số của nút ẩn cũng được tính
theo quy tắc chuỗi:
a
u
u
y
y

=
∂
∂
K
k
k
k
k
k
y
v
v
z
z
E
y
E
1
(2.12)
Công thức có vẻ phức tạp này thực ra hoàn toàn đơn giản và dễ hiểu. Nó cho
thấy là ảnh hưởng của nút ẩn vào hàm lỗi E là một tổng, theo tất cả các nút xuất (k
= 1 K), của tích ba số hạng.
Hai số hạng đầu trong tích đó có ý nghĩa tương tự như trong phần trước.
Chỳng ta thay đổi lỗi theo kết xuất của nút xuất
k
zE
∂∂
/
và thay đổi của nút xuất
theo đầu vào của nó

yv
k
∂∂
/
. Số hạng này biểu diễn tác động của kết xuất của nút ẩn
trên tổng trọng hoá các dữ liệu nhập của nút xuất. Khi kết xuất của nút ẩn tăng, tổng
trọng hoá của nút xuất tăng lên một lượng bằng giá trị trọng số của nó trên nút ẩn đó
vì thế:
k
k
b
y
v
=
∂
∂
(2.14)
Và ta có:
∑
=
=
∂
∂
K
k
kk
bp
y
E
1

∂
∂
=:
(2.17)
Ta có:
)1(:
1
yybpq
K
k
kk
−






=
∑
=
(2.18)
c. Đạo hàm
au
∂∂
/
Với số hạng cuối cùng
au
∂∂
/

∂
∂
0.
0
xxq
xq
a
E
i
i
(2.19)
Cấu trúc của mạng là đặc điểm chính tác động đến tính mềm dẻo của mô hình
mà mạng sản sinh ra; đó là số lớp và cách mà các nơron được nối với nhau. Mặc dù
giải thuật lan truyền ngược được thiết kế cho các mạng nơron nhiều lớp, nó cũng có
Trần Ngọc Tú - Lớp CNPM – K44 20
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
thể được áp dụng cho các mạng nơron có một lớp. Các lớp của mạng nơron lan
truyền ngược sai số có thể được nối đầy đủ với nhau.
I.9.
Quy tắc học của giải thuật lan truyền ngược sai số [1]
Đào tạo mạng nơron lan truyền ngược sai số là quy trình cập nhật các trọng số
của mạng nơron sao cho hàm lỗi RMSE giảm dần. Bất kỳ phương pháp nào giúp
xác định biến thiên trọng số khi cập nhật trọng số sao cho sai số RMSE giảm đều
được gọi là quy tắc học.
Có nhiều quy tắc học được công bố, trong phần này chỉ nhắc lại quy tắc học
giảm theo hướng dốc nhất. Ta gọi là quy tắc học giảm dốc giảm nhất cho gọn. Quy
tắc này sử dụng thông tin đạo hàm, trình bày trong phần trước, để cập nhật trọng số.
Quy tắc giảm dốc nhất, còn gọi là quy tắc delta, là một trong những quy tắc
học nguyên thuỷ nhất của giải thuật lan truyền ngược sai số. phương pháp được
Rumelhart, Hinton và Williams giới thiệu năm 1986.

véctơ đạo hàm của từng mẫu trong tập mẫu. Trong hình trờn, véctơ này được biểu
diễn bằng một mũi tên nét đứt. Độ lớn của véctơ này chính là đạo hàm sai số trung
bình của toàn bộ tập mẫu, tương ứng với hướng và độ dốc của mặt lỗi tại điểm đó
trong không gian trọng số. Véctơ càng dài thì mặt lỗi càng dốc theo hướng của
véctơ này.
Bõy giờ, ta xét hai trọng số khác nhau. Độ lớn và hướng của mỗi véctơ đạo
hàm sai số trung bình tương ứng với từng trọng số đó được tính theo cách nêu trên.
Kết quả ta sẽ có hai véctơ. Biểu diễn chúng trong một hệ trục toạ độ từ các trọng số
này, ta sẽ có hai mũi tên đứt nét vuông góc nhau và có cùng độ lớn tại cùng một vị
trí như minh hoạ trong hình 12.
Đạo hàm riêng hàm lỗi theo hai trọng và hướng giảm dốc.
Nếu mạng chỉ có hai trọng số thì tổng lỗi chính là tổng véctơ đạo hàm riêng
hàm lỗi này. Độ lớn véctơ tổng chính là đường chéo hình chữ nhật tạo từ hai véctơ
đạo hàm riêng. Theo quy tắc cộng véctơ, độ lớn véctơ tổng tương ứng với độ dốc
Trần Ngọc Tú - Lớp CNPM – K44 22
hướng giảm dốc
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
nhất của mặt lỗi tại điểm đó. Và véctơ theo hướng ngược lại véctơ tổng như trong
hình vẽ biểu diễn hướng giảm dốc nhất.
Tương tự ta có thể hình dung được cách tính véctơ tổng của nhiều véctơ đạo
hàm riêng hàm lỗi. Khi xác định được véctơ tổng dễ dàng xác định được hướng
giảm dốc nhất, bằng cách đơn giản là lấy chiều ngược lại với véctơ tổng.
I.9.2. Xác định lượng hiệu chỉnh trọng số.
Theo hướng đã xác định ở trờn, trong quy tắc học giảm dốc nhất, bài toán này
được dành cho người thiết kế mạng quyết định hằng số học η với η∈ (0,1]. Bõy giờ
ta sẽ hình thức hoá lại tiến trình cập nhật trọng số bằng các ký hiệu toán học.
Gọi w
(t)
là giá trị trọng số tại bước thứ t. Để đơn giản, ta sẽ dùng ký hiệu w để
biểu diễn các trọng số nói chung, thay vì dùng cụ thể ký hiệu a




∂
∂
=
N
n
t
t
w
E
d
1
)(
)(
(2.22)
Giá trị của hằng số học
η
do người dùng quyết định. Chưa có cách tổng quát
nào để hướng dẫn chọn giá trị
η
và đây chính là hạn chế của quy tắc học giảm dốc
nhất. Thường
η
được chọn theo phương pháp “thử và sai”.
I.10.
Các yếu tố của quá trình học của mạng
Trong phần này chúng ta sẽ đề cập đến các yếu tố quan trọng ảnh hưởng tới độ
hội tụ, tốc độ học, các cực tiểu cục bộ, khả năng dự báo của mạng lan truyền ngược

,
1
, trong đó n là tổng trọng số cú trờn
lớp l. Do bản chất của giải thuật học lan truyền ngược sai số là phương pháp giảm
gradient nên việc khởi tạo các giá trị ban đầu của các trọng số khác nhau sẽ làm cho
mạng hội tụ về các cực trị địa phương khác nhau. Khả năng chọn các giá trị ban đầu
của các trọng số để mạng hội tụ về cực tiểu toàn cục sau quá trình học lan truyền
ngược sai số được kết nối với giải thuật di truyền cho việc học tham số sẽ được đề
cập ở phần sau.
I.10.2. Hằng số học η
Nếu chọn giá trị
η
tốt, tiến trình giảm gradient có dạng như hình 13.
Giá trị hằng số học
η
tốt.
Tuy nhiên trong thực tế không đơn giản như vậy. Nếu giá trị
η
khá lớn, biến
thiên trọng số sẽ rất lớn và đến một lúc nào đó nó sẽ đi lên chứ không đi xuống như
được minh hoạ trong hai hình 14 và 15.
Giá trị hằng số học
η
cao.
Việc “nhảy ra khỏi vùng trũng” này có thể lặp lại cho đến khi lỗi xuống đủ
thấp trong vùng trũng. Rồi nó mới hội tụ về giá trị tối ưu.
Trần Ngọc Tú - Lớp CNPM – K44 24
Đồ án tốt nghiệp Mạng nơron nhân tạo và ứng dụng
Ở hình 15 biến thiên trọng lớn đến nỗi giá trị ở tít xa ở phía kia trên mặt lỗi.
Trong khu vực này độ dốc của mặt lỗi tiến về 0. Điều này có nghĩa các lần cập nhật

:
H(w) =
∇
2
E(w)
Để tìm kiếm cực tiểu của hàm E(w) chúng ta đặt gradient của nó bằng 0:
0 )()()()(
00
=+−+∇=∇
wHwwwEwE
Nếu chúng ta bỏ qua các đạo hàm bậc 3 và cao hơn chúng ta nhận được
phương trình:
)().(
1
00
wHwEww
−
∇−=
Nếu sử dụng chỉ số k để ký hiệu bước thứ k trong quá trình học chúng ta có
thể có công thức hoàn chỉnh cho luật cập nhật là:
)().(
)(1)()1()1( kkkk
wHwEww
−++
∇−=
(2.23)
Phương trình (2.23) còn có tên gọi là phương pháp Newton cho việc hiệu
chỉnh các trọng số. Phương pháp Newton sử dụng đạo hàm bậc hai hỗ trợ cho
gradient để xác định hướng và kích thước của bước dịch chuyển tiếp theo. Nó có thể
làm cho giải thuật hội tụ với bậc hội tụ là 2 khi điểm hiện tại gần với lời giải đối với