L
L
ờ
ờ
i
ic
c
ả
ả
m
mơ
ơ
n
nEm xin bày tỏ lòng biết ơn sâu sắc tới GS.TS. Hà Quang Thụy, thày đã hướng
dẫn, chỉ dạy tận tình để em hoàn thành luận văn này. Em xin chân thành cảm ơn các
thày, cô giáo khoa Công nghệ thông tin - Trường Đại học công nghệ - Đại học Quốc
gia Hà nội đã truyền thụ kiến thức cho em trong suốt quá trình học tập vừa qua.
Tôi cũng xin cảm ơn cơ quan, bạn bè đồng nghiệp, gia đình và những người thân
đã cùng chia sẻ, giúp đỡ,
MỞ ĐẦU 10
CHƯƠNG 1 - MẠNG NƠ-RON NHÂN TẠO TRUYỀN THẲNG NHIỀU
LỚP 13
1.1 Giới thiệu về mạng nơ-ron nhân tạo 13
1.1.1 Khái niệm cơ bản 13
1.1.2 Mô hình mạng nơ-ron nhân tạo 15
1.1.3 Khả năng ứng dụng của mạng nơ-ron nhân tạo 18
1.2 Mạng nơ-ron lan truyền thẳng nhiều lớp 19
1.2.1 Mạng perceptron một lớp 19
1.2.2 Mạng perceptron nhiều lớp 22
1.2.3 Một số vấn đề cần chú ý khi sử dụng mạng MLP 30
Kết luận chương 33
CHƯƠNG 2 - KẾT HỢP GIẢI THUẬT DI TRUYỀN VỚI GIẢI THUẬT
LAN TRUYỀN NGƯỢC SAI SỐ ĐỂ TỐI ƯU HOÁ TRỌNG SỐ
MẠNG NƠ-RON NHÂN TẠO 34
2.1 Giới thiệu giải thuật di truyền 34
2.1.1 Giới thiệu 34
2.1.2 Tư tưởng chính của giải thuật di truyền 35
2.1.3 Giải thuật di truyền đơn giản 37
2.1 Ứng dụng giải thuật di truyền vào bài toán tối ưu hoá trọng số của mạng
nơ-ron nhân tạo 41
2.2.1 Xây dựng hàm giá 42
2.2.2 Mã hoá nhiễm sắc thể 42
2.2.3 Lai ghép 43 5
Kết luận chương 75
KẾT LUẬN 76 6
TÀI LIỆU THAM KHẢO 78
PHỤ LỤC 80
Phụ lục A - Giới thiệu về phần mềm dự báo 80
Phụ lục B - Mẫu học thử nghiệm so sánh các phương pháp lai ghép và đột
biến 85
Phụ lục C - Số liệu học và kiểm tra trong bài toán dự báo lưu lượng nước đến
hồ Hoà Bình 86
7
D
D
a
a
n
n
h
hs
s
á
Hình 1.8 Mạng perceptron một lớp 20
Hình 1.9 Thực hiện hàm XOR bằng mạng MLP 22
Hình 1.10 Lan truyền tín hiệu trong quá trình học theo phương pháp lan truyền
ngược sai số 23
Hình 1.11 Sai số E được xét là hàm của trọng số W 25
Hình 1.12 Minh họa về ý nghĩa của quán tính trong thực tế 30
Hình 1.13 Hàm sigmoid g(x) = 1/(1+e
-x
) 30
Hình 1.14 Nội suy hàm y = sin(x/3) + v, 0≤ x ≤ 20 sử dụng MLP 32
Hình 2.1 Sự sinh sản đơn giản phân bố các chuỗi con cháu nhờ sử dụng bánh xe
roulette với các khe hở tỷ lệ với độ thích nghi 38
Hình 2.2 Lưu đồ thuật toán của giải thuật di truyền đơn giản 41
Hình 2.3 Mã hoá nhị phân trọng số theo phương pháp GENITOR 43
Hình 2.4 Ví dụ về phương pháp mã hoá trọng số bằng số thực 43
Hình 2.5 Lai ghép nút (crossover-nodes) 44
Hình 2.6 Kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số 54
Hình 3.1: Bản đồ phân bố các trạm trên sông Đà 61
Hình 3.2 Mô hình dự báo dựa trên công nghệ học máy 67
Hình 3.3 Giao diện chính của phần mềm thử nghiệm 69
Hình 3.3 Kết quả dự báo với dữ liệu kiểm tra theo phương án 1 71
Hình 3.4 Kết quả dự báo với dữ liệu kiểm tra theo phương án 1 trên đồ thị scatter 72
Hình 3.5 Kết quả dự báo với dữ liệu kiểm tra theo phương án 2 73 8
Hình 3.6 Kết quả dự báo với dữ liệu kiểm tra theo phương án 2 trên đồ thị scatter 73
Hình 3.7 Kết quả dự báo với dữ liệu kiểm tra theo phương án 3 74
g
gb
b
i
i
ể
ể
u
uBảng 2.1 Các chuỗi của bài toán mẫu và các giá trị thích nghi 38
Bảng 2.2 So sánh các phương pháp đột biến 45
Bảng 2.3 So sánh các phương pháp lai ghép 46
Bảng 2.4 Kết quả thử nghiệm so sánh GA và BP với ngưỡng sai số 0.0005 48
Bảng 2.5 Kết quả thử nghiệm với giải thuật đề xuất 50
Bảng 2.6 Kết quả thử nghiệm so sánh GA’ và BP với ngưỡng sai số 0.0005 52
Bảng 2.7 So sánh khả năng hội tụ của mạng khi sử dụng hai phương pháp học GA’ và
BP với sai số dừng lặp khác nhau 53
Bảng 2.8 Kết quả thử nghiệm giải thuật kết hợp GA’ và BP với ngưỡng sai sô 0.0005
54
Bảng 3.1 Thống kê số liệu mưa thu thập được 63
Bảng 3.2 Thống kê số liệu lưu lượng thu thập được 64
nhưng tối đa không quá mười ngày. Dự báo dài hạn có khoảng thời gian dự báo từ hơn
mười ngày đế
n một năm. Khi thời gian dự báo lớn hơn một năm đó là dự báo siêu dài
hạn.
Thuỷ văn là một quá trình tự nhiên phức tạp, chịu tác động của rất nhiều yếu tố.
Tính biến động của các yếu tố này phụ thuộc vào cả không gian và thời gian nên gây
khó khăn rất lớn cho quá trình dự báo, tìm ra được mối liên quan giữa các yếu tố.
Thêm vào đó, do thiếu các trạm quan trắc cần thiế
t và thiếu sự kết hợp giữa các ngành
liên quan cho nên dữ liệu quan trắc thực tế thường là không đầy đủ, không mang tính
chất đại diện.
Yêu cầu chung mà tất cả các bài toán dự bảo thủy văn cần phải giải quyết là làm
cách nào để có thể phân tích và sử dụng chuỗi dữ liệu có trong quá khứ để dự đoán
được giá trị tương lai. Hiện nay, có rất nhiều phương pháp dự báo đã được
đưa ra dựa
trên mô hình vật lý và mô hình toán học. Trong nhiều trường hợp, kết quả nghiên cứu
dự báo thủy văn theo các mô hình nói trên đã đạt được một số thành công đáng ghi
nhận [1]. Tuy nhiên, vấn đề tìm kiếm phương pháp đủ tốt, đáp ứng các yêu cầu thực tế
giải quyết bài toán dự báo thuỷ văn vẫn là nội dung nghiên cứu thời sự hiện nay. Ở
trong nước, tại Viện Khí tượng Thủy v
ăn có hàng chục công trình nghiên cứu liên
quan tới dự báo thủy văn, đặc biệt có tới 4 đề tài cấp Nhà nước [3]. Trên thế giới, việc
áp dụng các phương pháp của khai phá dữ liệu (đặc biệt là các phương pháp học máy
mạng neuron và kết hợp với thuật toán gene) vào dự báo thủy văn đã trở thành nội
dung nghiên cứu dự báo thủy văn thời sự trong thời gian gần đây [5-7,12-14, 19].
Khai phá dữ liệu là mộ
t trong những lĩnh vực nghiên cứu của khoa học máy tính
hiện nay đang được phát triển rất mạnh mẽ. Nó kết hợp giữa học máy, công nghệ cơ sở
2
nâng lên 0.8742 (so với 0.8737 [2]), sai số quân phương là
72.28 m
3
/s (so với 76.10 m
3
/s [2]).
Nội dung chính của luận văn được tổ chức thành 3 chương có nội dung được
mô tả như dưới đây.
Chương I. Mạng nơ-ron nhân tạo truyền thẳng nhiều lớp. Chương này trình
bày những lý thuyết cơ bản về mạng nơ-ron nhân tạo, tập trung nghiên cứu mạng
truyền thẳng nhiều lớp. Chương này cung cấp một cách nhìn tổng quát nhất, và những
vấn đề về
quá trình huấn luyện mạng và thuật toán học của mạng mà tập trung chủ yếu
vào thuật toán lan truyền ngược sai số.
Chương II. Kết hợp giải thuật di truyền với giải thuật lan truyền ngược sai số
để tối ưu hoá trọng số mạng nơ-ron nhân tạo. Chương này trình bày về lý thuyết
của giải thuật di truyền và khả năng ứng dụng của giải thuật này k
ết hợp với thuật toán
lan truyền ngược sai số nhằm đạt tới một kết quả tốt hơn đối với bài toán tối ưu trọng
số mạng nơ-ron nhân tạo. 12
Chương III. Ứng dụng mạng nơ ron nhân tạo vào việc dự báo lưu lượng nước
đến hồ Hoà Bình. Chương này giới thiệu sơ lược về bộ dữ liệu sử dụng, các phương
pháp đánh giá kết quả dự báo và tập trung vào thử nghiệm các phương pháp để dự báo
lưu lượng nước đến hồ Hoà Bình trước mười ngày, từ đó đánh giá được khả năng ứ
ng
dụng các phương pháp học máy đã trình bày trong dự báo chuỗi thời gian, cụ thể là dự
Ạ
Ạ
N
N
G
GN
N
Ơ
Ơ
-
-
R
R
O
O
N
NN
N
H
H
Â
Â
N
N
N
N
G
GN
N
H
H
I
I
Ề
Ề
U
UL
L
Ớ
Ớ
P
P
Mạng nơ-ron nhân tạo được coi là một công cụ mạnh để giải quyết các bài toán
có tính phi tuyến, phức tạp và đặc biệt trong các trường hợp mà mối quan hệ giữa
các quá trình không dễ thiết lập một cách tường minh. Có nhiều loại mạng nơ-ron
khớp nối (hình 1.1)
Chức năng cơ bản của các tế bào nơ-ron là liên kết với nhau để tạo nên hệ thống
thần kinh điều khiển hoạt động của cơ thể sống. Các tế bào nơ-ron truyền tín hiệu
cho nhau thông qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện
và được tạo ra từ các quá trình phản ứng hoá học phức tạp. Tại nhân tế bào, khi điện 14
thế của tín hiệu vào đạt tới một ngưỡng nào đó thì nó sẽ tạo ra một xung điện dẫn tới
trục dây thần kinh ra. Xung này truyền theo trục ra tới các nhánh rẽ và tiếp tục
truyền tới các nơ-ron khác.
Hình 1.1 Cấu tạo của tế bào nơ-ron sinh học
Với mục đích tạo ra một mô hình tính toán phỏng theo cách làm việc của nơ-ron
trong bộ não con người, vào năm 1943, các tác giả McCulloch và Pitts [15] đã đề
xuất một mô hình toán cho một nơ-ron như sau:
Hình 1.2 Mô hình nơ-ron nhân tạo
Trong mô hình này, một nơ-ron thứ i sẽ nhận các tín hiệu vào x
j
với các trọng số
tương ứng là w
ij
, tổng các thông tin vào có trọng số là
1
m
ij j
j
wx
=
⎧
=
0
1
)( fg
(
1.2
)15
Như vậy, out = 1 (ứng với việc nơ-ron tạo tín đầu ra) khi tổng các tín hiệu vào
lớn hơn ngưỡng θ
i
, còn out = 0 (nơ-ron không tạo tín hiệu ở đầu ra) khi tổng các tín
hiệu vào nhỏ hơn ngưỡng θ
i
.
Trong mô hình nơ-ron của McCulloch và Pitts, các trọng số w
ij
thể hiện ảnh
hưởng của khớp nối trong liên kết giữa nơ-ron j (nơ-ron gửi tín hiệu) và nơ-ron i
(nơ-ron nhận tín hiệu). Trọng số w
ij
dương ứng với khớp nối kích thích, trọng số âm
ứng với khớp nối ức chế còn w
ij
bằng 0 khi không có liên kết giữa hai nơ-ron. Hàm
chuyển g ngoài dạng hàm bước nhảy còn có thể chọn nhiều dạng khác nhau và sẽ
=
∆= −
∑
(1.3)
Thao tác thứ hai trong mỗi nơ-ron là tính giá trị đầu ra tương ứng với giá trị đầu
vào f thông qua hàm kích hoạt hay còn gọi là hàm chuyển g(f) (hàm kích hoạt). Một
số hàm chuyển thường được sử dụng:
16
• Hàm bước nhảy
⎪
⎩
⎪
⎨
⎧
<
≥
=
00
01
)(
fkhi
fkhi
fg
(1.4)
• Hàm dấu
⎪
⎩
=
− f
e
fg
λ
(1.6)
b. Liên kết trong mạng nơ-ron nhân tạo
Mạng nơ-ron nhân tạo gồm các nơ-ron và liên kết có trọng số giữa chúng. ANN
tạo nên một hệ thống xử lý thông tin làm việc trên cơ sở phỏng theo cách làm việc
của hệ thống các nơ-ron trong bộ não con người. Tuy nhiên, trong bộ não của con
người, các tế bào nơ-ron liên kết với nhau chằng chịt và tạo nên một mạng lưới vô
cùng phức tạp.
Các loại mạng nơ
-ron nhân tạo được xác định bởi cách liên kết giữa các nơ-ron ,
trọng số của các liên kết đó và hàm chuyển tại mỗi nơ-ron. Các hình vẽ dưới đây thể
hiện các cách kết nối khác nhau.
Hình 1.3 Mạng nơ-ron nhân tạo chỉ có một nút và có sự phản hồi
Hình 1.4 Mạng nơ-ron truyền thẳng một lớp 17
(Single-layer feedforward network)
Mạng nơ-ron truyền thẳng một lớp là loại mạng chỉ có lớp nơ-ron đầu vào và
một lớp nơ-ron đầu ra (thực chất lớp nơ-ron đầu vào không có vai trò xử lý, do đó ta
nói mạng chỉ có một lớp). Loại mạng này còn được gọi là mạng perceptron một lớp.
Mỗi nơ-ron đầu ra có thể nhận tín hiệu từ các đầu vào x
1
, x
Học tham số là việc thay đổi trọng số của các liên kết gi
ữa các nơ-ron trong một
mạng, còn học cấu trúc là việc điều chỉnh cấu trúc của mạng bao gồm thay đổi số lớp
nơ-ron, số nơ-ron của mỗi lớp và cách liên kết giữa chúng. Hai vấn đề này có thể
được thực hiện đồng thời hoặc tách biệt.
Về mặt phương pháp học, có thể chia ra làm ba loại: học có giám sát hay còn gọi
là học có thầy (supervised learning), học tăng cường (reinforcement learning) và họ
c
không có giám sát hay còn gọi là học không có thầy ( unsupperviced learning).
1.1.3 Khả năng ứng dụng của mạng nơ-ron nhân tạo
Đặc trưng của mạng nơ-ron nhân tạo là khả năng học và xử lý song song. Nó có
thể gần đúng mối quan hệ tương quan phức tạp giữa các yếu tố đầu vào và đầu ra của
các quá trình cần nghiên cứu và khi đã học được thì việc kiểm tra độc lập thường cho
kết quả tố
t. Sau khi đã học xong, mạng nơ-ron nhân tạo có thể tính toán kết quả đầu
ra tương ứng với bộ số liệu đầu vào mới.
Về mặt cấu trúc, mạng nơ-ron nhân tạo là một hệ thống gồm nhiều phần tử xử lý
đơn giản cùng hoạt động song song. Tính năng này của ANN cho phép nó có thể
được áp dụng để giải các bài toán lớn.
Về khía cạnh toán học, theo định lý Kolmogorov, một hàm liên tụ
c bất kỳ f( x
1
,
x
2
, , x
n
) xác định trên khoảng I
n
( với I =[0,1]) có thể được biểu diễn dưới dạng:
và lưu lại mối quan hệ tương quan này thông qua bộ trọng số liên kết giữa các nơ-
ron. Do đó, mạng nơ-ron nhân t
ạo có thể tính toán trên bộ số liệu đầu vào mới để
đưa ra kết quả đầu ra tương ứng. 19
Hồi qui tuyến tính Xấp xỉ bằng mạng nơron
Y = a
1
X + a
2
Y=f(X, a
1
, …. , a
n
) Hình 1.7 Sự khác nhau giữa hồi quy tuyến tính và mạng nơ-ron
Với những đặc điểm đó, mạng nơron nhân tạo đã được sử dụng để giải quyết
nhiều bài toán thuộc nhiều lĩnh vực của các ngành khác nhau. Các nhóm ứng dụng
mà mạng nơ-ron nhân tạo đã được áp dụng rất có hiệu quả là:
• Bài toán phân lớp: Loại bài toán này đòi hỏi giải quyết vấn
đề phân loại các
đối tượng quan sát được thành các nhóm dựa trên các đặc điểm của các nhóm
đối tượng đó. Đây là dạng bài toán cơ sở của rất nhiều bài toán trong thực tế:
nhận dạng chữ viết, tiếng nói, phân loại gen, phân loại chất lượng sản
phẩm,…
θ
>
∑
Trong đó w
ij
là trọng số liên kết từ nơ-ron j tới nơ-ron i , x
j
là đầu vào từ nơ-ron
j, và
θ
là ngưỡng của nơ-ron i. Trong trường hợp trái lại đối tượng sẽ được phân vào
lớp B.
Việc huấn luyện mạng dựa trên phương pháp học có giám sát với tập mẫu học là
{(x
(k)
, d
(k)
)}, k= 1,2, …, p .Trong đó d
(k)
= [d
1
(k)
, d
2
(k)
, …, d
n
(k)
]
sẽ
bằng với đầu ra của mẫu học d
(k)
() () () ()
1
()( )
m
kTk kk
ii ijji
j
ygwx gwx d
=
== =
∑
với i=1, 2, …, n ; k = 1,2 , …, p (1.8)
`
Hình 1.8 Mạng perceptron một lớp
.
.
x
1
x
2
x
m
=-1
y
.
.
e
d
(w
1m
= θ
1
, w
2m
= θ
2
, w
nm
= θ
n
)
Ou
t
i
=
1 nếu net
i
≥
θ
0 nếu net
i
<
θ
o Xác định sai số δ
i
tại nơ-ron i:
δ
i
= d
i
– y
i
, trong đó d
i
là giá trị đầu ra
quan sát được và y
i
là giá trị đầu ra tính toán tại nơ-ron thứ i
o Tính
∆
w
ij
là số gia của trọng số w
ij
(trọng số liên kết giữa đầu vào j tới
nơ-ron i) theo công thức:
∆
w
ij
=
ηδ
i
x
điểm rời rạc của một hàm khả tách tuyến tính nào đó (f: R
n
→ R được gọi là khả
tách tuyến tính nếu các tập {F
-1
(x
k
)}, với x
k
thuộc miền trị của f, có thể tách được với
nhau bởi các siêu phẳng trong không gian R
n
).
Năm 1969, Minsky và Papert đã chứng minh một cách chặt chẽ rằng lớp hàm thể
hiện sự phụ thuộc giữa đầu vào và đầu ra có thể học bởi mạng Perceptron một lớp là
lớp hàm khả tách tuyến tính. Khả tách tuyến tính là trường hợp tồn tại một mặt siêu
phẳng để phân cách tất cả các đối tượng của một lớp này với một lớp khác, ví dụ một
mặ
t phẳng sẽ phân chia không gian ba chiều thành hai vùng riêng biệt. Mở rộng ra,
nếu có n đầu vào , n>2 thì công thức
1
n
ij j i
i
wx
θ
=
=
∑
tạo nên một siêu phẳng có n-1
1
+x
2
=0
Hay ta giải hệ bất phương trình
Dễ thấy mỗi bất phương trình ở trên có thể được thực hiện bằng một nơ-ron và
đầu ra của hai nơ-ron này (2 bất phương trình) là đầu vào của một hàm AND. Do
vậy có thể sử dụng mạng MLP sau để thực hiện chức năng của hàm XOR như sau:
Hình 1.9 Thực hiện hàm XOR bằng mạng MLP
b. Thuật toán học theo phương pháp lan truyền ngượ
c sai số
Thuật toán học theo phương pháp lan truyền ngược sai số do Rumelhart và các
cộng sự đề xuất [20] là một trong số những kết quả nghiên cứu quan trọng nhất đối
1
1
X
1
X
2
-
0,5
1,5
-
1
1
- x
2
> 0 23
với sự phát triển của mạng nơ-ron nhân tạo. Thuật toán này được áp dụng cho mạng
truyền thẳng nhiều lớp trong đó các nơ-ron có thể sử dụng các hàm chuyển là các
hàm liên tục có các dạng khác nhau.
Thuật toán sử dụng một tập các mẫu gồm các cặp đầu vào - đầu ra để luyện
mạng. Với mỗi cặp đầu vào - đầu ra (x
(k)
,d
(k)
) thuật toán lan truyền ngược sai số thực
hiện hai giai đoạn sau:
• Giai đoạn thứ nhất, mẫu đầu vào x
(k)
được truyền từ lớp vào tới lớp ra, và ta
có kết quả đầu ra tính toán được là y
(k)
.
• Giai đoạn tiếp theo, tín hiệu lỗi được tính toán từ sự khác nhau giữa đầu ra
quan sát được d
(k)
với đầu ra tính toán y
(k)
sẽ được lan truyền ngược lại từ lớp
ra đến các lớp trước để điều chỉnh các trọng số của mạng. Để làm ví dụ ta xét
mạng truyền thẳng có một lớp ẩn dưới đây, đối với các mạng có kích thước
j
jqjq
xvnet
1
(1.9)
nơ-ron q ở lớp ẩn sẽ tính toán và tạo kết quả ở đầu ra của nó là:
∑
=
==
m
j
jqjqq
xvgnetgz
1
)()(
(1.10)
Do đó tín hiệu vào của nơ-ron thứ i trên lớp ra sẽ là:
111
()
llm
iiqqiqqjj
qqj
net w z w g v x
===
==
∑∑∑
(1.11)
Và cuối cùng, đầu ra của nơ-ron i trên lớp ra sẽ là:
=−=− =−
⎢
⎥
⎣
⎦
∑∑ ∑∑
(1.13)
Như vậy với một tập gồm p mẫu học, chúng ta lần lượt xây dựng được p hàm
giá như vậy. Việc học của mạng hay nhiệm vụ của giải thuật thực chất là tìm kiếm
tập trọng số W trong không gian R
M
(M là số trọng số có trong mạng) để lần lượt tối
thiểu hoá các hàm giá như vậy. Điều đáng chú ý là việc tối thiểu hoá được tiến hành
liên tiếp nhau và theo chu kỳ đối với các hàm giá.
Để tối thiểu hoá các hàm giá như vậy, giải thuật lan truyền ngược sai số sử dụng
phương pháp giảm gradient để điều chỉnh các trọng số liên kết giữa các nơ-ron. Bản
chấ
t của phương pháp này là khi sai số E được vẽ như hàm của tham số gây ra sai số
sẽ phải có một cực tiểu tại bộ giá trị nào đó của tham số. Khi quan sát độ dốc của
đường cong, chúng ta quyết định phải thay đổi tham số thế nào để có thể tiến gần
đến cực tiểu cần tìm kiếm hơn. Trong hình vẽ dưới đây, giá trị của trọng số phải
giảm n
ếu đạo hàm d
E
/d
W
là dương 25
(1.15)
Do hàm sai số E là một hàm phức tạp và là hàm gián tiếp của trọng số w
iq
(công
thức 1.13). Sử dụng nguyên tắc tính đạo hàm của hàm gián tiếp cho
iq
E
w
∂
∂
ta có:
[][ ]
'( )
ii
iq i i i q oi q
iiiq
ynet
E
wdygnetzz
ynet w
η
ηηδ
∆
⎡⎤
⎡⎤⎡ ⎤
∂∂
∂
⎡⎤
∆=− = − =
⎢⎥
(1.17)
Trong đó net
i
là tín hiệu vào của nơ-ron thứ i trên lớp ra và g’(net
i
) =
∂
g(net
i
)/
∂
net. Kết quả này tương tự luật học delta áp dụng cho mạng perceptron một
lớp với đầu vào bây giờ là đầu ra z
q
của lớp ẩn.
W
W
d
E
/d
w
= tan α >
tan α
0
E26
Để điều chỉnh trọng số của các liên kết giữa lớp vào tới lớp ẩn ta cũng sử dụng
phương pháp giảm gradient và lấy đạo hàm theo các biến trung gian như đã áp ở
''
n
qj i i i iq q j
i
vdygnetwgnetx
η
=
⎡⎤
∆= −
⎣⎦
∑
(1.19)
Sử dụng công thức (1.13) chúng ta viết lại biểu thức (1.15) như sau:
()
1
'
n
qj oi iq q j hq j
i
vdwgnetxx
ηµδ
=
⎡⎤
∆= =
⎣⎦
∑
(1.20)
Trong đó
δ
hq
q
là tín hiệu vào của nơ-ron thứ q, như vậy tín hiệu lỗi của nơ-ron trên lớp
ẩn khác với tín hiệu lỗi của nơ-ron trên lớp ra (xem công thức 1.17 và 1.21). Vì sự
khác nhau này, thủ tục điều chỉnh trọng số được gọi là luật học delta mở rộng. Nhìn
lại công thức (1.21) tín hiệu lỗi
δ
hq
của nơ-ron thứ q trong lớp ẩn được xác định từ
các tín hiệu lỗi
δ
oi
, của các nơ-ron trên lớp ra.
Tổng quát đối với lớp bất kỳ, luật lan truyền ngược có dạng:
jinputioutputjiij
xxw
__
ηδ
ηδ
==∆
(1.22)
Trong đó “output_i ” là đầu ra của nơ-ron i và “ input_j ” là đầu vào của nơ-ron
j, δ
i
là tín hiệu học được định nghĩa trong công thức (4.10)
Từ các phân tích trên, thuật toán lan truyền ngược sai số được xây dựng như
sau:
Xét một mạng nơ-ron truyền thẳng có Q lớp, q = 1, 2, …, Q, và gọi net
i
và y
i
q
y
i
=
1
y
i
= x
(k)
i
Bước 2 (Lan truyền tín hiệu từ lớp vào tới lớp ra)
()
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
==
∑
−
j
i
q
ij
q
i
2
1
)(
2
1
)(
−=
+−=
∑
=
δ
Bước 4
(Lan truyền ngược sai số)
Lan truyền ngược sai số để điều chỉnh các trọng số và tính toán tín hiệu lỗi
q-1
δ
i
cho các lớp trước:
i
q
i
q
ij
q
yw
1−
=∆
if ( k < p ) then
Begin
k=k+1;
Goto bước1;
End
Else
Goto bước6;
Copyright: Tài liệu đại học ©