‫‪DỤC‬‬

‫‪٥٥c‬‬

‫‪PHẠM HỮU‬‬

‫‪ Ị‬؛‪ ,‬ااأ ة؟؟‪.‬؛ ذأ؛‬
‫‪:‬ﻟﻸ ‪ .‬ا إ! إ! أ إ؛! إإإ'‪.‬أإ‬
‫ب‪-‬ﻟﻢ‬
‫ا؛ا ا‪٠‬‬
‫! أ;‬
‫[اا!|ي‬
‫‪ iịi‬؛ ؟‬
‫‪- 1‬‬

‫‪MẠNGNOÍRON‬‬
‫&‬
‫‪٨‬‬
‫‪١‬‬

‫ﺩ‬


Phạiii Hй’‫اا‬

M A. I M G

Đ ÍÍC

Dục


!‫ اا‬.‫ )()(؟‬bill ІІ.ІІ c ỏ ìg ly 'ΓΝΗΗ Bao Bì và !11 Hái Naii١.
Số đãng ký kế hoạch xuất.bán: 2009 -٩2-‫ ؤ‬/CXB/67- 40/KHK'l'
Ngày 27/()4/2()()9.Quyê't định xuất b ‫ ا؛‬n sỏ': 32I/QĐXB- NXBXHNl'
n٤iày 2Χ/!0/2ϋ()^.Ιη xong và nộp lưu chiCu tliilns 11/2()0(‫و‬


LỜI NÓI ĐẦU
Bộ não của con n.irời là mộl san phẩm lioàn lião của tạo hoá, có khả
nâng học và tư duy sáng tạo. Hiện nay, trong lĩnh vực điều khiển, con người
đang cố gắn‫ ؟‬tiếp cận bộ não của mình. Để tiếp cận khả năng tư duy của bộ
não, người ta sử dụng khả năng suy diỗn của hệ mờ (Fuzzy Systems) dựa trên
các luật logic mờ. Để tiếp cận khá năng học, người ta đưa ra mô hình mạng
nơron (Neural Networks) gồm các noron liên kếl vdi nhau thành mạng phỏng
theo cấu trúc mạng thần kinh con người. Mỗi một nơron riêng lẻ có tốc độ xử
K' thông tin thấp, nhưng kill các nơron được ghép thành mạng thì tốc độ xử lý
thông tin của nó rất cao. Cấn trúc của mạng nơron là điều rất đáng được quan
tâm, vì việc nghiên cứu riêng ỉỏ mỗi nơron dã được chỉ ra là không có ý nghĩa
khoa học mà cần nghiên cứu khi chúng được liên kết với nhau thành mạng.
Ngoài ra, để tiếp cận cả hai khả năng học và tư duy của bộ não con
người, người ta nghiên cứu khả nâng tích họp của mạng nơron và hệ mờ đó là:
hệ mờ có sử dụng công cụ mạng потоп trong mô hình mờ (Neural Fuzzy
systems); mạng nưron mừ (Fuzzy Neural Networks) vứi bộ trọng số liên kết
của mạng потоп được mờ hoá; dạng lai giữa hệ mờ và mạng nơron (Fuzzy
Neiưal hybrid systems).
Cuốn sách "Mạng noron và ứng dụng trong đ‫؛‬ều khiển tự động"
cung cấp cho bạn đọc kiến thức ca bản nhất \’ề khái niệm của mạng noron,
một số mạng noron co bản, một số hệ thống tích hc.rp mạng noron với hệ mờ
cùno vói môt số ứng dung của chúng trong lĩnh vưc diều khiển tự động. Đây là
tài liệu cần thiết dùng cho sinh viên các trường đại học, học viên cao học,
nghiên cứu sinh chuyên ngành điéu khiển tự dộng.

có hạn, khbng thể tránh khỏi khiếtn khuyết, rất mong nhận dược các ỹ kiến
dOng góp của dộc giả dể cuốn sách thêm phần hoàn chỉnh hon ở lần tái bản
tiếp theo.
Mọi ý kiến góp ý xin gửi về địa chỉ: Nhà xuất bản Khoa học và Kỹ thuật,
70 Trần Hưng Dạo, Hà Nội hoặc trương Dại học Kinh tế - Kỹ thuật Cổng
nghiệp, 456 Minh Khai, quận Hai Bà Trưng, Hà Nội.
Xin chãn thành cảm om.
Tác giả


MỤC LỤC
LỜI NÓI DAU
MỤC LỤC
PHẨN 1. MẠNG NORON

1. Các kháỉ nỉệm cơ bản
1-1. Mô hlnh tiơron sinh học
1.2. Phầntửxửiy
1.3. Các loại mO hlnh cấu trủc.mạng IIƠIOÍ
1.4. Các tinh chất của mạng noton
1.5. Các luật học
2. Các mạng потоп truyền thắng sử tlụitg luật học giám sát
2.1. Mạng Adaline
2.2. Mạng Perceptron một lớp
2.3. Mạng truyền thẳng nhiều lớp
2.4. Cílc nhân tố ảnh hưởng dến tốc độ liội tụ trong luật học lan truyền ngược
2.5. Mạng потоп Wavelet
2.6. Bài tập
3. Mạng một lớp hổỉ quy và bộ nhớ lien kết
3.1. Mạng Hopfield

21
2‫؛‬

25
25
34
41
53
58
67
69
71
82
88
89
89
97
97
101
109

119
123
123
128
129
129
132
134
141

9.2. Simulink Neural Toolbox của Matlab
9.3. Các mô hình ứng dụng cửa Matlab trong điều khiển
9.4. ANFIS trong Fuzzy Toolbox của Matlab
10. Một số ứng dụng của mạng потоп, mạng mờ потоп
trong nhận dạng và điều khiển
10.1. ứ ig dụng 1
10.2. ứ ig dụng 2
10.3. ứ ig đụng 3
10.4. ứig dụng 4
10.5. úhg dụng 5
10.6. úhg dụng 6
Phụ lục 1: Chức năng các hàm cơ bản trong Neural Networks
Toolbox của Matlab
Phụ lục 2: Danh sách các hàm cơ bản trong Neural Networks
Toolbox của Matlab
Phụ lục 3: Chức nủng của các hàm cơ bản trong Fuzzy Logic
Toolbox cỉia Matlab
Phụ lục 4: Danh sách các hàm trong Fuzzy Logic Toolbox của Matlab
TÀI LIỆU THAM KHẢO

L50
152
156
163
163
163
169
173
175
175

dựa trên cấu trúc của bộ não con người, giúp ta đưa ra một phương pháp
mới trong lĩnh vực tiếp cận hệ thống thông tin. Mạng ncfron nhân tạo có thể
thực hiện các bài toán nhận mẫu (Recognition), tối ưu, nhận dạng
(Identification) và điều khiển (Control) cho các đối tượng tuyến tính và phi
tuyến đạt hiệu quả hơn so với các phương pháp tính toán truyền thống.
Mạng nơron nhân tạo (gọi tắt là mạng nơron) gồm nhiều nơron nhân
tạo (gọi tắt là nơron) liên kết với nhau thành mạng. Nó có hành vi tương tự
như bộ não con người với các khả nãng học (Learning), gọi lại (Recall) và
tổng hợp thông tin từ sự luyện tập của các mẫu và dữ liệu.
Mạng nơron đã có một lịch ,sử lâu dài. Từ năm 1943, McCulloch và
Pitts đã đề xuất một số liên kết cơ bản của mạng nơron. Năm 1949, Hebb
đã đưa ra các luật thích nghi trong mạng nơron. Năm 1958, Rosenblatt đưa
ra cấu trúc Perception. Nãm 1969, Minsky và Papert phân tích sự đúng đắn
của Perception, chứng minh các tính chất và chỉ rõ các giới hạn của một số
mô hình. Năm 1976, Grossberg dựa vào tính chất sinh học đã đưa ra một
số cấu trúc của hệ động học phi luyến với các tính chất mới. Năm 1982,
Hopfield đã đưa ra mạng hồi quy một lớp Hopfield. Nãm 1986, Rumelhart
đưa ra mô hình xử lý song song và một số kết quả của thuật toán. Năm
1986, thuật toán học lan truyền ngược (Back Propagation) được
Rumelhart, Hinton và Williams đổ xuất thực hiện luyện mạng nơron
truyền thẳng nhiều lớp.
Những năm gần đây có nhiều công trình nghiên cứu đề xuất các cấu
trúc, luật học cho nhiều loại mạng nơron truyền thẳng và hồi quy mới có
nhiều ưu điểm. Mạng nơron hiện đang được áp dụng có hiệu quả trong
nhiều lĩnh vực kinh tế, kỹ thuật.
Phần này trình bày về các khái niệm cơ bản và một số loại mạng
nơron thường gặp. Trong đó ứng với mỗi một loại mạng nơron đi sâu trình
bày cấu trúc, luật học đặc thù của chúng cùng với các ví dụ ứng dụng
minh hoa.

0,

a(v) = . V

nếu n

Ite

-Ằ\

.1

( 1. 10)

trong dó 0

Hinh 1.3. Đồ thị
cốc dạng Hàm chuyln dổi af.)
f٥). Hàm giới hạn cứng; (٥). Hàm giới
hạn cứng đối x ấ g ; (c). Hàm tuyển ‫'ﺀ؛‬,‫ﺀ‬/‫ا‬
bão hoà; (d). Hàm tuyến tinh bão hoà
đối xứtìg; (‫)ﺀ‬. Hàm sigmoid; ơ). Hàm
tang hyperbolic; (g). Hàm tuyến tinh

13


Mô hình ở dạng ký hiệu đơn
giản của noTon thứ i được trình bày
như hình 1.4. Trong đó nơron được
ký hiệu là một vòng tròn được xem
như là một tế bào thần kinh; nó có
các mối liên kết với các nơron khác
qua
các
trọng
số
Wịj;
j = (1, 2,..., m ); có m đầu vào là
[X|,X2,.--١X„١] và có một đầu ra là
y ‫؛‬. Trong đó thành phần trọng số

Hình 1.4. Mô hình đơn giản của
nơron thứ i




y

Hình 1.6. Sơ đồ mạch điện tử biểu diễn một nơron
khi sử dụng hàm chuyên đổi a(.) ở dạng hàm giới hạn cứng
Từ hình 1.6 có biểu thức:
1 l + : ^ > Z ٧ s.
R| R j
R-r

( 1. 12)

trong đó: E.thay thế cho X ., E thay thế cho X ١ . - ٧ ‫ ؛‬thay thế cho x ٠١١,
2

2

1.1
đóng vai trò là ngưỡng thông thưòmg được điều chình có giá trị là -1.
R.
e

.

.

١٠١

M


= W 2 , — = w m·
Rj

Viết lại (1.12), điều kiện mở transitor sẽ là:

w٠
x ٠+W2X2 >Xn١
w٠
١١

(1.13)

Sau đây trình bày một số ví dụ minh hoạ về các ứng dụng của nơron.

Ví dụ 1.2
Cho hàm số y = f(x٠, X , X ) được
biểu diễn trên bảng 1.1. Xác định hàm
số y ở dạng:
2

y=a

(1

٤w ٠X j- ٠١،
T

v.i=l


l

1
2
3
4
5
6

X

2

0
0
1
1
0
0
1
1

X3
0
1
0
1
0
1
0

6. W ٠
+W 3 +X„W m >0 :

7 . W ٠+ W 2 +Xm W n١ > 0 :

8. w ,+ w ,+ w , + x„.w,„>0.
Từ các trường hç^ (1) và (4) ta cO;

+ W3 > 0 . Chọn: 2١٨‫ = ﺛﻢ‬í và

W3 = 1, từ các trương hợp (2) và (3) ta có:

ХщѴѴш < - 1 . Chọn: Xm = -1,

Wm = 1 .'Từ các trường hç^ (5) suy ra và chọn: W |= 2 .
Thay các giá trị trên vào các bất d‫)؛‬ng thức còn lại xác định dược hàm
số y ờ dạng:

y = a(2X| + Χ2 + Х3 -1 )
với a(.) ờ dạng hàm chuyển dổi
giới hạn cứng.
Như vậy hàm số y có giá trỊ
biểu diễn ờ bảng 1.1 dược biểu
diễn bởi một nơron (hình 1.7) có
3 dầu vào là Xi, Χ2, x٩ lần lượt liên
kết với 3 'trọng số tương ứng là
W| 2 ‫ آ‬, W2 = 1, w٦ = 1; thành phần
tạo bias có: Xm = -1, Wm = 1‫ ؛‬hàm
chuyển dổỉ a(.) ở dạng giới hạn
cứng.


0

0

1

1

3

0

1

0

;

1

4

0

1

1

‫؛‬


‫ ؛‬8
L

1

1

1

1

Xác định hàm số V ١ dạng (1.14),
với chú ý rằng các giá t،‫ ؛‬c ■
٦a y ở dạng
0 và 1, do đó chọn hàm 'l· lyển đổi
a(.) ở dạng giới hạn cứng.
Giải:

Nếu Ihay T
hàm số y ta có:

bởi -XmW„, viết •1!

٠

٦

1


1

1. y(0, 0) = l nên: x„١w ٠١١> 0 ;
2. y(0,l) = 0 nên: W2 + Xn١w ٠١١< 0 ;
3. y(l,0) = 0 nên: W|+X٠١١W٠١١< 0 ;
4. y(l, 1) = 1 nên:

W|

+ W 2 + Xm ١٧m

2
3
4

X.

X2

y

0
0
1
1

0
1
0
1

tin hiệu I'a, dua ra bên ngoài mgng. Lớp ẩn (liidden layer') gồm các noron
còn lại khOng nhạn trực t.iếp Cilc tin hiệu vào lấy từ bên ngoài và không
cung cấp tin hiệu ra cho bên ngoai mạng, nó clil có nlriệm vụ truyền tin
Iiỉệu từ các noron ‫ ة‬ló'p vào đcii các noron ‫ ة‬lớp ra. Mạng noron truyền
thẳng 1'iliiều lớp cO một lớp vào, một lớp ra, có thể khOrig có lioặc có nhiều
lớp (ín. Một mạng dược gọi là liốn kết dổv dri nếu mỗi nơi'on ờ các ló'p trước
có liên kết với tất cả các noron ỏ ló'p ngay sau nó. Mạng noron ở hlnh I.8b
là loạị mạng noron truyền tlrẳng có 3 ló'p, có 11‫ اﻟﺔ‬kẻ't khOng dầy đủ.
Nếu mạng noron có các tin hiệu dẩu ra dược dua ngược trờ lại dầu vào
của các noron ở các lớp trước nó liotc cliíiih nó tliì mạng dó dược gọi là
mạng phản hồi (feedback network).
Nếu tin hiệu ra của một noroir dư(.‫؛‬c dưa pliản liồi thành các tin hiệu vào
cùa các noron ở cUng một lớp vdi noron dó till mạng dó dược gọi là mạng
phản hồi bên (lateral feedback network).
M‫؛‬.ing phản hồi có các vOng kin dược gọi là mạng hồi quy (recurrent
netwot'ks). H'rnh I.8c mồ tả một loại mạng hồi quy do'n giản nhất, chỉ có
một nơron có tin hiệu ra tự phản liồi ١'ề dầu vào của chinh nó.
Mgng một lớp có liên kết phản hổi như hlnh I.8d có dặc điểm tin hiệu
dầu ra của mỗi noron dược dưa ngược trở lại dầu vào của chinh nó hoặc của
các noron khác dược gọi là mạng hồi quy một lớp.

19


Hình 1.8e mồ tả mạng cấu trúc ngang - hạn chế (lateral-inhibition
network), mạng này có hai loại tín hiệu đầu vào khác nhau: các đầu vào
kích thích (excitatory inputs) ứng với các tín hiệu vào có gắn ký hiệu vòng
rỗng (o) và đầu vào hạn chế (inhibition inputs) với các tín hiệu vào có gắn
ký hiệu vòng đặc (٠).
Hình 1.8f mô tả mạng hồi quy nhiều lớp.

được áp dụng riêng rẽ.
Sau đây trình bày các luật học tlỉỏng số với các giả thiết:
- Cấu trúc của mạng nơron gổm sô lượng lớp nơron, số lượng nơron và
cách thức liên kết của các trọng số có trong mạng đã họp lý.
- Ma trận,trọng số đã bao gồm tất cả các phần tử thích ứng.
Nhiệm vụ của học thông số là đưa ra phưcmg pháp nào đó để tìm ma
trận trọng số điều chỉnh từ ma trận trọng số tuỳ chọn ban đầu với cấu trúc
của mạng nơron đã được xác định từ trước, thoả mãn điều kiện sai lệch
trong phạm vi cho phép.
Để làm được việc đó, mạng nơron sử dụng các phương pháp học thích
ứng để tính toán được các ma trận trọng số điều chỉnh w đặc trưng cho
mạng. Có ba kiểu học là: học có giám sát (Supervised Learning), học củng

21


cố (Reinforcement Learning) và học không có giám sát (Unsupervised
Learning).
1.5.1. Học có giám sát
Cho trước p cập mẫu tín hiệu vào - ra sau đây:

với

X

là vectơ tín hiệu mẫu đầu vào

X

= [x ‫'؛‬٠ ,x ‫؛^؛‬,...,x ‫؛‬٠’١ ] ٢ và d là vectơ tín


các nơron khác hoặc được lấy từ bên ngoài. Thành phần thông số ngưỡng
có thể được thay thế bằng thành phần thứ m của vectơ tín hiệu vào X là
x٠٣. = -1 được kết nối với trọng số w ‫؛‬٠١١= b ị .

22


٧ eclơ trọng số Hên kết của !iơ!ori tliứ i !à W| : ‫ ؛‬Wị|,Wj2,...,Wj٠١١]‫؛‬

maô'fi

(b)

(‫ز ه‬
X
W\n\\ ‫ ﺍ‬.‫ ﻭ‬. Sơ dồ ba kiểa học
của mạng «ơĩ-.í

Y
ή
Tin hiệu
ra

Tin h‫ ! ؛‬ệi
vào

(a). Học có gỉáni sát; (b). Hoc ciìiig cố:
(c), H، .١c k ١iỏng cổ giúm s، 'i!
(c)

(1.16)

:Biểu thức tính vectơ trọng số của nơron thứ i tại (t+1) như sau
w ‫ (؛‬t +1) = w ‫ (؛‬t) + Tifr (W ị (t), x(t), d ‫( (؛‬t))x(t

(1.17)

:ở dạng liên tục có thể viết lại là
dw ‫(؛‬t )
dt

= Г|Г x(t)

(1.18)

Từ các biểu thức trên ta thấy rằng ở các luật học trọng số nói chung đều
tập trung vào xác định tm hiệu học r trong biểu thức cập nhật trọng số của
mạng nơron.

1.6. BÀI TẬP
1. C!ho giá trị của hàm số logic у = f(x٠١ X2١ x١, X4) biểu diễn b bảng 1.4.
Hãy chứng minh rằng không thể sử dụng một nơron với hàm chuyển đổi
a(.) ở dạng giới hạn cứng để biểu diễn hàm logic này.
Bảng 1.4

1
2
3
4
5


0
0
1
1
0
0
1
1

X4

0
1
0
1
0
1
0
1

у
0
0
0
1
0
1
0
1


X3

0
0
1
1
0
0
1
1

X4

0
1
0
1
0
1
0
1

у
0
0
1
1
1
1