Chương I.Tổng quan về mạng nơ ron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
5

LỜI CAM ĐOAN
Tôi xin cam đoan luận văn này là công trình do tôi tổng hợp và nghiên cứu.
Trong luận văn có sử dụng một số tài liệu tham khảo như đã nêu trong phần tài liệu
tham khảo.

Tác giả Luận văn

Nguyễn Đắc Nam

Chương I.Tổng quan về mạng nơ ron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
6

LỜI NÓI ĐẦU



Trang
Lời cam đoan.

Danh mục các ký hiệu, bảng, các chữ viết tắt.

Danh mục các hình vẽ.

PHẦN MỞ ĐÀU.
1
Chƣơng I- TÔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO.
5
1.1. Lịch sử phát triển của mạng nơ ron nhân tạo.
5
1.2. Các tính chất của mạng nơ ron nhân tạo.
5
1.3. Mô hình nơ ron.
6
1.3.1.Mô hình nơ ron sinh học. 6
1.3.1.1. chức năng, tổ chức và hoạt động của bộ não con người. 6
1.3.1.2. Mạng nơ ron sinh học. 9
1.3.2. Mạng nơ ron nhân tạo. 10
1.3.2.1. Khái niệm. 10
1.3.2.2. Phân loại mạng nơ ron. 13
1.3.2.3. Các luật học. 15
1.3.3. Mô hình toán học mạng nơ ron truyền thẳng và mạng nơ ron hồi quy. 19
1.3.3.1. Mạng nơ ron truyền thẳng. 19
1.3.3.2. Mạng nơ ron hồi quy. 22
1.4. Quá trình huấn luyện mạng nơ ron nhiều lớp.
24

2.2.3.4. Mô hình tổ hợp. 41
2.3. Các phƣơng pháp ứng dụng mạng nơ ron trong điều khiển. 42
2.3.1. Bộ điều khiển đảm bảo tính ổn định vững chắc. 42
2.3.2. Bộ điều khiển thích nghi ngược trực tiếp. 42
2.3.3. Điều khiển phi tuyến mô hình trong. 44
2.3.4. Điều khiển dự báo. 44
2.3.5. Điều khiển thích nghi theo mô hình mẫu (MRAC) 45
2.3.6. Điều khiển thích nghi tự chỉnh. 46
2.3.7. Điều khiển thích nghi bằng mạng nơ ron hồi quy tuyến tính. 46
2.3.8. Điều khiển thích nghi ổn định trực tiếp. 48
2.3.9. Điều khiển tối ưu. 49
2.3.10. Phương pháp bảng tra. 50
2.3.11. Điều khiển lọc. 50
2.4. Những hạn chế và chú ý.
51
KẾT LUẬN CHƢƠNG 2
52
Chƣơng III - Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng
vị trí rô bốt hai khâu.

53
3.1. Mạng nơ ron truyền thẳng nhiều lớp
53

Chương I.Tổng quan về mạng nơ ron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
9
3.1.1. Sơ đồ khối mạng nơ ron truyền thẳng nhiều lớp. 53
3.1.2. Thuật toán học lan truyền ngược của sai lệch. 53


Chương I.Tổng quan về mạng nơ ron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
10
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ.

STT Ký hiệu Diễn giải tên hình vẽ.
1 Hình 1 Sơ đồ khối điều khiển thích nghi rô bốt hai khâu.
2 Hình 2 Sơ đồ ứng dụng mạng nơ ron nhận dạng vị trí rô bốt hai khâu.
3 Hình 1.1 Mô hình hai nơ ron sinh học.
4 Hình 1.2 Mô hình nơ ron nhân tạo.
5 Hình 1.3a Biểu diễn hình học của hàm Rump
6 Hình 1.3b Biểu diễn hình học của hàm bước nhảy.
7 Hình 1.3c Biểu diễn hình học của hàm giới hạn cứng.
8 Hình 1.3d Biểu diễn hình học của hàm Sigmoid hai cực.
9 Hình 1.4a Mạng một lớp truyền thẳng.
10 Hình 1.4b Mạng nhiều lớp truyền thẳng.
11 Hình 1.4c Mạng nơ ron có phản hồi.
12 Hình 1.4d Mạng nơ ron hồi quy.
13 Hình 1.5 Cấu trúc huấn luyện mạng nơ ron.
14 Hình 1.6 Mô hình học có giám sát và học củng cố.
15 Hình 1.7 Mô hình học không có giám sát.
16 Hình 1.8 Sơ đồ cấu trúc chung của quá trình học.
17 Hình 1.9 Cấu trúc mạng nơ ron một lớp.
18 Hình 1.10 Ký hiệu mạng R đầu vào và S nơ ron.
19 Hình 1.11 Ký hiệu mạng một lớp.
20 Hình 1.12 Cấu trúc mạng nơ ron 3 lớp.
21 Hình 1.13 Ký hiệu mạng nơ ron 3 lớp.
22 Hình 1.14 Ký hiệu mạng một l lớp hồi quy.

Sơ đồ hình 1 mô tả một mô hình điều chỉnh thích nghi rô bốt hai khâu theo mô hình
mẫu.

Chương I.Tổng quan về mạng nơ ron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
12
Sơ đồ điều khiển được thực hiện theo hai giai đoạn sau đây:
Giai đoạn 1: Sử dụng mạng nơ ron nhận dạng vị trí của rô bốt hai khâu, khi
đó các khoá K mở. Căn cứ vào sai lệch e
1
giữa tín hiệu ra của rô bốt (y) và tín hiệu


y
m
– y
mh
và ė
2
là đạo hàm cấp một của sai lệch e
2
Với thời gian nghiên cứu có hạn, luận văn này chỉ đi sâu nghiên cứu ứng dụng
mạng nơ ron nhiều lớp truyền thẳng nhận dạng vị trí rô bốt hai khâu.

b/ Phạm vi nghiên cứu của đề tài.
-
y
mh
-
e
2
e
1
y
y
mh
y
m
u
K
dạng đặc tính vào ra của rô bốt hai khâu với sơ đồ tổng quát như hình 2:
4. Ý nghĩa khoa học và thực tiễn của đề tài.
Với ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng quỹ đạo
chuyển động trong miền thời gian thực của rô bốt hai khâu. Sau khi nhận dạng được
vị trí của rô bốt hai khâu, ta có thể thay thế gần đúng mô hình vị trí rô bốt hai khâu
bằng một mạng nơ ron truyền thẳng, từ đó căn cứ vào các thông số mô phỏng của
y
mh
y
e
1
x
dRobot hai khâu
(Mô hình tính toán vị trí)

Chương I.Tổng quan về mạng nơ ron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
15
CHƢƠNG I
TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO
Mạng nơ ron nhân tạo (Artificial Neural Networks) là hệ thống được xây
dựng dựa trên nguyên tắc cấu tạo của bộ não người. Nó cho chúng ta một hướng
mới trong nghiên cứu hệ thống thông tin. Mạng nơ ron nhân tạo có thể thực hiện
các bài toán: Tính toán gần đúng các hàm số, thực hiện các bài toán tối ưu, nhận
mẫu, nhận dạng và điều khiển đối tượng hiệu quả hơn so với các phương pháp
truyền thống.
Mạng nơ ron nhân tạo có một số lượng lớn mối liên kết của các phần tử biến

tượng điều khiển có nhiều biến số.
1.3 MÔ HÌNH NƠ RON
1.3.1.Mô hình nơ ron sinh học.
1.3.1.1 Chức năng, tổ chức và hoạt động của bộ não con người.
Bộ não người có chức năng hết sức quan trọng trong đời sống của con người.
Nó gần như kiểm soát hầu hết mọi hành vi của con người từ các hoạt động cơ bắp
đơn giản đến những hoạt động phức tạp như học tập, nhớ, suy luận, tư duy, sáng
tạo, ...
Bộ não người được hình thành từ sự liên kết của khoảng 10
11
phần tử (tế
bào), trong đó có khoảng 10
10
phần tử là nơ ron, số còn lại khoảng 9*10
10
phần tử là
các tế bào thần kinh đệm và chúng có nhiệm vụ phục vụ cũng như hỗ trợ cho các nơ
ron. Thông thường một bộ não trung bình cân nặng khoảng 1,5 kg và có thể tích là
235 cm
3
. Cho đến nay người ta vẫn chưa thực sự biết rõ cấu tạo chi tiết của bộ não.
Tuy vậy về đại thể thì cấu tạo não bộ được phân chia ra thành nhiều vùng khác
nhau. Mỗi vùng có thể kiểm soát một hay nhiều hoạt động của con người.
Các đặc tính của não người:
- Tính phân lớp: Các vùng trong bộ não được phân thành các lớp, thông tin
được xử lý theo các tầng.
- Tính môđun: Các vùng của bộ nhớ được phân thành các môđun được mã
hoá bằng các định nghĩa mối quan hệ tích hợp giữa các tín hiệu vào qua các giác
quan và các tín hiệu ra.
- Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung xem

được đó là của loài động vật nguyên thuỷ hay của một giáo sư. Các khớp thần kinh
chỉ cho các tín hiệu phù hợp qua chúng, còn lại các tín hiệu khác bị cản lại. Lượng
tín hiệu được biến đổi được gọi là cường độ khớp thần kinh đó chính là trọng số của
nơ ron trong mạng nơ ron nhân tạo.

Chương I.Tổng quan về mạng nơ ron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
18
Tại sao việc nghiên cứu về mạng thần kinh lại có tầm quan trọng lớn lao. Có
thể trả lời ngắn gọn là sư giống nhau của các tín hiệu của các tế bào thần kinh đơn
lẻ, do đó chức năng thực sự của bộ não không phụ thuộc vào vai trò của một tế bào
thần kinh đơn, mà phụ thuộc vào toàn bộ các tế bào thần kinh hay các tế bào thần
kinh liên kết với nhau thành một mạng thần kinh hay một mạng nơ ron (Neural
Networks)
Hoạt động của bộ não nói riêng và của hệ thần kinh nói chung đã được con
người quan tâm nghiên cứu từ lâu nhưng cho đến nay người ta vẫn chưa hiểu rõ
thực sự về hoạt động của bộ não và hệ thần kinh. Đặc biệt là trong các hoạt động
liên quan đến trí óc như suy nghĩ, nhớ, sáng tạo, ... Tuy thế cho đến nay, người ta
cũng có những hiểu biết căn bản về hoạt động cấp thấp của não.
Mỗi nơ ron liên kết với khoảng 10
4
nơ ron khác, cho nên khi hoạt động thì bộ
não hoạt động một cách tổng lực và đạt hiệu quả cao. Nói một cách khác là các
phần tử của não hoạt động một cách song song và tương tác hết sức tinh vi phức
tạp, hiệu quả hoạt động thường rất cao, nhất là trong các vấn đề phức tạp. Về tốc độ
xử lý của bộ não người rất nhanh mặc dù tốc độ xử lý của mỗi nơ ron (có thể xem
như phần tử xử lý hay phần tử tính) là rất chậm so với xử lý của các cổng logic
silicon trong các chip vi xử lý (10
-3

- Các nhánh (dendrite): Đây chính là các mạng dạng cây của các dây thần
kinh để nối các soma với nhau.
- Sợi trục (Axon): Đây là một nối kết, hình trụ dài và mang các tín hiệu từ đó
ra ngoài. Phần cuối của axon được chia thành nhiều nhánh nhỏ. Mỗi nhánh nhỏ (cả
của dendrite và axon) kết thúc trong một cơ quan nhỏ hình củ hành được gọi là
synapte mà tại đây các nơ ron đưa các tín hiệu của nó vào các nơr on khác. Những
điểm tiếp nhận với các synapte trên các nơ ron khác có thể ở các dendrite hay chính
soma.

Nhánh
Khớp nối
Sợi trục
Hình1.1. Mô hình 2 nơ ron sinh học
Thân

Chương I.Tổng quan về mạng nơ ron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
20
b/ Hoạt động.
Các tín hiệu đưa ra bởi một synapte và được nhận bởi các dendrite là các
kích thích điện tử. Việc truyền tín hiệu như trên liên quan đến một quá trình hóa học
phức tạp mà trong đó các chất truyền đặc trưng được giải phóng từ phía gửi của nơi
tiếp nối. Điều này làm tăng hay giảm điện thế bên trong thân của nơ ron nhận. Nơ
ron nhận tín hiệu sẽ kích hoạt (fire) nếu điện thế vượt khỏi một ngưỡng nào đó và
một xung (hoặc điện thế hoạt động) với độ mạnh (cường độ) và thời gian tồn tại cố
định được gửi ra ngoài thông qua axon tới phần nhánh của nó rồi tới các chỗ nối
synapte với các nơ ron khác. Sau khi kích hoạt, nơ ron sẽ chờ trong một khoảng thời
gian được gọi là chu kỳ, trước khi nó có thể được kích hoạt lại. Synapses là hưng
phấn (excitatory) nếu chúng cho phép các kích thích truyền qua gây ra tình trạng

ron thứ j. Các trọng số này tương tự như các tế bào cảm giác của mạng nơ ron sinh
học.
Tổng trọng: V
i
(t) = net
i
(t) =
ik
N
j
M
k
j
tuty


 
 
)(.W)(.W
1 1
ik
*
ij
(1.1)
Với V
i
(t) là tổng trọng của nơ ron thứ i; y
j
(t) là các đầu ra của nơ ron thứ jvà
u

v
i
x
i
y
i

W
ij
W
i1
W
iN

W
*
i1
W
*
ik
W
*
i
M




22
Quan hệ của H(s) và h(t) và quan hệ vào – ra tương ứng của nơ ron được cho trong
bảng 1.1
H(s) 1
s
1

1
1
sT

sT
e


h(t)
)(t


1(t)
T
t
e
T

1

)( Tt 



i
) với a(.) là hàm chuyển đổi.
Hàm chuyển đổi: Để tìm được đầu ra của nơ ron ta phải tiến hành qua hai bước như
sau:
- Tìm các giá trị tổng trọng lượng đầu vào net
i
(t)
- Căn cứ vào net
i
(t) để tìm ra y
i
bằng các hàm chuyển đổi vào ra.
Hàm chuyển đổi a(.) thực hiện coi nơ ron như một hộp đen, chuyển đổi một
tín hiệu vào thành tín hiệu ra.Các dạng hàm chuyển đổi thường được sử dụng có
dạng như sau:
+ Hàm Rump (Rump Function) là hàm có biểu diễn toán học như (1.4):

(1.4)
Biểu diễn hình học của hàm Rump như hình vẽ 1.3.a
+ Hàm bước nhảy (Step Function) là hàm có biểu diễn toán học như (1.5):

(1.5)

1 nếu f > 1
a(f) = f nếu 0 f  1
0 nếu f < 0

1 nếu f  0
a(f) =
0 nếu f < 0
1.3.2.2. Phân loại mạng nơ ron.
Nelson và IIlingworth (1991) đã đưa ra mộy số loại cấu trúc của mạng nơ
ron như hình 1.4. Nơron được vẽ là các vòng tròn xem như một tế bào thần kinh,
chúng có các mối liên hệ đến các nơ ron khác nhờ các trọng số, lập thành các ma
trận trọng số tương ứng.

1 nếu f  0
a(f) =
-1 nếu f < 0

Hình 1.3.d Hàm Sigmoid hai cực
0
a
f 1
1
0
a
f
1
0
a
f
-1
1
Hình 1.3a. Hàm Rump Hình 1.3b. Hàm bước nhảy Hình 1.3b. Hàm giới hạn cứng

Chương I.Tổng quan về mạng nơ ron nhân tạo


mm
y
1

y
2

y
m

x
1

x
2

x
m
Hình 1.4.a
y
1

y
2

y
m

x
1

1

y
2

y
m

x
1

x
2

x
m
Hình 1.4.d

Chương I.Tổng quan về mạng nơ ron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
25
tất cả các mối liên kết chỉ được xây dựng từ trái sang phải được gọi là mạng nhiều
lớp truyền thẳng (perceptrons).
1.3.2.3. Các luật học.
Thông thường mạng nơ ron được điều chỉnh hoặc được huấn luyện để hướng
các đầu vào riêng biệt đến đích ở đầu ra. Cấu trúc huấn luyện mạng được chỉ ra trên
hình 1.5 Ở đây, hàm trọng của mạng được điều chỉnh trên cơ sở so sánh đầu ra với
đích mong muốn (taget) cho tới khi đầu ra mạng phù hợp với đích. Những cặp
vào/đích (input/taget) được dùng để giám sát cho sự huấn luyện mạng.

26
- Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc của
mạng nơ ron gồm số lượng nút (node) và các mẫu liên kết
Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm được ma trận chính
xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơ ron có sẵn.
Để làm được việc đó, mạng nơ ron sử dụng các trọng số điều chỉnh, với
nhiều phương pháp học khác nhau có thể tính toán gần đúng ma trận W cần tìm đặc
trưng cho mạng.Có ba phương pháp học:
- Học có giám sát ( Supervised Learning).
Là quá trình học ở mỗi thời điểm thứ i khi đưa tín hiệu x
i
vào mạng nơ ron,
tương ứng sẽ có các đáp ứng mong muốn d
i
của đầu ra cho trước ở thời điểm đó.
Hay nói cách khác, trong quá trình học có giám sát, mạng nơ ron được cung cấp
liên tục các cặp số liệu mong muốn vào –ra ở từng thời điểm (x
1
,d
1
), (x
2
,

d
2
),… (x
k
,



Mạng
nơron
Máy tính
phát hiện
sai
x
y
d
e
Hình 1.6.Mô hình học có giám sát và học củng cố

Chương I.Tổng quan về mạng nơ ron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
27
- Học củng cố:(Reinforcement Learning).
Là phương pháp học trong đó tín hiệu d được đưa từ bên ngoài nhưng không
được đầy đủ mà có thể chỉ đưa đại diện 1 bít để có tính chất kiểm tra quá trình
đúng hay sai. Tín hiệu đó được gọi là tín hiệu củng cố (Reinforcement Signal).
Phương pháp học củng cố chỉ là một phương pháp học riêng của phương pháp học
có giám sát, bởi vì nó cũng nhận tín hiệu chỉ đạo từ bên ngoài. Chỉ khác là tín hiệu
củng cố có tính ước lượng hơn là để dạy. Tín hiệu giám sát bên ngoài d thường
được tiến hành bởi các tín hiệu ước lượng để tạo thông tin ước lượng cho mạng nơ
ron điều chỉnh trọng số với hy vọng sự ước lượng đó mang lại sự chính xác trong
quá trình tính toán. Mô hình học củng cố được minh hoạ như hình 1.6
- Học không có giám sát (Unsupervied Learning).
Trong trường hợp này, hoàn toàn không có tín hiệu ở bên ngoài. Giá trị mục
tiêu điều khiển không được cung cấp và không được tăng cường. Mạng phải khám
phá các mẫu, các nét đặc trưng, tính cân đối, tính tương quan… Trong khi khám phá

y

Máy phát tín
hiệu học
Nơ ron thứ i
x
1
x
1
x
j
x
m-1
x
m
= -1
d



w
i
Hình 1.8. Sơ đồ cấu trúc chung của quá trình học
x
y
Hình1.7.Mô hình học không có giám sát
Mạng
nơron

Chương I.Tổng quan về mạng nơ ron nhân tạo

Biểu thức (1.8) là biểu thức chung để tính số gia của trọng số, ta thấy trọng số
w
i
= (w
i1
, w
i2
, …, w
im
)
T
có gia số tỷ lệ với tín hiệu vào x và tín hiệu học r. Từ các
biểu thức trên ta có véc tơ trọng số ở thời điểm (t+1) được tính là:
w
i
(t+1) = w
i
(t) + .f
r
{w
i
(t), x(t), d
i
(t)}.x(t) (1.10)
Vấn đề quan trọng trong việc phân biệt luật học cập nhật trọng số có giám
sát hay không có giám sát là tín hiệu học r như thế nào để thay đổi hoặc cập nhật
trọng số có trong mạng nơ ron.
Có 2 phương pháp cơ bản để huấn luyện mạng nơ ron: Huấn luyện gia tăng
(tiến dần) và huấn luyện theo gói. Sự huấn luyện theo gói của mạng nhận được bằng
việc thay đổi hàm trọng và độ dốc trong một tập (batch) của véc tơ đầu vào. Huấn

]
-Véc tơ vào n có S phần tử n
T
= [n
1
n
2
… n
S
]
-Véc tơ ra a có S phần tử a
T
= [a
1
a
2
… a
S
] Trong mạng này mỗi phần tử của véc tơ vào P liên hệ với đầu vào mỗi nơ ron thông
qua ma trận trọng lượng liên kết W. Bộ cộng của nơ ron thứ i thu thập các trọng
liên kết đầu vào và độ dốc để tạo thành một đầu ra vô hướng n
i
. Các n
i
tập hợp với
nhau tạo thành s phần tử của véc tơ vào n. Cuối cùng ở lớp ra nơ ron ta thu được
véc tơ a gồm s phần tử.

w
S,R
1
f
n
2
a
2

b
2
1
f
n
S
a
S

b
S
Vào Các nơron
.
.
.
.
.
.

Trích đoạn Những hạn chế và chú ý. Phân tích sơ đồ ứng dụng. KẾT LUẬN CHUNG

---