Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP NGUYỄN VĂN NGHIỆP
NGHIÊN CỨU ỨNG DỤNG MẠNG NƠ RON TRONG
NHẬN DẠNG ĐỐI TƢỢNG PHI TUYẾN

Chuyên ngành : Tự Động Hóa
Mã số :

TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT

ron truyền thẳng nhiều lớp nhận dạng đặc tính vào – ra của đối tƣợng phi
tuyến, làm cơ sở cho việc tạo ra tín hiệu điều khiển thích nghi đƣợc lựa chọn
chính xác hơn.
3. Đối tƣợng và phạm vi nghiên cứu.
a/ Đối tượng nghiên cứu.
Đối tƣợng nghiên cứu của đề tài là sử dụng mạng nơ ron truyền thẳng
nhiều lớp nhận dạng đối tƣợng phi tuyến.
b/ Phạm vi nghiên cứu của đề tài.
Mô hình nhận dạng

Đối tƣợng
Mô hình
nhận dạng
e
i
(k)
-
+
P
Y
(k)
4. Ý nghĩa khoa học và thực tiễn của đề tài.
Với ứng dụng mạng nơ ron truyền thẳng nhiều lớp và mạng nơ ron
elmal nhận dạng đối tƣợng phi tuyến. Sau khi nhận dạng đƣợc đối tƣợng, ta
có thể thay thế gần đúng mô hình đối tƣợng bằng một mạng nơ ron từ mô
phỏng mạng nơ ron .
CHƢƠNG I
y
m
y
p
e
1
u
. Sơ đồ nhận dạng đối tƣợng

Đối tƣợng

Mạng nơ ron nhận dạng
Luật học
-

+

Nielsen, 1988) Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 1.2 . CÁC TÍNH CHẤT CỦA MẠNG NƠ RON NHÂN TẠO.
Là hệ phi tuyến: Mạng nơ ron có khả năng to lớn trong lĩnh vực nhận
dạng và điều khiển các đối tƣợng phi tuyến.
Là hệ xử lý song song: Mạng nơ ron có cấu trúc song song, do đó có độ
tính toán rất cao rất phù hợp với lĩnh vực nhận dạng và điều khiển.
Là hệ học và thích nghi: Mạng đƣợc luyện từ các số liệu quá khứ và có
khả năng tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển on- line.
Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MIMO), rất tiện dùng
khi đối tƣợng điều khiển có nhiều biến số.
1.3 . MÔ HÌNH NƠ RON
1.3.1. Mô hình nơ ron sinh học.
1.3.1.1. Chức năng, tổ chức và hoạt động của bộ não con người.
Bộ não ngƣời có chức năng hết sức quan trọng trong đời sống của con
ngƣời. Nó gần nhƣ kiểm soát hầu hết mọi hành vi của con ngƣời từ các hoạt
động cơ bắp đơn giản đến những hoạt động phức tạp nhƣ học tập, nhớ, suy
luận, tƣ duy, sáng tạo,
Bộ não ngƣời đƣợc hình thành từ sự liên kết của khoảng 10
11
phần tử
(tế bào), trong đó có khoảng 10
10
phần tử là nơ ron, số còn lại khoảng 9*10
10


âm và dƣơng. Các nguyên tử dƣơng trong màng tạo ra điện thế màng, nó tồn
tại trong trạng thái cân bằng lực: lực đẩy các nguyên tử dƣơng ra khỏi tế bào
bằng với lực hút chúng vào trong tế bào.
Điện thế màng là phần tử quan trọng trong quá trình truyền tin của hệ
thần kinh. Khi thay đổi khả năng thẩm thấu ion của màng thì điện thế màng
của tế bào bị thay đổi và tiến tới một ngƣỡng nào đó, đồng thời sinh ra dòng
điện, dòng điện này gây ra phản ứng kích thích làm thay đổi khả năng thẩm
thấu ion của tế bào tiếp theo.
Xử lý thông tin trong bộ não:
Thông tin đƣợc tiếp nhận từ các giác quan và chuyển vào các tế bào
thần kinh vận động vào các tế bào cơ. Mỗi tế bào thần kinh tiếp nhận thông
tin, điện thế sẽ tăng trong thần kinh cảm giác, nếu điện thế này vƣợt ngƣỡng Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

nó tạo ra dòng điện trong tế bào thần kinh cảm giác, ý nghĩa dòng điện đó
đƣợc giải mã và lƣu ở thần kinh trung ƣơng, kết quả xử lý thông tin đƣợc gửi
đến các tế bào cơ.
Các tế bào thần kinh đƣa các tín hiệu giống nhau, do đó không thể phân
biệt đƣợc đó là của loài động vật nguyên thuỷ hay của một giáo sƣ. Các khớp
thần kinh chỉ cho các tín hiệu phù hợp qua chúng, còn lại các tín hiệu khác bị
cản lại. Lƣợng tín hiệu đƣợc biến đổi đƣợc gọi là cƣờng độ khớp thần kinh đó
chính là trọng số của nơ ron trong mạng nơ ron nhân tạo.
Tại sao việc nghiên cứu về mạng thần kinh lại có tầm quan trọng lớn
lao. Có thể trả lời ngắn gọn là sƣ giống nhau của các tín hiệu của các tế bào
thần kinh đơn lẻ, do đó chức năng thực sự của bộ não không phụ thuộc vào
vai trò của một tế bào thần kinh đơn, mà phụ thuộc vào toàn bộ các tế bào
thần kinh hay các tế bào thần kinh liên kết với nhau thành một mạng thần
kinh hay một mạng nơ ron (Neural Networks)

thích đáng.
Những mệnh lệnh cần thiết đƣợc phát sinh và gửi đến những bộ phận
thi hành thích hợp nhƣ các cơ tay, chân, Những bộ phận thi hành biến
những xung điện thành dữ liệu xuất của hệ thống.
Tóm lại: Bộ não ngƣời có chức năng hết sức quan trọng đối với đời
sống của con ngƣời. Cấu tạo của nó rất phức tạp, tinh vi bởi đƣợc tạo thành từ
mạng nơ ron có hàng chục tỉ tế bào với mức độ liên kết giữa các nơ ron là rất
cao. Hơn nữa, nó còn đƣợc chia thành các vùng và các lớp khác nhau. Bộ não
hoạt động dựa trên cơ chế hoạt động song song của các nơ ron tạo nên nó.
1.3.1.2. Mạng nơron sinh học.
a/ Cấu tạo.
Nơ ron là phần tử cơ bản tạo nên bộ não con ngƣời. Sơ đồ cấu tạo của
một nơ ron sinh học đƣợc chỉ ra nhƣ trong hình 1.1. Một nơ ron điển hình có
3 phần chính:

Nhánh
Khớp nối
Sợi trục
Hình 1.1. Mô hình 2 nơ ron sinh học
Thân Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

- Thân nơ ron (soma): Nhân của nơ ron đƣợc đặt ở đây.
- Các nhánh (dendrite): Đây chính là các mạng dạng cây của các dây
thần kinh để nối các soma với nhau.
- Sợi trục (Axon): Đây là một nối kết, hình trụ dài và mang các tín hiệu
từ đó ra ngoài. Phần cuối của axon đƣợc chia thành nhiều nhánh nhỏ. Mỗi
nhánh nhỏ (cả của dendrite và axon) kết thúc trong một cơ quan nhỏ hình củ

kích hoạt chỉ phụ thuộc những đầu vào hiện thời của chính nó.Thông thƣờng
một nơ ron có 3 phần nhƣ hình 1.2:
Trên mỗi đầu vào của nơ ron có gắn một trọng số để liên kết giữa nơ
ron thứ i và nơ ron thứ j. Các trọng số này tƣơng tự nhƣ các tế bào cảm giác
của mạng nơ ron sinh học.
Tổng trọng: V
i
(t) = net
i
(t) =
ik
N
j
M
k
j
tuty


 
 

y
i

W
ij
W
i1
W
iN

W
*
i1
W
*
ik
W
*
i
M



Hệ
động
học
tuyến

(s) (1.2)
Dạng thời gian của (1.2) có dạng (1.3)




t
ii
dvthtx

)()()(
(1.3)
Quan hệ của H(s) và h(t) và quan hệ vào – ra tƣơng ứng của nơ ron
đƣợc cho trong bảng 1.1
Bảng 1.1
H(s)
1
s
1

1
1
sT

sT
e


h(t)
)(t

(t)
x
i
(t) = v
i
(t-T)
Hàm động học phi tuyến: Mô tả mối quan hệ của đầu ra y
i
với đầu vào x
i
:
y
i
=a(x
i
) với a(.) là hàm chuyển đổi.
Hàm chuyển đổi: Để tìm đƣợc đầu ra của nơ ron ta phải tiến hành qua hai
bƣớc nhƣ sau:
- Tìm các giá trị tổng trọng lƣợng đầu vào net
i
(t)
- Căn cứ vào net
i
(t) để tìm ra y
i
bằng các hàm chuyển đổi vào ra.
Hàm chuyển đổi a(.) thực hiện coi nơ ron nhƣ một hộp đen, chuyển đổi
một tín hiệu vào thành tín hiệu ra.Các dạng hàm chuyển đổi thƣờng đƣợc sử
dụng có dạng nhƣ sau:
+ Hàm Rump (Rump Function) là hàm có biểu diễn toán học nhƣ (1.4):




(1.7)
Biểu diễn hình học của hàm nhƣ hình vẽ 1.3(d)
+ (Bipolar Sigmoid Function) là hàm có biểu diễn toán học nhƣ (1.8):
a(f)=
2
1
f
e



(1.8)

1 nếu f  0
a(f) =
0 nếu f < 0

1 nếu f  0
a(f) =
-1 nếu f < 0 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Biểu diễn hình học của hàm nhƣ hình vẽ 1.3(e)
1
1
0
a
f
1
0
a
f
-1
1
(a)
(b)
(c) Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Hai loại mạng nơ ron một lớp và nhiều lớp đƣợc gọi là truyền thẳng
nếu đầu ra của mỗi nơ ron đƣợc nối với các đầu vào của các nơ ron của lớp
trƣớc đó.
Mạng nơ ron phản hồi là mạng mà đầu ra của mỗi nơ ron đƣợc quay trở lại
nối với đầu vào của các nơ ron cùng lớp đƣợc gọi là mạng Laeral nhƣ hình 1.4.c
Mạng nơ ron phản hồi có thể thực hiện đóng vòng đƣợc gọi là mạng nơ
ron hồi quy (Recurrent Network) nhƣ hình 1.4.d
x1
x1


y
2

y
n

x
1

x
2

x
m
(a)
y
1

y
2

y
n

x
1

x
2

muốn không hoàn toàn phù hợp với giá trị thực. Sau mỗi lần chạy, ta có tổng
bình phƣơng của tất cả các sai số. Sai số này đƣợc sử dụng để xác định các
hàm trọng mới.

Sau mỗi lần chạy, hàm trọng của mạng đƣợc sửa đổi với đặc tính tốt
hơn tƣơng ứng với đặc tính mong muốn. Từng cặp giá trị vào/ra phải đƣợc
Đích
So sánh
Hàm trọng (weights)
giữa các nơ ron
Vào
Điều chỉnh
Hình 1.5. Cấu trúc huấn luyện mạng nơ ron Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

kiểm tra và trọng lƣợng đƣợc điều chỉnh một vài lần. Sự thay đổi các hàm
trọng của mạng đƣợc dừng lại nếu tổng các bình phƣơng sai số nhỏ hơn một
giá trị đặt trƣớc hoặc đã chạy đủ một số lần chạy xác định (trong trƣờng hợp
này mạng có thể không thoả mãn yêu cầu đặt ra do sai lệch còn cao). Có hai
kiểu học:
- Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các
thông số về trọng số, cập nhật kết nối giữa các nơ ron.
- Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc
của mạng nơ ron gồm số lƣợng nút (node) và các mẫu liên kết
Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm đƣợc ma trận
chính xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơ
ron có sẵn. Để làm đƣợc việc đó, mạng nơ ron sử dụng các trọng số điều
chỉnh, với nhiều phƣơng pháp học khác nhau có thể tính toán gần đúng ma

k
giống nhƣ mong muốn. Kết quả của
quá trình học có giám sát là tạo đƣợc một hộp đen có đầu vào là véc tơ tín
hiệu vào X sẽ đƣa ra đƣợc câu trả lời đúng d.
Để đạt đƣợc kết quả mong muốn trên, khi đƣa vào tín hiệu x
k
, thông
thƣờng sẽ có sai lệch e
k
giữa tín hiệu đầu ra thực y
k
với tín hiệu đầu ra mong
muốn d
k
. Sai lệch đó sẽ đƣợc truyền ngƣợc tới đầu vào để điều chỉnh thông
số mạng nơ ron là ma trận trọng số W…Quá trình cứ thế tiếp diễn sao cho
sai lệch giữa tín hiệu ra mong muốn và tín hiệu ra thực tế nằm trong phạm vi
cho phép, kết quả nhận đƣợc ma trận trọng số với các phần tử wij đã đƣợc Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

điều chỉnh phù hợp với đặc điểm của đối tƣợng hay hàm số mạng nơ ron cần
học. Mô hình học có giám sát đƣợc minh hoạ nhƣ hình 1.6

y
Hình 1.7. Mô hình học không có giám sát
Mạng
nơron Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Luật học trọng số ở dang cơ bản hình 1.8
Trong đó tín hiệu vào x
j
, j=1,2,3…,m, có thể đƣợc lấy từ đầu ra của các
nơ ron khác hoặc có thể đƣợc lấy từ bên ngoài. Tín hiệu mong muốn d
i
có sẵn

)
T
có gia số tỷ lệ với tín hiệu vào x và tín
hiệu học r. Từ các biểu thức trên ta có véc tơ trọng số ở thời điểm (t+1)
đƣợc tính là:
w
i
(t+1) = w
i
(t) + .f
r
{w
i
(t), x(t), d
i
(t)}.x(t) (1.10)
w
ij
w
im-1= 
w
i1
x(t)

r

y

Máy phát tín
hiệu học

Mạng nơ ron đã đƣợc huấn luyện để thực hiện những hàm phức tạp
trong nhiều lĩnh vực ứng dụng khác nhau nhƣ trong nhận dạng, phân loại sản
phẩm, xử lý tiếng nói, chữ viết và điều khiển hệ thống.
Thông thƣờng để huấn luyện mạng nơron, ngƣời ta sử dụng phƣơng
pháp huấn luyện có giám sát, nhƣng cũng có mạng thu đƣợc từ sự huấn luyện
không có giám sát. Mạng huấn luỵện không giám sát có thể đƣợc sử dụng
trong trƣờng hợp riêng để xác định nhóm dữ liệu.
1.4. Mô hình toán học mạng nơ ron truyền thẳng và mạng nơ ron elman.
1.4.1. Mạng nơ ron truyền thẳng.
1.4.1.1. Mạng nơ ron một lớp.
Một cấu trúc toán học mạng 1 lớp với R đầu vào và S nơ ron đƣợc chỉ
ra trên hình 1.9.
Trong đó:
-Véc tơ vào P có R phần tử P
T
= [p
1
p
2
… p
R
]
-Véc tơ vào n có S phần tử n
T
= [n
1
n
2
… n
S

i
tập hợp với nhau tạo thành s phần tử của véc tơ vào n. Cuối
cùng ở lớp ra nơ ron ta thu đƣợc véc tơ a gồm s phần tử.
Ta có thể thiết lập lớp đơn của các nơ ron có các hàm chuyển khác
nhau một cách dễ dàng bởi lẽ hai mạng đƣợc đặt song song. Tất cả các mạng
có thể có chung đầu vào và mỗi mạng có thể thiết lập một vài đầu ra.
Các phần tử của véc tơ đầu vào đƣợc đƣa vào mạng thông qua ma trận
trọng W, với:
W













SRSS
R
R
www
www
www



b
1
p
2
p
3
p
R
w
S,R
1
f
n
2
a
2

b
2
1
f
n
S
a
S

b
S
Vào Các nơron
.

là số nơron của lớp 1. Ta thấy ma trận
trọng liên kết với véc tơ vào P là ma trận trọng vào (IW
1,1
) có nguồn là 1 (chỉ
số thứ 2) và đích là 1 (chỉ số thứ nhất). Đồng thời các phần tử của 1 lớp nhƣ
độ dốc, tín hiệu vào hàm chuyển, đầu ra có chỉ số viết trên là 1 để nói rằng
chúng đƣợc liên kết với lớp thứ nhất (b
1
, n
1
, a
1
).
Một mạng nơ ron có thể có một vài lớp. Mỗi lớp có ma trận trọng liên
kết W, véc tơ độ dốc b và đầu ra a. Để phân biệt các ma trận trọng liên kết véc
tơ vào cho mỗi lớp mạng trong sơ đồ, ta thêm con số chỉ lớp viết ở phía trên
cho biến số quan tâm.
P
Hình 1.10. Ký hiệu mạng một lớp
R đầu vào và S nơ ron
a = f(WP+b)

f
n
W
1
R

b
+

Nhƣ vậy lớp 2 có thể đƣợc xem nhƣ mạng 1 lớp với S
1
đầu vào, S
2
nơ ron và
S
2
x S
1
trọng liên kết của ma trận W
2
. Đầu vào của lớp 2 là véc tơ a
1
, đầu ra là
véc tơ a
2
. Các lớp của mạng nhiều lớp đóng vai trò khác nhau. Lớp cuối cùng
là kết quả ở đầu ra của mạng, đƣợc gọi là lớp ra. Lớp đầu tiên thu thập tín
hiệu vào đƣợc gọi là lớp vào, các lớp khác đƣợc gọi là lớp ẩn. Mạng 3 lớp ở
trên có 1lớp ra (lớp3) có 1lớp vào (lớp1) và 1lớp ẩn (lớp 2).
Đối với mạng 3 lớp ta cũng có thể sử dụng ký hiệu tắt để biểu diễn
(hình 1.13). Mạng nhiều lớp rất mạnh, ví dụ có mạng 2 lớp, trong đó lớp
1 có hàm chuyển sigmoid, lớp 2 có hàm chuyển linear có thể đƣợc huấn
luyện để làm xấp xỉ một hàm bất kỳ (với số điểm gián đoạn có hạn chế).
Trong đó a
3
là đầu ra của mạng, ta ký hiệu đầu ra này là y. Ta sẽ sử
dụng ký hiệu này để định rõ đầu ra của mạng nhiều lớp.

P

1
xR
Vào Lớp 1
Rx1
S
1
W
1,1
Hình 1.11. Ký hiệu một lớp mạng
b
1 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
b
2
: là những trọng số của lớp ra
f

1
1

b
1
1
1
f
1
n
1
2

b
1
2
1
f
1
n
1
S

b
1
S
p
1
1
p

2
n
2
2
a
2
2
b
2
2
1
f
2
n
2
S
a
2
S
Lớp 2 (lớp ẩn)
a
3
= f
3
(W
3,2
a
2
+b
3

3
a
3
2
f
3
a
3
S
Lớp 3 (lớp ra)
a
1
1
a
1
2
a
1
S
1,2
S,S
12
lw




2,3
S,S
23

1
R

S
1
a
1
= f
1
(IW
1,1
P+b
1
)
n
1
b
1
+
S
1
x1
S
1
x1
Vào Lớp 1
S
2
a
2

1
S
3
a
3
= f
3
(LW
3,2
a
2
+b
3
)

f
3
n
3
b
3
+
S
3
x1
S
3
x1
S
3

IW
1,1 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

1.4.2. Mạng nơron Elman:
1.4.2.1. Cấu trúc mạng nơron Elman:
Mạng nơron Elman là một phần của mạng nơron hồi qui, nó đƣợc phát
minh bởi Elman ( Elman 1990) thông thƣờng là mạng hai lớp với các thông
tin phản hồi từ đầu ra của lớp thứ nhất tới đầu vào. Đƣờng hồi tiếp này cho
phép mạng Elman phát hiện và tạo ra những mẫu thời gian khác nhau. Điều
đó có nghĩa là sau khi huấn luyện mối quan hệ giữa đầu vào hiện tại và và các
lớp bên trong là quá trình đƣa ra đầu ra và miêu tả có liên quan đến những
thông tin cũ bên trong. Sơ đồ cấu trúc mạng Elman nhƣ hình 1.14

Hình 1.14. Sơ đồ cấu trúc mạng Elman
Mạng Elman có các nơron tansig trong lớp ẩn và những nơron purelin ở
lớp ra. Sự kết hợp này là rất đặc biệt vì trong mạng hai lớp với những hàm
truyền này có thể tạo ra bất kỳ hàm nào với độ chính xác tuỳ ý. Yêu cầu duy
nhất là lớp ẩn phải có đủ số nơron. Số nơron trong lớp ẩn càng nhiều thì mạng
càng mô tả chính xác nhƣng cũng phức tạp hơn. Hình 3.2 là lƣợc đồ mạng
Elman với đầu vào x
1
 x
n
và hai lớp, lớp ẩn và lớp ra. Chúng ta có thể sử
dụng chức năng thay thế cho mỗi lớp. Một vài chức năng có giới hạn đầu ra
nên ta cần chọn chức năng phù hợp.
Mạng elman khác với mạng hai lớp thông thƣờng trong đó lớp thứ nhất

: là R x R kích thƣớc ma trận thông số hiện tại
a
1
(k -1) : là đầu ra của lớp hồi qui tại bƣớc nhảy thứ ( k – 1)
b
1
: là trọng số của lớp hồi qui
f
1
: là chức năng chuyển đổi của lớp hồi qui
a
1
(k) : là đầu ra của lớp hồi qui ở bƣớc nhảy k
Với R nơron lớp hồi qui có thể có một R x1 ma trận của a
1
(k)
a
2
(k)=f
2
(LW
2,1
a
1
(k)+b
2
) (1.13)
Trong đó:
LW
2,1