Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
1 ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP
o0o

LUẬN VĂN THẠC SỸ KỸ THUẬT
NGÀNH: TỰ ĐỘNG HÓA
NGHIÊN CỨU ỨNG DỤNG MẠNG NƠRON TRONG
NHẬN DẠNG VÀ ĐIỀU KHIỂN
ĐỐI TƢỢNG ĐỘNG HỌC PHI TUYẾN

Ngƣời HD Khoa Học: PGS.TS Nguyễn Hữu Công THÁI NGUYÊN 2010
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
3
ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG
NGHIỆP
***
CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT
NAM
Độc Lập - Tƣ Do - Hạnh Phúc
o0o

THUYẾT MINH
LUẬN VĂN THẠC SỸ KỸ THUẬT

ĐỀ TÀI:
NGHIÊN CỨU ỨNG DỤNG MẠNG NƠRON TRONG NHẬN DẠNG
VÀ ĐIỀU KHIỂN ĐỐI TƢỢNG ĐỘNG HỌC PHI TUYẾN

Học viên: Phạm Văn Hƣng
Lớp : CH-K11
Chuyên ngành: Tự động hoá
Ngƣời hƣớng dẫn: PGS.TS Nguyễn Hữu Công
Ngày giao đề tài: 1/12/2009

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
5
LỜI CẢM ƠN

Trong quá trình làm luận văn, tôi đã nhận đƣợc nhiều ý kiến đóng góp từ
các thầy, cô giáo, các anh chị và các bạn đồng nghiệp.
Tôi xin bày tỏ lòng biết ơn đến PGS.TS Nguyễn Hữu Công, Ngƣời đã
tận tình hƣớng dẫn tôi hoàn thành luận văn này, đến Khoa Sau Đại học -
Trƣờng Đại học Kỹ thuật công nghiệp đã tạo điều kiện để tôi hoàn thành khóa
học.
Tôi xin chân thành cảm ơn Trƣờng Đại học Kỹ thuật Công nghiệp,
Phòng Hành chính Tài vụ, Khoa Điện đã tạo những điều kiện để tôi hoàn
thành khóa học.
Tôi xin chân thành cảm ơn các thầy cô giáo Bộ môn Tự động hóa - khoa
Điện, đã giúp đỡ và tạo những điều kiện thuận lợi nhất về mọi mặt để tôi hoàn
thành khóa học.

Tác giả luận văn Phạm Văn Hƣng
Mọi đóng góp xin gửi vào:
Mobile: 0912 865 842 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
6
Mục Lục
Mục Lục 6
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT 9

2.3 Nhận dạng hệ thống sử dụng mạng nơron 50
2.3.1 Khả năng sử dụng mạng nơron trong nhận dạng 50
2.3.2 Mô hình nhận dạng hệ thống sử dụng mạng nơron 51
2.3.3. Nhận dạng hệ thống sử dụng mạng nơron 56
2.4 . Nhận dạng hệ thống xử lý nƣớc thải sử dụng mạng nơron 59
2.4.1. Các bước thực hiện trong quá trình nhận dạng 60
2.4.2. Mô hình toán học của hệ thống xử lý nước thải 60
2.4.3. Ứng dụng mạng nơron để nhận dạng đối tượng 62
2.5. Kết luận chƣơng 2 66
CHƢƠNG 3 ỨNG DỤNG MẠNG NƠRON
ĐIỀU KHIỂN BỂ XỬ LÝ NƢỚC THẢI THEO MÔ HÌNH MẪU 68
3.1. Thiết kế bộ điều khiển nơron theo mô hình mẫu 68
3.2. Ứng dụng mạng nơron thiết kế bộ điều khiển theo mô hình mẫu 69
3.2.1. Mô hình mạng nơron của bộ điều khiển 69
3.2.2. Mô hình mẫu của hệ thống xử lý nước thải 69
3.2.3. Chương trình huấn luyện bộ điều khiển nơron 71
3.3. Kết luận chƣơng 3 74
CHƢƠNG 4 NGHIÊN CỨU CẢI TIẾN THUẬT TOÁN HỌC CỦA MẠNG
NƠRON TRONG BÀI TOÁN NHẬN DẠNG BỂ XỬ LÝ NƢỚC THẢI 75
4.1. Đặt vấn đề 75
4.2 . Mô hình mạng nơron mới trong nhận dạng bể xử lý nƣớc thải 76
4.1.1 Mô hình mạng nơron hồi tiếp liên tục 76
4.1.2 Nhận dạng bể xử lý nước thải 76
4.3 Thuật toán mạng nơron hồi tiếp liên tục 78
4.3.1 Thuật toán lan truyền ngược 78
4.3.2 Thuật toán loại những mẫu học bị nhiễu 80
4.4 Lập trình huấn luyện mạng nơron hồi tiếp liên tục 81
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
8
4.4.1 Lưu đồ thuật toán huấn luyện mạng hồi tiếp liên tục 81


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
10
BẢNG KÝ HIỆU
1. A =  a
ij

: ma trận mxn chiều.
2. A
T

: ma trận chuyển vị của A.
3.
A

: ma trận liên hợp của A
4. A
*

: ma trận chuyển vị liên hợp của A
5. A
-1

: ma rrận nghịch đảo của A
6. A
: ma trận với các giá trị tuyệt đối
7. A
: chuẩn ma trận
8. x
: chuẩn véc tơ

15. g(x)/x
: đạo hàm riêng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
11
DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ
Hình 1.1 Mạng nơron đơn giản gồm 2 nơron …………….
10
Hình 1.2 Mô hình nơron nhiều đầu vào ………………….
12
Hình 1.3 Mạng nơron có đặc tính động học và tuyến tính ……
14
Hình 1.4 Mạng nơron có đặc tính phi tuyến tĩnh …………………
14
Hình 1.5 Mạng nơron có đặc tính động học phi tuyến …………
15
Hình 1.6 Cấu trúc của các khối TDL-1 và TDL-2……………
15
Hình 1.7 Sơ đồ dùng để huấn luyện mạng …………………
18
Hình 2.1 Mô hình I…………………………………………
30
Hình 2.2 Mô hình II…………………………………………
30
Hình 2.3 Mô hình III…………………………………………
31
Hình 2.4 Mô hình III……………………………………………
31
Hình 2.5 Điều khiển theo nguyên tắc phản hồi đầu ra………
33
Hình 2.6 Quy trình nhận dạng hệ thống ……………………

56
Hình 2.21 Đồ thị sai lệch giữa mô hình nơron và mô hình đối tƣợng
58
Hình 3.1 Sơ đồ huấn luyện bộ điều khiển nơron NN ………………
60
Hình 3.2 Sơ đồ hệ thống điều khiển……………………………………
61
Hình 3.3 Cấu trúc mạng nơron của bộ điều khiển………………………
61
Hình 3.4 Hàm trọng lƣợng của mô hình mẫu…………………………….
62
Hình 3.5 Mô hình mẫu trong Simulink………………………………….
62
Hình 3.6 Đồ thị sai lệch giữa tín hiệu ra của đối tƣợng với mô hình mẫu.
65
Hình 4.1 Sơ đồ cấu trúc mạng noron……………………………………
69
Hình 4.2 Mạng truyền thẳng nhiều lớp………………………………
71
Hình 4.3: Lƣu đồ thuật toán chƣơng trình huấn luyện mạng nơron …
74
Hình 4.4: Tín hiệu mẫu vào ngẫu nhiên trong khoảng 0-2 L/s………….
80
Hình 4.5: Tín hiệu sai lệch e(t)=y
m
-y, tín hiệu y
m
; tín hiệu y……………
81
Hình 4.6: Tín hiệu mẫu đầu ra mô phỏng trên Simulink……………….

 Trong những năm gần đây mạng nơron nhân tạo ANN (Artificial
Neural Network) ngày càng đƣợc ứng dụng rộng rãi trong nhận
dạng, điều khiển và tính toán mềm vì những ƣu điểm nhƣ khả năng
xử lý song song, tốc độ cao … nên đƣợc ứng dụng trong nhiều lĩnh
vực nhƣ: công nhiệp, năng lƣợng, y học, tài nguyên nƣớc và khoa
học môi trƣờng. Đặc biệt trong lĩnh vực kỹ thuật môi trƣờng, ANN
ngày càng chứng tỏ đƣợc vai trò trong nhận dạng và điều khiển các
quá trình xử lý phức tạp mà các phƣơng pháp khác không có đƣợc.
 Tuy nhiên các tác giả đã nghiên cứu ở trên khi luyện mạng nơron sử
dụng các Toolbox của Matlab, thƣờng ta sẽ không loại bỏ đƣợc
những mẫu học bị nhiễu. Đề tài sẽ đƣa ra một thuật toán loại bỏ
những mẫu học bị nhiễu và sẽ làm giảm sai số trong quá trình huấn
luyện mạng. Ta sẽ nghiên cứu cho một số đối tƣợng động học phi
tuyến.
 Hệ thống sau khi thiết kế hoàn chỉnh sẽ áp dụng tốt trong những bài
toán nhận dạng và điều khiển đối tƣợng động học phi tuyến trên cơ
sở mạng nơron. Ý tƣởng của đề tài là áp dụng bài toán điều khiển bể
xử lý nƣớc thải hoặc điều khiển cánh tay robot…
2. Mục đích nghiên cứu
 Nghiên cứu về đối tƣợng sau đó lập ra thuật toán học của mạng
nơron để nâng cao kết quả quá trình luyện mạng.
 Sử dụng mạng nơron để nhận dạng và điều khiển đối tƣợng động học
phi tuyến.
3. Đối tƣợng và phƣơng pháp nghiên cứu
 Đối tượng nghiên cứu:
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
14
Đối tƣợng nghiên cứu của đề tài là các thông số của bể xử lý nƣớc
thải. Tập trung vào bài toán nhận dạng và điều khiển đối tƣợng động
học phi tuyến trên cơ sở mạng nơron. Từ đó giải các bài toán tối ƣu để

 Hệ thống nhận dạng và điều khiển dùng mạng nơron này hoàn
toàn có thể áp dụng cho các hệ thống khác nhƣ điều khiển chuyển
động của robot, các đối tƣợng động học phi tuyến khác.
5. Kết cấu luận văn
Mở đầu
Chƣơng 1: Tổng quan việc ứng dụng mạng nơron trong nhận dạng và
điều khiển đối tƣợng động học phi tuyến
Chƣơng 2: Nhận dạng đối tƣợng động học phi tuyến sử dụng mạng
nơron
Chƣơng 3: Ứng dụng mạng nơron để điều khiển bể xử lý nƣớc thải theo
mô hình mẫu
Chƣơng 4: Nghiên cứu cải tiến thuật toán học của mạng nơron trong
bài toán nhận dạng bể xử lý nƣớc thải

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
16
CHƢƠNG 1
TỔNG QUAN VIỆC ỨNG DỤNG MẠNG NƠRON TRONG
NHẬN DẠNG VÀ ĐIỀU KHIỂN ĐỐI TƢỢNG ĐỘNG HỌC PHI TUYẾN
1.1. Giới thiệu tóm tắt về mạng nơron
1.1.1 Mạng nơron sinh học

vào và một đầu ra.
Quá trình hoạt động của một nơron là một quá trình tự nhiên. Ở trạng
thái cân bằng (trạng thái tĩnh) điện áp của màng membran khoảng -75mV.
Khi có tác động bên ngoài vào nơron với mức điện áp khoảng 35mV thì trong
tế bào xảy ra hàng loạt các phản ứng hoá học tạo thành các lực làm nơron bị
kích hoạt. Thế năng sinh ra khi nơron ở trạng thái bị kích thích hoàn toàn chỉ
tồn tại trong vài ms, sau đó nơron lại trở lại trạng thái cân bằng cũ. Thế năng
này đƣợc truyền vào mạng qua các axon và có khả năng kích thích hoặc kìm
hãm tự nhiên các nơron khác trong mạng. Một nơron sẽ ở trạng thái kích thích
khi tại đầu vào xuất hiện một tín hiệu tác động vƣợt qua ngƣỡng cân bằng của
nơron.
Một tính chất quan trọng của nơron sinh học là các đáp ứng theo kích
thích có khả năng thay đổi theo thời gian. Các đáp ứng có thể tăng lên, giảm
đi hoặc hoàn toàn biến mất. Qua các nhánh axon liên kết tế bào nơron này với
tế bào nơron khác. Sự thay đổi trạng thái của một nơron cũng kéo theo sự thay
đổi trạng thái của những nơron khác và do đó là sự thay đổi của toàn bộ mạng
nơron. Việc thay đổi trạng thái của mạng nơron có thể thực hiện qua một quá
trình dạy hoặc do khả năng học tự nhiên.
1.1.2 Mạng nơron nhân tạo (Artificial Neural network - ANN)
Từ những nghiên cứu tính chất cơ bản của mạng nơron sinh học. Ngƣời
ta thay thế những tính chất này bằng một mô hình toán học tƣơng đƣơng đƣợc
gọi là mạng nơron nhân tạo. Mạng nơron nhân tạo có thể đƣợc chế tạo bằng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
18
nhiều cách khác nhau vì vậy trong thực tế tồn tại rất nhiều kiểu mạng nơron
nhân tạo.


12
1
w
w
.
w * . . . w
.
.
w
m
k k m
k
m
n p b p p p b p b





     








w
1

19 Dƣới đây là một số hàm f cơ bản thƣờng đƣợc sử dụng.
Hàm a = f(n)
BLM 10 mô tả
a = tansig(n)
1
1
2
2



 n
e
a

a= logsig(n)
1
1
n
a
e




a = radbas(n)
2

chất động học và phi tuyến.

 Mạng nơron động học tuyến tính
Mạng nơron động học tuyến tính bao gồm nhiều lớp với hàm truyền là
hàm tuyến tính purelin nhƣng trong đó phải có ít nhất một khâu trễ. Trong
điều khiển tự động mạng nơron có cấu trúc càng đơn giản càng tốt nghĩa là số
lớp và số nơron trong mỗi lớp càng ít càng tốt. Ở đây trình bày cấu trúc mạng
đơn giản nhất nhƣng rất hiệu quả trong nhận dạng đối tƣợng.

 Mạng nơron phi tuyến tĩnh
Mạng nơron phi tuyến tĩnh có cấu trúc nhiều lớp trong đó có ít nhất là
một lớp với hàm truyền là hàm phi tuyến. Dƣới đây là sơ đồ cấu trúc một
mạng nơron phi tuyến tĩnh.

iw
10
u
y
purelin
Hình 1.3 Mạng nơron có đặc tính động học và tuyến tính
b
1
1 t

LW
32

LW
21

IW
11

b
2
1
p
q
r
1

tính động học phi tuyến.
Các khâu TDL - 1 và TDL - 2 có cấu trúc đƣợc thể hiện trong hình 1.6.
Hình 1.4 Mạng nơron có đặc tính phi tuyến tĩnh
Hình 1.5 Mạng nơron có đặc tính động học phi tuyến
b
1
1 t

LW
32

LW
21

IW

1
1 x r
1 x 1
z
-1
z
-1
z
-1
TDL-1
z
-1
z
-1
z
-1
TDL-2
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
22 Khâu TDL-1 đƣợc gọi là khâu trễ đầu vào, có 1 đầu vào và m+1 đầu ra
lần lƣợt bị trễ 0,1,2 … m nhịp, Khâu TDL-2 đƣợc gọi là khâu trễ đầu ra hay
khâu phản hồi có 1 đầu vào và n đầu ra. Trong khi chọn cấu trúc mạng nơron
ta phải chú ý đến việc chọn số nhịp trễ thích hợp tại vì khi tăng nhịp trễ sẽ làm
tăng số lƣợng các trọng số của mạng nơron.
Vậy ta phải cố gắng giảm số nhịp trễ đến mức ít nhất có thể, có nghĩa

Hình 1.6 Cấu trúc của các khối TDL-1 và TDL-2
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
23
của mạng nơron động học phi tuyến đơn giản sẽ có cấu trúc hai lớp với trễ
đầu vào hoặc trễ đầu ra.
Nhìn vào cấu trúc của mạng nơron này ta thấy nó là một hệ động học
phi tuyến. Tính động học của mạng đƣợc thể hiện ở các khâu trễ đầu vào và
trễ phản hồi. Tính phi tuyến thể hiện ở các hàm truyền phi tuyến tansig. Nhƣ
vậy mô hình mạng nơron này có thể đƣợc sử dụng để thay thế mô hình toán
học của đối tƣợng có đặc tính động học phi tuyến.
Khi nhận dạng đối tƣợng động học phi tuyến sử dụng mô hình mạng
nơron trên thì cần phải chọn cấu trúc hợp lý. Để đơn giản đầu tiên nên chọn
cấu trúc mạng đơn giản nhất, tức là có hai lớp không có lớp ẩn. Mặt khác vì
đối tƣợng xét ở đây có quan hệ một vào và một ra, cho nên số nơron của lớp
ra luôn là một và để đơn giản hơn nữa có thể chọn hàm f của lớp ra là hàm
purelin. Vấn đề còn lại là chọn số nơron lớp vào và số nhịp trễ của hai khâu
trễ đầu vào và trễ phản hồi.
Nhƣ đã trình bày ở trên, số nơron một lớp sẽ quyết định số hàng và số
nhịp trễ sẽ quyết định số cột của ma trận trọng số, nhƣ thế sẽ quyết định số
lƣợng tham số của mạng. Cho nên, cấu trúc ban đầu của mạng phải chọn đơn
giản nhất có thể, sau đó sẽ thay đổi tăng hoặc giảm dần số nơron và số nhịp
trễ nếu nhƣ sai lệch lớn.
Dựa trên cơ sở mô tả toán học của đối tƣợng ta có thể xác định đƣợc
bậc tƣơng đối của nó, trên cơ sở đó sẽ xác định số nhịp trễ tối thiểu của mạng
nơron.
1.1.4 Huấn luyện mạng nơron
Trong hai bài toán nhận dạng và thiết kế bộ điều khiển nơron ta phải
xác định cấu trúc và tham số của mạng nơron. Đầu tiên là phải xác định cấu
trúc của mạng, sau đó là xác định tham số của mạng. Việc xác định tham số
của mạng đƣợc thực hiện bằng phƣơng pháp huấn luyện mạng.

b
1
1 T

LW
32

LW
21

IW
11

b
2
1
TDL-1
0 1 m

P
LW
13

TDL-2
1 2 . n
1
q

tăng lên và việc nhận dạng càng chính xác nhƣng thời gian luyện mạng càng
lớn và ngƣợc lại.
 Thuật toán Levenberg-Marquardt
Thuật toán này là sự kết hợp phƣơng pháp Newton và phƣơng pháp hạ
theo vector đạo hàm riêng. Khi hàm mục tiêu có dạng tổng bình phƣơng các
sai lệch, ma trận Hessian có thể đƣợc tính xấp xỉ là:
H = J
T
J và vector đạo hàm riêng gradient có thể đƣợc tính nhƣ sau:
G=J
T
e trong đó J là ma trận Jacobian, đó là đạo hàm bậc nhất của hàm mục
tiêu lần lƣợt theo các trọng số và tham số bù, e là vector các sai lệch của mạng
nơron.
Thuật toán Levenberg-Marquardt dùng phƣơng thức xấp xỉ này cho
việc tính toán ma trận Hessian, các tham số của mạng đƣợc hiệu chỉnh theo
công thức sau:
θ
k+1
= θ
k
- [J
T
J +µI]
-1
J
T
e
θ
k+1