Số hóa bởi Trung tâm Học liệu - ĐHTN
ĐẠI HỌC THÁI NGUYÊN
ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP
BÁO CÁO ĐỀ TÀI NGHIÊN CỨU CẤP BỘ Nghiên cứu thuật toán tìm nghiệm tối ƣu toàn cục
trong quá trình luyện mạng nơ-ron - ứng dụng để
nhận dạng, điều khiển đối tƣợng động học phi tuyến.
Mã số: B2009 – TN 02 - 13
Chủ nhiệm đề tài:
ThS. Nguyễn Thị Thanh Nga Thái Nguyên, 2011
MỤC LỤC 3
DANH MỤC BẢNG BIỂU 4
DANH MỤC CÁC CHỮ VIẾT TẮT 6
THÔNG TIN KẾT QUẢ NGHIÊN CỨU 7
MỞ ĐẦU 11
CHƢƠNG 1 : GIỚI THIỆU VỀ VIỆC ỨNG DỤNG MẠNG NƠ-RON TRONG
NHẬN DẠNG VÀ ĐIỀU KHIỂN ĐỐI TƢỢNG ĐỘNG HỌC PHI TUYẾN 13
1.1. Giới thiệu tóm tắt về mạng nơ-ron 13
1.1.1. Mạng nơ-ron sinh học 13
1.1.2. Mạng nơ-ron nhân tạo (Artificial Neural network - ANN) 14
1.1.3. Cấu trúc mạng nơ-ron 15
1.1.4. Huấn luyện mạng nơ-ron 17
1.2. Nhận dạng đối tƣợng động học phi tuyến sử dụng mạng nơ-ron 19
1.2.1. Giới thiệu hệ động học phi tuyến 19
1.2.2. Nhận dạng hệ động học phi tuyến 20
1.2.3. Nhận dạng hệ thống sử dụng mạng nơ-ron 22
1.2.3.1. Khả năng sử dụng mạng nơ-ron trong nhận dạng 22
1.2.3.2. Mô hình nhận dạng hệ thống sử dụng mạng nơ-ron 23
1.2.3.3. Nhận dạng hệ thống sử dụng mạng nơ-ron 26
1.3. Thiết kế bộ điều khiển nơ-ron theo mô hình mẫu 29
1.3.1. Hệ thống điều khiển theo mô hình mẫu 29
1.3.2. Hệ thống điều khiển theo mô hình mẫu trên cơ sở mạng nơ-ron 29
1.4. Kết luận chƣơng 1 30
CHƢƠNG 2: NGHIÊN CỨU THUẬT TOÁN TÌM NGHIỆM TỐI ƢU TOÀN
CỤC TRONG QUÁ TRÌNH LUYỆN MẠNG NƠ-RON 31
2.1. Lan truyền ngƣợc 31
2.1.1. Mặt chất lượng 33
2.1.2. Tính hội tụ và điều kiện tối ưu 34
2.1.2.1. Tính hội tụ 34
2.1.2.2. Điều kiện tối ƣu 35
3.4.2. Mô hình mạng nơ-ron của bộ điều khiển 71
3.5. Ví dụ 4 73
3.6. Kết luận chƣơng 3 76
3.7. Hƣớng phát triển tiếp theo 76
PHỤ LỤC 1 77
PHỤ LỤC 2 92
PHỤ LỤC 3 96
TÀI LIỆU THAM KHẢO 98 Số hóa bởi Trung tâm Học liệu - ĐHTN
DANH MỤC BẢNG BIỂU, HÌNH VẼ
Bảng 1.1: Các hàm cơ bản 1
Bảng 3.1. Các hàm kích hoạt (transfer function) tiêu biểu 73
Bảng 3.2: Tập hồ sơ mẫu đầu vào {0 1 2 3 4 5 6 7 8 9} 81
Hình 1.1: Mạng nơ-ron đơn giản gồm 2 nơ-ron 13
Hình 1.2: Mô hình nơ-ron nhiều đầu vào 14
Hình 1.3: Mạng nơ-ron có đặc tính động học và tuyến tính 16
Hình 1.4: Sơ đồ dùng để huấn luyện mạng 18
Hình 1.5: Điều khiển theo nguyên tắc phản hồi đầu ra 20
Hình 1.6: Mô hình nhận dạng cơ bản 24
Hình 1.7: Bổ sung thông tin đầu vào cho mạng 24
Hình 1.8: Mô hình mạng nơ-ron nhiều lớp 25
Hình 1.9: Mô hình nhận dạng song song 27
Hình 1.10: Mô hình nhận dạng nối tiếp - song song 28
Hình 1.11. Nhận dạng hệ phi tuyến dùng mạng nơ-ron 28
Hình 1.12: Sơ đồ hệ thống điều khiển mô hình mẫu 29
CÁC TỪ VIẾT TẮT
ADLINE ADAptive Linear Neural, mạng tuyến tính thích nghi đơn lớp
ANN Artificial Neural Network, mạng nơ-ron nhân tạo
BPTT BackPropagation-Through-Time, lan truyền ngƣợc xuyên tâm
LDDN Layered Digital Dynamic Network, mạng nơ-ron động
LMS Least Mean Square, trung bình bình phƣơng nhỏ nhất
NNs Neural NetworkS, mạng nơ-ron
RTRL Real-Time Recurrent Learning, thuật học hồi qui thời gian thực
SDBP Steepest Descent BackProbagation, thuật toán lan truyền ngƣợc giảm
dốc nhất
OBP Optical BackProbagation, thuật toán lan truyền ngƣợc “tốc độ ánh sáng”
VLBP Variable Learning rate BackProbagation algorithm, thuật toán lan truyền
ngƣợc với tốc độ học thay đổi.Số hóa bởi Trung tâm Học liệu - ĐHTN
TÓM TẮT KẾT QUẢ NGHIÊN CỨU
ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ
Tên đề tài: Nghiên cứu thuật toán tìm nghiệm tối ƣu toàn cục trong quá trình
luyện mạng nơ-ron - ứng dụng để nhận dạng, điều khiển đối tƣợng động học phi
tuyến.
Mã số: B2009 – TN 02 - 13
Chủ nhiệm đề tài: ThS. Nguyễn Thị Thanh Nga
E mail: ;
Cơ quan chủ trì đề tài: Đại học Thái Nguyên;
Đơn vị phối hợp chính: Khoa Điện, Khoa Điện tử, Trƣờng Đại học Kỹ thuật Công
nghiệp – Đại học Thái Nguyên;
The 7th International Conference on Natural Computation (ICNC'11) and the 8th
International Conference on Fuzzy Systems and Knowledge Discovery (FSKD'11),
2011.
3. Nguyễn Hữu Công, Nguyễn Thị Thanh Nga, Phạm Văn Hƣng; Nghiên cứu
ứng dụng mạng hồi quy thời gian liên tục trong nhận dạng và điều khiển hệ thống
xử lý nước thải, Tạp chí khoa học công nghệ Đại học Thái Nguyên số 12 tập 74 năm
2010.
3.2. Sản phẩm đào tạo
1. Luận văn cao học (2):
- “Nghiên cứu ứng dụng mạng nơ-ron trong nhận dạng và điều khiển đối tƣợng
động học phi tuyến”, 2010. Học viên: Phạm Văn Hƣng. GVHD: PGS.TS: Nguyễn Hữu
Công.
- Luận văn cao học: “Ứng dụng mạng nơ-ron chẩn đoán sự cố trong máy biến áp
lực”, 2010. Học viên: Bùi Đức Cƣờng. GVHD: PGS.TS: Nguyễn Hữu Công.
2. 01 đề tài nghiên cứu khoa học cấp trƣờng:
“Nghiên cứu một phƣơng pháp mới giải bài toán tối ƣu tĩnh với hàm mục tiêu
có dạng đặc biệt”, 2011. Chủ nhiệm đề tài: KS. Đỗ Duy Cốp
3. Hƣớng dẫn 01 đề tài Nghiên cứu khoa học sinh viên.
“Ứng dụng thuật toán vƣợt khe để nhận dạng đối tƣợng điều khiển trong bài
toán điều khiển quá trình”. Sinh viên: Nguyễn Tiến Mạnh. GVHD: Nguyễn Thị
Thanh Nga.Số hóa bởi Trung tâm Học liệu - ĐHTN
SUMMARY RESEARCH RESULT OF SCIENTIFIC AND
TECHNOLOGICAL THEME IN MINISTRY LEVEL
Topic: Research the algorithm to find global optimal solution in process of training
neural network – Applying to identify, control kinematics nonlinear object.
Code: B2009 – TN02 - 13
on the application of genetic algorithm combined with the “cleft-overstep” algorithm
Số hóa bởi Trung tâm Học liệu - ĐHTN
for improving learning process of MLP neural network with special error surface.;
The 7th International Conference on Natural Computation (ICNC'11) and the 8th
International Conference on Fuzzy Systems and Knowledge Discovery (FSKD'11),
2011.
3. Nguyễn Hữu Công, Nguyễn Thị Thanh Nga, Phạm Văn Hƣng; Nghiên cứu
ứng dụng mạng hồi quy thời gian liên tục trong nhận dạng và điều khiển hệ thống
xử lý nước thải, Tạp chí khoa học công nghệ Đại học Thái Nguyên số 12 tập 74 năm
2010.
3.2. Training products
1. Master‟s thesis (2)
- “Research and apply neural network to identify and control kinematics nonlinear
object”. 2010, Student Pham Van Hung, Supervisor: Ass.Professor. Doctor Nguyen
Huu Cong.
- Master thesis: “Applying neural network to diagnose faults in instrument
transformer”, 2010: Student: Bui Duc Cuong. Supervisor Ass.Professor Doctor
Nguyen Huu Cong
2. 01 scientific researching topic in university level
“Research the new method to solve static optimal problem with special
objective function”, 2011. Promotor: Do Duy Cop
3. Supervising 01 scientific researching topic in student level “Applying cleft –
overstep algorithm to identify object in process control problem”. Student:
Nguyen Tien Manh. Supervisor: Nguyen Thi Thanh Nga
Số hóa bởi Trung tâm Học liệu - ĐHTN
MỞ ĐẦU
Số hóa bởi Trung tâm Học liệu - ĐHTN
Chƣơng 3: Ứng dụng của thuật toán vƣợt khe trong quá trình luyện mạng
nơ-ron.
Chƣơng 3 sẽ đƣa ra ví dụ đƣợc lập trình trong C++, trong Matlab để chứng
minh sự vƣợt trội của bƣớc học vƣợt khe so với các bƣớc học khác thƣờng đƣợc sử
dụng trong Toolbox của Matlab; cũng nhƣ các ví dụ về nhận dạng và điều khiển đối
tƣợng động học phi tuyến sử dụng mạng nơ-ron.
Số hóa bởi Trung tâm Học liệu - ĐHTN
CHƢƠNG 1
GIỚI THIỆU VỀ MẠNG NƠ-RON TRONG NHẬN DẠNG VÀ ĐIỀU KHIỂN ĐỐI
TƢỢNG ĐỘNG HỌC PHI TUYẾN
1.1. Giới thiệu tóm tắt về mạng nơ-ron
1.1.1 Mạng nơ-ron sinh học
Mạng nơ-ron là sự tái tạo bằng kỹ thuật những chức năng của hệ thần kinh con
ngƣời. Trong quá trình tái tạo không phải tất cả các chức năng của bộ não con ngƣời
có đều đƣợc tái tạo mà chỉ có những chức năng cần thiết. Bên cạnh đó có những chức
năng mới đƣợc tạo ra nhằm giải quyết một bài toán điều khiển đã định trƣớc.
Mạng nơ-ron bao gồm vô số các nơ-ron đƣợc liên kết truyền thông với nhau
trong mạng. Hình 1.1 là một phần của mạng nơ-ron bao gồm hai nơ-ron.
Từ những nghiên cứu tính chất cơ bản của mạng nơ-ron sinh học. Ngƣời ta thay
thế những tính chất này bằng một mô hình toán học tƣơng đƣơng đƣợc gọi là mạng
nơ-ron nhân tạo. Mạng nơ-ron nhân tạo có thể đƣợc chế tạo bằng nhiều cách khác
nhau vì vậy trong thực tế tồn tại rất nhiều kiểu mạng nơ-ron nhân tạo. Cấu trúc một nơ-ron bao gồm:
p
1
, p
2
, …. p
n
: n đầu vào
w
1
, w
2
… w
n
: n trọng số
b : tham số bù
a = f(n) : hàm truyền
Đứng về mặt hệ thống, một nơ-ron là một hệ thống MISO quen thuộc với nhiều
nSố hóa bởi Trung tâm Học liệu - ĐHTN
Quan hệ giữa các đầu vào và ra của một nơ-ron đƣợc biểu diễn bằng phƣơng
trình toán học nhƣ sau:
1
2
12
1
w
w
.
w * . . . w
.
.
w
m
k k m
k
m
n p b p p p b p b
a = radbas(n)
2
n
ae
a = satlins(n)
a = -1 nếu n ≤ -1
a = n nếu -1 ≤ n ≤ 1
a = 1 nếu n ≥ 1
a = hardlim(n)
a = 1 nếu n ≥0
a = -1 nếu n < 0
a = purelin(n)
a = n
1.1.3 Cấu trúc mạng nơ-ron
Trong điều khiển tự động, để xây dựng đƣợc các hệ thống điều khiển tự động,
trƣớc tiên phải xác định đƣợc mô hình thích hợp cho đối tƣợng và xác định các tham
số của mô hình. Ở đây mô hình đƣợc sử dụng để thay thế cho đối tƣợng là một mạng
nơ-ron. Vậy ta phải xác định đƣợc cấu trúc hợp lý cho mạng nơ-ron và huấn luyện các
tham số của mạng. Tuỳ theo các đặc tính của mạng nơ-ron là động học tuyến tính, phi
tuyến tĩnh, hay động học phi tuyến mà ta có thể phân thành 3 loại nhƣ sau:
Số hóa bởi Trung tâm Học liệu - ĐHTN
11
là một ma trận các trọng số liên kết giữa đầu vào thứ nhất với lớp
vào có kích thƣớc q hàng và m+1 cột. Khối LW
21
là ma trận các trọng số liên kết giữa
Hình 1.3: Mạng nơron có đặc tính động học phi tuyến
b
1
1 t
LW
32
LW
21
IW
11
b
2
1
TDL-1
0 1 m
p
LW
kích thƣớc 1 hàng và r cột. Khối LW
13
là ma trận các trọng số liên kết giữa đầu ra của
lớp ra với các nơ-ron của lớp vào có kích thƣớc q hàng và n cột.
Hàm f ở trong cùng một lớp đƣợc chọn giống nhau. Lớp vào và lớp ẩn cùng sử
dụng các hàm tansig, lớp ra sử dụng hàm purelin.
Các khối b
1
, b
2
và b
3
là các véctơ tham số bù, có số hàng bằng số nơ-ron có
trong lớp tƣơng ứng và có một cột.
Một cách tổng quát, cấu trúc mạng nơ-ron động học phi tuyến là giống nhƣ
trên, nhƣng số lớp của mạng có thể lớn hơn hoặc ít hơn và phải có khâu trễ, có thể là
trễ đầu vào hoặc trễ đầu ra hoặc là cả hai loại trễ. Vậy cấu trúc của mạng nơ-ron động
học phi tuyến đơn giản sẽ có cấu trúc hai lớp với trễ đầu vào hoặc trễ đầu ra.
Nhìn vào cấu trúc của mạng nơ-ron này ta thấy nó là một hệ động học phi
tuyến. Tính động học của mạng đƣợc thể hiện ở các khâu trễ đầu vào và trễ phản hồi.
Tính phi tuyến thể hiện ở các hàm truyền phi tuyến tansig. Nhƣ vậy mô hình mạng nơ-
ron này có thể đƣợc sử dụng để thay thế mô hình toán học của đối tƣợng có đặc tính
động học phi tuyến.
Khi nhận dạng đối tƣợng động học phi tuyến sử dụng mô hình mạng nơ-ron
trên thì cần phải chọn cấu trúc hợp lý. Để đơn giản đầu tiên nên chọn cấu trúc mạng
đơn giản nhất, tức là có hai lớp không có lớp ẩn. Mặt khác vì đối tƣợng xét ở đây có
quan hệ một vào và một ra, cho nên số nơ-ron của lớp ra luôn là một và để đơn giản
hơn nữa có thể chọn hàm f của lớp ra là hàm purelin. Vấn đề còn lại là chọn số nơ-ron
lớp vào và số nhịp trễ của hai khâu trễ đầu vào và trễ phản hồi.
Nhƣ đã trình bày ở trên, số nơ-ron một lớp sẽ quyết định số hàng và số nhịp trễ
của mạng bằng tín hiệu đầu ra mẫu. Khi đó sẽ không còn đƣờng phản hồi ra có
trễ và tín hiệu ra mẫu đƣợc coi là đầu vào có trễ thứ hai của mạng nơ-ron. Sơ đồ
nhƣ hình 1.4.
Hình 1.4: Sơ đồ dùng để huấn luyện mạng
b
1
1 T
LW
32
LW
21
IW
11
b
2
1
TDL-1
0 1 m
P
LW
13
biên độ vào đối tƣợng và đo đƣợc tín hiệu ra mẫu T.
Kết quả nhận dạng đối tƣợng phụ thuộc rất nhiều vào tập mẫu đã chọn, thể hiện
qua các yếu tố sau đây: Tập mẫu có phản ánh đƣợc đặc tính động học phi tuyến của
đối tƣợng hay không. Chu kỳ trích mẫu phải đƣợc lựa chọn thích hợp. Chu kỳ càng
nhỏ thì lƣợng thông tin càng đầy đủ nhƣng số mẫu sẽ tăng lên và việc nhận dạng càng
chính xác nhƣng thời gian luyện mạng càng lớn và ngƣợc lại.
1.2. Nhận dạng đối tƣợng động học phi tuyến sử dụng mạng nơ-ron
1.2.1 Giới thiệu hệ động học phi tuyến
Hệ động học phi tuyến bao gồm hai đặc tính là tính động học và tính phi tuyến.
Tính phi tuyến đƣợc thể hiện ở hệ thống không thỏa mãn nguyên tắc xếp chồng. Tính
động học thể hiện ở các quan hệ vào ra, đầu ra không những phụ thuộc vào đầu vào
mà còn phụ thuộc vào sự biến thiên của đầu vào. Thông thƣờng hệ đƣợc biểu diễn bởi
quan hệ vi phân và tích phân.
Hệ tuyến tính đƣợc mô tả bằng một hệ phƣơng trình vi phân tuyến tính. Hệ tuyến
tính thỏa biểu diễn nhƣ sau:
y(t) = F(u(t))
và ánh xạ F thỏa mãn nguyên tắc xếp chồng:
F(a
1
(u
1
(t))+a
2
(u
2
(t)) = a
1
F(u
1
(t) + a
động học (quan hệ vào – ra) và phi tuyến, hoặc một hệ điều khiển mà trong đó có một
khâu phi tuyến (không áp dụng đƣợc nguyên lý xếp chồng). Bởi khâu phi tuyến có
trong hệ tạo ra những dải hoặc ngƣỡng để đƣa hệ hoạt động theo dải hoặc ngƣỡng, do
đó điều này sẽ làm giảm trạng thái không cần thiết khi hệ hoạt động. Với cùng một đối
tƣợng khi xét quan hệ vào – ra hoặc các quan hệ giữa các thông số liên quan thì quan
hệ này là tuyến tính nhƣng quan hệ khác lại không tuyến tính. Vì vậy không phải lúc
nào những giả thiết cho phép xấp xỉ hệ bằng bằng mô hình tuyến tính đƣợc thỏa mãn.
Do đó tùy theo bài toán mà coi đối tƣợng là tuyến tính hay phi tuyến.
1.2.2. Nhận dạng hệ động học phi tuyến
Tại sao phải nhận dạng
Xét một bài toán điều khiển theo nguyên tắc phản hồi nhƣ trên hình 1.5:
Muốn tổng hợp đƣợc bộ điều khiển cho đối tƣợng hệ kín có đƣợc chất lƣợng nhƣ
mong muốn thì trƣớc tiên phải hiểu biết về đối tƣợng, tức là cần phải có một mô hình
Bộ điều
khiển
Đối tƣợng
điều khiển
w(t)
e(t)
u(t)
y(t)
-
Hình 1.5: Điều khiển theo nguyên tắc phản hồi đầu ra Số hóa bởi Trung tâm Học liệu - ĐHTN
toán học mô tả đối tƣợng. Không thể điều khiển đối tƣợng khi không hiểu biết hoặc
hiểu sai lệch về nó. Kết quả tổng hợp bộ điều khiển phụ thuộc rất nhiều vào mô hình
Số hóa bởi Trung tâm Học liệu - ĐHTN
Theo định nhĩa này thì những bài toán nhận dạng sẽ phải đƣợc phân biệt với nhau
ở ba điểm chính, đó là:
- Lớp mô hình thích hợp. Chẳng hạn lớp các mô hình tuyến tính không có cấu
trúc (không biết bậc của mô hình) hoặc có cấu trúc, lớp các loại mô hình lƣỡng tuyến
tính.
- Loại tín hiệu quan sát đƣợc (tiền định/ngẫu nhiên).
- Phƣơng thức mô tả sai lệch giữa mô hình thực và đối tƣợng.
Các bước cơ bản để nhận dạng hệ thống
Nhận dạng hệ thống là ƣớc lƣợng mô hình của hệ thống dựa trên các dữ liệu vào
ra quan sát đƣợc.
Để xác định đƣợc mô hình của hệ thống từ các dữ liệu quan sát này ta phải có:
- Số liệu vào – ra.
- Tập các đầu vào tham gia vào mô hình.
- Tiêu chí lựa chọn mô hình.
Quy trình nhận dạng gồm các bước
1) Thu thập số liệu vào – ra từ hệ thống.
2) Khảo sát số liệu. Lựa chọn phần có ích trong số liệu thu đƣợc, có thể sử dụng
bộ lọc nếu cần.
3) Lựa chọn và xác định cấu trúc mô hình.
4) Tính toán mô hình tốt nhất trong các dạng cấu trúc tìm đƣợc theo số liệu vào
ra và tiêu chí lựa chọn.
5) Khảo sát tính năng của mô hình tìm đƣợc.
Nếu mô hình đủ tốt thì dùng, ngƣợc lại thì quay về bƣớc 3 để tìm mô hình khác.
Có thể phải tìm phƣơng pháp ƣớc lƣợng khác (bƣớc 4) hoặc thu thập thêm số liệu vào
– ra (bƣớc 1 và 2).
1.2.3. Nhận dạng hệ thống sử dụng mạng nơ-ron
1.2.3.1. Khả năng sử dụng mạng nơ-ron trong nhận dạng
thay đổi của các đại lƣợng trong hệ hay mô hình toán học cơ bản của nó,… Tuy nhiên
không phải đối tƣợng nào hay hệ nào cũng cung cấp đƣợc đầy đủ các thông tin nhƣ
trên cũng nhƣ xây dựng đƣợc mô hình thực từ những thông tin ấy. Việc nhận dạng là
việc đầu tiên và quan trọng để việc điều khiển đạt chất lƣợng mong muốn. Khi thông
số của đối tƣợng là cần thiết để việc điều khiển đạt chất lƣợng mong muốn. Khi thông
số của đối tƣợng tự thay đổi trong quá trình làm việc (đối tƣợng phi tuyến) và có tính
động học thì việc nhận dạng theo chúng sẽ phức tạp hơn nhiều so với đối tƣợng có
thông số bất biến. Trong phần này sẽ trình bày rõ ứng dụng hiệu quả của mạng nơ-ron
trong nhận dạng hệ thống động học phi tuyến.
Số hóa bởi Trung tâm Học liệu - ĐHTN
a). Nhận dạng tham số sử dụng mạng nơ-ron
Nhận dạng thông số chính là huấn luyện mạng. Mô hình cơ bản của mạng nơ-
ron đƣợc luyện để mô phỏng hành vi của đối tƣợng điều khiển giống nhƣ mô hình
truyền thống đƣợc biểu diễn trên Hình 1.6
Tín hiệu sai số
y
ˆ
ye
là cơ sở cho quá trình luyện mạng. Mạng nơ-ron ở
đây có thể là mạng nhiều lớp hoặc các dạng khác và có thể sử dụng nhiều thuật luyện
mạng khác nhau.
khiển
Mạng
nơron
u(k)
y(k)
)k(y
ˆ
e(k)
-
Hình 1.7: Bổ sung thông tin đầu vào cho mạng
Copyright: Tài liệu đại học ©