1
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN
THÔNG
BÙI TRUNG MINH
NGHIÊN CỨU GIẢI THUẬT LAI MỜ - NƠ RON
VÀ ỨNG DỤNG TRONG XẤP XỈ MÔ HÌNH MỜ
Chuyên ngành: Khoa học máy tính
Mã số : 60 48 01 LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH
Tuy đã có những cố gắng nhất định nhưng do thời gian và trình độ có
hạn nên chắc chắn luận văn còn có nhiều thiếu sót và hạn chế. Rất mong nhận
được sự góp ý của Quý thầy cô và các bạn./. Thái Nguyên, ngày 20 tháng 6 năm 2014
HỌC VIÊN
Bùi Trung Minh
3
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
LỜI CAM ĐOAN
Tôi xin cam đoan kết quả đạt được trong luận văn là sản phẩm nghiên
cứu, tìm hiểu của riêng cá nhân tôi. Trong toàn bộ nội dung luận văn, những
điều được trình bày hoặc là của cá nhân tôi hoặc là được tổng hợp từ nhiều
nguồn tài liệu. Tất cả các tài liệu tham khảo đều có xuất xứ rõ ràng và được
trích dẫn hợp pháp.
Tôi xin hoàn toàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo
quy định cho lời cam đoan của mình./.
1.3.1. Các phép toán chuẩn trên tập mờ 15
1.3.2. Các phép toán khác trên tập mờ 17
1.3. Quan hệ mờ 21
1.3.1 Quan hệ mờ 21
1.3.2. Hợp thành của các quan hệ mờ 22
1.4. Logic mờ 24
1.4.1. Biến ngôn ngữ 24
1.4.2. Mệnh đề mờ 25
1.4.3. Các mệnh đề hợp thành 27
1.4.4. Kéo theo mờ - Luật if - then mờ 28
1.5. Luật Modus - Ponens tổng quát 31
1.6. Vấn đề mờ hoá 34
1.7. Vấn đề khử mờ 35
Chƣơng 2: MẠNG NƠ RON NHÂN TẠO 36
2.1. Cấu trúc và mô hình của mạng nơ ron 36
2.2. Phân loại theo cấu trúc mạng nơ ron 40
2.2.1. Mạng nơ ron 1 lớp: 40
2.2.2. Mạng nơ ron truyền thẳng nhiều lớp: 41
5
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
2.2.3 Mạng nơ ron hồi quy: 42
2.3. Các luật học: 42
2.4. Mạng nơ ron truyền thẳng 45
2.4.1. Mạng Perceptron một lớp đơn 45
2.4.2. Thuật toán huấn luyện lan truyền ngược sai số 46
2.5. Mạng nơ ron RBF (Radial Basis Function) 48
34
Hình 1.6. Phương pháp điểm trọng tâm
34
Hình 2.1. Một mạng nơ ron đơn giản gồm hai nơ ron
35
Hình 2.2. Mô hình của một nơ ron
36
Hình 2.3. Cấu trúc của một nơ ron
37
Hình 2.4. Các hàm kích hoạt: (a) hàm bước nhẩy; (b) hàm dấu; (c) hàm dốc;
(d) hàm sigmoid đơn cực; (e) hàm sigmoid lưỡng
39
Hình 2.5. Một số liên kết đặc thù của mạng nơ ron
40
Hình 2.5.1. Mạng nơ ron 1 lớp
40
Hình 2.5.2. Mạng nơ ron hồi quy
40
Hình 2.5.3. Mạng nơ ron nhiều lớp
40
Hình 2.6. Học có giám sát
42
Hình 2.7. Học không giám sát
42
Hình 2.8. Cấu trúc chung của 2 quá trình học
43
Hình 2.9. Mạng Perceptron đơn
44
Hình 2.10. Cấu trúc mạng RBF
47
Bảng 3.2. Hàm thuộc của các tập mờ của biến I …………………………
59
Bảng 3.3. Hàm thuộc của các tập mờ của biến ngôn ngữ N ……………….
59
Bảng 3.4. Các kết quả xấp xỉ mô hình EX1 tốt nhất của Cao - Kandel
61
Bảng 3.5. Mô hình FAM xấp xỉ hình chuông ……………………………
69
8
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
DANH MỤC TỪ VIẾT TẮT
Từ viết tắt
Ý nghĩa
BP
Back Propagation
RBF
Radial Basis Function
BPN
and and X
n
= A
mn
then Y = B
m
Trong đó A
ij
và B
i
, i = 1, , m, j = 1, , n là những từ ngôn ngữ mô tả các
đại lượng của biến ngôn ngữ X
j
và Y.
Ứng với các giá trị (hoặc giá trị mờ, hoặc giá trị thực) của các biến đầu
vào đã cho, hãy tính giá trị đầu ra của biến Y.
Dựa trên cách tiếp cận của lý thuyết tập mờ, các phương pháp xấp xỉ mô
hình mờ được dựa trên ý tưởng sau:
- Ngữ nghĩa của các giá trị ngôn ngữ của các biến ngôn ngữ trong mô
hình mờ được biểu thị bằng các tập mờ.
- Khi đó mỗi mô hình mờ sẽ được mô phỏng bằng một quan hệ mờ hai
ngôi R.
- Ứng với vectơ đầu vào A
0
, giá trị của biến đầu ra được tính theo công
thức B
0
= A
0
phương pháp lập luận mờ, thay thế cho các bước kết nhập đầu vào, phép kéo
theo.
- Cài đặt giải thuật mờ - nơ ron và ứng dụng trong xấp xỉ mô hình mờ.
Phân tích, đánh giá kết quả đạt được.
3. Hƣớng nghiên cứu của đề tài
- Nghiên cứu lý thuyết về tập mờ, logic mờ.
- Nghiên cứu lý thuyết về mạng nơ ron.
- Sử dụng các công cụ để mô phỏng bài toán.
11
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
4. Phƣơng pháp nghiên cứu
Nghiên cứu lý thuyết kết hợp với cài đặt thực nghiệm.
5. Ý nghĩa khoa học của đề tài
Nghiên cứu về hệ mờ, logic mờ, mạng nơ ron, các lĩnh vựng ứng dụng
và cài đặt mô phỏng giải thuật lai mờ - nơ ron và ứng dụng trong xấp xỉ mô
hình mờ.
12
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
Chƣơng 1
TẬP MỜ VÀ LOGIC MỜ
1
0
0
1
2
0
0
1
3
0
0,2
0,9
4
0
0,8
0,7
5
0,1
1
0,5
6
0,5
0,8
0,1
7
0,8
0,3
0
8
1
edcba
A
5,013,007,0
- Khi vũ trụ U là liên tục, ta sử dụng cách viết sau để biểu diễn tập mờ A:
U
A
xxA /)(
, trong đó, dấu tích phân không có nghĩa là tích phân mà để
chỉ tập hợp tất cả các phần tử x được gắn với mức độ thuộc của nó.
Ví dụ: Tập mờ A = “số gần 2” có thể được xác định bởi hàm thuộc như
sau:
2
)2(
)(
x
A
ex
, chúng ta viết
- Khái niệm tập mờ là một khái niệm toán học hoàn toàn chính xác: một
chậm
nhanh
trung bình
150
1
14
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
tập mờ trong vũ trụ U là một hàm xác định trên U và nhận giá trị trong đoạn
[0, 1]. Các tập rõ là tập mờ, hàm thuộc của tập rõ chỉ nhận giá trị 1, 0. Khái
niệm tập mờ là sự tổng quát hoá khái niệm tập rõ.
- Một tính chất mờ có thể mô tả các tập mờ khác nhau, trong các ứng
dụng ta cần xác định các tập mờ biểu diễn các tính chất mờ sao cho phù hợp
với thực tế, với các số liệu thực nghiệm. [1,3,5]
1.2. Một số khái niệm cơ bản liên quan
Giả sử A là một tập mờ trên vũ trụ U. Giá đỡ của tập mờ A, ký hiệu là
supp(A) là một tập rõ bao gồm tất cả các phần tử x U có mức độ thuộc vào
tập mờ A lớn hơn không, tức là supp(A) = { x A |
A
(x) 0}
Nhân của tập mờ A là một tập rõ bao gồm tất cả các phần tử x U sao
cho
A
(x) = 1. Còn biên của tập mờ A sẽ gồm tất cả các x U sao cho 0
Biên
Nhân
(x)
15
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
Lát cắt
(
- cut) của tập mờ A, ký hiệu A
là một tập rõ bao gồm tất cả
các phần tử của vũ trụ U có mức độ thuộc vào A lớn hơn hoặc bằng
. Tức là:
A
= {x U |
A
(x)
}
B
(x)
Phần bù của tập mờ A là tập mờ
A
với hàm thuộc:
)(1)(
A
xx
A
(1.1)
Hợp của hai tập mờ A và B là tập mờ A B với hàm thuộc được xác
định như sau:
A B
(x) = max (
A
(x),
B
(x)) (1.2)
Giao của hai tập mờ A và B là tập mờ A B với hàm thuộc được xác
định như sau:
A B
(x) = min (
edcca
BA
5,0107,03,0
16
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
Giả sử A
1
, A
2
, …, A
n
là các tập mờ trên các vũ trụ U
1
, U
2
, …, U
n
tương
ứng. Tích đề các của A
1
, A
2
, …, A
n
U
1
là tập mờ A
1
với hàm thuộc
),(max)(
211
1
22
xxx
A
Ux
A
Định nghĩa này có thể mở rộng cho trường hợp A là tập mờ trên không
gian
k
iii
UUU
21
. Ta có thể tham chiếu A lên không gian tích
k
iii
UUU
21
, trong đó
), ,(
, x
2
) =
A1
(x
1
)
Đương nhiên ta có thể mở rộng một tập mờ trong không gian
k
iii
UUU
21
thành một tập mờ hình trụ trong không gian U
1
U
2
… U
n
trong đó
), ,(
1 k
ii
là các dãy con của dãy (1,2,…, n) [1,3,5].
Ví dụ: Giả sử U
1
= {a, b, c} và U
2
= {d, e}. Giả sử A
1
),(
7,0
),(
3,0
21
ecdcebdbeada
AA
Nếu chiếu tập mờ này lên U
1
, ta nhận được tập mờ sau:
cba
5,007,0
Mở rộng hình trụ của tập mờ A
1
trên không gian U
1
U
2
là tập mờ sau:
17
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
),(
5,0
A
(1.4)
Điều này gợi ý rằng, nếu chúng ta có một hàm C thoả mãn một số điều
kiện nào đó thì chúng ta có thể xác định phần bù
A
của tập mờ A bởi công
thức (1.4). Tổng quát hoá các tính chất của hàm C, C(a) = 1- a, chúng ta đưa
ra định nghĩa sau:
Phần bù của tập mờ A là tập mờ
A
với hàm thuộc được xác định trong
(1.4), trong đó C là hàm thoả mãn các điều kiện sau:
- Tiên đề C
1
(điều kiện biên). C(0) = 1, C(1) = 0
- Tiên đề C
2
(đơn điệu không tăng). Nếu a b thì C(a) C(b) với mọi a,
b [0, 1].
Hàm C thoả mãn các điều kiện C
1
, C
2
sẽ được gọi là hàm phần bù.
Chẳng hạn, hàm C(a) = 1- a thoả mãn cả 2 điều kiện trên.
18
nhờ hàm max(a, b): [0, 1] [0, 1] [0, 1]. Từ các tính chất của hàm max
này, chúng ta đưa ra một lớp các hàm được gọi là S - norm.
Một hàm S: [0, 1] [0, 1] [0, 1] được gọi là S - norm nếu nó thỏa
mãn các tính chất sau:
- Tiên đề S
1
(điều kiện biên): S(1, 1) = 1; S(0, a) = S(a, 0) = a
- Tiên đề S
2
(tính giao hoán): S(a, b) = S(b, a)
- Tiên đề S
3
(tính kết hợp): S(S(a, b), c) = S(a, S(b, c))
- Tiên đề S
4
(đơn điệu tăng): Nếu a a’, b b’ thì S(a, b) S(a’, b’)
Ứng với mỗi S - norm, chúng ta xác định một phép hợp mờ như sau:
Hợp của A và B là tập mờ A B với hàm thuộc được xác định bởi:
))(),(()( xxSx
BABA
(1.5)
Các phép hợp được xác định bởi (1.5) được gọi là các phép toán S -
norm. Chẳng hạn, hàm max(a, b) thoả mãn các điều kiện (S
1
) đến (S
4
), do đó
Tổng đại số:
abbaba
ˆ
Các phép hợp Yager:
w
ww
w
baS
1
)(,1min
trong đó w là tham số, w 0, ứng với mỗi giá trị của w chúng ta có một
S - norm cụ thể, khi w = 1, hợp Yager trở thành tổng chặn. Có thể thấy rằng:
),max(),(lim babaS
w
w
,
babaS
w
(1.6)
trong đó T là một T - norm. Các phép giao mờ được xác định bởi (1.6)
được gọi là các phép toán T - norm. Chẳng hạn, hàm min(a, b) là T - norm.
Chúng ta sẽ ký hiệu min(a, b) = a b
20
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
Một số T - norm quan trọng:
Tích đại số: a . b = ab
Tích Drastic:
1,0
1
1
baif
aifb
w
w
0
),(lim
Khi w , giao Yager trở thành giao chuẩn
Mối quan hệ giữa các S - norm và T - norm được phát biểu trong định lý:
Định lý: Giả sử T là một T - norm và S là một S - norm. Khi đó chúng ta
có các bất đẳng thức : a b T(a, b) min(a, b); max(a, b) S(a, b) a b,
trong đó a b là tổng Drastic còn a b là tích Drastic.
Từ định lý trên chúng ta thấy rằng, các phép toán min và max là cận trên
và cận dưới của các phép toán T - norm và S - norm tương ứng. Như vậy các
phép toán hợp và giao không thể nhận giá trị trong khoảng giữa min và max.
Người ta đưa vào các phép toán V(a, b): [0, 1] [0, 1] [0, 1], mà các
giá trị của nó nằm giữa min và max: min(a, b) V(a, b) max(a, b). Các
phép toán này được gọi là phép toán lấy trung bình (averaging operators).
Một số phép toán lấy trung bình:
Trung bình tổng quát:
1
2
),(
tương
ứng là các tập mờ A = A
1
… A
n
trên U = U
1
… U
n
với hàm thuộc được
xác định như sau:
)( )(), ,(
11
1
nAAnA
xxxx
n
trong đó
là phép toán
T- norm. [1,3]
1.3. Quan hệ mờ
1.3.1 Quan hệ mờ
Quan hệ mờ đóng vai trò quan trọng trong logic mờ và lập luận xấp xỉ.
Khái niệm quan hệ mờ là sự tổng quát hoá trực tiếp của khái niệm quan hệ
(quan hệ rõ). Trước hết, học viên nhắc lại khái niệm quan hệ:
Giả sử U và V là 2 tập. Một quan hệ R từ U đến V (sẽ được gọi là quan
if
yx
R
),(
),(
0
1
),(
Ví dụ: Giả sử U = {x, y, z} và V = {a, b, c, d}. Giả sử quan hệ R từ U đến
V như sau: R = {(x, a), (x, d), (y, a), (y, b), (z, c), (z, d)}
Chúng ta có thể biểu diễn quan hệ R bởi ma trận:
22
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
1
, …, U
n
là một tập mờ trên tích đề các
U
1
… U
n
Tương tự như trong trường hợp quan hệ rõ, khi cả U và V là các tập hữu
hạn, chúng ta sẽ biểu diễn quan hệ mờ R bởi ma trận, trong đó phần tử nằm ở
dòng x U cột y V là mức độ thuộc của (x, y) vào tập mờ R, tức là
R
(x, y).
Ví dụ: Giả sử U = {x, y, z}, V = {a, b, c} và R là quan hệ mờ từ U đến V
như sau:
),(
42,0
),(
0
),(
9,0
),(
8,0
),(
75,0
),(
3,0
),(
0
R
1.3.2. Hợp thành của các quan hệ mờ
Đối với quan hệ rõ, hợp thành của quan hệ R từ U đến V với quan hệ S từ
V đến W là quan hệ R
S từ U đến W bao gồm tất cả các cặp (u,w) U W
sao cho có ít nhất một v V mà (u,v) R và (v,w) S.
23
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
Từ định nghĩa trên chúng ta suy ra rằng, nếu xác định R, S và R
S bởi
các hàm đặc trưng
R
,
S
và
R
S
tương ứng thì hàm đặc trưng
, v
2
, v
3
}, W = {w
1
, w
2
, w
3
} và
001
110
2
1
321
u
u
vvv
Khi đó
100
011
2
1
321
u
u
www
R
Bây giờ, giả sử rằng R là quan hệ mờ từ U đến V và S là quan hệ mờ từ V
đến W. Tổng quát hoá các biểu thức (1.7) và (1.8) cho các quan hệ mờ ta có
định nghĩa sau:
Hợp thành của quan hệ mờ R và quan hệ mờ S là quan hệ mờ R S từ U
đến W với hàm thuộc được xác định như sau:
)],(),,(min[max),( wvvuwu
SR
Vv
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
trong đó, T là toán tử T - norm. Trong (1.11) khi thay T bởi một toán tử
T - norm, chúng ta lại nhận được một dạng hợp thành. Trong các ứng dụng,
tùy từng trường hợp mà chúng ta lựa chọn toán tử T - norm trong (1.11). Tuy
nhiên hợp thành max - min và hợp thành max - product là hai hợp thành được
sử dụng rộng rãi nhất trong các ứng dụng [1,3,5].
Ví dụ: Giả sử R và S là hai quan hệ mờ như sau:
3,016,00
011,07,0
5,0013,0
3
4
3
2
1
321
v
v
v
v
www
S
Khi đó hợp thành max - min của chúng là quan hệ mờ:
5,06,04,0
7,03,06,0
3
2
1
321
u
u
u
www
SR
1.4. Logic mờ
1.4.1. Biến ngôn ngữ
Chúng ta xét một biến, chẳng hạn “nhiệt độ”, biến này có thể nhận các
giá trị số: 13C, 25C,…Song trong đời sống hàng ngày, chúng ta vẫn thường
nói “nhiệt độ cao”, “nhiệt độ trung bình”, “nhiệt độ thấp”. Chúng ta có thể
xem biến “nhiệt độ” lấy các từ “cao”, “trung bình”, “thấp” làm giá trị của nó.
Khi một biến nhận các từ trong ngôn ngữ tự nhiên làm các giá trị thì biến đó
được gọi là biến ngôn ngữ (linguistic variable).
25
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/
Khái niệm biến ngôn ngữ được Zadeh đưa ra năm 1973, nó có thể được
định nghĩa hình thức như sau:
Một biến ngôn ngữ được xác định bởi bộ 4 (x, T, U, M), trong đó:
- x là tên biến.
- T là một tập nào đó các từ (các giá trị ngôn ngữ) mà biến x có thể nhận.
- U là miền các giá trị vật lý mà x với tư cách biến số, có thể nhận.
Copyright: Tài liệu đại học ©