1
Giới thiệu về Mạng
Nơron
Trình bày:
Phạm Nguyên Khang
2
Nội dung trình bày
z Sơ lược về mạng nơ-ron
z Perceptron
z Mạng nơron nhiều tầng (MLP)
z Giải thuật lan truyền ngược (back propagation)
z Một số vấn đề của mạng nơ-ron
z Hướng phát triển
z Thảo luận
3
Nơ-ron sinh học
4
Nơ-ron sinh học
5
Sơ lược về mạng nơ-ron
z Mạng nơ-ron là 1 họ các quá trình xử lý thông tin dựa trên mô hình các
nơ-ron thần kinh của con người.
z Kết hợp 1 số lượng lớn các thành phần đơn giản (nơ-ron) Æ cấu trúc
phức tạp nhằm giải quyết 1 vấn đề cụ thể nào đó
z Giống như con người, mạng nơ-ron học bằng các ví dụ (mẫu)
z Lĩnh vực ứng dụng:
z Phát hiện bệnh
z Dự báo thị trường chứng khoán
z Nghiên cứu khách hàng
z Kiểm tra độ tin cậy của máy móc
z Quản lý rủi ro

ii
wvfoutput
1
x
e
xg
−
+
=
1
1
)(
8
Huấn luyện Perceptron (1)
z Xét trường hợp,
perceptron xử dụng hàm
kích hoạt ngưỡng.
z Nếu cho w
0
= -t, và v
0
=
1, ta có thể viết lại:
⎪
⎪
⎩
⎪
⎪
⎨
⎧

⎜
⎝
⎛
=
≤−
>+
=
∑
∑
∑
=
=
=
d
i
ii
d
i
ii
d
i
ii
wvsign
wv
wv
output
0
0
0
0,1

z Không thể phân lớp phi tuyến
z Ví dụ: bài toán XOR
z Giải pháp:
z Sử dụng mạng nơ-ron nhiều tầng MLP
12
Mạng nơ-ron nhiều tầng (MLP)
13
Mạng nơ-ron nhiều tầng (MLP)
14
Mạng nơ-ron nhiều tầng (MLP)
z input, output và các tầng ẩn (hiden
layers).
z Số lượng các nơ-ron trong tầng input =
số chiều
z Số lượng các nơ-ron trong tầng output
thường = số các lớp
z Thông thường các mạng nơ-ron dùng 1
tầng ẩn. Số lượng các nơ-ron trong tầng
ẩn thường được chọn = ½ (số nơ-ron
tầng input + số nơ-ron trong tầng
output)
z Chú ý: các nơ-ron trong tầng input thực
sự không phải là các nơ-ron. Nó chỉ là
chỗ để đưa dữ liệu của các mẫu vào
15
Huấn luyện MLP
z Là quá trình thay đổi giá trị của w để mạng biểu diễn được tập dữ liệu
học.
z Sự khác nhau giữa giá trị thật của mẫu và kết quả dự đoán của mạng
gọi là lỗi (học có giám sát). Hàm lỗi thường dùng là sum squared error

lỗi theo các trọng số b:
x
k
i
ii
e
xg
bybv
v
g
z
−
=
+
=
+=
=
∑
1
1
)(
)(
1
0
b
v
v
z
z
E

)( tzzE −=
Giá trị thật của
mẫu huấn luyện
19
Gradient của hàm lỗi (2)
Ta có: Đặt:
⎩
⎨
⎧
>
=
=
∂
∂
−=
∂
∂
=
∂
∂
−=
∂
∂
0,
0,1
)1(
)(
iy
i
b

∂
0
0
ipy
ip
b
E
i
i
20
Gradient của hàm lỗi (3)
z Nơ-ron tầng ẩn
z Đạo hàm riêng của hàm
lỗi theo các trọng số a:
∑
=
+=
=
d
i
ii
axau
ugy
1
0
)(
a
u
u
y

Đặt:
Ta có:
⎩
⎨
⎧
>
=
=
∂
∂
−=
∂
∂
=
∂
∂
=−−=
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
=
∂
∂

j
j
i
i
iiiii
i
i
i
K
i
i
i
i
i
)1(
1
yybp
u
y
y
E
q
K
i
ii
−
⎟
⎠
⎞
⎜

từng trọng số. Trọng số sẽ được điều chỉnh bằng
cách trừ bớt 1 lượng bằng tích của đạo hàm riêng
và tốc độ học:
i
ii
w
E
ww
∂
∂
−=
µ
23
Một số vấn đề với mạng nơ-ron
z Vấn đề kiến trúc mạng: nơ-ron nào nên nối với nơ-ron
nào ?
z Trọng số của các cung nối và ngưỡng thay đổi thường
xuyên. Đã có nhiều nghiên cứu về vấn đề này và cũng đã
có một số kết quả:
z Nếu mạng gây ra lỗi, thì có thể xác định chính xác nơ-ron nào
gây ra lỗi Î điều chỉnh nơ-ron này
z Với cách tiếp cận này, mạng phải « biết » rằng nó gây ra lỗi.
Trong thực tế, lỗi chỉ được biết sau một thời gian dài.
z Chức năng của một nơ-ron không quá đơn giản như mô
hình.
z Mạng no-ron hoạt động như 1 hộp đen
24
Một số hướng dẫn khi sử dụng
mạng nơ-ron
z Xây dựng mạng khởi tạo (dùng 1 tầng ẩn có số nơ-ron =