CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM

LỜI NÓI ĐẦU

Trong những năm gần đây, vai trò của máy tính trong việc lưu trữ và
xử lý thông tin ngày càng trở nên quan trọng. Bên cạnh đó, các thiết bị thu
thập dữ liệu tự động cũng phát triển mạnh góp phần tạo ra những kho dữ
liệu khổng lồ.
Dữ liệu được thu thập ngày càng nhiều nhưng người ra quyết định lại
cần có những thông tin bổ ích và chính xác từ những tri thức được rút ra từ
nguồn dữ liệu chưa được khai phá.
Với những yêu cầu đó, mô hình CSDL truyền thống không còn thích
hợp nữa. Để có được tri thức từ CSDL người ta đã phát triển các lĩnh vực
nghiên cứu về tổ chức các kho dữ liệu và kho thông tin, các hệ trợ giúp ra
quyết định, các phương pháp khai phá dữ liệu và phát hiện tri thức trong
CSDL. Trong đó khai phá dữ liệu và phát hiện tri thức đã trở thành một
lĩnh vực nghiên cứu khá sôi động.
Qua quá trình học tập nghiên cứu môn Công Nghệ Tri Thức và Ứng
Dụng, và sự hướng dẫn của thầy GS.TS Hoàng Kiếm chúng em đã học
được những tri thức nền tảng về biểu diễn xây dựng các hệ cơ sở tri thức
cũng như việc khám phá tri thức. Nhưng do thời gian và khả năng có hạn
nên trong nội dung chuyên đề em chỉ trình bày một phần nhỏ về lĩnh vực
máy học, cụ thể là kỹ thuật huấn luyện mạng neural và ứng dụng trong SQL
Server 2008.
TP HCM ngày 20 tháng 09 năm 2013
HVTH: NGUYỄN THỊ NAM TRANG 1
ĐẠI HỌC QUỐC GIA TP HCM
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

Họ và tên: NGUYỄN THỊ NAM
Mã HV:CH1101105

5. Scoring Methods 37
6. Dữ liệu được yêu cầu cho mạng Neural 38
7. Quan sát một mô hình mạng neural 38
8. Mô hình ứng dụng dự đoán kết quả học tập theo học kỳ của học sinh
trường TCN Nhân Đạo 39
Chương VI KẾT LUẬN VÀ KIẾN NGHỊ 50
TÀI LIỆU THAM KHẢO 53
CHƯƠNG I:
MỞ ĐẦU
I. TỔNG QUAN:
HVTH: NGUYỄN THỊ NAM TRANG 2
Trục
Nhánh
Khớp
Thân
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
Mạng neural là thuật ngữ nói đến một phương pháp giải quyết vấn đề – bài toán trên
máy tính mô phỏng theo hoạt động của các tế bào thần kinh trong não bộ.
Mạng neural sinh học được tạo thành bởi sự liên kết giữa rất nhiều tế bào thần kinh
(neural). Các xung động thần kinh được truyền từ khớp qua trục để đến thân. Thân
tế bào tổng hợp các xung động thần kinh và ra quyết định tiếp tục truyền các tín
hiệu sang tế bào thần kinh khác.
Cấu trúc của một tế bào thần kinh sinh học
Mạng neural nhân tạo là sự mô phỏng cấu trúc của mạng neural sinh học. Mạng
neural nhân tạo được tạo thành bởi sự nối kết giữa rất nhiều đơn vị thần kinh gọi là
perceptron. Những đơn vị này có nhiệm vụ nhận các tín hiệu từ các đơn vị khác
hoặc từ dữ liệu nhập; thông qua các mối liên kết, đơn vị sẽ tiến hành tổng hợp tín
hiệu đến nó, xử lý và truyền các tín hiệu sang các đơn vị thần kinh khác hoặc đến
đầu ra.
HVTH: NGUYỄN THỊ NAM TRANG 3

+ w
0
) - φ)
Hàm f được gọi là hàm truyền. Một hàm truyền cần phải có tính chất sau :
- bị chặn
- đơn điệu tăng
- hàm liên tục tăng
Các hàm truyền thường được sử dụng là :
Hàm logistic (hay còn gọi là hàm Sigma)
x
e
x
−
+
=
1
1
)(f
Hàm hyperbol
x
x
e
e
x
−
−
+
−
=
1

và nhận thức), vật lý (mô hình hóa các hiện tượng trong cơ học thống kê), sinh học
(lý giải các chuỗi nucleotid), kinh tế (dự đoán về thị trường tiền tệ và chứng khoáng),
dược học (liên quan cấu trúc-tác dụng)
Một cách tổng quát, một mạng neural nhân tạo chỉ là một đồ thị bao gồm các đơn
vị thần kinh nhân tạo kết nối với nhau. Tuy nhiên, có nhiều ứng dụng trong thực tiễn
nhất là các mạng neural sau :
- Mạng Hopfield : là mô hình mạng 1 lớp với trọng số đối xứng, được
Hopfield đề xuất vào năm 1982.
- Mạng Kohonen (winner-take-all) : do Kohonen đề xuất năm 1984, là
mạng neural dựa trên ý tưởng phân lớp các giá trị đầu vào
- Mạng lan truyền ngược : Do Rumelhart và McClelland giới thiệu năm
1984, mô hình này ứng dụng trong các dạng mạng neural phức tạp, nhiều
lớp. Và đây cũng là một mô hình này đang được sử dụng khá phổ biến
trong các bài toán trí tuệ nhân tạo.
* Để ngắn gọn hơn, từ đây về sau, chúng ta sẽ dùng từ neural thay cho đơn vị thần
kinh nhân tạo.
Trong bài toán học mà chúng ta đã quen thuộc, để phân loại các đối tượng có m
thuộc tính khác nhau vào n thuộc tính quyết định khác nhau. Chúng ta sẽ xây dựng
mạng neural gồm có :
• m neural nhập, mỗi neural ứng với một thuộc tính của đối tượng và nhận một
giá trị trong miền giá trị xác định bởi miền giá trị của thuộc tính.
• một hoặc nhiều các neural “trung gian” hay các neural ẩn
HVTH: NGUYỄN THỊ NAM TRANG 5
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
• n neural xuất, mỗi neural ứng với một thuộc tính quyết định, miền giá trị của
đầu ra của mỗi neural này là chính là miền giá trị của thuộc tính quyết định
ứng với neural đó.
Vấn đề lớn nhất trong việc xây dựng mạng neural là việc xác định giá trị thích
hợp của các trọng số w cho các liên kết giữa các neural và chọn hàm truyền thích hợp
cho mỗi neural. Và quá trình xác định các trọng số w gọi là quá trình huấn luyện

II. THUẬT TOÁN HỌC ĐƠN GIẢN TRÊN PERCEPTRON
Perceptron có thể được xem là mạng neural đơn giản nhất vì chỉ gồm có một
neural duy nhất. Tuy không mấy hữu ích so với một mạng neural đầy đủ nhưng nó lại
HVTH: NGUYỄN THỊ NAM TRANG 7
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
rất hữu ích trong việc giúp chúng ta nắm được những nguyên tắc cơ bản trong tiếp
cận máy học bằng mạng neural. Chúng ta sẽ sử dụng thuật toán học trên perceptron
để xây dựng “hàm” để xác định một loại hoa có thuộc loại versicolor hay không. Để
tiện vận dụng thuật toán perceptron, ta sẽ “lượng hóa” thuộc tính loài. Loài = 1 là
versicolorl. Loài = -1 là loài khác.
Chúng ta có các mẫu với các thuộc tính cho trong bảng sau :
Công thức truyền của perceptron trong bài toán này sẽ như sau :
và y = x
0
w
0
+ x
1
w
1
+ x
2
w
2
+ x
3
w
3
+ x
4

4
) = -1
f(1.w
0
+ 6.1w
1
+ 2.8w
2
+ 4.7w
3
+ 1.2w
4
) = 1
f(1.w
0
+ 5.6w
1
+ 3.0w
2
+ 4.1w
3
+ 1.3w
4
) = 1
f(1.w
0
+ 5.8w
1
+ 2.7w
2

1
= 0; w
2
= 0; w
3
= 0; w
4
= 1
Thử với mẫu đầu tiên ta được :
f(1×w
0
+ 4.7×w
1
+ 3.2×w
2
+ 1.3×w
3
+ 0.2×w
4
) =
f(1×1 + 4.7 × 0 + 3.2×0 + 1.3×0 + 0.2×1) = f(1.2) = 1
Hàm f cho kết quả khác với mong đợi là 1 thay vì -1. Do đó ta cần phải điều
chỉnh lại các trọng số w
i
. Sở dĩ hàm f cho kết quả 1 là vì tổng ∑x
i
w
i
> 0. Do đó, để f
trả ra -1 ta cần điều chỉnh w

i
w
i
) bằng công thức :
w
i
= w
i
+ r.x
i

Trở lại ví dụ của chúng ta, chọn r = 0.05. Như vậy, các trọng số sẽ được điều chỉnh
như sau :
w
0
= w
0
- r.x
0
= 1 - 0.05×1 = 0.95
HVTH: NGUYỄN THỊ NAM TRANG 9
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
w
1
= w
1
- r.x
1
= 0 - 0.05×4.7 = -0.24
w

3
+ 1.2×w
4
) =
f(1×0.95 + 6.1×(-0.24) + 2.8×(-0.16) + 4.7×(-0.07) + 1.2×0.99) = f(-0.05) = -1
Một lần nữa f lại trả ra kết quả khác với mong đợi là -1 thay vì 1. Ta sẽ điều chỉnh
tăng các w
i
.
w
0
= w
0 +
r.x
0
= -0.95 + 0.05×1 = -1.00
w
1
= w
1 +
r.x
1
= -0.24 + 0.05×6.1 = -0.07
w
2
= w
2 +
r.x
2
= -0.16 + 0.05×2.8 = -0.02

4
= 4.65; w
5
= -11.56
Thuật toán Peceptron khá đơn giản và gần gũi với suy nghĩ của con người.
Tuy nhiên, chính vì điều này, thuật toán này lại không mấy hữu hiệu trong những
trường hợp phức tạp. Ví dụ của minh họa mà chúng ta vừa khảo sát là một trường
hợp tuyến tính đơn giản nên sau một số lần điều chỉnh hữu hạn các w
i
sẽ "hội tụ" về
HVTH: NGUYỄN THỊ NAM TRANG 10
1
2
3
4
a
b
o
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
kết quả. Do đó, trong thực tế thuật toán perceptron được dùng để minh họa cho tiếp
cận học bằng mạng neural hơn là để áp dụng vào một ví dụ thực tiễn nào đó.
III. THUẬT TOÁN LAN TRUYỀN NGƯỢC (BACK-PROPAGATION)
Trong mục này chúng ta cùng nhau khảo sát một thuật toán học thực tiễn
hơn. Thuật toán này thường được áp dụng trên mạng neural có nhiều. Dùng lại ví
dụ trong thuật toán perceptron. Mạng neural của chúng ta sẽ có cấu trúc như sau :
Trên hình vẽ, mạng neural này gồm có 3 lớp. Lớp nhập gồm 4 neural để
nhận 4 giá trị thuộc tính của loại hoa. Lớp ẩn gồm có 2 neural (a và b), mỗi một
neural trong lớp ẩn sẽ nhận giá trị xuất từ tất cả các neural trong lớp nhập. Lớp xuất
chỉ gồm một neural duy nhất mà giá trị xuất của nó sẽ cho biết loại hoa đó có phải
thuộc loại versicolor hay không, neural xuất cũng sẽ nhận giá trị xuất từ tất cả các

là trọng số tự do của
neural a. Các trọng số của neural b lần lượt là : w
0b
, w
1b
, w
2b
, w
3b
, w
4b
. Các trọng
số của neural O là : w
0O
,

w
aO
, w
bO.
Trong mạng trên, tất cả neural trong lớp ẩn và lớp xuất (a, b, O) đều sử dụng
cùng một hàm truyền là hàm sigma (σ). Giá trị đầu ra của các neural này sẽ được
tính bằng công thức σ (∑x
i
w
i
) (trong đó x
i
là các giá trị truyền đến neural và w
i

2a
)
O
b
= σ(w
0b
+ x
1
×w
1b
+ x
2
×w
2b
+ x
2
×w
2b
+ x
2
×w
2b
)
O
O
= σ(w
0O
+ O
a
×w

= -0.1
w
0O
= 0.1; w
aO
= 0.2; w
bO
= -0.1;
Chúng ta cũng thực hiện thử và điều chỉnh gần giống như thuật toán
perceptron. Đầu tiên là áp dụng các trọng số hiện có lên các mẫu có sẵn để tính ra
giá trị xuất của neural O.
HVTH: NGUYỄN THỊ NAM TRANG 12
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
Áp dụng các trọng số đã cho với mẫu đầu tiên. Giá trị xuất của các neural a,
b, O lần lượt là :
O
a
= 0.5050 ; O
b
= 0.5695; O
O
= 0.5359
Bước tiếp theo là dựa trên giá trị xuất thực sự của neural xuất (O
O
) và giá trị
xuất mong muốn của neural xuất (E
O
) ta sẽ tính ra được sai số δ
O
của neural xuất

b
) × w
bO
× δ
O
Trong trường hợp có nhiều hơn một nút xuất O
1, ,
O
n
thì sai số tại một nút ẩn
sẽ bằng tổng các sai số ứng với mỗi nút xuất :
δ
b
= O
b
× (1 - O
b
) × ∑ w
bOi
× δ
Oi
Ở đây có một điểm cần lưu ý. Thực sự hàm sigma không thể trả ra giá trị 0.
Ở đây ta chọn một ngưỡng, chẳng hạn như 0.5 để quyết định loại hoa đó có thể là
loại versicolor hay không. Nếu O
O
< 0.5 thì không phải là versicolor, còn nếu O
O
≥
0.5 thì là loại versicolor. Do đó, để tăng hiệu quả của phép phân loại, ta sẽ mong
muốn giá trị xuất 0.0 ứng với mẫu không là VersiColor và 1.0 đối với mẫu

= w
1a
+ r × δ
a
× x
1
= 0.0969
w
2a
= w
2a
+ r × δ
a
× x
2
= -0.1021
w
3a
= w
3a
+ r × δ
a
× x
3
= -0.1009
w
4a
= w
4a
+ r × δ

w
3b
= w
3b
+ r × δ
b
× x
3
= 0.1004
w
4b
= w
4b
+ r × δ
b
× x
4
= -0.0999
Neural xuất O
w
0O
= w
0O
+ r × δ
O
× 1 = 0.0867
HVTH: NGUYỄN THỊ NAM TRANG 14
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
w
aO

Một mạng nơron về cơ bản là mô hình có cấu trúc và thuật toán cho phù hợp với
một số dữ liệu mẫu nhất định. Cách tiếp cận mạng để mô hình hóa sử dụng khả năng phân
chia tuyến tính và cho phép tất cả các thông số được điều chỉnh.
Các mạng nơron có một tiềm năng cho các hệ thống điều khiển thông
minh bởi vì chúng có thể học hỏi và thích ứng, chúng có thể ước tính
chức năng phi tuyến, thích hợp cho xử lý song song và phân phối, và mô hình hóa hệ
thống đa biến.
Nếu một mô hình vật lý là không có hoặc quá đắt để phát triển, một mô hình
mạng neural có thể là một thay thế
Cho một vấn đề phân loại, tập hợp các dữ liệu u được phân thành hai lớp C
1
và C
2
. Một
mạng noron có thể học từ những dữ liệu đưa vào và nâng cao hiệu xuất của nó thông qua
việc học này, đó chính là khả năng mà chúng ta đang rất quan tâm nghiên cứu.
Trong một giai đoạn máy học, em mong muốn tìm hiểu một ví dụ nhỏ trong những ví
dụ về huấn luyện mạng noron. Sau quá trình huấn luyện, mạng noron sẽ có thể phân loại
chính xác dữ liệu hơn so với dữ liệu ban đầu.
Cho một bảng dữ liệu về cường độ của 10 viên gạch ngói:
STT 475 Hz 557Hz Chất lượng
1 0.958 0.003 Yes
2 1.043 0.001 Yes
3 1.907 0.003 Yes
4 0.780 0.002 Yes
5 0.579 0.001 Yes
6 0.003 0.105 No
7 0.001 1.748 No
8 0.014 1.839 No
9 0.007 1.021 No

Có nghĩa là thuật toán hội tụ perceptron. Nếu hai lớp C
1
và C
2
phân chia tuyến tính,
sẽ tồn tại một vector trọng số w với những thuộc tính như sau:
w
t
u ≥ 0 thì mọi vector đầu vào u theo lớp C
1
w
t
u < 0 thì mọi vector đầu vào u theo lớp C
2
Giả sử rằng Perceptron có m đầu vào, với công thức w
T
u=0, trong tọa độ không
gian m chiều u
1
, u
2,
…, u
m
, định nghĩa một mặt phẳng không gian ba chiều như một
mặt phẳng chuyển đổi giữa hai lớp khác nhau của đầu vào.
Quá trình huấn luyện là điều chỉnh trọng số w để thỏa mãn hai bất đẳng thức trên.
Một tập hấn luyện bao gồm K mẫu đầu vào vector u, cùng với các thành phần của
mỗi lớp mẫu (0 hoặc 1). Đại diện của một thiết lập huấn luyện hoàn tất đối với các
lớp perceptron gọi là epoch. Việc học được tiếp tục bởi các epoch cho đến khi các
trọng số ổn định.

k
nếu w
k
T
u
k
< 0 và u
k
theo lớp C
2

Ngược lại, trọng số của các perceptron được cập nhật theo các qui tắc :
w
k+1
= w
k
- n
k
u
k
nếu w
k
T
u
k
≥ 0 và u
k
theo lớp C
2


k
kiểm soát
việc điều chỉnh vector trọng số tại lần lặp k. Nếu là một hằng số độc lập với số lần
lặp k, chúng ta có một fixed increment cho các qui luật thích nghi của perceptron.
Các thuật toán đã chứng minh (Haykin:1994; Lippmann:1987).
Các điểm của vector đầu vào u trong không gian m-chiều được đánh dấu bằng một
ngôi sao. Qui tắc cập nhật này dựa trên tích vô hướng của hai vector, liên quan góc
giữa vector đầu vào và vector trọng số w:
w
T
u = |w||u|cos()
Hình 2 chỉ ra vị trí trọng số w(1) cần được thay đổi, góc nhỏ hơn 90 độ, và cos()
là một số dương, nguyên tắc cập nhật thay đổi các vector trọng số w(2) bởi số lượng
u theo phương ngược lại với u. Vector trọng số đã quay, nhưng chưa đủ, vì vậy cần
một vector khác là w(3). Bây giờ góc đã lớn hơn 90
0
và dấu của w
T
u đã đúng. Vector
w là giao của các mặt phẳng không gian ba chiều phân biệt các lớp với nhau. Khi w
quay, mặt phẳng không gian ba chiều quay với nó cho đến khi mặt phẳng tách rời các
lớp một cách đúng đắn.
Huấn luyện mạng noron trong hình 2 để xác định những viên gạch không đạt chất
lượng. Giá trị đầu vào của mạng noron là hai cột tần số của Bảng 1, chúng ta chia
HVTH: NGUYỄN THỊ NAM TRANG 19
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
gạch thành hai loại tốt và xấu, loại tốt gắn với lớp C
1
và loại xấu gắn với lớp C
2

thay đổi, nhưng sau đó không có sự thay đổi thêm. Qua đến lần thứ ba, cho thấy sự
thay thế đã dừng lại.
HVTH: NGUYỄN THỊ NAM TRANG 20
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
Mạng Perceptron thực sự có thể phân biệt giữa viên gạch tốt và xấu.
Hình 5: Phân loại gạch trong không gian theo dữ liệu đầu vào ( trục logarit)
Hình 5 cho thấy đường thẳng phân chia giữa hai lớp. Trọng số cuối cùng là:
w
T
= (0,0.977,0.425)
Đường thẳng đánh dấu sự chuyển đổi giữa hai lớp, được xác định như sau:
0.977u
1
– 0.425u
2
= 0
Tương đương với: u
2
= (0.977/0.425)u
1
Với một giới hạn cứng (hàm signum), hàm kích hoạt perceptron tạo đầu ra theo:
y=sgn(w
T
u)
Tập dữ liệu được thiết lập bên trên đường thẳng sẽ cho kết quả : y = -1(bad) và bên dưới
đường thẳng là : y= +1 (good)
Bảng 2: Mạng perceptron logarit hội tụ qua hai lần tính toán giải thuật
u
T
w

(1,0.003,0.105
)
(0.5,0.5,0.5) 0 0.554 (5) (0,0.499,0.448)
(1,0.001,1.748
)
(0,0.499,0.448) 0 0.783 (5) (-0.5,0.498,-0.427)
(1,0.014,1.839
)
(-0.5,0.498,-0.427) 0 -1.277 (3) (-0.5,0.498,-0.427)
(1,0.007,1.021
)
(-0.5,0.498,-0.427) 0 -0.932 (3) (-0.5,0.498,-0.427)
(1,0.004,0.214
)
(-0.5,0.498,-0.427) 0 -0.589 (3) (-0.5,0.498,-0.427)
Lần 2
u
T
w
T
Chất
lượn
g
w
T
u
Côn
g
thức
Cập nhật

)
(0,0.977,-0.425) 0 -0.087 (3) (0,0.977,-0.425)
II. MẠNG PERCEPTRON MỘT LỚP.
Một vấn đề xảy ra khi mạng noron có nhiều hơn hai lớp, thì các perceptron có thể
kết hợp thành một mạng. Hình thức đơn giản nhất của một lớp mạng gồm có các một
lớp đầu vào và một lớp đầu ra nhưng không có chiều ngược lại.
HVTH: NGUYỄN THỊ NAM TRANG 22
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
HVTH: NGUYỄN THỊ NAM TRANG 23
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
Hình 6: Mạng Perceptron một lớp với ba nút đầu ra.
Mỗi một noron đầu ra xác định một vector trọng số trong một mặt phẳng không gian.
Hàm kích hoạt sẽ có những dạng khác nhau tùy thuộc vào từng ứng dụng cụ thể
Hình 7: Ba đường
thẳng phân chia các
lớp.
HVTH: NGUYỄN THỊ NAM TRANG 24
CHUYÊN ĐỀ: CÔNG NGHỆ TRI THỨC GVHD: GS.TS HOÀNG KIẾM
Hình 8: Ví dụ về sáu hàm kích hoạt
Ba biểu thức toán học tương ứng như sau:
Công thức (15) là hàm logarit, công thức (16) hàm tiếp tuyến hyperpon, công thức
(17) là hàm mờ.
III. HUẤN LUYỆN GRADIENT DESCENT
Có nhiều thuật toán có thể dùng cho việc huấn luyện các mô hình mạng nơ-ron;
hầu hết có thể được xem là áp dụng trực tiếp của lý thuyết tối ưu hóa và ước lượng
thống kê.
Phần lớn các thuật toán huấn luyện mạng nơ-ron sử dụng một kiểu xuống
dốc (gradient descent - tiến dần tới cực tiểu địa phương) nào đó. Điều này được thực
hiện bằng cách lấy đạo hàm của hàm chi phí theo các tham số của mạng và thay đổi
các tham số đó theo một hướng được tính toán theo độ dốc (gradient-related