ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

MAI XUÂN ĐẠT

NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG
TRONG KHẢO SÁT, ĐÁNH GIÁ, THỐNG KÊ KẾT QUẢ
HỌC TẬP TẠI TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP
QUẢNG NINH

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Số hóa bởi Trung tâm Học liệu




Thái Nguyên - 2013

Số hóa bởi Trung tâm Học liệu




ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

MAI XUÂN ĐẠT

NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG
TRONG KHẢO SÁT, ĐÁNH GIÁ, THỐNG KÊ KẾT QUẢ

Số hóa bởi Trung tâm Học liệu




ii

LỜI CẢM ƠN
Lời đầu tiên, em xin gửi lời biết ơn sâu sắc đến PGS.TS Ngô Quốc Tạo ngƣời
đã tận tình hƣớng dẫn, chỉ bảo, giúp đỡ em trong suốt quá trình làm luận văn.
Em cũng xin gửi lời cảm ơn đến các thầy cô giáo trƣờng Đại học Công nghệ
thông tin và Truyền thông - Đại học Thái Nguyên, các thầy cô Viện Công nghệ thông
tin đã truyền đạt những kiến thức và giúp đỡ em trong suốt quá trình học của mình.
Tôi cũng xin gửi lời cảm ơn tới các đồng nghiệp, gia đình và bạn bè những
ngƣời đã ủng hộ, động viên tạo mọi điều kiện giúp đỡ để tôi có thể hoàn thành tốt
luận văn.
Tôi cũng xin gửi lời cảm ơn tới Ban giám hiệu Trƣờng Đại học Công nghiệp
Quảng Ninh đã tạo kiện thuận lợi cho tôi tham gia khóa học và trong suốt quá trình
hoàn thành luận văn.
Một lần nữa, xin chân thành cảm ơn.
Thái Nguyên, ngày 09 tháng 10 năm 2013
Học viên

Mai Xuân Đạt

Số hóa bởi Trung tâm Học liệu





2.4.1. Khởi tạo mạng Kohonen (SOM) ............................................................... 25
2.4.2. Huấn luyện mạng Kohonen ....................................................................... 25

Số hóa bởi Trung tâm Học liệu




iv

2.4.3. Tỉ lệ học ..................................................................................................... 26
2.4.4. Cập nhật lại trọng số .................................................................................. 27
2.4.5. Xác định nơron chiến thắng ....................................................................... 28
2.5. Kohonen (SOM) sử dụng trong phân cụm dữ liệu ........................................... 29
2.5.1. SOM phân cụm với bản đồ một chiều ....................................................... 29
2.5.2. SOM phân cụm với bản đồ hai chiều ....................................................... 29
2.5.3. Xác định ranh giới các cụm ....................................................................... 30
2.5.4. Trực quan mạng ........................................................................................ 31
2.5.5. Số lƣợng nhóm khi phân cụm .................................................................... 32
2.6. Kết luận chƣơng 2 ............................................................................................ 33
Chƣơng 3: ỨNG DỤNG MÔ HÌNH SOM TRONG BÀI TOÁN KHẢO SÁT,
ĐÁNH GIÁ, THỐNG KÊ KẾT QUẢ HỌC TẬP CỦA SINH VIÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHIỆP QUẢNG NINH ....................................... 34
3.1. Phát biểu bài toán ............................................................................................. 34
3.2. Khảo sát, đánh giá, thống kê quá trình học tập của sinh viên trƣờng đại học
Công nghiệp Quảng Ninh................................................................................. 34
3.2.1. Thu thập dữ liệu ......................................................................................... 34
3.3. Thực nghiệm sử dụng mô hình SOM để khảo sát, đánh giá, thống kê kết
quả học tập của sinh viên trƣờng đại học Công nghiệp Quảng Ninh ............ 43
3.3.1. Các chức năng của chƣơng trình ............................................................... 43


KPDL:

Khai phá dữ liệu

PCDL :

Phân cụm dữ liệu

SOM(Self Organizing Maps):

Mạng nơron tự tổ chức

PE (Processing element):

Phần tử xử lý

BMU(Best - Matching unit):

Đơn vị phù hợp nhất

U-matrix (unified distance matrix):

Ma trận thống nhất khoảng cách

EM (Expectation maximization):

Thuật toán tối đa hóa

STING (STatistical INformation Grid ): Thuật toán thống kê thông tin lƣới





ix

DANH MỤC CÁC HÌNH
Hình 1.1: Một nơron sinh học ....................................................................................... 3
Hình 1.2: Sự liên kết các nơron..................................................................................... 4
Hình 1.3: Mô hình một nơron nhân tạo......................................................................... 5
Hình 1.4: Đồ thị các dạng hàm truyền .......................................................................... 6
Hình 1.5: Mạng nơron ba lớp ........................................................................................ 7
Hình 1.6: Một số dạng mạng nơron .............................................................................. 8
Hình 1.7: Cấu trúc huấn luyện mạng nơron .................................................................. 9
Hình 1.8: Học có giám sát ............................................................................................ 9
Hình 1.9: Học không có giám sát ................................................................................ 10
Hình 1.10: Sơ đồ cấu trúc chung của quá trình học .................................................... 11
Hình 2.1. Các thiết lập để xác định ranh giới các cụm ban đầu .................................. 15
Hình 2.2. Tính toán trọng tâm của các cụm mới ......................................................... 16
Hình 2.4. Một dạng mạng nơron Kohonen ................................................................. 22
Hình 2.5. Phần tử nơron chiến thắng BMU ................................................................ 22
Hình 2.6. Các vùng lân cận ......................................................................................... 23
Hình 2.7: Hàm tỉ lệ học theo thời gian ........................................................................ 27
Hình 3.1 Kết quả chạy chƣơng trình huấn luyện SOM............................................... 52
Hình 3.2. Kết quả phân cụm môn học, mô đun sử dụng phƣơng pháp trực quan
U-Matrix .................................................................................................... 53
Hình 3.3 Kết quả phân cụm điểm sử dung phƣơng pháp trực quan các biểu đồ
thành phần .................................................................................................. 57
Hình 3.4 Kết quả phân cụm sinh viên theo môn học, mô đun sử dụng phƣơng
pháp trực quan U-Matrix ........................................................................... 61

đánh giá, tƣ vấn cho phòng đào tạo và học sinh đăng kí học theo từng môn, từng kỳ
học phù hợp với mình .
Nội dung luận văn gồm có 3 chƣơng:
Chƣơng I: Giới thiệu về mạng nơron sinh học bao gồm cấu trúc của mạng
nơron sinh học và nguyên lý hoạt động của nơron sinh học. Về nơron nhân tạo giới
thiệu cấu trúc của một nơron nhân tạo, mô hình của mạng nơron nhân tạo.

Số hóa bởi Trung tâm Học liệu




2

Chƣơng II: Giới thiệu về một số phƣơng pháp phân cụm và một số thuật
toán phân cụm phổ biến, ƣu nhƣợc điểm của từng thuật toán phân cụm. Trong
chƣơng này trình bày về mạng SOM: giới thiệu về mạng SOM, cấu trúc của SOM,
các phƣơng pháp khởi tạo, huấn luyện SOM, tỉ lệ học, các hàm lân cận, phƣơng
pháp xác định nơron chiến thắng và sử dụng SOM trong phân cụm dữ liệu.
Chƣơng III: Trình bày về sử dụng công cụm SOM phân cụm điểm từng môn
học và từng sinh viên để đƣa ra những nhận xét, đánh giá về các môn học từ cơ sở
dữ liệu đó để có các biện pháp phù hợp, nâng cao chất lƣợng giáo dục đào tạo.

Số hóa bởi Trung tâm Học liệu




3


Hình 1.2: Sự liên kết các nơron
1.1.1.2. Cấu trúc và mô hình của một nơron nhân tạo
Mô hình toán học của mạng nơron nhân tạo đƣợc đề xuất bởi McCulloch và
Pitts gọi là nơron M-P (ngoài ra nó còn đƣợc gọi là phần tử xử lý và đƣợc ký hiệu là
PE - Processing Element).
Mô hình nơron có m đầu vào x1, x2, ..., xm và một đầu ra yi nhƣ sau:

Số hóa bởi Trung tâm Học liệu




5

Hình 1.3: Mô hình một nơron nhân tạo
Giải thích các thành phần cơ bản:
- Tập các đầu vào: Là các tín hiệu vào của nơron, các tín hiệu này thƣờng
đƣợc đƣa vào dƣới dạng một vector m chiều.
- Tập các liên kết (các trọng số): Mỗi liên kết đƣợc thể hiện bởi một trọng
số (thƣờng đƣợc gọi là trọng số liên kết). Trọng số liên kết giữa tín hiệu
vào thứ j cho nơron i thƣờng đƣợc ký hiệu là wij.
- Bộ tổng (hàm tổng): Thƣờng dùng để tính tổng của tích các đầu vào với
trọng số liên kết của nó.
- Ngưỡng: Ngƣỡng thƣờng đƣợc đƣa vào nhƣ một thành phần của hàm truyền.
- Hàm truyền: Hàm truyền dùng để giới hạn phạm vi đầu ra của mỗi nơron.
Nó nhận đầu vào là kết quả của hàm tổng và ngƣỡng đã cho. Thông
thƣờng, phạm vi đầu ra của mỗi nơron đƣợc giới hạn trong đoạn [0,1]
hoặc [-1,1].
- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa một
đầu ra. Về mặt toán học, cấu trúc của một nơron i đƣợc mô tả bằng cặp

Số hóa bởi Trung tâm Học liệu

1 khi x 0
0 khi x 0

(1.1)



6

- Hàm giới hạn chặt

y

sgn( x)

- Hàm bậc thang
y

sgn( x)

1 khi x 0
1 khi x 0

(1.2)

1 khi
x 1
x khi 0 x 1

Mạng nơron là một hệ truyền đạt và xử lý tín hiệu, đặc tính truyền đạt của
nơron phần lớn là đặc tính truyền đạt tĩnh nên có thể phân biệt các loại nơron khác
nhau. Các nơron có đầu vào nhận thông tin từ môi trƣờng bên ngoài khác với các
nơron có đầu vào đƣợc nối với các nơron khác trong mạng, chúng đƣợc phân biệt
với nhau qua vector hàm trọng số ở đầu vào w.

Số hóa bởi Trung tâm Học liệu




7

Nguyên lý cấu tạo của mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm
nhiều nơron có cùng chức năng trong mạng. Hình 1.5 là mô hình hoạt động của một
mạng nơron 3 lớp với 8 phần tử nơron. Các tín hiệu đầu vào đƣợc đƣa đến 3 nơron
đầu vào x1, x2, x3; 3 nơron này làm thành lớp đầu vào của mạng. Đầu ra của các
nơron này đƣợc đƣa đến đầu vào của 3 nơron tiếp theo, 3 nơron này không trực tiếp
tiếp xúc với môi trƣờng bên ngoài mà làm thành lớp ẩn hay còn gọi là lớp trung
gian. Đầu ra của các nơron này đƣợc đƣa đến 2 nơron đƣa tín hiệu ra môi trƣờng
bên ngoài y1, y2.

Hình 1.5: Mạng nơron ba lớp
Mạng nơron có cấu trúc nhƣ trên gọi là mạng một hƣớng hay mạng truyền
thẳng một hƣớng (Feed forward network) và có cấu trúc mạng ghép nối hoàn toàn.
Mạng nơron bao gồm một hay nhiều lớp trung gian đƣợc gọi là mạng Multilayer
Perceptrons (MLP-Network).
Mạng nơron khi mới đƣợc hình thành thì chƣa có tri thức, tri thức của mạng
sẽ đƣợc hình thành dần dần sau một quá trình học. Khi đã hình thành tri thức, mạng
có thể giải quyết các vấn đề một cách đúng đắn.

liệu
vào

ANN

Số hóa bởi Trung tâm Học liệu

Đích

Trọng số wi

So sánh
Điều chỉnh




9

Hình 1.7: Cấu trúc huấn luyện mạng nơron
Ở đây, hàm trọng số của mạng đƣợc điều chỉnh trên cơ sở so sánh đầu ra với
đích mong muốn (taget) cho tới khi đầu ra của mạng phù hợp với đích. Những cặp
vào/đích (input/taget) đƣợc dùng để giám sát cho sự huấn luyện mạng.
Sau mỗi lần chạy ta có tổng bình phƣơng của tất cả các sai số, sai số này
đƣợc sử dụng để xác định các hàm trọng số mới. Hàm trọng số của mạng đƣợc sửa
đổi với đặc tính tốt hơn tƣơng ứng với đặc tính mong muốn. Sự thay đổi các hàm
trọng số của mạng sẽ đƣợc dừng lại nếu tổng các bình phƣơng sai số nhỏ hơn một
giá trị đặt trƣớc hoặc đã chạy đủ số lần chạy xác định (trong trƣờng hợp này mạng
có thể không thoả mãn yêu cầu đặt ra do sai lệch còn cao).
Có hai kiểu học:

một số tín hiệu từ bên ngoài nhƣng tín hiệu phản hồi ở đây chỉ mang tính chất đánh
giá hơn là mang tính chất chỉ dẫn. Tín hiệu củng cố bên ngoài thƣờng đƣợc xử lý
bằng máy phát tín hiệu đánh giá để tạo ra nhiều hơn nữa các thông tin tín hiệu đánh
giá, sau đó dùng để điều chỉnh các trọng số với mục đích đạt đƣợc tín hiệu đánh giá
tốt hơn.
Học không có giám sát

Hình 1.9: Học không có giám sát
Là học mà không có thầy hƣớng dẫn tức là không có tín hiệu d cung cấp tới
mạch phản hồi. Với loại này thì các nơron phải tự xoay xở với các dữ liệu mẫu mà
nó có đƣợc. Mạng phải tự khám phá mẫu, đặc tính, sự tƣơng quan hay loại đầu vào.
Trong khi khám phá những đặc tính này, tham số của mạng sẽ bị thay đổi. Quá trình
này đƣợc gọi là tự tổ chức.
Hình 1.10 mô tả cấu trúc chung quá trình học của ba phƣơng pháp học đã
nêu ở trên. Trong tín hiệu vào xj (j = 1,2,...,m) có thể đƣợc lấy từ đầu ra của các
nơron khác hoặc có thể đƣợc lấy ra từ bên ngoài. Trọng số của nơron thứ i đƣợc
thay đổi tùy theo tín hiệu ở đầu vào mà nó thu nhận giá trị đầu ra của nó.

Số hóa bởi Trung tâm Học liệu




11

Hình 1.10: Sơ đồ cấu trúc chung của quá trình học
Dạng tổng quát của luật học trọng số của mạng nơron cho biết số gia của
vector wi là

wi tỉ lệ với tín hiệu học r và tín hiệu đầu vào x(t).

sát hay không có giám sát hoặc học củng cố là tín hiệu học r.
1.2. Kết luận chƣơng 1
Chƣơng 1 của luận văn giới thiệu về mạng nơron sinh học bao gồm cấu trúc của
mạng nơron sinh học và nguyên lý hoạt động của nơron sinh học. Về nơron nhân tạo
giới thiệu cấu trúc của một nơron nhân tạo, mô hình của mạng nơron nhân tạo.

Số hóa bởi Trung tâm Học liệu




12

Quy tắc học của mạng nơron, trình bày 3 luật học cơ bản của mạng nơron bao
gồm: học có giám sát, học củng cố và học không giám sát.

Số hóa bởi Trung tâm Học liệu




13

Chƣơng 2
MẠNG SOM VÀ MỘT SỐ PHƢƠNG PHÁP PHÂN CỤM
2.1. Thuật toán phân cụm dữ liệu
PCDL là kỹ thuật sử dụng quan sát đối tƣợng, mục đích để tổ chức một tập
các đối tƣợng cụ thể hoặc trừu tƣợng vào các nhóm, cụm phân biệt. Bài toán phân
cụm thƣờng đƣợc thực hiện khi chúng ta không biết đƣợc nội dung thông tin của
các thành phần thuộc cụm để định nghĩa trƣớc các lớp. Vì lý do này mà công việc