Số hóa bởi Trung tâm Học liệu
ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC
CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG
LÂM VIỆT THẮNG
MẠNG NƠRON KOHONEN – SOM
ỨNG DỤNG TRONG PHÂN NHÓM SINH VIÊN
DỰA TRÊN KẾT QUẢ HỌC TẬP
LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên 2014
2
Số hóa bởi Trung tâm Học liệu
LỜI CẢM ƠN
thống giám sát phân loại tự động. Những thông tin này mang tính chất phức tạp mà
để hiểu đƣợc nó thì những phƣơng pháp phân loại bình thƣờng là chƣa đủ mạnh.
Thực tế đã chứng minh cách tốt nhất để phân loại dữ liệu là dùng bộ óc con ngƣời.
Tất nhiên đó là điều vô cùng quý giá và khi ứng dụng chúng để giải quyết những
vấn đề trong tin học đã đem lại những thành công ngoài mong đợi.
Một máy tính, dù có mạnh đến đâu chăng nữa, đều phải làm việc theo một
chƣơng trình chính xác đã đƣợc hoạch định trƣớc bởi các chuyên gia. Bài toán
càng phức tạp thì việc lập trình càng công phu.
Từ lâu các nhà khoa học đã nhận thấy những ƣu điểm của bộ óc con ngƣời
và tìm cách phát triển để máy tính có khả năng học tập, nhận dạng và phân loại.
Các mạng nơron nhân tạo (Artificial Neural Network, ANN) đã ra đời từ những nỗ
lực đó. ANN là một lĩnh vực nghiên cứu rộng lớn và chỉ mới phát triển mạnh
khoảng 15 năm gần đây. Tuy có nhiều kết quả khích lệ, nhƣng ANN hãy còn xa
mới đạt đƣợc sự hoàn chỉnh nhƣ bộ óc con ngƣời. Và những ứng dụng trong công
nghệ thông tin còn nhiều hạn chế.
Trong khuôn khổ luận văn xin trình bày những nghiên cứu tổng quan về
ANN, những lỗ lực cải tiến thuật toán, cài đặt và những ứng dụng của mạng nơron
trong việc phân cụm dữ liệu số.
4
Số hóa bởi Trung tâm Học liệu
NHIỆM VỤ LUẬN VĂN
Trong luận văn tập trung nghiên cứu nền tảng lý thuyết và ứng dụng của
mạng nơron nhân tạo. Cụ thể giải quyết bài toán phân cụm dữ liệu số trên máy tính
với sự trợ giúp của mạng Kohonen-SOM. Vì vậy trong khuôn khổ luận văn sẽ
hƣớng tới hai mục đích chính:
1. Nghiên cứu mạng nơron cụ thể là mạng SOM, từ ý tƣởng tự nhiên tới
phƣơng cách cài đặt trên máy tính đồng thời đƣa ra những phƣơng pháp cải tiến về
2.2.2. Thuật toán phân cụm bằng mạng Kohonen 28
- – SOM 32
2.3.1. Tổng quan về SOM 32
2.3.2. SOM cơ bản 33
2.3.3. Khởi tạo mạng Kohonen (SOM) 33
2.3.4. Huấn luyện mạng Kohonen - Som 34
2.3.5. Tỉ lệ học 34
2.3.6. Cập nhật lại trọng số 35
6
Số hóa bởi Trung tâm Học liệu
2.3.7. Xác định nơron chiến thắng 36
2.4. Kohonen (SOM) và phân cụm dữ liệu 37
2.4.1. SOM phân cụm với bản đồ 1 chiều 37
2.4.2. SOM phân cụm với bản đồ 2 chiều 37
2.4.3. Xác định ranh giới các cụm 38
2.4.4. Trực quan mạng 39
2.4.5. Số lƣợng nhóm khi phân cụm 40
2.5. SOM –Thách thức trong quá trình phân cụm dữ liệu 41
2.5.1. SOM –Bài toán phân cụm màu 41
2.5.2. SOM –Thách thức phân nhóm 45
2.5.3. SOM –Vấn đề số lƣợng nhóm 47
2.6. SOM –Giải quyết những vấn đề tồn tại khi phân cụm 48
2.6.1. Giải pháp phân cụm tự nhiên trong quá trình học 48
2.6.2 Giới hạn điều chỉnh số lƣợng nhóm trên mạng SOM 51
CHƢƠNG 3: ỨNG DỤNG PHÂN CỤM ĐIỂM 54
3.1. Phát biểu bài toán ứng dụng 54
3.1.1. Nội dung 54
3.1.2. Mục đính- Yêu cầu 55
dụng mạng nơron nhân tạo thu thập các dữ liệu đặc trƣng, và sau đó gọi các thuật
toán huấn luyện để có thể tự học cấu trúc của dữ liệu. Mặc dù ngƣời sử dụng làm
tất cả những điều cần thiết để có thể chọn và chuẩn bị dữ liệu, sử dụng loại mạng
phù hợp và có thể hiểu đƣợc các kết quả, nhƣng mức độ ngƣời sử dụng biết cách
áp dụng thành công mạng nơron nhân tạo vẫn thấp hơn nhiều những ngƣời sử dụng
các phƣơng pháp thống kê truyền thống…
Mạng nơron nhân tạo dựa trên việc mô phỏng cấp thấp hệ thống nơron sinh
học. Trong tƣơng lai với sự phát triển mô phỏng nơron sinh học, chúng ta có thể có
loại máy tính thông minh thật sự.
1.2. Ý tƣởng sinh học
Mạng nơron nhân tạo phát triển từ nghiên cứu về trí tuệ nhân tạo; đặc biệt
cố gắng bắt chƣớc bộ não có cấu trúc cấp thấp về khả năng học và chấp nhận sai
của hệ thống nơron sinh học.
Suốt những năm 1960 – 1980 các nhà nghiên cứu về trí tuệ nhân tạo đã tìm
ra hệ chuyên gia dựa trên mô hình cấp cao về xử lý lý luận của bộ não. Mặc dù mô
8
Số hóa bởi Trung tâm Học liệu
hình đã rất thành công trong một vài lĩnh vực, nhƣng vẫn chƣa bắt chƣớc đƣợc trí
tuệ con ngƣời. Điều này là do cấu trúc mô hình chƣa bằng bộ não. Do đó, để tái tạo
trí thông minh, chúng ta cần phải xây dựng những hệ thống có cấu trúc giống bộ
não con ngƣời.
Bộ não con ngƣời gồm một số rất lớn nơron (khoảng 10.000.000.000 nơron)
kết nối với nhau (trung bình mỗi nơron kết nối với hàng chục ngàn nơron khác).
Mỗi nơron là một tế bào đặc biệt, có thể truyền các tín hiệu điện. Nơron có cấu
trúc rễ ngõ vào, thân tế bào và cấu trúc rễ ngõ ra (sợi thần kinh). Các sợi thần kinh
của một tế bào kết nối với các tế bào khác thông qua synapse. Khi một nơron kích
hoạt, nó tạo ra xung điện hóa học dọc theo sợi thần kinh. Tín hiệu này đi qua các
synapse đến các nơron khác, và tiếp tục bị kích hoạt. Nơron hoạt động chỉ khi tất
Nếu sử dụng hàm truyền nấc (nghĩa là ngõ ra nơron là 0 nếu ngõ vào nhỏ
hơn 0, và là 1 nếu ngõ vào lớn hơn hay bằng 0) thì nơron hoạt động giống nhƣ
nơron sinh học. Thực tế, hàm nấc ít khi sử dụng trong mạng trí tuệ nhân tạo. Lƣu ý
rằng trọng số có thể âm, nghĩa là synapse có tác dụng kiềm chế hơn là kích hoạt
nơron, các nơron kiềm chế có thể tìm thấy trong bộ não.
Trên đây mô tả các nơron đơn lẻ. Trong thực tế các nơron đƣợc kết nối với
nhau. Khi mạng hoạt động, chúng phải có ngõ vào (mang giá trị hoặc biến của thế
giới thực) và ngõ ra (dùng để dự báo hoặc điều khiển). Ngõ vào và ngõ ra tƣơng
ứng với các nơron giác quan và vận động, nhƣ tín hiệu đƣa vào mắt và điều khiển
10
Số hóa bởi Trung tâm Học liệu
cánh tay. Tuy nhiên chúng còn có các nơron ẩn đóng vai trò ẩn trong mạng. Ngõ
vào, nơron ẩn và ngõ ra cần đƣợc kết nối với nhau.
Hình 1.3(b): Mô hình mạng nơron nhân tạo cơ bản
Vấn đề chính ở đây là hồi tiếp. Một mạng đơn giản có cấu trúc tiến: tín hiệu
đi vào ở ngõ vào, qua các nơron ẩn và cuối cùng đến các nơron ngõ ra. Cấu trúc
nhƣ thế chạy ổn định. Tuy nhiên, nếu mạng có hồi tiếp (chứa các kết nối ngƣợc trở
về các nơron trƣớc đó) mạng có thể chạy không ổn định và dao động rất phức tạp.
Mạng hồi tiếp rất đƣợc các nhà nghiên cứu quan tâm, nhƣng cấu trúc tiến đã chứng
minh rất hiệu quả trong việc giải quyết các vấn đề thực tế.
Mạng nơron nhân tạo tiến cho nhƣ hình dƣới. Các nơron đƣợc sắp xếp theo
cấu trúc liên kết lớp riêng biệt. Lớp ngõ vào không phải là nơron thực: các nơron
này hoạt động đơn giản là giới thiệu các giá trị của các biến vào. Các nơron lớp ẩn
và lớp ngõ ra đƣợc kết nối với tất cả các nơron lớp trƣớc đó. Cũng nhƣ vậy chúng
ta có thể định nghĩa mạng có các kết nối một phần với một vài nơron trong lớp
trƣớc đó, tuy nhiên trong hầu hết các ứng dụng mạng có kết nối đầy đủ vẫn tốt
hơn.
luyện. Có hai loại huấn luyện sử dụng trong mạng nơron nhân tạo là huấn luyện có
giám sát và không giám sát. Với những loại mạng khác nhau thì sử dụng các loại
huấn luyện khác nhau. Huấn luyện có giám sát sử dụng thông dụng nhất.
Trong việc học có giám sát, ngƣời sử dụng mạng phải có một tập hợp dữ liệu cần
huấn luyện. Tập hợp này chứa những ngõ vào mẫu với ngõ ra tƣơng ứng và mạng
12
Số hóa bởi Trung tâm Học liệu
sẽ huấn luyện để đƣa ra mối liên hệ giữa ngõ ra và ngõ vào. Tập hợp dữ liệu
thƣờng đƣợc lấy từ những bản ghi chép trƣớc đó.
Mạng nơron nhân tạo sau đó đƣợc huấn luyện bằng một trong các thuật
toán học có giám sát (ví dụ backpropagation), sử dụng các dữ liệu để điều chỉnh
trọng số và ngƣỡng của mạng sao cho cực tiểu hóa sai số trong việc dự báo của
mạng trên tập huấn luyện. Nếu mạng đƣợc huấn luyện chính xác, nghĩa là nó đã
học mô phỏng một hàm chƣa biết với mối liên hệ giữa ngõ ra và ngõ vào, do đó
với các tín hiệu vào đến sau, mạng sẽ dự báo tín hiệu ra tƣơng ứng.
1.5. Thu thập dữ liệu cho mạng nơron nhân tạo
Một khi ta quyết định giải quyết một vấn đề sử dụng mạng nơron nhân tạo
ta cần phải thu thập dữ liệu cho mục tiêu huấn luyện. Tập hợp dữ liệu huấn luyện
bao gồm một số các trƣờng hợp, mỗi trƣờng hợp chứa những giá trị của tầm ngõ
vào và ngõ ra khác nhau. Những việc đầu tiên cần làm là: những biến nào sử dụng,
bao nhiêu trƣờng hợp cần thu thập.
Sự lựa chọn các biến do trực giác quyết định. Công việc chuyên môn của ta
trong lĩnh vực cần giải quyết sẽ cho ta những ý tƣởng về các biến ngõ vào phù hợp.
Trong mạng nơron nhân tạo, ta có thể chọn và loại bỏ nhiền biến và mạng nơron
nhân tạo cũng có thể xác định bằng thực nghiệm những biến hữu ích. Trong bƣớc
một ta nên tính đến bất kì biến nào mà ta nghĩ có ảnh hƣởng đến quá trình thiết kế.
Mạng nơron nhân tạo xử lý dữ liệu số trong một tầm giới hạn rõ ràng. Điều
này đƣa ra một vấn đề nếu dữ liệu nằm trong một vùng đặc biệt nhƣ dữ liệu chƣa
cũng chịu đƣợc nhiễu, nhƣng cũng phải có giới hạn. Nếu thỉnh thoảng có giá trị
nằm xa ra khỏi vùng giá trị bình thƣờng thì mạng huấn luyện phải có ngƣỡng.
Cách tốt nhất đối với trƣờng hợp này là nhận ra và loại bỏ những giá trị nằm xa đó
(có thể hủy trƣờng hợp này hoặc xem giá trị nằm xa này là giá trị bị mất). Nếu giá
trị xa này khó nhận ra, mạng nơron nhân tạo có chức năng huấn luyện chịu đƣợc
giá trị nằm khỏi vùng này nhƣng cách huấn luyện này thƣờng kém hiệu quả hơn là
huấn luyện chuẩn. Tóm lại, cách thu thập dữ liệu có thể nói gọn lại nhƣ sau:
- Chọn những giá trị huấn luyện có tác dụng.
- Dữ liệu số và danh định có thể xử lý trực tiếp bằng mạng nơron nhân tạo.
Chuyển những loại biến khác sang một trong các dạng này.
14
Số hóa bởi Trung tâm Học liệu
- Cần hàng trăm hoặc hàng ngàn trƣờng hợp mẫu huấn luyện; càng nhiều
biến thì càng nhiều mẫu huấn luyện. mạng nơron nhân tạo có khả năng nhận ra
những biến hữu dụng để huấn luyện.
1.6. Perceptron nhiều lớp
Ngày nay, Perceptron là cấu trúc mạng đƣợc dùng phổ biến nhất. Mỗi nơron
lấy tổng trọng số và ngƣỡng của ngõ vào, qua hàm truyền đến ngõ ra, các nơron
đƣợc sắp xếp theo các lớp tới. Vì thế mạng có thể mô phỏng các hàm phức tạp tùy
theo số lớp và số nơron mỗi lớp.
Tùy theo vấn đề mà các nơron có số ngõ vào và ngõ ra khác nhau. Chúng ta
không thể biết chính xác sẽ sử dụng bao nhiêu ngõ vào. Tuy nhiên, chúng ta giả sử
rằng số ngõ vào có thể chọn lựa dễ dàng. Và để dễ dàng, thƣờng ta chọn có một
lớp ẩn và số nơron trong đó bằng một nửa tổng số ngõ vào và ngõ ra.
1.6.1. Huấn luyện Perceptron nhiều lớp
Khi số các lớp, số nơron mỗi lớp đã đƣợc chọn, trọng số và ngƣỡng của
mạng phải đƣợc cài đặt sao cho có đƣợc cực tiểu sai số trong việc dự đoán của
mạng. Đây chính là công việc của các thuật toán huấn luyện. Các trƣờng hợp mẫu
Trong backpropagation, vector gradient của mặt phẳng sai số đƣợc tính
toán. Vector này chỉ ra đƣờng giảm dốc nhất và vị trí hiện tại, vì thế chúng ta biết
rằng nếu chúng ta di chuyển dọc theo nó một “khoảng ngắn”, cuối cùng chúng ta
sẽ đạt đƣợc giá trị nhỏ nhất. Khó khăn ở đây là quyết định độ lớn của từng bƣớc di
chuyển.
Bƣớc lớn có thể hội tụ nhanh hơn, nhƣng có thể vƣợt quá điểm cần đến hay
đi ra khỏi vùng có cực tiểu (nếu mặt phẳng sai số bị lệch tâm). Ngƣợc lại, bƣớc
quá nhỏ có thể đi đến đúng hƣớng nhƣng chúng ta cần phải thực hiện phép lặp
nhiều lần. Trong thực tiễn, kích thƣớc bƣớc tỷ lệ với độ dốc và hằng số đặc biệt:
tốc độ học. Giá trị chính xác tốc độ học phụ thuộc vào từng ứng dụng cụ thể, và
thƣờng đƣợc chọn qua thực tiễn.
Thuật toán thƣờng có thêm khái niệm momentum. Momentum sẽ thúc đẩy
di chuyển đi theo theo một hƣớng xác định nếu sau khi qua nhiều bƣớc đi cùng
một hƣớng, thuật toán sẽ di chuyển nhanh hơn, đƣa đến khả năng thoát khỏi vùng
giá trị cực tiểu cục bộ và cũng có thể di chuyển nhanh chóng qua vùng bằng phẳng.
Thuật toán do đó xử lý lặp đi lặp lại, sau một số epoch. Ở mỗi epoch, các
trƣờng hợp huấn luyện sẽ đƣợc đƣa ra xem xét trong mạng, các ngõ ra thực và
mong muốn đƣợc so sánh và tính toán lỗi. Lỗi này kết hợp với gradent mặt phẳng
16
Số hóa bởi Trung tâm Học liệu
sai số, sử dụng để điều chỉnh trọng số và sau đó quá trình xử lý lặp lại. Cấu hình
mạng ban đầu là ngẫu nhiên, và huấn luyện chỉ dừng lại khi số vòng lặp epoch tối
đa cho phép xảy ra hay khi sai số đạt đƣợc ở một mức cho phép, hoặc khi sai số
không tăng nữa.
1.6.3. Học quá mức và tổng quát hóa
Một vấn đề mà các kỹ thuật trên không thực sự cực tiểu sai số là khi chúng
ta đƣa một trƣờng hợp mới vào mạng. Nói cách khác, thuộc tính mong muốn nhất
của mạng là khả năng tổng quát hóa các trƣờng hợp mới. Thực ra, mạng đƣợc huấn
Câu trả lời là sử dụng xác nhận mức giao. Vài mẫu huấn luyện đƣợc lƣu lại
và không thực sự dùng cho huấn luyện trong thuật toán backpropagation. Để thay
thế, những mẫu này đƣợc sử dụng để kiểm tra độc lập trong quá trình của thuật
toán. Nhƣ vậy hiệu suất ban đầu của mạng luôn luôn bằng nhau ở những tập huấn
luyện và xác minh lại. Trong quá trình huấn luyện, sai số huấn luyện tự nhiên giảm
xuống, và cho phép huấn luyện cực tiểu hóa hàm sai số thực, sai số xác minh cũng
giảm xuống. Tuy nhiên, nếu sai số xác minh không giảm, hay bắt đầu tăng lên,
điều này có nghĩa là mạng bắt đầu khít quá mức dữ liệu, và huấn luyện nên dừng
lại (có thể cài đặt mạng nơron nhân tạo tự động dừng lại khi bắt đầu học quá mức).
Trƣờng hợp khít quá mức xảy ra trong quá trình xử lý huấn luyện gọi là học quá
mức. Trong trƣờng hợp này, chúng ta nên giảm số nơron ẩn hay/và lớp ẩn vì mạng
quá mạnh đối với vấn đề này. Ngƣợc lại, nếu mạng không đủ mạnh để mô phỏng
hàm cơ sở, học quá mức không có khả năng xảy ra, cũng nhƣ sai số huấn luyện
hay xác minh lại không rơi vào mức bão hòa.
Những vấn đề liên quan đến cực tiểu cục bộ, và những quyết định sử dụng
quá kích thƣớc của mạng, nghĩa là chúng ta phải chạy thử trên nhiều mạng khác
nhau, có thể huấn luyện mỗi mạng vài lần (để tránh rơi vào trƣờng hợp cực tiểu
cục bộ sai số) và quan sát hiệu suất từng mạng. Điều quan trọng là quan sát sai số
xác minh. Tuy nhiên, nên nhớ rằng nên mô phỏng mạng đơn giản hơn là mạng
phức tạp, chúng ta cũng thể chọn mạng nhỏ hơn là mạng lớn có khả năng cải thiện
sai số xác minh không đáng kể.
Vấn đề đối với kỹ thuật này về việc thí nghiệm lặp đi lặp lại là tập xác minh
không thực sự đóng vai trò chọn lựa mạng, nghĩa là nó chỉ là một phần trong quá
trình huấn luyện. Độ tin cậy của nó chỉ ở mức độ vừa phải – khi số lần thí nghiệm
đủ, chúng ta có khả năng rơi vào trƣờng hợp mạng thực hiện tốt trên tập xác minh.
Để thêm độ tin cậy hiệu suất của mô hình cuối cùng thì trong thực tế thƣờng sử
dụng thêm một tập thứ ba – là tập kiểm tra. Mô hình cuối cùng đƣợc kiểm tra với
18
Số hóa bởi Trung tâm Học liệu
19
Số hóa bởi Trung tâm Học liệu Hình 1.7: Mô hình mạng nơron nhân tạo
Ngày nay mạng Nơron có thể giải quyết nhiều vấn đề phức tạp đối với con
ngƣời, áp dụng trong nhiều lĩnh vực nhƣ nhận dạng, định dạng, phân loại, xử lý tín
hiệu, hình ảnh v.v…
1.7.1. Mô hình nơron và cấu trúc mạng
1.7.1.1. Mô hình nơron
Cấu trúc một Nơron:
Ngõ vào một nơron có thể là đại lƣợng vô hƣớng hoặc có hƣớng, đại lƣợng
này đƣợc nhân với trọng số tƣơng ứng để đƣa vào nơron, hoặc có thể cộng thêm
ngƣỡng (bias), thƣờng bằng 1. Dƣới đây là mô hình một nơron với ngõ vào vô
hƣớng p không có ngƣỡng b (hình bên trái) và có ngƣỡng b (hình bên phải). Ngõ
vào vô hƣớng p đƣợc nhân với trọng số vô hƣớng w tạo thành wp, đối số wp (hình
bên trái) qua hàm truyền f cho kết quả đầu ra là vô hƣớng a = f(wp). Hình bên phải
là nơron có ngƣỡng b, giá trị b đƣợc cộng với wp rồi qua hàm truyền f cho kết quả
đầu ra là vô hƣớng a = f(wp+b). Có thể điều chỉnh những thông số của nơron nhƣ
trọng số và ngƣỡng (w và b) để đạt đƣợc yêu cầu mong muốn nghĩa là “huấn
luyện” mạng. 20
Số hóa bởi Trung tâm Học liệu
Hình 1.7.1.1(a) : Cấu trúc một Nơron
Hàm truyền
Có rất nhiều hàm truyền áp dụng trong mạng nơron nhân tạo, trong đó ba
1
+ w
1,2
,p
2
+ ……w
1,R
p
R
+ b
hay n = W*p + b
Hình 1.7.1.1(b) : Nơron với vector nhập
Nếu có nhiều nơron thì cách biểu diễn trên không hiệu quả, do đó có thể
định nghĩa một lớp gồm nhiều nơron nhƣ sau.
21
Số hóa bởi Trung tâm Học liệu Hình 1.7.1.1(c) : Nơron với vector nhập
1.7.1.2. Cấu trúc mạng
Hai hay nhiều nơron kết hợp thành một lớp, và một mạng riêng biệt có thể
chứa một hay nhiều lớp nơron.
Một lớp nơron
Trong hình dƣới mô tả một lớp nơron với:
R: số phần tử của vectơ đầu vào
S: số nơron trong lớp
a: vector ngõ ra của lớp nơron
hidden layers. Mạng đa lớp có khả năng xử lý rất lớn. Chẳng hạn nhƣ một mạng có
hai lớp, lớp thứ nhất là sigmoid, lớp thứ hai là linear có thể đƣợc huấn luyện đến
một hàm gần đúng với một số kết nối cố định.
23
Số hóa bởi Trung tâm Học liệu
1.7.2. Cấu trúc dữ liệu
Cấu trúc định dạng của dữ liệu vào ảnh hƣởng đến việc mô phỏng của
mạng. Có hai loại mạng static network và dynamic network. Hai kiểu vector đầu
vào cơ bản là kiểu xảy ra đồng thời (concurrently) và kiểu xảy ra liên tục theo thời
gian (sequentially).
Kiểu đầu vào xảy ra đồng thời đƣợc mô phỏng trong mạng tĩnh (không có
hồi tiếp hoặc trễ), thứ tự của các vector đầu vào không quan trọng và chúng không
ảnh hƣởng lẫn nhau.
Kiểu đầu vào xảy ra liên tục đƣợc mô phỏng trong mạng dynamic. Thứ tự
các giá trị đầu vào rất quan trọng. Trong trƣờng hợp này, giá trị đầu ra thu đƣợc là
do giá trị vào hiện tại và giá trị vào trƣớc đó. Nếu thay đổi thứ tự của dữ liệu vào
thì sẽ làm thay đổi dữ liệu ra.
1.7.3. Kiểu huấn luyện
Trong phần này mô tả hai kiểu huấn luyện khác nhau.
Incremental training: trọng số và ngƣỡng của mạng đƣợc cập nhập mỗi
khi có dữ liệu vào mạng. Kiểu này ứng dụng trong cả hai mạng tĩnh và động, tuy
nhiên thƣờng dùng trong mạng động nhiều hơn, nhƣ là những bộ lọc thích ứng.
Batch training: trọng số và ngƣỡng của mạng chỉ đƣợc cập nhập sau khi tất
cả dữ liệu đã vào mạng, dùng trong cả hai mạng tĩnh và động.
1.8. Tóm tắt
Từ khi ra đời và phát triển, mạng nơron đã đƣợc ứng dụng trong nhiều lĩnh
vƣc khác nhau. Không thể liệt kê đƣợc hết ứng dụng của mạng nơron, tuy nhiên ta
có thể thấy một số ứng dụng điển hình nhƣ sau:
Tóm lại, mạng nơron nhân tạo đƣợc xem là một cách tiếp cận đầy tiềm năng
để giải quyết các bài toán có tính phi tuyến, phức tạp và đặc biệt trong tình hình
các dữ liệu đầu vào không tƣờng minh.
Đầu vào của một nơron gồm ngƣỡng b và tổng các trọng số vào. Ngõ ra của
nơron phụ thuộc vào đầu vào và hàm truyền nơron đơn rất ít sử dụng. Tuy nhiên
một vài nơron có thể kết hợp thành một lớp hay nhiều lớp thì khả năng xử lý cao
hơn. Vấn đề đơn giản có thể trình bày bằng một lớp đơn. Tuy nhiên, nó không giải
quyết đƣợc nhiều vấn đề phức tạp. Mạng đa lớp feedforward có khả năng giải
quyết lớn hơn.
25
Số hóa bởi Trung tâm Học liệu
Cấu trúc một mạng có thể mô tả bằng số lớp, số nơron trong một lớp, hàm
truyền của mỗi lớp và kết nối giữa các lớp. Tùy thuộc vấn đề mạng cần giải quyết
mà có cấu trúc khác nhau.
Nếu một ánh xạ tuyến tính cần mô tả nên sử dụng nơron tuyến tính. Tuy
nhiên, mạng tuyến tính không thể thực hiện bất cứ tính toán phi tuyến nào. Sử
dụng hàm truyền phi tuyến để tạo cho mạng có khả năng thực hiện mối quan hệ
phi tuyến giữa đầu vào và đầu ra. Mạng có ngƣỡng b có thể mô tả mối quan hệ
giữa đầu vào và đầu ra dễ dàng hơn mạng không có ngƣỡng b. Ví dụ một nơron
không có ngƣỡng sẽ luôn tạo ra ngõ vào zero cho hàm truyền (khi tất cả ngõ vào
nơron là zero). Tuy nhiên một nơron với ngƣỡng có thể học để tạo ra một ngõ nhập
cho bất kỳ hàm truyền
Copyright: Tài liệu đại học ©