BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC KINH TẾ TP. HỒ CHÍ MINH
CÔNG TRÌNH DỰ THI
GIẢI THƢỞNG NGHIÊN CỨU KHOA HỌC SINH VIÊN
“NHÀ KINH TẾ TRẺ – NĂM 2011”
Thuộc nhóm ngành : KHOA HỌC KINH TẾ
Tp. Hồ Chí Minh, tháng 06/2011 TÓM TẮT ĐỀ TÀI
1. Lý do chọn đề tài
Tốc độ tăng trưởng Tổng sản phẩm quốc nội (Gross Domestic Product - GDP) là một
chỉ số kinh tế có ý nghĩa rất quan trọng đối với các nhà điều hành kinh tế và các doanh
nghiệp trong việc xem xét mức tăng trưởng của nền kinh tế, là tiền đề hỗ trợ cho các
quyết định về chính sách, chiến lược cho một giai đoạn trong tương lai. Vì các thông
tin về tốc độ tăng trưởng GDP được công bố ra công chúng có một độ trễ nhất định
nên vấn đề cấp thiết hiện nay là cần có một mô hình dự báo tốc độ tăng trưởng GDP
có hiệu quả. Do vậy, các công trình hướng đến việc xây dựng mô hình dự báo các biến
số vĩ mô, đặc biệt là tốc độ tăng trưởng GDP luôn nhận được sự quan tâm của nhiều
nhà nghiên cứu trong và ngoài nước.
Những năm gần đây, mô hình Mạng thần kinh nhân tạo (Artificial Neural Network –
ANN) được mô phỏng theo cách thức tổ chức và vận hành của bộ não con người, với
các ưu điểm vượt trội trong việc xác định và dự báo một cách chính xác các biến số
kinh tế có quan hệ phi tuyến đã được các nhà kinh tế học tập trung nghiên cứu và ứng
dụng rộng rãi. Tuy nhiên, ở thời điểm hiện tại việc ứng dụng mô hình Mạng thần kinh
nhân tạo cho việc dự báo các biến số kinh tế ở Việt Nam vẫn chưa phổ biến. Từ các lý
do trên, nhóm nghiên cứu đã thực hiện đề tài: “Dự báo tốc độ tăng trưởng kinh tế Việt
Nam: Sự vượt trội của mô hình Mạng thần kinh nhân tạo (ANN) so với mô hình Hồi
Bên cạnh đó, phương pháp so sánh sẽ được áp dụng để tìm kiếm mô hình dự báo hiệu
quả từ các mô hình trên.
Mô hình Mạng thần kinh nhân tạo được xây dựng trên phần mềm NeuroSolutions
phiên bản 6.01 (bản dùng thử), và mô hình Hồi quy tuyến tính truyền thống được xây
dựng bằng phần mềm EViews 5.0.
Về bộ dữ liệu dùng cho xây dựng mô hình được thu thập từ Ngân hàng nhà nước Việt
Nam và Tổng cục thống kê Việt Nam.
4. Nội dung nghiên cứu
Thứ nhất, bài nghiên cứu sẽ tiến hành lược khảo các bài nghiên cứu trước đây trong và
ngoài nước để có tổng quan về vấn đề cần nghiên cứu. Thứ hai, nhóm sẽ trình bày lý
thuyết về Mạng thần kinh nhân tạo để đặt nền tảng cho việc xây dựng mô hình. Thứ
ba, xây dựng các mô hình dự báo tốc độ tăng trưởng GDP. Cuối cùng, bài nghiên cứu
thực hiện so sánh và rút ra kết luận cho một mô hình dự báo tốc độ tăng trưởng GDP
hiệu quả.
5. Đóng góp của đề tài
Trong giới hạn và mục tiêu của nghiên cứu, bài nghiên cứu này cung cấp một cái nhìn
tổng quan trong việc ứng dụng mô hình Mạng thần kinh nhân tạo để dự báo các biến
số kinh tế. Bên cạnh đó, thông qua quá trình thực nghiệm xây dựng các mô hình dự
báo tốc độ tăng trưởng Tổng sản phẩm quốc nội (GDP) Việt Nam, nhóm nghiên cứu đã tiến hành so sánh hiệu quả dự báo giữa mô hình Mạng thần kinh nhân tạo và mô
hình Hồi quy tuyến tính truyền thống để tìm ra mô hình dự báo tốt nhất. Vì vậy, bài
nghiên cứu này sẽ là một đóng góp tích cực cho hướng nghiên cứu mới trong lĩnh vực
dự báo các biến số kinh tế.
6. Hƣớng phát triển sắp tới của đề tài
Bên cạnh những gì bài nghiên cứu đã thực hiện được thì thật sự cần thiết để nói rằng
vấn đề ứng dụng mô hình Mạng thần kinh nhân tạo trong việc xử lý thông tin và dự
báo các biến số kinh tế sẽ không ngừng lại, mà nó cần phải liên tục được nghiên cứu,
hoàn thiện, khắc phục những điểm yếu, cũng như vận dụng, khai thác các ưu điểm của
2.1.2. Nơ-ron nhân tạo ........................................................................................ 11
2.1.3. Mạng thần kinh nhân tạo .......................................................................... 13
2.2. Các dạng mô hình Mạng thần kinh nhân tạo ...................................................... 14
2.2.1. Mạng thần kinh truyền thẳng ....................................................................... 14
2.2.1.1. Mạng thần kinh truyền thẳng đơn giản nhất ......................................... 14
2.2.1.2. Mạng thần kinh truyền thẳng đa lớp ..................................................... 15
2.2.1.3. Mạng thần kinh bổ sung ........................................................................ 17
2.2.2. Mạng thần kinh nhân tạo hồi tiếp ................................................................ 18
2.2.2.1. Mạng thần kinh hồi tiếp Jordan ............................................................ 19
2.2.2.2. Mạng thần kinh hồi tiếp Elman ............................................................. 19
2.3. Huấn luyện Mạng thần kinh nhân tạo ................................................................. 20
2.3.1. Quá trình học của Mạng thần kinh .............................................................. 20
2.3.2. Các phương pháp học .................................................................................. 20
2.3.2.1. Học theo tham số .................................................................................. 20
2.3.2.2. Học cấu trúc ........................................................................................... 22
2.3.3. Hàm truyền .................................................................................................. 22
2.3.4. Thuật toán truyền ngược .............................................................................. 26
2.3.4.1. Điều chỉnh trọng số của Mạng thần kinh .............................................. 28
2.3.4.2. Nguyên tắc giảm độ dốc ........................................................................ 29
2.3.4.3. Truyền ngược sai số .............................................................................. 30
2.4. Các vấn đề của mô hình Mạng thần kinh nhân tạo ............................................. 34 2.4.1. Tổng quát hóa và học quá mức .................................................................... 34
2.4.2. Thủ tục ngừng đúng lúc ............................................................................... 35
2.5. Ưu điểm và khuyết điểm của mô hình Mạng thần kinh nhân tạo ....................... 37
2.5.1.Ưu điểm ........................................................................................................ 37
2.5.2. Khuyết điểm ................................................................................................ 38
2.6. So sánh mô hình Mạng thần kinh nhân tạo và mô hình hồi quy tuyến tính ....... 39
Chƣơng 3: XÂY DỰNG MÔ HÌNH DỰ BÁO TỔNG SẢN PHẨM QUỐC NỘI
Adaptive Linear Neuron – ADALINE Mạng nơ-ron tuyến tính thích ứng
Amplitude Biên độ
Artificial Neural Network – ANN Mạng thần kinh nhân tạo
Augmented Neural Networks Mạng thần kinh bổ sung
Backpropagation Thuật toán truyền ngược
Backpropagation Algorithm Thuật toán truyền ngược
Batch Training Huấn luyện hàng loạt
Black Box Hộp đen
Cost Function Hàm chi phí
Desired Output Các giá trị đầu ra mục tiêu
Early Stopping Procedure Thủ tục ngừng đúng lúc
Elman Recurrent Neural Networks – ERNN Mạng thần kinh hồi tiếp Elman
Epoch Số vòng lặp
Error Backpropagation Thuật toán sai số truyền ngược
Error Tolerance Sai số cho phép
Feed-Forward Neural Networks – FFNN Mạng thần kinh truyền thẳng
Forward Procedure Thủ tục đưa dần vào
Global Minimum Tối thiểu hóa toàn cục
Gradient Descent Nguyên tắc giảm độ dốc
Gross Domestic Product – GDP Tổng sản phẩm quốc nội
Hidden Layer Lớp nơ-ron ẩn
Input Các giá trị (tín hiệu) đầu vào
Input Layer Lớp nơ-ron đầu vào
Jordan Recurrent Neural Networks – JRNN Mạng thần kinh hồi tiếp Jordan
Layer Lớp mạng
Learning Curve Đường cong học hỏi
Learning Rate Tỷ lệ học
Linearly Inseparable Functions Hàm không phân tách tuyến tính
Local Minimum Tối thiểu hóa cục bộ
Straight Gradient Descent Giảm độ dốc thẳng
Structure Learning Học cấu trúc
Supervised Learning Học có giám sát
Test Set Dữ liệu kiểm tra
Theil’U Hệ số không ngang bằng
Training Set Dữ liệu huấn luyện
Transfer Functions Hàm truyền
Unsupervised Learning Học không giám sát
Upper Bound Biên trên
Validation Set Dữ liệu phê duyệt
Weights Trọng số DANH MỤC BẢNG
Bảng 3.1: Các biến được cân nhắc đưa vào mô hình dự báo GDP theo quý ............... 42
Bảng 3.2: Tên biến và kỳ vọng về dấu .......................................................................... 46
Bảng 3.3: Thống kê mô tả các biến .............................................................................. 47
Bảng 3.4: Các thông số huấn luyện .............................................................................. 63
Bảng 4.1: So sánh dự báo trong mẫu và dự báo ngoài mẫu ......................................... 68
DANH MỤC HÌNH
Hình 2.1: Minh họa cấu tạo của một nơ-ron sinh học ................................................. 11
Hình 2.2: Nơ-ron nhân tạo. .......................................................................................... 11
Hình 4.2: Đồ thị dự báo ngoài mẫu ............................................................................. 69
Hình 4.3: Đồ thị dự báo trong mẫu của mô hình ANN ............................................... 70
Hình 4.4: Đồ thị dự báo trong mẫu của mô hình ANN & HQTT ............................... 70
Hình 4.5: Đồ thị dự báo ngoài mẫu của mô hình ANN ............................................... 71
Hình 4.6: Đồ thị dự báo ngoài mẫu của mô hình ANN & HQTT ............................... 71
DANH MỤC PHỤ LỤC
PHỤ LỤC 1: KẾT QUẢ ƢỚC LƢỢNG VÀ KIỂM ĐỊNH TRONG MÔ HÌNH
HỒI QUY TUYẾN TÍNH .......................................................................................... 74
Hình A.1: Kết quả kiểm định phân phối chuẩn của phần dư....................................... 74
Bảng A.1: Kết quả hồi quy tăng trưởng GDP theo các nhân tố tác động ................... 74
Bảng A.2: Các chỉ số thống kê .................................................................................... 75
Bảng A.3: Kết quả kiểm định phương sai thay đổi...................................................... 75
Bảng A.4: Kết quả kiểm định tự tương quan với độ trễ là 1 ........................................ 75
Bảng A.5: Kết quả kiểm định tự tương quan với độ trễ là 4 ....................................... 75
Bảng A.6: Kết quả kiểm đinh đa cộng tuyến ............................................................... 76
Bảng A.7: Kiểm định bỏ sót biến ................................................................................. 76
PHỤ LỤC 2: KẾT QUẢ DỰ BÁO CỦA CÁC MÔ HÌNH ..................................... 77
PHỤ LỤC 3: SƠ LƢỢC QUÁ TRÌNH PHÁT TRIỂN CỦA MẠNG THẦN KINH
NHÂN TẠO ................................................................................................................. 79
PHỤ LỤC 4: CÁC ỨNG DỤNG CỦA MẠNG THẦN KINH NHÂN TẠO ......... 82
1
PHẦN MỞ ĐẦU
Tốc độ tăng trưởng Tổng sản phẩm quốc nội (Gross Domestic Product - GDP) là một
chỉ số kinh tế có ý nghĩa rất quan trọng đối với các nhà điều hành kinh tế và các doanh
nghiệp trong việc xem xét mức tăng trưởng của nền kinh tế, là tiền đề hỗ trợ cho các
Chƣơng 1
GIỚI THIỆU
Khái quát mô hình Mạng thần kinh nhân tạo và khả
năng ứng dụng
Lƣợc khảo các nghiên cứu trƣớc đây
Mục tiêu của bài nghiên cứu
Bài nghiên cứu bắt đầu bằng sự giới thiệu khái quát về mô hình Mạng thần kinh nhân
tạo và khả năng ứng dụng của nó trong các lĩnh vực, đặc biệt là lĩnh vực kinh tế.
Thông qua việc lược khảo các công trình nghiên cứu trước đây, bài nghiên cứu sẽ
cung cấp tổng quan về xu hướng, phương pháp nghiên cứu, các kết quả, kinh nghiệm
có được trong những năm qua về dự báo tốc độ tăng trưởng GDP bằng các mô hình
nói chung và mô hình Mạng thần kinh nói riêng. Từ đó bài nghiên cứu sẽ đặt ra các
mục tiêu cần giải quyết.
1.1. Mô hình Mạng thần kinh nhân tạo và công tác dự báo
Mạng thần kinh nhân tạo (Artificial Neural Network – ANN) là một mô hình thuật
toán phổ biến, mô phỏng theo cấu trúc và quá trình hoạt động của bộ não con người
nhằm nhận dạng, xác định các mẫu hình của một nhóm các thông tin, biến số. Nó
được ứng dụng hiệu quả trong nhiều lĩnh vực ngành nghề như điện tử, y học, khai
khoáng,… bởi khả năng xử lý và dự báo các thông tin, tín hiệu với độ chính xác cao;
và do đó nó ngày càng nhận được nhiều sự quan tâm nghiên cứu của các nhà khoa học
trên thế giới. Tuy nhiên trong lĩnh vực kinh tế, mặc dù đã được thừa nhận và ứng dụng
từ nhiều năm trước nhưng nó vẫn còn khá mới do sự phức tạp của nó. Trong thời gian
qua, nhiều nhà kinh tế đã tiến hành hàng loạt các nghiên cứu tập trung vào việc ứng
dụng Mạng thần kinh nhân tạo trong việc xác định mối quan hệ và dự báo các nhân tố,
biến số kinh tế, chẳng hạn như tốc độ tăng trưởng Tổng sản phẩm quốc nội, lạm phát,
tỷ giá hối đoái, giá chứng khoán, và thậm chí là hiệu quả hoạt động của một công ty,
trọng số để tối đa hóa mức độ chính xác của dự báo. Kitchen và Monaco (2003) đã
thực hiện ước lượng 30 hàm (mỗi hàm hồi quy ứng với một chỉ báo cho GDP với
những tháng khác nhau trong giai đoạn 1975-1994) để thu được 30 dự báo về tốc độ
tăng trưởng GDP của Mỹ cho mỗi quý từ Quý 1/1995 đến Quý 1/2003. Những dự báo
này được kết hợp sử dụng trung bình trọng số dựa trên R
2
của chúng.
Và Rϋnstler và Sédillot (2003) đã nghiên cứu thực hiện các hàm liên kết theo dữ liệu
từ Quý 2/1990 đến Quý 4/2001 với các biến như: sản lượng công nghiệp (ngoại trừ giá
trị của ngành công nghiệp xây dựng), lượng đăng ký xe mới, doanh thu bán lẻ, giá trị
của ngành công nghiệp xây dựng nhằm dự báo tốc độ tăng trưởng GDP ngắn hạn của
khu vực Châu Âu từ các chỉ báo theo tháng và so sánh với mô hình ARIMA. Dữ liệu
từ Quý 1/1998 đến Quý 4/2001 đã được tác giả sử dụng làm dự báo ngoài mẫu, kết
quả dự báo cho thấy hàm liên kết cho kết quả dự báo tốt hơn mô hình ARIMA.
Trên cơ sở của việc áp dụng hàm liên kết, Diron (2005) nghiên cứu dữ liệu đã điều
chỉnh liên quan đến việc dự báo tốc độ tăng trưởng GDP dựa trên những chỉ báo hàng
4
tháng của khu vực Châu Âu. Sau khi kiểm tra hoạt động của 8 hàm liên kết liên quan
đến tốc độ tăng trưởng GDP với dữ liệu được thu thập trong lĩnh vực tài chính và vĩ
mô, bài nghiên cứu này đã cho thấy rằng việc dùng dữ liệu đã điều chỉnh không làm
thiên lệch đánh giá đáng tin cậy về những dự báo GDP ngắn hạn. Hàm liên kết tiếp tục
được Isabel Yi Zheng và James Rossiter (2006) cải thiện để dự báo tốc độ tăng trưởng
GDP theo quý của Canada với các biến như: chỉ số niềm tin tiêu dùng, tổng số giờ làm
việc, số lượng nhà ở đang xây dựng, doanh thu bán lẻ, sản lượng công nghiệp Mỹ
trong giai đoạn từ Quý 3/1986 đến Quý 2/2004, trong đó dữ liệu từ Quý 3/1999 đến
Quý 2/2004 được dùng làm dự báo ngoài mẫu.
Massimiliano Marcellino (2007) thực hiện phân tích chi tiết về hoạt động dự báo của
với mô hình ANN là khả năng mô phỏng các mối quan hệ phi tuyến giữa các biến kinh
tế. Theo Granger (1991), các mối quan hệ phi tuyến trong dữ liệu kinh tế và tài chính
thường phổ biến hơn các mối quan hệ tuyến tính. Vì thế, các nghiên cứu thực nghiệm
về ANN không ngừng gia tăng. Bằng phương pháp so sánh, các nhà nghiên cứu cố
gắng đo lường tính hiệu quả của các mô hình kinh tế truyền thống và mô hình Mạng
thần kinh nhân tạo, nhằm tìm ra mô hình dự báo chính xác.
Kuan và White (1994), về mặt lý thuyết đã cho thấy khả năng ứng dụng mô hình
Mạng thần kinh nhân tạo cũng như các mô hình truyền thống cho các biến kinh tế và
họ nhấn mạnh sự tương đồng của hai phương pháp này. Sau đó, nhiều nhà nghiên cứu
đã ứng dụng mô hình Mạng thần kinh cho các biến kinh tế khác nhau. Maasoumi,
Khontanzad và Abaye (1994) đã chứng minh chuỗi gồm 14 biến kinh tế vĩ mô như
GDP thực, GDP danh nghĩa, thu nhập bình quân đầu người, sản lượng công nghiệp,
việc làm, tỷ lệ thất nghiệp, hệ số giảm phát, chỉ số giá tiêu dùng, tiền lương, tiền lương
thực, cung tiền, tốc độ lưu thông tiền, lãi suất trái phiếu, giá chứng khoán) của các
nước OECD (Tổ chức hợp tác phát triển kinh tế) trong báo cáo chuyên đề của Nelson
và Plosser (1982) được dự báo tốt hơn với ANN.
Li et.al. (1995) dùng Mạng thần kinh nhân tạo để dự báo GDP của Anh và thực hiện
so sánh việc sử dụng hai thuật toán huấn luyện khác nhau của mạng truyền thẳng, đó
là thuật toán truyền ngược và thuật toán di truyền (Genetic algorithm) dựa vào mô
hình Mạng thần kinh. Các biến đầu vào được sử dụng là chi tiêu tiêu dùng, chi tiêu
chính phủ, đầu tư, xuất khẩu, nhập khẩu hàng hóa và dịch vụ từ Quý 1/1965 đến Quý
3/1994, trong đó 4 quý 1993 và 3 quý của năm 1994 được dùng để so sánh hoạt động
dự báo. Kết quả cho thấy việc sử dụng Mạng thần kinh truyền thẳng một lớp ẩn với
thuật toán truyền ngược cho kết quả dự báo tốt hơn.
Swanson và White (1997) cũng sử dụng Mạng thần kinh nhân tạo cho việc dự báo 9
biến kinh tế vĩ mô trong đó có GDP thực. Họ so sánh sự khác nhau giữa mô hình
tuyến tính và mô hình phi tuyến (ANN) bằng cách sử dụng các chỉ báo với cỡ mẫu lớn
để thực hiện dự báo ngoài mẫu. Kết quả là những mô hình tuyến tính đa biến thì tốt
hơn. Tkacz và Hu (1999) sử dụng ANN để dự báo tốc độ tăng trưởng GDP của
Canada theo quý từ Quý 1/1968 đến Quý 1/1998 và so sánh hiệu quả dự báo của mô
dụng điện thoại di động trên 1000 dân; số người sử dụng Internet trên 1000 dân; số
lượng máy tính trên 1000 dân; lượng lắp đặt máy tính các nhân trên 1000 dân. Trong
nghiên cứu này, tác giả tiến hành so sánh ANN với mô hình hồi quy tuyến tính. Tác
giả sử dụng Mạng thần kinh truyền thẳng với một lớp ẩn, một đơn vị ẩn, hàm truyền là
hàm Xích ma và tỷ lệ học là 0,1 để xây dựng mô hình ANN, đồng thời dữ liệu được
chuẩn hóa trong khoảng (0;1) và đã chỉ ra rằng ANN cho kết quả tốt hơn trong việc dự
báo tốc độ tăng trưởng GDP.
Yrd. Doc. Dr. Recep DÜZGÜN (2008) cũng đề cập đến việc so sánh hiệu quả của mô
hình ARIMA và mô hình ANN trong việc dự báo GDP (theo giá so sánh 1987) của
Thổ Nhĩ Kỳ từ Quý 1/1987 đến Quý 3/2007. Trong đó, đối với mô hình ANN, tác giả
sử dụng Mạng thần kinh truyền thẳng 1 lớp ẩn với 2 đơn vị ẩn và hàm truyền xích ma;
các biến đầu vào được sử dụng cho mô hình này bao gồm: chi tiêu tiêu dùng, chi tiêu
chính phủ, vốn đầu tư nội địa, xuất khẩu hàng hóa và dịch vụ, nhập khẩu hàng hóa và
7
dịch vụ; tất cả được chuẩn hóa trong khoảng (0,2; 0,8). Tuy nhiên, kết quả dự báo lại
cho thấy mô hình ARIMA tốt hơn mô hình ANN.
Nhóm Curak Marijana (2009) sử dụng các biến tài chính như cung tiền M2 và vốn hóa
thị trường chứng khoán để dự báo tốc độ tăng trưởng kinh tế của 27 nước thành viên
Liên minh châu Âu trong giai đoạn 1991-2007, đồng thời so sánh hoạt động dự báo
của 2 mô hình: mô hình hồi quy tuyến tính và mô hình ANN, trong đó mô hình ANN
sử dụng mạng truyền thẳng, một lớp ẩn và hàm Tanh làm hàm truyền. Sử dụng các chỉ
tiêu như: RMSE, MAE, TIC, MAPE để so sánh hoạt động dự báo của 2 mô hình; kết
quả cho thấy, mô hình ANN cho kết quả dự báo tốt hơn mô hình hồi quy tuyến tính
theo chỉ tiêu RMSE, MAE, TIC nhưng điều này là ngược lại với chỉ tiêu MAPE.
Gần đây năm 2010, Amin Gharipour, Morteza Sameti, và Ali Yousefian đã đưa ra một
công trình nghiên cứu “Phân tích việc mô phỏng tương đối hành vi kinh tế giữa các mô
hình SVMs (Support Vector Machines) và các mô hình Mạng thần kinh nhân tạo” với
thực hiện hay không ?
Cuối cùng, hướng nghiên cứu mở rộng nào trong tương lai mà bài nghiên cứu đặt
ra cho những vấn đề còn hạn chế ?
9
Chƣơng 2
MÔ HÌNH MẠNG THẦN KINH NHÂN TẠO
Đặc điểm của mô hình Mạng thần kinh nhân tạo
rõ về mô hình này, trước hết chúng ta sẽ tìm hiểu các đặc điểm cơ bản của bộ não.
Bộ não người bao gồm một lượng rất lớn các nơ-ron (khoảng 10 tỷ nơ-ron). Mỗi nơ-
ron có thể kết nối với hàng chục ngàn nơ-ron khác thông qua các khớp thần kinh
10
(synapse) tạo thành một mạng lưới rộng lớn. Mỗi nơ-ron là một tế bào gồm các sợi
nhánh có dạng như cành cây (dendrite), một thân tế bào hoặc phần sinh dưỡng, và một
sợi trục ra (axon). Các sợi nhánh có nhiệm vụ dẫn truyền các tín hiệu dưới dạng các
xung điện thần kinh từ môi trường hoặc từ các nơ-ron khác vào thân tế bào (cell –
body). Thân bào chứa nhân có nhiệm vụ tổng hợp các xung điện thần kinh, làm tăng
thêm cường độ các xung điện thần kinh nhận được và xử lý cho tín hiệu đi ra. Sợi trục
với cấu tạo từ một bó các dây thần kinh sẽ tiếp tục dẫn truyền xung điện thần kinh từ
thân tế bào đến các nơ-ron khác. Điểm kết nối giữa sợi trục của nơ-ron này với sợi
nhánh của nơ-ron khác gọi là khớp thần kinh. Như vậy, mỗi nơ-ron thực hiện nhiệm
vụ đơn giản là truyền xung điện thần kinh nhận được dọc theo sợi trục qua các khớp
thần kinh đến các nơ-ron khác.
Tuy nhiên, không phải tất cả các xung điện thần kinh đều được truyền đi, mà đối với
một số nơ-ron chỉ truyền đi một số xung điện thần kinh nhất định. Phản ứng của một
nơ-ron khi nhận được xung điện thần kinh từ các nơ-ron bên cạnh phụ thuộc vào
cường độ của xung điện thần kinh nhận được và độ nhạy riêng của nó đối với mỗi nơ-
ron truyền xung điện thần kinh đến nó. Nơ-ron chỉ hoạt động khi tất cả các tín hiệu mà
nó nhận được ở thân bào thông qua các sợi nhánh vượt quá một giá trị ngưỡng hoạt
động (threshold) – một giới hạn mà nếu nhỏ hơn giới hạn này thì nơ-ron sẽ không
phản ứng với tín hiệu đó, tức là nó sẽ không truyền tín hiệu đó đi mà rơi vào trạng thái
nghỉ. Cường độ tín hiệu thu được của nơ-ron phụ thuộc vào độ nhạy của các khớp thần
kinh. Khi được học tập thì hoạt động kết nối của các khớp thần kinh được tăng cường,
tạo ra các liên kết mạnh giữa các nơ-ron làm cho tín hiệu được truyền đi dễ dàng hơn.
Như vậy, một nơ-ron sinh học hoạt động dưới hình thức nhận các tín hiệu đầu vào, tập
hình thần kinh nhân tạo có khả năng học hỏi, nhận dạng, phân loại và điều khiển.
Một nơ-ron nhân tạo cơ bản có cấu trúc được mô tả theo hình 2.2:
Hình 2.2: Nơ-ron nhân tạo
12
Một nơ-ron nhân tạo gồm có:
Đầu vào (X
i
) là các tín hiệu vào từ dữ liệu gốc hay từ các nơ-ron khác.
Các trọng số (Weights) liên kết giữa tín hiệu đầu vào thứ i với nơ-ron j, được ký
hiệu là w
ji
. Các trọng số này được chọn một cách ngẫu nhiên tại thời điểm xây
dựng mạng và được điều chỉnh liên tục trong quá trình huấn luyện mạng. Lưu ý,
trọng số có thể âm nghĩa là nó đóng vai trò kiềm chế hơn là kích hoạt nơ-ron.
Cũng giống như một nơ-ron sinh học, một nơ-ron nhân tạo cũng có phần nhân
tương ứng với bộ cộng và hàm truyền giúp xử lý các tín hiệu, thông tin đầu vào.
Hàm tổng (sum) được dùng để tính tổng của các tích đầu vào với trọng số tương
i
là giá trị đầu vào thứ i
W
ji
là trọng số kết nối giữa nơ-ron thứ j và tín hiệu vào thứ i
b
j
là độ lệch của nơ-ron thứ j
f( )là hàm truyền
Y
j
là giá trị đầu ra của nơ-ron thứ j.
Hoạt động của nơ-ron nhân tạo là nhận các tín hiệu đầu vào, sau đó nhân các tín hiệu
này với trọng số tương ứng nhằm khuếch đại tín hiệu đầu vào. Tất cả các tín hiệu đầu
13
vào sau khi được khuếch đại sẽ đi vào thân nơ-ron tổng hợp lại và tiếp tục biến đổi
nhờ một hàm kích hoạt (thường là hàm phi tuyến). Cuối cùng tín hiệu sẽ được đưa ra ở
đầu ra của nơ-ron và lại trở thành đầu vào của các nơ-ron khác hoặc trở thành tín hiệu
ra của toàn mạng.
Như vậy, cũng giống với nơ-ron sinh học, nơ-ron nhân tạo cũng nhận các tín hiệu đầu
vào, xử lý và cho một tín hiệu đầu ra.
2.1.3. Mạng thần kinh nhân tạo
Mạng thần kinh nhân tạo là một hệ thống xử lý thông tin được phỏng theo cách thức
xử lý thông tin của nơ-ron sinh học, bao gồm rất nhiều các nơ-ron nhân tạo hoạt động
song song. Một nhóm các nơ-ron được sắp xếp sao cho tất cả chúng đều nhận được
các tín hiệu đầu vào tại cùng một thời điểm, sau đó xử lý và cho ra các tín hiệu đầu ra
cùng một lúc, được gọi là một lớp mạng (Layer). Mạng thần kinh nhân tạo đơn giản
Hình 2.3: Mô hình Mạng thần kinh nhân tạo
2.2. Các dạng mô hình Mạng thần kinh nhân tạo
Một mô hình thần kinh nhân tạo đòi hỏi phải có các thành phần cơ bản sau:
Tập các trọng số kết nối nơ-ron này với các nơ-ron khác.
Hàm tổng thực hiện nhiệm vụ tính tổng các tích giữa các tín hiệu đầu vào và các
trọng số tương ứng.
Hàm truyền thực hiện nhiệm vụ xử lý và cho các tín hiệu đầu ra tương ứng.
Mạng thần kinh nhân tạo có thể bao gồm hai hoặc nhiều lớp, mỗi lớp có một hoặc
nhiều nơ-ron, các nơ-ron giữa các lớp có sự kết nối với nhau tạo thành một mạng lưới.
Với những thành phần cơ bản trên, mỗi mô hình Mạng thần kinh nhân tạo được đặc
trưng bởi số lượng các lớp nơ-ron, các nơ-ron trong một lớp và đặc biệt là sự liên kết
giữa các lớp và dạng hàm truyền. Tùy theo mối liên kết giữa các lớp mạng mà Mạng
thần kinh được chia thành hai loại chủ yếu: Mạng thần kinh truyền thẳng (Feedforward
Neural Networks) và Mạng thần kinh hồi tiếp (Recurrent Neural Networks).
2.2.1. Mạng thần kinh truyền thẳng
Trong Mạng thần kinh truyền thẳng, các tín hiệu được truyền thẳng theo một hướng,
từ các nơ-ron lớp đầu vào đến các nơ-ron lớp đầu ra và không cho phép bất kỳ một sự
phản hồi thông tin nội bộ nào.
2.2.1.1. Mạng thần kinh truyền thẳng đơn giản nhất
Một mạng thần kinh truyền thẳng đơn giản nhất, với hai lớp: một lớp đầu vào và một
lớp đầu ra. Mạng này còn được gọi là Perceptron.
Copyright: Tài liệu đại học ©