Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

TRẦN ĐỨC CƢỜNG
NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG
TRONG THẨM ĐỊNH VAY VỐN NGÂN HÀNG
LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH


Bên cạnh đây em cũng xin cảm ơn em Hoàng Thị Thu Hiền và chị Trần
Thị Vân Thanh – cán bộ thẩm định tại ngân hàng MaritimeBank đã đã giúp
em hoàn thành luận văn này.
Nhân dịp này, em cũng xin gửi lời cảm ơn đến gia đình, ngƣời thân, đã
tạo điều kiện giúp đỡ, động viên, trợ giúp em về tinh thần trong suốt quá trình
học tập.
Thái Nguyên, tháng 9 năm 2012
Tác giả Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-iii-
Trần Đức Cƣờng
LỜI CAM ĐOAN
Em xin cam đoan luận văn “Nghiên cứu mạng nơron và ứng dụng trong
thẩm định vay vốn Ngân hàng” này là công trình nghiên cứu của riêng em.
Các số liệu sử dụng trong luận văn là trung thực. Các kết quả nghiên cứu
đƣợc trình bày trong luận văn chƣa từng đƣợc công bố tại bất kỳ công trình
nghiên cứu nào khác.
Trần Đức Cƣờng

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-iv-
MỤC LỤC
LỜI CẢM ƠN 1

-v-
1.5.2. Học không có thầy 15
1.6. Hàm mục tiêu 15
1.7. Mạng nơron truyền thẳng và giải thuật lan truyền ngƣợc 16
1.7.1. Kiến trúc cơ bản 16
1.7.1.1. Mạng truyền thẳng 16
1.7.1.2. Mạng hồi quy 18
1.7.2. Khả năng thể hiện 18
1.7.3. Vấn đề thiết kế cấu trúc mạng 19
1.7.3.1. Số lớp ẩn 19
1.7.3.2. Số đơn vị trong lớp ẩn 20
1.7.4. Thuật toán lan truyền ngƣợc (Back-Propagation) 22
1.7.4.1. Mô tả thuật toán 23
1.7.4.2. Sử dụng thuật toán lan truyền ngƣợc 28
1.7.4.3. Một số biến thể của giải thuật 32
1.7.4.4. Nhận xét 34
CHƢƠNG 2: ỨNG DỤNG MẠNG NƠRON TRONG DỰ BÁO DỮ LIỆU VÀ
BÀI TOÁN THẨM ĐỊNH VAY VỐN NGÂN HÀNG 37
2.1. Lý thuyết thẩm định vay vốn ngân hàng 37
2.1.1. Một số khái niệm cơ bản 37
2.1.2. Nguyên tắc vay vốn 37
2.1.3. Điều kiện vay vốn 37
2.1.4. Tầm quan trọng của thẩm định tín dụng 38
2.1.5. Quy trình thẩm định tín dụng 39
2.1.6. Nội dung thẩm định vay vốn tại ngân hàng 39
2.1.6.1. Thẩm định khách hàng vay vốn 40
2.1.6.2. Thẩm định dự án vay vốn 46
2.1.6.3. Thẩm định các biện pháp bảo đảm tiền vay 49
2.2. Sơ lƣợc về lĩnh vực dự báo dữ liệu 51
2.3. Xây dựng chƣơng trình dự báo dữ liệu 52

KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 78 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-vii-
DANH MỤC CÁC HÌNH VẼ

Hình 1.1. Đơn vị xử lý (Processing unit) 8
Hình 1.2. Hàm đồng nhất (Identity function) 10
Hình 1.3. Hàm bƣớc nhị phân (Binary step function) 11
Hình 1.4. Hàm Sigmoid 11
Hình 1.5. Hàm sigmoid lƣỡng cực 12
Hình 1.6. Mạng nơron truyền thẳng nhiều lớp 13
(Feed-forward neural network) 13
Hình 1.7. Mạng nơron hồi quy (Recurrent neural network) 14
Hình 1.8. Mạng nơron truyền thẳng nhiều lớp (MLP) 16
Hình 1.9. Một ví dụ của mạng hồi quy 18
Hình 1.10. Xấp xỉ hàm với –2 ≤ x ≤ 2 30
Hình 1.11. Xấp xỉ hàm với –2 ≤ x ≤ 2 30
Hình 2.1. Quy trình thẩm định vay vốn 39
Hình 2.2. Nội dung thẩm định vay vốn 40
Bảng 2.1. Thẩm định vay ngắn hạn 50
Hình 2.3. Xử lý dữ liệu 54
Bảng 3.1. Các dữ liệu đầu vào dạng thô 66
Bảng 3.2. Các dữ liệu đầu vào sau khi tiền xử lý 68
Hình 3.1. Mô hình cấu trúc mạng 69
Hình 3.2 Giao diện chính của chƣơng trình 72
Hình 3.3. Giao diện tạo mạng 72
Hình 3.4. Giao diện huấn luyện mạng 73
MỞ ĐẦU
1. Lý do chọn đề tài
Ngân hàng là một trung gian tài chính, một kênh dẫn vốn quan trọng
cho toàn bộ nền kinh tế. Hoạt động cho vay là một trong những hoạt động
quan trọng nhất không những đối với Ngân hàng, mà còn đối với các doanh
nghiệp, tổ chức, cá nhân, hộ gia đình. Các doanh nghiệp cần vốn đầu tƣ để mở
rộng sản xuất kinh doanh, các hộ gia đình, các tổ chức cần vốn để phục vụ các
nhu cầu cần thiết cho công việc, cuộc sống. Cho vay vốn là một trong những
hoạt động mang tính chiến lƣợc, mang lại hiệu quả kinh tế quan trọng nhất
đối với các Ngân hàng. Đồng thời, đây cũng là một hoạt động mang tính rủi
ro cao. Công tác thẩm định các dự án vay vốn là một trong những hoạt động
quyết định công tác cho vay vốn đối với các doanh nghiệp nhằm giảm thiểu
các rủi ro một cách tối đa. Chất lƣợng công tác thẩm định dự án vay vốn
quyết định công tác cho vay vốn đối với các doanh nghiệp trong các Ngân
hàng thƣơng mại. Việc nâng cao chất lƣợng công tác thẩm định dự án vay vốn
giúp Ngân hàng tăng cƣờng hiệu quả hoạt động kinh doanh và hội nhập với
nền tài chính trong khu vực là vô cùng quan trọng.
Hiện nay, với sự phát triển nhƣ vũ bão của ngành Công nghệ thông tin,
việc ứng dụng các thành tựu đó vào các hoạt động trong Ngân hàng ngày càng
phát triển mạnh mẽ và thu hút đƣợc sự quan tâm của các nhà kinh tế, các nhà
phát triển phần mềm, …Các ứng dụng của mạng nơron, đặc biệt là mạng
nơron truyền thẳng đa lớp đƣợc chứng minh là khá mạnh và hiệu quả trong
các bài toán dự báo, phân tích dữ liệu. Qua quá trình tìm hiểu công tác thẩm
định dự án vay đối với các doanh nghiệp tại Ngân hàng Hàng Hải Việt Nam
MaritimeBank, em đã quyết định chọn đề tài “Nghiên cứu mạng nơron và ứng
dụng trong thẩm định vay vốn Ngân hàng”. Luận văn này với mục đích làm
sáng tỏ một số khía cạnh về mạng nơron truyền thẳng đa lớp, thuật toán lan


nợ của các khách hàng nhằm tránh rủi ro lớn về vốn cho ngân hàng.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-3- 6. Cấu trúc của luận văn
Luận văn bao gồm 3 chƣơng, với những nội dung sau:
Chƣơng 1: Tìm hiểu và giới thiệu tổng quan về mạng nơron, mô hình
mạng nơron truyền thẳng đa lớp, thuật toán lan truyền ngƣợc.
Chƣơng 2: Giới thiệu sơ lƣợc các khái niệm và các khâu trong quy trình
thẩm định cho vay vốn tại Ngân Hàng Hàng Hải Việt Nam (MaritimeBank)
nhƣ cho vay, tín dụng ngân hàng, các loại hình vay vốn… Tìm hiều về bài
toán dự báo dữ liệu, cách thức và các bƣớc xây dụng một bài toán dự báo dữ
liệu và ứng dụng mạng nơron truyền thẳng đa lớp, giải thuật lan truyền ngƣợc
vào bài toán. Từ đó đƣa ra đƣợc tầm quan trọng và sự cần thiết của việc sử
dụng mạng nơron.
Chƣơng 3: Đƣa ra các bƣớc xây dụng bài toán thẩm định cho vay vốn
ngân hàng áp dụng kỹ thuật mạng nơron truyền thẳng đa lớp và giải thuật lan
truyền ngƣợc. Giới thiệu chƣơng trình minh họa bài toán. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-4-
CHƢƠNG I:TỔNG QUAN VỀ MẠNG NƠRON


- Cùng thời gian đó, Bernard Widrow và Ted Hoff đã đƣa ra một thuật
toán học mới và sử dụng nó để huấn luyện cho các mạng nơron tuyến tính
thích nghi, mạng có cấu trúc và chức năng tƣơng tự nhƣ mạng của Rosenblatt.
Luật học Widrow-Hoff vẫn còn đƣợc sử dụng cho đến nay.
- Tuy nhiên cả Rosenblatt và Widrow-Hoff đều cùng vấp phải một vấn
đề do Marvin Minsky và Seymour Papert phát hiện ra, đó là các mạng nhận
thức chỉ có khả năng giải quyết các bài toán khả phân tuyến tính. Họ cố gắng
cải tiến luật học và mạng để có thể vƣợt qua đƣợc hạn chế này nhƣng họ đã
không thành công trong việc cải tiến luật học để có thể huấn luyện đƣợc các
mạng có cấu trúc phức tạp hơn.
- Do những kết quả của Minsky-Papert nên việc nghiên cứu về mạng
nơron gần nhƣ bị đình lại trong suốt một thập kỷ do nguyên nhân là không có
đƣợc các máy tính đủ mạnh để có thể thực nghiệm.
- Mặc dù vậy, cũng có một vài phát kiến quan trọng vào những năm 70.
Năm 1972, Teuvo Kohonen và James Anderson độc lập nhau phát triển một
loại mạng mới có thể hoạt động nhƣ một bộ nhớ. Stephen Grossberg cũng rất
tích cực trong việc khảo sát các mạng tự tổ chức (Self organizing networks).
- Vào những năm 80, việc nghiên cứu mạng nơron phát triển rất mạnh
mẽ cùng với sự ra đời của PC. Có hai khái niệm mới liên quan đến sự hồi sinh
này, đó là:
- Việc sử dụng các phƣơng pháp thống kê để giải thích hoạt động của
một lớp các mạng hồi quy (recurrent networks) có thể đƣợc dùng nhƣ bộ nhớ
liên hợp (associative memory) trong công trình của nhà vật lý học Johh
Hopfield.
- Sự ra đời của thuật toán lan truyền ngƣợc (back-propagation) để luyện
các mạng nhiều lớp đƣợc một vài nhà nghiên cứu độc lập tìm ra nhƣ: David
Rumelhart, James McCelland, Đó cũng là câu trả lời cho Minsky-Papert.
1.1.2. Ứng dụng


liên kết đối với mỗi phần tử) gọi là các nơron. Dƣới con
mắt của những ngƣời làm tin học, một nơron đƣợc cấu tạo bởi các thành
phần: tế bào hình cây (dendrite) - tế bào thân (cell body) – và sợi trục thần
kinh (axon). Tế bào hình cây có nhiệm vụ mang các tín hiệu điện tới tế bào
thân, tế bào thân sẽ thực hiện gộp (Sum) và phân ngƣỡng (Thresholds) các tín
hiệu đến. Sợi trục thần kinh làm nhiệm vụ đƣa tín hiệu từ tế bào thân ra ngoài.
Điểm tiếp xúc giữa một sợi trục thần kinh của nơron này và tế bào hình cây

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-7- của một nơron khác đƣợc gọi là khớp thần kinh (synapse). Sự sắp xếp của các
nơron và mức độ mạnh yếu của các khớp thần kinh đƣợc quyết định bởi các
quá trình hóa học phức tạp, sẽ thiết lập chức năng của mạng nơron. Một vài
nơron có sẵn từ khi sinh ra, các phần khác đƣợc phát triển thông qua việc học,
ở đó có sự thiết lập các liên kết mới và loại bỏ các liên kết cũ.
Cấu trúc của mạng nơron luôn luôn phát triển và thay đổi. Các thay đổi
sau này có khuynh hƣớng bao gồm chủ yếu là việc làm tăng hay giảm độ
mạnh của các mối liên kết thông qua các khớp thần kinh.
Mạng nơron nhân tạo không tiếp cận đến sự phức tạp của bộ não. Mặc
dù vậy, có hai sự tƣơng quan cơ bản giữa mạng nơron nhân tạo và sinh học.
Thứ nhất, cấu trúc khối tạo thành chúng đều là các thiết bị tính toán đơn giản
(mạng nơron nhân tạo đơn giản hơn nhiều) đƣợc liên kết chặt chẽ với nhau.
Thứ hai, các liên kết giữa các nơron quyết định chức năng của mạng.
Cần chú ý rằng mặc dù mạng nơron sinh học hoạt động rất chậm so với
các linh kiện điện tử (10
-3
giây so với 10

hiện tại.
- Một đơn vị điều chỉnh (độ lệch) (bias, offset) của mỗi đơn vị.
- Phƣơng pháp thu thập thông tin (luật học - learning rule).
- Môi trƣờng hệ thống có thể hoạt động.
1.2. Đơn vị xử lý
Một đơn vị xử lý (Hình 1.1), cũng đƣợc gọi là một nơron hay một nút
(node), thực hiện một công việc rất đơn giản: nó nhận tín hiệu vào từ các đơn
vị phía trƣớc hay một nguồn bên ngoài và sử dụng chúng để tính tín hiệu ra sẽ
đƣợc lan truyền sang các đơn vị khác.

Hình 1.1. Đơn vị xử lý (Processing unit)
Trong đó:
x
i
: các đầu vào.
w
ji
: các trọng số tƣơng ứng với các đầu vào.
θ
j
: độ lệch (bias).

X
0


z
j
= g(a
j
)

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-9- a
j
: đầu vào mạng (net-input).
z
j
: đầu ra của nơron.
g(x): hàm chuyển (hàm kích hoạt).
Trong một mạng nơron có ba kiểu đơn vị:
- Các đơn vị đầu vào (Input units), nhận tín hiệu từ bên ngoài.
- Các đơn vị đầu ra (Output units), gửi dữ liệu ra bên ngoài.
- Các đơn vị ẩn (Hidden units), tín hiệu vào (input) và ra (output) của
nó nằm trong mạng.
Mỗi đơn vị j có thể có một hoặc nhiều đầu vào: x
0
, x
1
, x
2

1

Trƣờng hợp w
ji
> 0, nơron đƣợc coi là đang ở trong trạng thái kích
thích. Tƣơng tự, nếu nhƣ w
ji
< 0, nơron ở trạng thái kiềm chế. Chúng ta gọi
các đơn vị với luật lan truyền nhƣ trên là các sigma units.
Trong một vài trƣờng hợp ngƣời ta cũng có thể sử dụng các luật lan
truyền phức tạp hơn. Một trong số đó là luật sigma-pi, có dạng nhƣ sau:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-10- j
n
i
m
k
kj
xa








Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-11-  








θxkhi0
θxkhi1
xg

Dạng hàm này đƣợc sử dụng trong các mạng chỉ có một lớp. Trong
hình vẽ sau, θ đƣợc chọn bằng 1.

Hình 1.3. Hàm bƣớc nhị phân (Binary step function)
* Hàm sigmoid (Sigmoid function (logsig))
x
e
xg




Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-12- Hàm này có các thuộc tính tƣơng tự hàm sigmoid. Nó làm việc tốt đối
với các ứng dụng có đầu ra yêu cầu trong khoảng [-1,1].

Hình 1.5. Hàm sigmoid lƣỡng cực
Các hàm chuyển của các đơn vị ẩn (hidden units) là cần thiết để biểu
diễn sự phi tuyến vào trong mạng. Lý do là hợp thành của các hàm đồng nhất
là một hàm đồng nhất. Mặc dù vậy nhƣng nó mang tính chất phi tuyến (nghĩa
là, khả năng biểu diễn các hàm phi tuyến) làm cho các mạng nhiều tầng có
khả năng rất tốt trong biểu diễn các ánh xạ phi tuyến. Tuy nhiên, đối với luật
học lan truyền ngƣợc, hàm phải khả vi (differentiable) và sẽ có ích nếu nhƣ
hàm đƣợc gắn trong một khoảng nào đó. Do vậy, hàm sigmoid là lựa chọn
thông dụng nhất.
Đối với các đơn vị đầu ra (output units), các hàm chuyển cần đƣợc
chọn sao cho phù hợp với sự phân phối của các giá trị đích mong muốn.
Chúng ta đã thấy rằng đối với các giá trị ra trong khoảng [0,1], hàm sigmoid
là có ích; đối với các giá trị đích mong muốn là liên tục trong khoảng đó thì
hàm này cũng vẫn có ích, nó có thể cho ta các giá trị ra hay giá trị đích đƣợc
căn trong một khoảng của hàm kích hoạt đầu ra. Nhƣng nếu các giá trị đích
không đƣợc biết trƣớc khoảng xác định thì hàm hay đƣợc sử dụng nhất là hàm
đồng nhất (identity function). Nếu giá trị mong muốn là dƣơng nhƣng không
biết cận trên thì nên sử dụng một hàm kích hoạt dạng mũ (exponential output
activation function).

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn


Hình 1.7. Mạng nơron hồi quy (Recurrent neural network)
1.5. Mạng học
Chức năng của một mạng nơron đƣợc quyết định bởi các nhân tố nhƣ:
hình trạng mạng (số lớp, số đơn vị trên mỗi tầng, và cách mà các lớp đƣợc
liên kết với nhau) và các trọng số của các liên kết bên trong mạng. Hình trạng
của mạng thƣờng là cố định, và các trọng số đƣợc quyết định bởi một thuật
toán huấn luyện (training algorithm). Tiến trình điều chỉnh các trọng số để
mạng “nhận biết” đƣợc quan hệ giữa đầu vào và đích mong muốn đƣợc gọi là
học (learning) hay huấn luyện (training). Rất nhiều thuật toán học đã đƣợc
phát minh để tìm ra tập trọng số tối ƣu làm giải pháp cho các bài toán. Các
thuật toán đó có thể chia làm hai nhóm chính: Học có thầy (Supervised
learning) và Học không có thầy (Unsupervised Learning).
1.5.1. Học có thầy
Mạng đƣợc huấn luyện bằng cách cung cấp cho nó các cặp mẫu đầu
vào và các đầu ra mong muốn (target values). Các cặp đƣợc cung cấp bởi
"thầy giáo", hay bởi hệ thống trên đó mạng hoạt động. Sự khác biệt giữa các
đầu ra thực tế so với các đầu ra mong muốn đƣợc thuật toán sử dụng để thích
ứng các trọng số trong mạng. Điều này thƣờng đƣợc đƣa ra nhƣ một bài toán
xấp xỉ hàm số - cho dữ liệu huấn luyện bao gồm các cặp mẫu đầu vào x, và

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-15- một đích tƣơng ứng t, mục đích là tìm ra hàm f(x) thoả mãn tất cả các mẫu
học đầu vào.
1.5.2. Học không có thầy
Với cách học không có thầy, không có phản hồi từ môi trƣờng để chỉ ra
rằng đầu ra của mạng là đúng. Mạng sẽ phải khám phá các đặc trƣng, các điều

Trong đó:
p: số thứ tự mẫu trong tập huấn luyện.
i: số thứ tự của đơn vị đầu ra.
t
pi
và y
pi
: tƣơng ứng là đầu ra mong muốn và đầu ra thực tế của mạng
cho đơn vị đầu ra thứ i trên mẫu thứ p.
Trong các ứng dụng thực tế, nếu cần thiết có thể làm phức tạp hàm số
với một vài yếu tố khác để có thể kiểm soát đƣợc sự phức tạp của mô hình.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-16- 1.7. Mạng nơron truyền thẳng và giải thuật lan truyền ngƣợc
1.7.1. Kiến trúc cơ bản
Để đơn giản và tránh hiểu nhầm, mạng truyền thẳng xét trong chƣơng
này là các mạng truyền thẳng có nhiều lớp. Kiến trúc mạng truyền thẳng
nhiều lớp là kiến trúc chủ đạo của các mạng nơron hiện tại. Mặc dù có khá
nhiều biến thể nhƣng đặc trƣng của kiến trúc này là cấu trúc và thuật toán học
là đơn giản và nhanh (Masters 1993).
1.7.1.1. Mạng truyền thẳng
Một mạng truyền thẳng nhiều lớp bao gồm một lớp vào, một lớp ra và
một hoặc nhiều lớp ẩn. Các nơron đầu vào thực chất không phải các nơron
theo đúng nghĩa, bởi lẽ chúng không thực hiện bất kỳ một tính toán nào trên
dữ liệu vào, đơn giản nó chỉ tiếp nhận các dữ liệu vào và chuyển cho các lớp
kế tiếp. Các nơron ở lớp ẩn và lớp ra mới thực sự thực hiện các tính toán, kết