i
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

I HC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀ N
THÔNG CHU HOÀNG HÀ NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG
TRONG NHẬN DẠNG CHỮ VIẾT TAY TRỰC TUYẾN

Chuyên ngành: Khoa học máy tính
Mã số: 60.48.01

LU    

    
PGS-TS Ngô Quốc Tạo

ii
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Thái Nguyên – 2013

BẢN CAM KẾT


Luc thc hin ti hc Công ngh Thông tin và
Truyn Thông - i hi s ng dn ca thy PGS-TS
Ngô Quc To.
c ht em xin bày t lòng bic ti thy PGS-TS Ngô Quc
To - Vin Công ngh ng d  em
hoàn thành tt lua mình.
Em xin gi li cn các thy cô giáo i hc
Công ngh Thông tin và Truyn Thông - i hc Thái Nguyên, cùng các thy
t tình ging dy, truyt kin thc cho em trong sut quá
trình hc tp t
Cui cùng em xin gi li cm ng nghip
nh và tu kin cho em trong quá trình hc
tp và hoàn thành lu

Thái Nguyên, ngày 08 tháng 06 năm 2013
HỌC VIÊN CHU HOÀNG HÀ

v
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

MỤC LỤC
LI M U 1
Chng 1
KHÁI QUÁT V MNG NRON
1.1. Khái nim mng nron 4
1.1.1. Gii thiu 4
1.1.1.1. Nron 7

Chng 2
NG DNG MNG NRON TRONG NHN DNG CH VIT TAY
TRC TUYN
2.1. Gii thiu bài toán nhn dng kí t 30
2.1.1. Gii thiu s lc v nhn dng 30
2.1.2. Gii thiu v nhn dng ch vit tay 31
2.1.3. Nhn dng ch vit tay bng mng nron[5] 35
2.1.4. Phát biu bài toán 36
2.1.5. Các bc gii quyt bài toán s dng mng nron trong nhn dng ký t . 36
2.2. Mng Perceptron nhn dng ký t 36
2.2.1. Gii thiu v mng nron Perceptron 36
2.2.2. Cu trúc ca mng nron Perceptron 37
2.2.3. Thc thi ca mng nron Perceptron 38
2.2.3.1. Thut toán hc ca mng nron mt lp 38
2.2.3.2. Thut toán hc ca mng nron nhiu lp 40
2.2.4. Nhn xét 44
2.3. Mng Kohonen nhn dng ký t 45
2.3.1. Gii thiu v mng nron Kohonen 45
2.3.2. Cu trúc ca mng nron Kohonen[16] 46
2.3.3. Thc thi ca mng nron Kohonen[15] 46
2.3.2.1. Chuu vào 46
u ra cho mi nron 47
vii
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

2.3.2.3. Chn nron chin thng 47
2.3.2.4. Quá trình hc ca mng nron Kohonen 48
2.3.3. Nhn xét 51
Chng 3
XÂY DNG CHNG TRÌNH NHN DNG CH VIT TAY

Hình 1.11 Mng hn và không có vòng lp t phn hi20
Hình 1.12 Mng hn 21
  th n 21
Hình 2.1 Mô hình chung trong nhn dng ch vit 34
Hình 2.2 Mô hình tng quát ca m 37
Hình 2.3 Bài toán XOR 39
Hình 2.4 Cu trúc ca mng Kohonen 46
Hình 2.5 Quá trình hun luyn m 48
Hình 3.1 Quá trình tìm gii hn ký t 53
Hình 3.2 Quá trình ly mu xung 53
Hình 3.3 Quá trình ánh x t ma trm sang ma trn giá tr 54
Hình 3.4 Quá trình hun luyn mng 58
Hình 3.5 Giao dia 59
Hình 3.6 Ti mu 60
Hình 3.7 Nhn dng ký t e bng mng Kohonen 61
Hình 3.8 Nhn dng ký t e bng mng Perceptron 61
Hình 3.9 Thêm mu mi 62
1
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

LỜI MỞ ĐẦU
M  n to ANN (Artificial Neural Networks) là mt mô
phng x c nghiên cu ra t h thng thn kinh ca sinh vt,
gi  x lý thông tin. Nó bao gm s ng ln các mi gn kt
c x lý các yu t làm vic trong mi liên h gii quyt v rõ
ràng. ANN gic hc bi kinh nghing kinh
nghim hiu bit và s dng trong nhng tình hung phù hp và quan trng
t, i có kh  sáng to.
c gii thii nhà thn kinh hc Warren
McCulloch và nhà logic hi nhng k thut trong thi

dụng trong nhận dạng chữ viết tay trực tuyến”.
Tuy nhiên do hn ch v mt th phc tp ca bài
 u và mô phng nhn dng ký t vit tay
ting Vit ri rc trc tuyn.
Nội dung luận văn gồm:
Chƣơng 1: Khái quát về mạng nơron
Trình bày nhng lý thuyn v mô hình mch s
i và phát trin ca mm mi mô hình
m     a m    n luyn mng
c có giám sát. Các v và ng dng ca m
Chƣơng 2: Ứng dụng mạng nơron trong nhận dạng chữ viết tay trực tuyến
Gii thiu v nhn dng, các bài toán nhn dng, nhn dng ch vit tay
ting Vin dng ch vit tay bng mu
c gii quyt bài toán.
Trình bày lý thuyn v m   
gii thiu v mng, cu trúc mc thc thi trong mng: chun hóa
u ra, quá trình hun luyn m
Chƣơng 3: Xây dựng chƣơng trình nhận dạng chữ viết tay trực tuyến
Trình bày phc thc hi
trình minh ha: Thc hin dng ký t, nh các tham s
cho mng, v hình nh, ly mu xung hình nh, các tp hun luyn, lp mng
a: Các cht qu
nhn dn xét.
Kết luận và hƣớng phát triển
3
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

Trình bày các kt qu ng phát trin tip theo và mt s
khi nghiên cu.
Do th còn hn ch nên lui nhng

phân vng c nh. Kt qu c
gin chng h[12]
Ti c các nghiên c 1949 Donald Hebb cho xut bn
cun sách Organization of Behavior. Cu ra r
to s tr nên hiu qu i lc s dng.
Nhng tin b cu nhc mô hình
hóa các nguyên lý ca nhng lý thuyt liên quan ti cách thi suy
 thành hin thc. Nathanial Rochester sau nhic ti
các phòng thí nghim nghiên cu cng n l mô
phng mt mi kì này tính toán truyn thc
nhng thành công rc r ng nghiên cu v  giai
c dù vy nhi ng h tri
(các máy bin tip tc bo v cho lng ca mình.
 án Dartmouth nghiên cu v trí tu nhân to (Artificial
 ra thi k phát trin mi c c trí tu nhân to
ln mng tích cc ca s quan tâm ca
các nhà khoa hc v trí tu nhân to và quá trình x lý  mn ca
m i.
5
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

Nhp theo ca d 
xut vic mô phn bng cách s dn áp hoc
Nhà sinh hc chuyên nghiên cu v n Frank Rosenblatt
u nghiên cu v i gian nghiên cu
t trong phn c
mi nhc s dn ngày nay. Perceptron mt tng
rt hu ích trong vic phân loi mt tu vào có giá tr liên tc vào mt
trong hai lp. Perceptron tính tng có trng s u vào, ri tr tng này
cho mng và cho ra mt trong hai giá tr mong mun có th. Tuy nhiên

hc rõ ràng, mch l ra cách thc các mc và
nhng công vic chúng có th thc hic. Cng hin ca Hopfield không
ch  giá tr ca nhng nghiên cu khoa hc mà còn  s y tr li các
nghiên cu v mng neuron. Cm nhn c   c Rumelhart,
 xut thut toán sai s truyc ni ti hun
luyn mng noron nhiu lp nhm gii bài toán mà mng khác không thc hin
c. Nhiu ng dng mnh m ca mi cùng vi các mng
theo kiu máy Boltzmann và mng Neocognition ca Fukushima.
i gian này, mt hi ngh vi s tham gia ca Hoa K và
Nht Bn bàn v vic hp tác/cc mc t
chc ti Kyoto, Nht Bn. Sau hi ngh, Nht B nhng n lc
ca h trong vic to ra máy tính th h th 5. Tip nhp chí
nh k ca Hoa K bày t s lo lng rc nhà có th b tt hu trong
c này. Vì thHoa K 
cho các nghiên cu và ng dng m
n vt lý Hoa K bu t chc các cuc h
v mng neuron ng dng trong tin h
i tho quc t u tiên v mng neuron ca Vin các k 
n t 
i tham gia. Tính t  gii
u m hi ngh toàn cu chuyên ngành nron IJCNN (International Joit
Conference on Neural Networks).
Ngày nay, không ch dng li  mc nghiên cu lý thuyt, các nghiên
cu ng dng m gii quyt các bài toán thc t c din ra 
khp mng dng mi ngày càng nhiu và ngày càng
hoàn thi  n hình là các ng dng: x lý ngôn ng (Language
7
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

Processing), nhn dng ký t (Character Recognition), nhn dng ting nói

phn nhánh ci ti các ch ni synapte c
khi kích ho   ch mt khong th  c gi là chu k
c khi nó có th kích hot li. Synapses là excitatory nu chúng
cho phép các kích thích truyn qua gây ra tình trng kích hoi v
nhc li, chúng là inhibitory nu chúng cho phép các kích thích truyn
 trng thái kích hot cn.
t quan trng trong s hc tp. Khi chúng ta
hc tp thì hong cng, to nên nhiu liên kt
mnh gi   nói ri nào hc càng gii thì càng có
nhiu synapses và các synapses y càng mnh m, hay nói cách khác, thì liên
kt giu, càng nhy bén.
1.1.1.2. Chức năng, tổ chức và hoạt động của bộ não con ngƣời
a) Chức năng
B não ci có cht sc quan tri sng
ci. B não gm soát hu ht mi hành vi ci,
t các hon nhng phc tc tp,
nh, suy lu
b) Tổ chức
B não cc hình thành t s liên kt ca khong 10
11

phân t (t ng 10
10
phn t  còn li khong
9*10
10
phn t là các t bào thm. Các t bào thm có nhim
v phc v  tr u to chi tit ca b n
i ta vc s bit rõ. Tuy vy, não b có th c phân chia
9
10
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Hình 1.2 
1.1.1.3. So sánh mạng nơron với máy tính truyền thống
Các mp cn khác trong gii quyt v so vi
máy tính truyn thng. Các máy tính truyn thng s dng cách tip cn theo
ng gii thut, tc là máy tính thc hin mt tp các ch l gii quyt
mt v. V c gii quyt phc bit và phát bii dng mt
tp ch lnh không nhp nhng. Nhng ch lc chuyn
sang m bc cao và chuy máy tính
có th hic.





 




11
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn




♦ Bộ tổng (Summing function) tính tng ca tích các
u vào vi trng s liên kt ca nó.
♦ Ngƣỡng (còn gọi là một độ lệch -bias) c
t thành phn ca hàm truyn. H s u chnh b có tác dng
n hoc giu vào thc ca hàm truyn tùy theo hàm truy
hay âm.
♦ Hàm truyền (Transfer function)       
   
 
13
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

-1, 1]. Các hàm




♦ Đầu ra

i dng công thc toán hc, chúng ta có th mô t mng
cp công thc sau:



m
j
jkjk
xwu
1
(1.1)




m
j
jkjk
xwv
0
(1.3)
và
)(
kk
vy


(1.4)
Trong công tht synapse mu vào ca nó là:
x
0
=+1 (1.5)
và trng s ca nó là:
w
k0
=b
k
(1.6)
y chúng ta v li mô hình c
hình này, nhim v ca h s hiu chnh là thc hin hai vic: (1) thêm mt tín
14
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

D liu t tt c các nút trong lp nhc tích hp (ta gi là tng trng
s) và chuyn kt qu cho các nút trong lp n. Lc gp  vì
các nút trong lp này ch liên lc vi các nút trong lp nhp và lp xut. Ch có
i thit k mng mi bit li s dng không bit lp này).
Các nút trong lp xut nhn các tín hiu tng trng hóa t các nút trong
lp n. Mi nút trong lp xung vi mt bin ph thuc.
1.2. Đặc trƣng của mạng nơron[5]
1.2.1. Tính phi tuyến
M tính toán mt cách tuyn tính hay phi tuyn. Mt mng
u thành b có tính phi tuy
nc bit là tính phi tuyc phân tán trên toàn mng. Tính phi
tuyn là mt thuc tính rt quan trng, nh vt lý sinh ra các
tín hiu vào (ví d tín hiu ting nói) vn là phi tuyn.
16
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

1.2.2. Tính chất tƣơng ứng đầu vào, đầu ra
Mc dù khái nin luy
 hic mi quan h u vào-u ra ca m  cp
 khái nim này. Mt mô hình hc ph bic gc có th
n vii các trng s liên kt ca
mng vic áp dng mt tp hp các mu tích lu. Mi mt mu
bao gm mt tín hiu vào và mu ra mong mung. Các trng
s liên kt ca mc bii sao cho có th cc tiu hoá s sai khác gia
u ra mong muu ra thc s ca mng theo mt tiêu chun thng kê
thích hp. S tích lu ca mc lp li vi nhiu ví d trong tp hp cho
ti khi mt ti mt trng thái nh mà  t s i
 nào ca các trng s liên kt. Các ví d tích lu c áp dc có
th c áp dng li trong thi gian ca phiên tích lu t th t
  vy, m c t các ví d bng cách xây dng nên mt

VLSI là mang li nhn hu hi có th x c nhng
hành  phc tp cao.
1.2.7. Tính chất tƣơng tự trong phân tích và thiết kế
V n, các mt chung nh là các b x lý thông
u này áp dng cho tt c c có liên quan ti vic ng dng
mc tính này th hin  mt s m nh sau:
 i dng này hoc dng khác, biu din mt thành phn
chung cho tt c các m
 Tính thng nhi kh  các lý thuyt và các
thut toán hc trong nhiu ng dng khác nhau ca m
 Các mng t hp (modular) có th c xây dng thông qua mt s
tích hp các mô hình khác nhau.
1.3. Phân loại mạng nơron nhân tạo
1.3.1. Phân loại theo kiểu liên kết nơron
Ta có mn thng quy hi[17].
- Mng truyn thng nhnh to thành
 th       nh là các
nh là các liên kt gia chúng.

Trích đoạn Giới thiệu về mạng nơron Kohonen Thực thi của mạng nơron Kohonen[15] Quá trình học của mạng nơron Kohonen .1 Xây dựng mạng nơron Perceptron Các chức năng của chƣơng trình

---