ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

TRỊNH THỊ PHƯƠNG THẢO NHẬN DẠNG CHỮ VIẾT TAY TIẾNG VIỆT
SỬ DỤNG MẠNG NƠRON

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH


Trịnh Thị Phƣơng Thảo Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vnii
LỜI CAM ĐOAN

Tôi xin cam đoan đề tài luận văn “Nhận dạng chữ viết tay Tiếng Việt sử
dụng mạng Nơron” là công trình nghiên cứu của bản thân tôi. Các số liệu, kết
quả nghiên cứu nêu trong luận văn này là trung thực và không sao chép y nguyên
từ một công trình nào khác. Tôi xin chịu trách nhiệm về luận văn của mình. Thái Nguyên, tháng 06/2012
Ngƣời viết luận văn
Trịnh Thị Phƣơng Thảo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vniii
MỤC LỤC
Trang
TRANG PHỤ BÌA

1.3.1. Giới thiệu về mạng Nơron Kohonen 26
1.3.2. Cấu trúc của mạng nơron Kohonen [9] 27
1.3.3. Thực hiện mạng nơron Kohonen [9] 28
1.3.3.1 Chuẩn hóa đầu vào 28
1.3.3.2 Tính toán đầu ra cho mỗi nơron 29
1.3.3.3 Chọn nơron chiến thắng 29
1.3.3.4 Quá trình học của mạng nơron Kohonen 30
1.3.3.4.1 Tốc độ học 32
1.3.3.4.2 Hiệu chỉnh trọng số 33
1.3.3.4.3 Tính toán lỗi 34
CHƢƠNG II 36
ỨNG DỤNG MẠNG NƠRON KOHONEN TRONG BÀI TOÁN NHẬN DẠNG
CHỮ VIẾT TAY TIẾNG VIỆT 36
2.1. Tổng quan về bài toán nhận dạng 36
2.2. Giới thiệu về bài toán nhận dạng chữ viết tay Tiếng Việt 39
2.3. Phƣơng pháp nhận dạng chữ viết tay sử dụng mạng nơron 43
2.4. Phát biểu bài toán 44
2.5 Các bƣớc giải quyết bài toán sử dụng mạng nơron Kohonen 44
2.5.1.Xây dựng giao diện vẽ 44
2.5.2. Xây dựng mạng nơron Kohonen 47
2.5.3. Xử lý dữ liệu (phân tích ảnh) 47
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vnv
2.5.4. Huấn luyện mạng nơron Kohonen 48
2.5.5 Nhận dạng mạng nơron Kohonen 50
2.5.6 Kết luận 50
CHƢƠNG III 52
MÔ PHỎNG NHẬN DẠNG KÝ TỰ VlẾT TAY TIẾNG VIỆT RỜI RẠC SỬ
vii
DANH MỤC CÁC TỪ TIẾNG ANH VIẾT TẮT

STT
Từ viết tắt
Từ viết tƣờng minh
1
HMM
Hiden Markov Model
2
LVQ
Learning Vector Quantization
3
MLP
Multi Layer Perception
4
OCR
Optical Character Recognation
5
PDA
Personal Digital Assistant
6
RFID
Radio Frequency Identification
7
SOM
Self Organizing Maps
8

Hình 3.4 Nhận dạng ký tự Ƣ 68
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vnix
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn1
PHẦN MỞ ĐẦU

Trong ngành công nghệ thông tin hiện nay, trí tuệ nhân tạo hiện đại đang
đƣợc sự quan tâm rất lớn. Các máy tính và công nghệ vi điện tử hiện đại đang hy
vọng ở các phƣơng pháp này nhƣ chìa khóa mở ra thế hệ máy tính thông minh
mới mô phỏng đƣợc nhƣ bộ não con ngƣời. Nghiên cứu và mô phỏng trí não, cụ
thể là tế bào thần kinh (Neural) là một ƣớc muốn từ lâu của nhân loại. Với
khoảng 15 tỷ Neural ở não ngƣời, mỗi Neural có thể nhận hàng vạn tín hiệu từ
khớp thần kinh và đƣợc coi là một cơ chế sinh vật phức tạp nhất. Não ngƣời có
khả năng giải quyết những vấn đề nhƣ: nghe, nhìn, nói, hồi ức thông tin, phân
biệt các mẫu mặc dù sự kiện có bị méo mó, hay thiếu hụt. Não thực hiện những
nhiệm vụ nhƣ vậy nhờ các phần tử tính toán (Neural thần kinh). Não phân bố
việc xủ lí cho hàng tỉ Neural có liên quan, điều khiển các mối liên hệ giữa các
Neural đó. Neural không ngừng nhận và truyền thông tin lẫn nhau. Cơ chế hoạt
động của Neural [1] bao gồm: liên kết (association), tổng quát hóa (generation),
và tự tổ chức (Self Orgazation). Các Nơron tự liên kết với nhau thành mạng
trong xử lý. Mỗi mạng gồm hàng vạn các phần tử Nơron khác nhau. Mỗi phần tử
Nơron có khả năng liên kết với hàng nghìn các Nơron khác.
Hiện nay, mạng Nơron đƣợc đƣa vào ứng dụng rộng rãi trong rất nhiều
lĩnh vực. Và bài toán nhận dạng là bài toán sử dụng các tính năng của mạng
Nơron nhiều nhất. Bài toán nhận dạng với sự trợ giúp của mạng Nơron ngày nay


1.1. Giới thiệu về mạng nơron nhân tạo
1.1.1 Lịch sử phát triển
Khái niệm mạng nơ-ron đƣợc bắt đầu vào cuối thế kỷ 19, đầu thế kỷ 20 do
có sự tham gia của ba ngành Vật lý học, Tâm lý học và Thần kinh học. Các nhà
khoa học nhƣ Hermann Von Hemholtz, Earnst Mach, Ivan Pavlov với các công
trình nghiên cứu đi sâu vào lý thuyết tổng quát mô tả hoạt động của trí tuệ con
ngƣời nhƣ: Học, nhìn, và lập luận, nhƣng không đƣa ra đƣợc mô hình toán học
cụ thể mô tả hoạt động của nơ-ron.
Về lịch sử, quá trình nghiên cứu và phát triển mạng nơ-ron nhân tạo có thể
chia thành bốn giai đoạn nhƣ sau:
+ Giai đoạn một: Từ nghiên cứu của William (1890) về tâm lý học với sự
liên kết các nơ-ron thần kinh. Năm 1943, nhà thần kinh học Warren MeCulloch
và nhà logic học Walter Pitts đã chỉ ra rằng:về nguyên tắc mạng các nơ-ron nhân
tạo có thể đƣợc mô hình hoá nhƣ thiết bị ngƣỡng (giới hạn) để thực hiện tính
toán bất kỳ một hàm số học hay các phép tính logic nào. Tiếp theo hai ông là
Donald Hebb với giải thuật huấn luyện mạng ra đời năm 1949.
+ Giai đoạn hai: Vào khoảng những năm 1960, một số mô hình nơ-ron
hoàn thiện hơn có tính ứng dụng thực tiễn đã đƣợc đƣa ra nhƣ: mô hình
Perceptron của Frank Rosenblatt (1958), mô hình Adaline của Bernard Widrow
(1962). Trong đó mô hình Perceptron rất đƣợc quan tâm vì nguyên lý đơn giản,
nhƣng nó cũng có hạn chế vì nhƣ Marvin Minsky và Seymour Papert của MIT
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn4
(Massachurehs Insritute of Technology) đã phát hiện ra và chứng minh nó không
dùng đƣợc cho các hàm logic phức (1969). Còn Adaline là mô hình tuyến tính,
tự chỉnh, đƣợc dùng rộng rãi trong điều khiển thích nghi, tách nhiễu và vẫn phát
triển cho đến nay.

tế bào thân sẽ thực hiện gộp (Sum) và phân ngƣỡng ( Thresholds) các tín hiệu đến.
Sợi trục thần kinh làm nhiệm vụ đƣa các tín hiệu thân ra ngoài
Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủ một diện tích
rất lớn (0.25 mm
2
) để nhận các tín hiệu từ các nơ-ron khác. Đầu thần kinh ra đƣợc
rẽ nhánh nhằm chuyển giao tín hiệu từ thân nơ-ron tới nơ-ron khác. Các nhánh của
đầu thần kinh đƣợc nối với các khớp thần kinh (synapse). Các khớp thần kinh này
đƣợc nối với thần kinh vào của các nơ-ron khác. Sự sắp xếp của các nơ-ron và mức
độ mạnh yếu của các khớp thần kinh đƣợc quyết định bởi quá trình hóa học phức
tạp, sẽ thiết lập chức năng của mạng nơ-ron, các nơ-ron có thể sửa đổi tín hiệu tại
các khớp, trong các nơ-ron nhân tạo đƣợc gọi là trọng số.
Có thể nói, mạng nơ-ron sinh học hoạt động chậm hơn rất nhiều so với các
linh kiện điện tử (10
-3
giây so với 10
-9
giây), nhƣng bộ não có thể thực hiện nhiều
công việc nhanh hơn rất nhiều so với máy tính thông thƣờng. Do cấu trúc song song
của mạng nơ-ron sinh học thể hiện toàn bộ các nơ-ron thực hiện đồng thời tại một
thời điểm. Mạng nơ-ron nhân tạo cũng có đƣợc đặc điểm này. Các mạng nơ-ron
nhân tạo chủ yếu thực nghiệm trên các máy tính mạnh có vi mạch tích hợp rất lớn,
các thiết bị quang, bộ xử lý song song. Điều này cũng giải thích tại sao những
nghiên cứu khoa học về mạng nơ-ron nhân tạo có điều kiện phát triển cùng với sự
phát triển về kỹ thuật công nghệ phần cứng máy tính.
Có nhiều loại nơ-ron khác nhau về kích thƣớc và khả năng thu phát tín hiệu.
Tuy nhiên, chúng có cấu trúc và nguyên lý hoạt động chung.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
vào
j
S
đƣợc gán một trọng số
ij
W
tƣơng ứng. Ta ƣớc lƣợng tổng tín hiệu đi vào
nơ-ron
i
net
theo một số dạng sau:
(i)Dạng tuyến tính: 1
N
i ij j
j
net W s




(1.1)
(ii)Dạng toàn phƣơng:

2
1
N
i ij j
8
 Hàm kích hoạt (hàm chuyển):
Hầu hết các đơn vị trong mạng nơ-ron chuyển net input bằng cách sử dụng
một hàm vô hƣớng (scalar – to – scalar function) gọi là hàm kích hoạt, kết quả
của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị. Trừ khả năng đơn
vị đó thuộc lớp ra, giá trị kích hoạt đƣợc đƣa vào một hay nhiều đơn vị khác. Các
hàm kích hoạt thƣờng bị ép vào một khoảng giá trị xác định, do đó thƣờng đƣợc
gọi là các hàm nén (squashing).
Hàm biến đổi tín hiệu đầu vào net cho tín hiệu đầu ra out đƣợc gọi là hàm
kích hoạt. Hàm này có đặc điểm là không âm và bị chặn, dùng để giới hạn biên độ
đầu ra của nơ-ron. Có nhiều dạng hàm kích hoạt, ngƣời ta thƣờng sử dụng một hàm
kích hoạt chung cho toàn mạng.
Một số hàm kích hoạt thƣờng đƣợc sử dụng:
1) Hàm đồng nhất (Linear function, Identity function)
g(x) = x (1.4)
Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Có khi một
hằng số đƣợc nhân với net-input tạo thành một hàm đồng nhất.

Đồ thị hàm đồng nhất (Identity function)
2) Hàm bƣớc nhị phân (Binary step function, Hard limit function)
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn9
Hàm này còn gọi là hàm ngƣỡng (Threshold function hay Heaviside

3) Hàm sigmoid (Sigmoid function (logsig))
Hàm sigma là dạng chung nhất của hàm kích hoạt đƣợc sử dụng trong cấu
trúc mạng nơ-ron nhân tạo. Nó là một hàm tăng và nó thể hiện một sự trung gian
giữa tuyến tính và phi tuyến. Một ví dụ của hàm này là hàm logistics, xác định
nhƣ sau:

1
()
1
x
gx
e




(1.6)
ở đó

là tham số độ dốc của hàm sigma. Bằng việc biến đổi tham số

, chúng
ta thu đƣợc các hàm sigma với các độ dốc khác nhau. Thực tế, hệ số góc tại x= 0
là

/4. Khi tham số hệ số góc tiến tới không xác định, hàm sigma trở thành một
hàm ngƣỡng đơn giản. Trong khi một hàm ngƣỡng chỉ có giá trị là 0 hoặc 1, thì
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Hàm này có đặc tính tƣơng tự hàm sigmoid. Hàm làm việc tốt đối với các ứng
dụng có đầu ra yêu cầu trong khoảng [-1,1].

Đồ thị hàm sigmoid lƣỡng cực
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn11
Các hàm chuyển của các đơn vị ẩn (hidden units) là cần thiết để biểu diễn sự
phi tuyến vào trong mạng.
 Nút bias:
Là một nút thêm vào nhằm tăng khả năng thích nghi của mạng nơ-ron
trong quá trình học. Trong các mạng nơ-ron có sử dụng bias, mỗi nơ-ron có thể
có một trọng số tƣơng ứng với bias. Trọng số này luôn có giá trị là 1.
Mô hình của một nút xử lý (nút thứ i):
Hình 1.2. Mô hình một nơ-ron




N

i
(U
i
)
U
i
= 
V
i

V
i

W
i1

V
j

V
N

W
ij

W
iN Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

 Mạng nơ-ron có khả năng học, khái quát hóa tập dữ liệu học thông
qua việc gán và hiệu chỉnh các trọng số liên kết.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn13
 Tổ chức theo kiểu tập hợp mang lại cho mạng nơ-ron khả năng tính
toán rất lớn, trong đó không có nơ-ron nào mang thông tin riêng
biệt.
Ví dụ : Hình 1.2, 1.3,1.4, 1.5 là một số mô hình mạng thông dụng.
 Các hình trạng của mạng
Hình trạng mạng đƣợc định nghĩa bởi: số lớp (layers), số đơn vị trên mỗi
lớp, và sự liên kết giữa các lớp đó. Các mạng thƣờng đƣợc chia làm hai loại dựa
trên cách thức liên kết các đơn vị:

1.1.2.3.1. Mạng truyền thẳng
- Mạng truyền thẳng một lớp
Mạng perceptron một lớp do F.Rosenblatt đề xuất năm 1960 là mạng
truyền thẳng chỉ một lớp vào và một lớp ra không có lớp ẩn. Trên mỗi lớp này có
thể có một hoặc nhiều nơ-ron. Mô hình mạng nơ-ron của F.Rosenblatt sử dụng
hàm ngƣỡng đóng vai trò là hàm chuyển. Do đó, tổng của tín hiệu vào lớn hơn
giá trị ngƣỡng thì giá trị đầu ra của nơ-ron sẽ là 1, còn trái lại sẽ là 0.
1,
0,
i
i
i
neáu net
out
neáu net

inii
T
i
wwwW , ,,
21


Hình 1.3. Mạng truyền thẳng một lớp

Với mỗi giá trị đầu vào. . Qua quá trình xử lý của
mạng ta sẽ thu đƣợc một bộ tƣơng ứng các giá trị đầu ra là
đƣợc xác định nhƣ sau :
Trong đó :
m : Số tín hiệu vào
n : Số tín hiệu ra
: là véc tơ trọng số của nơ-ron thứ i.
i
f

,1,
1













(1.11)
 
T
n
xxxx ,
,2,1


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn15
Tổng thông tin đầu vào
w
ij j

y
1
y
n
y
2
x
m
x
1
x
2
Lớp vào
Lớp ra
Lớp ẩn
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

Trích đoạn Tổng quan về bài toán nhận dạng Giới thiệu về bài toán nhận dạng chữ viết tay Tiếng Việt Phƣơng pháp nhận dạng chữ viết tay sử dụng mạng nơron Xử lý dữ liệu (phân tích ảnh) Kích thƣớc và vị trí

---