XửLýNgônNgữNói
ĐẠIHỌCQUỐCGIATHÀNHPHỐHỒCHÍMINH
TRƯỜNGĐẠIHỌCKHOAHỌCTỰNHIÊN
——————————
XỬLÝNGÔNNGỮNÓI
BÀITẬP2:NHẬNDẠNGTIẾNGNÓIRỜIRẠC
Giáoviên:PGS.TS.VŨHẢIQUÂN
Họvàênhọcviên:NguyễnBáCông
Mãsốhọcviên:0209480107
Ngành:Khoahọcmáytính–K19
NguyễnBáCôngKHMTK19
1
XửLýNgônNgữNói
I.Tổngquan
Nhận dạng tiếng nói là một quá trình nhận dạng mẫu, với mục đích là phân lớp               
(classify) thông tin đầu vào là tín hiệu tiếng nói thành một dãy tuần tự các mẫu đã                
được học trước đó và lưu trữ trong bộ nhớ. Các mẫu là các đơn vị nhận dạng,                
chúng có thể là các từ, hoặc các âm vị. Nếu các mẫu này là bất biến và không thay                  
đổi thì công việc nhận dạng tiếng nói trở nên đơn giản bằng cách so sánh dữ liệu                
tiếng nói cần nhận dạng với các mẫu đã được học và lưu trữ trong bộ nhớ. Khó                
khăn cơ bản của nhận dạng tiếng nói đó là tiếng nói luôn biến thiên theo thời gian                
và có sự khác biệt lớn giữa tiếng nói của những người nói khác nhau, tốc độ nói,                
ngữ cảnh và môi trường âm học khác nhau. Xác định những thông tin biến thiên nào               
của tiếng nói là có ích và những thông tin nào là không có ích đối với nhận dạng                 
tiếng nói là rất quan trọng. Đây là một nhiệm vụ rất khó khăn mà ngay cả với các kỹ                  
thuật xác suất thống kê mạnh cũng khó khăn trong việc tổng quát hoá từ các mẫu               
tiếngnóinhữngbiếnthiênquantrọngcầnthiếttrongnhậndạngtiếngnói.
Cácnghiêncứuvềnhậndạngtiếngnóidựatrênbanguyêntắccơbản:
● Tín hiệu tiếng nói được biểu diễn chính xác bởi các giá trị phổ trong một              
khung thời gian ngắn (shortterm amplitude spectrum). Nhờ vậy ta có thể          
trích ra các đặc điểm tiếng nói từ những khoảng thời gian ngắn và dùng các              

● Phânkhung(frameblocking):Chiatínhiệuđầuvàothànhcác
đoạnnhỏkhoảng20ms30ms.Phânkhungtínhiệumỗikhung
Nmẫu,haikhungkềnhaulệchMmẫu.
● Lấycửasổ(Windowing):Lấycửasổnhằmgiảmsựgiánđoạn
củatínhiệuởđầuvàcuốimỗikhungvừađượcchia(vídụ
dùngcủasởHamming,…).
● BiếnđổiFFT(FastFourierTransform):Chuyểnđổimỗikhung
vớiNmẫutừmiềnthớigiansangmiềntầnsố.
● BiếnđổisangthangđoMel(MelfrequencyWrapping)
● HệsốCepstrum(CepstrumCoefficients)
2.MôhìnhMarkovẩn(HMM)
a.MôhìnhMarkov
i.Cáckháiniệmcơbản
Mô hình Markov là mô hình dựa trên thống kê để mô hình hóa các tín              
hiệu dạng chuỗi (theo thời gian) được sử dụng rất tốt trong các lĩnh            
vựcnhậndạng.
Cáctínhiệudạngchuỗi:
○ Chữviếttay
○ Tínhiệuâmthanh,ánhsáng
○ ChuỗiDNA
○ …
Phânloạimôhìnhchuỗitrạngthái
● Môhìnhchuỗiđơnđịnh
NguyễnBáCôngKHMTK19
4
XửLýNgônNgữNói
Làmôhìnhcáctrạngtháitrongđóliênkếtchuyểntừtrạngthái
nàysangtrạitháikháclàhoàntoànxácđịnh.Vídụ:môhình
chuyểntrạngtháicủađèngiaothông(đỏxanhvàng)
● Môhìnhchuỗixácsuất


t
P (q |q , q , , q )P(q , q , , q )= 
t t−1

t−2
. 
1 t−1

t−2
. 
1
= 
P (q |q )P(q |q ) P (q |q )P (q )= 
t t−1 t−1 t−2 2 1 1
iii.MôhìnhMarkov
MôhìnhMarkovđượcđịnhnghĩalà1môhìnhbaogồmcácthành
phần:
● Cáctrạngtháitrongmôhình
, 2, …, N1   
● Chuỗitrạngtháiquansátđược
, q , , q , , qq
1

2
 
t
 
T
● MatrậnchuyểnvịtrạngtháiAthểhiệnxácsuấtchuyểnvịtừ

i
< i < N
 1∀i∑
N
i=1
π
i
= 
TómgọnlạimôhìnhMarkovcóthểđượcgọilà1bộ (A, π)λ 
iv.VídụmôhìnhMarkov
Môhìnhnghiêncứuthờitiết
● Cáctrạngtháithờitiết:
Sun, Cloudy, Rain), N 3(    = 
● Xácsuấtbanđầu :π
π , π , π ) (1.0, 0.0, 0.0)(
Sun

Cloudy

Rain
=   
● MatrậnchuyểnvịtrạngtháiA:
b.MôhìnhMarkovẩn
■ Cáctrạngtháiẩn
MôhìnhMarkovđượctrìnhbàyởphầntrướctồntại1sốkhuyếtđiểm
NguyễnBáCôngKHMTK19
6
XửLýNgônNgữNói
trongtrườnghợptổngquát,khicáctrạngtháiquansátđượckhông
đồngthờilàcáctrạngtháimàmôhìnhđangthểhiện.Vớivídụmô

trongđó
P (q |q )1 ,a
ij
= 
j i
< i j < N
 0∀i,a
ij
>  j 
 1∀i∑
N
j=1
a
ij
= 
● Xácsuấtbanđầuπ
, π , , ππ
1

2
 
N
trongđó
 (q )1π
i
= P
i
< i < N
 1∀i∑
N

Chotrướcchuỗiquansát tươngứngvớimôhìnho , , , }O = {
1
o
2
. o
T
,xácđịnhxácsuấttươngứngcóđiềukiện .(A, B, π)λ   (O|λ)P
Vídụkhônghìnhthức:
○ Chotrước2môhìnhthờitiết và cùngvới1chuỗiλ
Summer
λ
Winter
quansáttrạngtháitảobiển trongthờigian1tuần.ChúngtaO
cầnxácđịnhxemtuầnđượcquansátthuộcvềmôhìnhnào
tươngứngvớimùanàotrongnămbằngcáchtínhđiểmchuỗi
Ochocả2môhìnhvàchọnmôhìnhcóđiểmcaonhất.
Bàitoán2:Sokhớp(Matching)
Chotrướcchuỗiquansát tươngứngvớimôhìnho , , , }O = {
1
o
2
. o
T
,xácđịnhchuỗitrạngtháinghiêncứutươngứng(A, B, π)λ  
saochoxácsuấttương đạtcựcđại.q, , , }Q = { q
2
. q
T
(O|λ)P
Vídụkhônghìnhthức:

Copyvàthứchiệnviệcrúttríchđặctrưngtùythuộcvàofilecấuhình.
○ HCompV
Côngcụkhởitạothamsốchocáchàmphânbốxácsuấtcótrongtừngtrạng
tháicủamôhìnhMarkovẩntươngứngvớidữliệuhuấnluyện.
○ HRest
Côngcụhuấnluyệnmôhìnhbằngviệctínhtoán,ướclượnglạicácthamsố
củamôhình.
○ HParse
Côngcụchuyểnđổi(parse)từdữliệuđầuvàothànhdữliệutheoformat
HTK.
○ HVite
Côngcụsokhớp/nhậndạngvớiđầuvàolàdữliệucầnnhậndạng,vàtrảvề
môhìnhtốtnhất/khớpnhấtmànóthuộcvào.
○ HResults
Côngcụthốngkê,đánhgiákếtquảnhậndạng.
2.Chuẩnbịdữliệu
Dữliệuthựcnghiệmđượclấytừdữliệuthuâmtrênlab:
■ K22_SV34(250filestươngứng250câu)
a.Tậpdữliệuhuấnluyện(train)
200files
b.Tậpdữliệutest
Gồm327files,làcáctừđượctáchratừ50câu.
Chúngtacũngcầnchuẩnbịcácfilesauchoviệccàiđặtmôhinh:
NguyễnBáCôngKHMTK19
10
XửLýNgônNgữNói
Cácfilepromptstươngứngvớicácfileâmthanh(wav),
Filetừđiểnbaogồmtấtcảcáctừtrongbộdữliệuthựcnghiệm,
ChuẩnbịcácfilechoviệchuấnluyệnmôhìnhdùngcôngcụHTK:
■ proto(prototypemodel)

■ Tạo2file"phones0.mlf"và"phones1.mlf":phones0chỉcó"sil"nhưng
phones1cóthêm"sp"
HLEdl*ddict.txtiphones0.mlfmkphones0.ledwords.mlf
HLEdl*ddict.txtiphones1.mlfmkphones1.ledwords.mlf
■ RúttríchđặctrưngMFCC_0_D_A
perlpl\listwavmfc.pltrain\wavtrain\mfc.scp
HcopyCconfigStrain\mfc.scp
■ Tạofileliệtkêdữliệuhuấnluyện
perlpl\mkTrainFile.pltrain\mfctrain\train.scp
■ Bước2.Khởitạomôhình
HCompVADT1CHCompV.cfgf0.01mStrain\train.scpMhmm\hmm0proto
■ Bước3.Tạomôhìnhchuẩn
perlpl\mkMacrosFile.plhmm\hmm0\vFloorshmm\hmm0\macros
perlpl\mkHmmdefsFile.plhmm\hmm0\protomonophones0hmm\hmm0\hmmdefs
■ Bước4.Huấnluyện3vòng>hmm3
HERestADT1CHERest.cfgIphones0.mlft250.0150.01000.0Strain\train.scp
Hhmm\hmm0\macrosHhmm\hmm0\hmmdefsMhmm\hmm1monophones0
HERestADT1CHERest.cfgIphones0.mlft250.0150.01000.0Strain\train.scp
Hhmm\hmm1\macrosHhmm\hmm1\hmmdefsMhmm\hmm2monophones0
HERestADT1CHERest.cfgIphones0.mlft250.0150.01000.0Strain\train.scp
Hhmm\hmm2\macrosHhmm\hmm2\hmmdefsMhmm\hmm3monophones0
■ Bước5.Thêm“sp”vàodanhsáchmôhình
NguyễnBáCôngKHMTK19
12
XửLýNgônNgữNói
perlpl\makesp.plhmm\hmm3\hmmdefshmm\hmm4\hmmdefshmm\hmm3\macros
hmm\hmm4\macros
■ Bước6.Liênkếtsilsp
HHEdHhmm\hmm4\macrosHhmm\hmm4\hmmdefsMhmm\hmm5sil.hed
monophones1

XửLýNgônNgữNói
■ Bước12.Huấnluyện2vòng>hmm15(môhìnhcuốicùng)
HERestBCHERest.cfgIwintri.mlfsstatsStrain\train.scpHhmm\hmm13\macros
Hhmm\hmm13\hmmdefsMhmm\hmm14tiedlist
HERestBCHERest.cfgIwintri.mlfsstatsStrain\train.scpHhmm\hmm14\macros
Hhmm\hmm14\hmmdefsMhmm\hmm15tiedlist
b.Nhậndạng
■ Chuẩnbịdữliệukiểmthửđúng/truthfile
Perlpl\prompts2mlf.pltest\truth.mlftest\prompts.txt
■ Chuẩnbịdữliệunhậndạng
perlpl\listwavmfc.pltest\wavtest\mfc.scp
HCopyT1CconfigStest\mfc.scp
perlpl\mkTrainFile.pltest\mfctest\test.scp
■ Parsegramthànhwdnet
HParsegram.txtwdnet
■ Thựchiệnnhậndạng
HViteT1CHVite.cfgHhmm\hmm15\macrosHhmm\hmm15\hmmdefsS
test\test.scpitest\recout.mlfwwdnetp0.0s5.0gram_dict.txttiedlist
■ Thựchiệnthốngkêkếtquảnhậndạng
HResultsItest\truth.mlftiedlisttest\recout.mlf>test\result.txt
4.Kếtquả
Kếtquảđượcthốngkêdựatrêntậpdữliệutest:
■ K22_SV34(327mẫulàcáctừđượctáchratừ50câu)
======================HTKResultsAnalysis=======================
Date:SatJun0113:23:122013
Ref:test\truth.mlf
Rec:test\recout.mlf
OverallResults
SENT:%Correct=35.38[H=115,S=210,N=325]
WORD:%Corr=35.38,Acc=31.38[H=115,D=0,S=210,I=13,N=325]