Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov
Chơng 6
Sơ lợc về quá trình ngẫu nhiên v xích
Markov

i. khái niệm về quá trình ngẫu nhiên
Một quá trình ngẫu nhiên {X(t), tT} là một tập hợp các biến ngẫu nhiên
X(t), có nghĩa là một tT thì X(t) là một biên ngẫu nhiên.
Chỉ số t thờng là chỉ thời gian và do đó ta coi X(t) nh là trạng thái của
quá trình thời gian t. Chẳng hạn ta có thể coi X(t) là
a. Tổng số khách hàng đã vào một siêu thị trong khoảng thời gian t.
b. Tổng số khách hàng bớc vào một siêu thị ở thời điểm t.
c. Tổng số doanh thu của một siêu thị trong khoảng thời gian t.

Tập hợp T đợc gọi là tập chỉ số của quá trình ngẫu nhiên đợc gọi là
quá trình rời rạc theo thời gian.
Nếu T là một khoảng đờng thẳng thực thì quá trình ngẫu nhiên đợc gọi
là quá trình liên tục theo thời gian.

Thí dụ:
a. {X
n
, n = 0, 1, 2, } là một quá trình ngẫu nhiên rời rạc với tập chỉ số
là những số nguyên không âm.
LờVnPhongTrnTrngNguyờn,HKTQD
238
Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov
b. {X(t), t 0} là một quá trình ngẫu nhiên liên tục theo thời gian mà tập
chỉ số là các số thực không âm.

Tập hợp tất cả các giá trị có thể có mà các biến ngẫu nhiên X(t) có thể

, , i
n-1
)
ý nghĩa: Điều kiện nêu trong định nghĩa muốn nói rằng xác suất có điều kiện
của trạng thái tơng lai X
n+1
khi biết các trạng thái quá khứ X
0
, X

, , X
n-1

và trạng thái hiện tại X
n
thì chỉ phụ thuộc vào trạng thái hiện tại X
n
mà thôi.

Ghi chú 1: Nếu ký hiệu P(X
n+1
=jX
n
=i) là P
ij
thì P
ij
gọi là xác suất truyền
một bớc. Do các suất của mọi biến cố đều không âm và do quá trình thể nào
cũng phải ở voà một trạng thái nào đó nên ta có:
Ghi chú 2: Tơng tự nếu ký hiệu P
ij
(n)
là xác suất truyền n bớc thì ta có:
P
ij
(n)
=P(X
m+n
=jX
m
=i)

Ghi chú 3: Nếu P
ij
không phụ thuộc vào n, tức là
P(X
n+1
=jX
n
=i)= P(X
1
=jX
0
=i) (n = 0, 1, 2, )
thì ta có một quá trình dừng.

Thí dụ: Giả sử việc ngày mai trời ma hay nắng chủ phụ thuộc vào tình hình

ij
(n)
và các xác suất truyền n bớc là P
ij
(n)
từ đó ta có phơng trình sau:
P
ij
(n)
=
PP
m)-(n
kj
ok
(m)
ik



=
ý nghĩa: P
ik
(m)
P
kj
(n-m)
là xác suất có điều kiện để xuất phát từ trạng thái i quá
trình sẽ chuyển đến trạng thái k sau m bớc, rồi chuyển đến trạng thái j sau
(n-m) bớc. Từ đó nếu lấy tổng các xác suất có điều kiện này với mọi trạng
thái k có thể có (k=0, 1, 2, ) ta sẽ đợc xác suất P




=
======
====
===
0
00
0
0
0
0

Nhận xét: Nếu m=1 và n=2 thì ta có
LờVnPhongTrnTrngNguyờn,HKTQD
241
Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov



=
=
0
2
k
kjik
)(
ij
PPP

,,
,,

Từ đó
P
(2)
=P
(2)
=
6040
3070
,,
,,
.
6040
3070
,,
,,
=
480520
390610
,,
,,` P
P
(4)
=P
(4)

n
=j) tức là muốn tính xác suất không điều
kiện để trong tơng lai (ở bớc n) hệ sẽ ở vào trạng thái j thì ta có:
LờVnPhongTrnTrngNguyờn,HKTQD
243
Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov
)iX(PP
)iX(P)iXjX(P)jX(P
i
)n(
ij
n
i
n
==
=====



=

=
0
0
00
0

Nh vậy nếu biết đợc quy luật phân phối xác suất của trạng thái ban
đầu, chẳng hạn
P(X

4
=0) = (0,4)P
00
(4)
+ (0,6)P
10
(4)

Trong ma trận truyền P
P
(4)
tính ở trên ta đã có P
00
(4)
= 0,5749; P
10
(4)
=
0,5668.
Vì thế P(X
4
=0) = (0,4)(0,5749) + (0,6)(0,5668) = 0,5700.

iV. phân loại các trạng thái của xích markov
1.Trạng thái j gọi là đến đợc từ trạng thái i (ký hiệu ij) nếu P
ij
(n)
>0 với n
nào đó (n 0).


Nh vậy bất kỳ một trạng thái nào cũng thông nhau với bản thân nó vì
P
ii
(0)
=P(X
0
= i X
0
=i) = 1.
Ta thấy mối quan hệ thông nhau có 3 tính chất sau:
a. Trạng thái i thông nhau với trạng thái i với mọi i
0.
b. Nếu i thông nhau với j thì j cũng thông nhau với i.
c. Nếu i thông nhau với k và k thông nhau với j thì i thông với j.

Tính chất a và b đợc suy ra từ định nghĩa, còn tính chất bắc cầu c có thể
chứng minh nh sau:
Do ik và k j nên có tồn tại 2 số nguyên n và m sao cho
P
ik
n)
>0 và P
kj
(m)
>0.
Từ đó theo phơng trình Chapman- Kolmogorov ta có: 0
0

Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov

4. Ta ký hiệu f
ịj
là xác suất để quá trình bắt đầu từ trạng thái i sẽ lại quay lại
i ở một lúc nào đó:
Khi đó:
a. Nếu f
ij
=1 thì trạng thái i gọi là trạng thái lặp.
b. Nếu f
ij
<1 thì trạng thái i gọi là trạng thái quá độ.
Ta thấy nếu trạng thái i là lắp thì nó sẽ đợc quay lại vô hạn lần. Sở dĩ
nh vậy vì quá trình Markov không phụ thuộc vào quá khứ nên khi ở trạng
thái i thì xác suất quay lại trạng thái i bằng 1 và cứ nh vậy nên i sẽ đợc
quay lại vô hạn lần.
Nếu i là trạng thái quá độ thì ngời ta chứng minh đợc rằng kỳ vọng của
số lần mà quá trình quay lại i là một số hữu hạn
ii
f1
1

Trên đây là một số giới thiệu sơ lợc về quá trình ngẫu nhiên và xích
Markov. Mặc dù xuất phát từ lý thuyết xác suất, nhng giờ đây lý thuyết về
các quá trình ngẫu nhiên đã trở thành một ngành phát triển độc lập và có
nhiều ứng dụng trong các lĩnh vực tự nhiên và xã hội.