LÝ THUYẾT
XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC
Phan Văn Tân
Bộ mô Khí tượng


CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
• Bài toán: Cho X là đại lượng ngẫu nhiên có phân bố F(x,θ) (hoặc
f(x,θ)), dạng của F(x,θ) đã biết nhưng chưa biết θ. Hãy xác định θ
• Thực tế, rất khó hoặc không thể xác định chính xác giá trị θ nên
người ta chỉ ước lượng nó thông qua tập mẫu của X
• Giả sử có mẫu (X1, X2,…, Xn) của X, để thay thế cho θ ta lập đại
lượng thống kê θˆ( X 1 , X 2 ,..., X n )
• Định nghĩa: Đại lượng thống kê θˆ( X 1 , X 2 ,..., X n )
được chọn dùng để thay thế cho tham số θ được gọi là hàm ước
lượng của θ (hay ngắn gọn hơn là ước lượng của θ)
• Chú ý:θˆ( X 1 , X 2 ,..., X n ) là hàm của (X1,..,Xn) Î biến ngẫu nhiên
• Với mỗi (x1,…,xn) thì θˆ( X 1 , X 2 ,..., X n ) là một điểm trên trục số
⇒ θˆ( X 1 , X 2 ,..., X n ) còn gọi là ước lượng điểm của θ


CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
• Ví dụ: Xét đại lượng ngẫu nhiên X với mẫu (X1, X2,…, Xn)
• Khi đó: mx = M [ X ], Dx ≡ σ x2 = D[ X ] = M [( X − mx ) 2 ]
là các đặc trưng chính xác (các tham số chính xác) của X
1 n
X = ∑ X i là một ước lượng mx
n i =1
1 n

2
2
M [ Dx ] ≡ M [ s x ] = M [ ∑ ( X i − X ) ] = M [ ∑ ( X i − X ) 2 ]
n i =1
n
i =1
Vì Xi nhận các giá trị của X và có cùng phân bố với X nên
M[Xi ] = M[X ] = M[X ]


CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết

(

)

2⎤
1 ⎡n
~
⇒ M [ Dx ] = M ⎢∑ ( X i − M [ X i ]) − ( X − M [ X ]) ⎥ =
n ⎣ i =1
⎦
n
1 ⎡
⎤
2
2
= M ⎢∑ ( X i − M [ X ]) + ( X − M [ X ]) − 2( X i − M [ X ])( X − M [ X ]) ⎥ =
n ⎣ i =1

1
1
2
+ M [∑ ( X − M [ X ]) ] = M [n ( X − M [ X ]) 2 ] = M [( X − M [ X ]) 2 ] = D[ X ]
n
n
i =1
n
n
2
2
− M [∑ ( X i − M [ X ])( X − M [ X ])] = − M [( X − M [ X ]) ∑ ( X i − M [ X i ])] =
n
n
i =1
i =1
2
=
−
M [( X − M [ X ])n( X − M [ X ])] =
~
⇒ M [ Dx ] = Dx − D[ X ]
n
= −2 M [( X − M [ X ]) 2 ] = −2 D[ X ]


CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết

(

n
n

⇒ D[ X ] =

1
Dx
n


CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
n −1
n −1 2
~
Dx =
M [ Dx ] =
σ
n
n
n
1 n
~* *2
1
~
2
2
• Nếu dùng Dx = sx =
(
X

~
M [ Dx ] =
Dx = Dx = σ 2
⇒ M [ Dx ] =
n −1
n −1 n
1 n
~* *2
Tức Dx = sx =
( X i − X )2 là ước lượng không chệch của Dx
∑
n − 1 i =1
~
Đó cũng chính là lý do tại sao người ta thường dùng Dx*
Tuy nhiên, khi n đủ lớn thì tỷ số (n–1)/n≈1 do đó chúng hầu
như không sai khác nhau


CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
• Độ chính xác của ước lượng không chệch
• Giả sử θˆ( X 1 ,..., X n ) là ước lượng không chệch của θ, và
D[θˆ( X ,..., X )] = σ 2
1

n

θ

Từ bất đẳng thức Tchebychev ta có:


n→ +∞

D[θˆ( X 1 ,..., X n )] = 0
b) nlim
→ +∞

thì θˆ( X 1 ,..., X n ) là ước lượng vững của θ


CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.1 Hàm ước lượng của một tham số chưa biết
• Chứng minh:
• Áp dụng bất đẳng thức Tchebychev:
D[θˆ( X 1 ,..., X n )]
ˆ
ˆ
lim P(| θ ( X 1 ,..., X n ) − M [θ ( X 1 ,..., X n )] | < ε ) ≥ 1 −
n→ +∞
ε2
Viết lại:
ˆ( X ,..., X )]
θ
D
[
1
n
lim P(| θˆ( X 1 ,..., X n ) − θ − ( M [θˆ( X 1 ,..., X n )] − θ ) | < ε ) ≥ 1 −
n→+∞
ε2

⎠ ⎥⎦
⎢⎣⎝
Người ta gọi đây là bất đẳng thức thông tin hay bất đẳng
thức Crame–Rao


CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.1 Hàm ước lượng của một tham số chưa biết
• Ví dụ: Cho X có phân bố chuNn N (μ,σ). Chứng minh rằng kỳ vọng
mẫu X là ước lượng hiệu quả của μ=M[X]
1 x−μ 2
− (
)
1
σ
2
• Giải: Ta có: f ( x, μ ) =
e
2π σ
1 x−μ 2
∂ ln f ( x, μ ) x − μ
⇒ ln f ( x, μ ) = − ln 2π σ − (
)
⇒
=
2 σ
∂μ
σ2
⎡⎛ ∂ ln f ( x, μ ) ⎞ 2 ⎤
⎡⎛ X − μ ⎞ 2 ⎤ 1

CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Xét đại lượng ngẫu nhiên X có mật độ phân bố f(x,θ) với dạng của
f(x,θ) đã biết, còn θ chưa biết và cần phải ước lượng. Giả sử
(X1,…,Xn) là một mẫu của X. Khi đó, hàm
L(θ ) = f ( X 1 , θ ) × f ( X 2 , θ ) × ... × f ( X n , θ )
được gọi là hàm hợp lý của mẫu.
Gọi θˆ( X 1 ,..., X n ) là ước lượng của θ. Cần xác định θˆ( X 1 ,..., X n )
sao cho: L(θˆ( X 1 ,..., X n )) ≥ L(θ ) víi ∀θ ∈ Θ
Trong đó Θ là miền giá trị của θ
• Vì hàm logarit là hàm đơn điệu nên thay cho L(θ) người ta dùng
hàm H(θ)=lnL(θ), và θˆ( X 1 ,..., X n ) được xác định từ
H (θˆ( X ,..., X )) ≥ H (θ ) víi ∀θ ∈ Θ
1

n


CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Khi đó, nếu tồn tại đạo hàm thì θˆ( X 1 ,..., X n )
là nghiệm của phương trình dH (θ )
=0
dθ
Phương trình này được gọi là phương trình hợp lý cực đại
N ghiệm θˆ( X 1 ,..., X n ) của phương trình này được gọi là
ước lượng hợp lý cực đại của θ

• N hư vậy, các bước để tìm ước lượng hợp lý cực đại của θ:
– Lập hàm hợp lý L(θ) của mẫu

⎦
2π σ
1 n
⇒ H ( μ ) = ln L( μ ) = − 2 ∑ ( X i − μ ) 2 − n ln 2π σ
2σ i =1
n
dH ( μ ) 1 n
⇒
= 2 ∑( Xi − μ) = 0 ⇒ ∑( Xi − μ) = 0
dμ
σ i =1
i =1
n
n
n
1 n
⇒ ∑ X i − ∑ μ = 0 ⇒ nμ = ∑ X i ⇒ μˆ ( X 1 ,..., X n ) = ∑ X i = X
n i =1
i =1
i =1
i =1
d 2H (μ )
n
=
−
< 0 ⇒ μˆ là hàm hợp lý đạt giá trị cực đại
2
2
dμ
σ

−
)
∑
i
∂H (θ )
n
π
2
i =1
i =1
=
−n
=
− =0
4
3
∂σ
σ
σ
4σ
2π σ
Giải ra ta được:
1 n
1 n
μˆ ( X 1 ,..., X n ) = ∑ X i = X σˆ ( X 1 ,..., X n ) = ∑ ( X i − X ) 2
n i =1
n i =1

(



2

1

n

• Nhận xét: Từ định nghĩa ta thấy, nếu γ càng lớn và khoảng (θˆ1 , θˆ2 )
càng nhỏ thì ước lượng của θ càng chính xác
• Giải: Xét một số ví dụ


CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.3 Ước lượng tham số bằng khoảng tin cậy
• Ví dụ 1: Cho X∈N (μ,σ) với σ đã biết và (X1,…,Xn) là một mẫu
của X. Hãy xác định ước lượng khoảng của μ với độ tin cậy γ
• Giải: Xét biến ngẫu nhiên U = X − μ Khi đó U∈N (0,1)
σ/ n
Với γ cho
uγ
1 2
− x
1
2
trước, giải ra
⇒ P(| U |≤ uγ ) = P( −uγ ≤ U ≤ uγ ) =
e
dx
=
γ

6.3 Ước lượng tham số bằng khoảng tin cậy
• Ví dụ 2: Cho X∈N (μ,σ) với σ chưa biết và (X1,…,Xn) là một mẫu
của X. Hãy xác định ước lượng khoảng của μ với độ tin cậy γ
X −μ
• Giải: Ở đây ta xét biến ngẫu nhiên t = *
sx / n
n
1
*2
2
(
X
−
X
)
với sx =
Khi đó t∈St(n–1)
∑
i
Với γ cho
n − 1 i =1
tγ
trước, giải ra
⇒ P(| t |≤ tγ ) = P( −tγ ≤ t ≤ tγ ) = ∫ f ( x, n − 1)dx = γ tìm được uγ
−tγ

⎛
s*x
s*x ⎞
X −μ

và σ là các tham số chưa biết; X=X(n,m), β=β(m), Y=Y(n). Yêu
cầu xác định các ước lượng
βˆ1 , βˆ2 ,..., βˆm (là các hàm của (Y1,…,Yn)) sao cho:
n
R 2 = ∑ (Yi − ( xi1 β 1 + xi 2 β 2 + ... + xim β m )) 2 đạt giá trị nhỏ nhất
i =1

Tức cần tìm βˆ1 , βˆ2 ,..., βˆm thỏa mãn
• Giải:

2

⎞
⎛
⎞
⎛
ˆ
⎜
⎟
⎜
Yi − ∑ xij β j ⎟⎟
∑
∑
⎜
⎜ Yi − ∑ xij β j ⎟ = βmin
1 ,.., β m
i =1 ⎝
j =1
i =1 ⎝
j =1

j =1
⎠
⎠
n

là đạo hàm R2 theo các βk phải bằng 0:

n
m
⎛
⎞
∂R 2
= − 2 ∑ ⎜⎜ Yi − ∑ xij β j ⎟⎟ xik = 0, k = 1,2,..., m
∂β k
i =1 ⎝
j =1
⎠
⎛ Y1 ⎞
⎛ x11 ... x1m ⎞
⎛ β1 ⎞
Dưới dạng ma trận:
⎜ ⎟
⎜
⎟
⎜ ⎟
Y = ⎜ ... ⎟, X = ⎜ ... ... ... ⎟, β = ⎜ ... ⎟
⎜Y ⎟
⎜x
⎟
⎜β ⎟

⇒ βˆ là ước lượng không chệch của β
Tương tự, có thể tính được:
D [ βˆ ] = σ 2 ( X T X ) −1
HẾT CHƯƠNG 6