ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

TĂNG THỊ NGỌC QUỲNH

SỰ HỘI TỤ CỦA TỔNG CÁC BIẾN NGẪU
NHIÊN VÀ ÁP DỤNG CHO MÔ HÌNH HỒI QUY
TUYẾN TÍNH ĐƠN

LUẬN VĂN THẠC SĨ KHOA HỌC

Hà Nội - Năm 2017


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

TĂNG THỊ NGỌC QUỲNH

SỰ HỘI TỤ CỦA TỔNG CÁC BIẾN NGẪU
NHIÊN VÀ ÁP DỤNG CHO MÔ HÌNH HỒI
QUY TUYẾN TÍNH ĐƠN

Chuyên ngành: Lý thuyết xác suất và thống kê toán học
Mã số:

60460106
LUẬN VĂN THẠC SĨ KHOA HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC
TS. Tạ Công Sơn


Một số bổ đề quan trọng . . . . . . . . . . . . . . . . . . . . . .

7

1.3

Mô hình hồi quy tuyến tính đơn . . . . . . . . . . . . . . . . . .

11

1.4

Mô hình hồi quy EV tuyến tính đơn

. . . . . . . . . . . . . . .

13

Ước lượng bình phương cực tiểu của θ và β . . . . . . . .
Hiệu giữa βˆn và β, θˆn và θ . . . . . . . . . . . . . . . . .

14

1.4.1
1.4.2

Chương 2. Định lý giới hạn

16


Tài liệu tham khảo

53
68

2


LỜI MỞ ĐẦU
Phân tích hồi quy là một phương pháp phân tích thống kê để dự đoán các
giá trị của một hoặc một số biến phụ thuộc (biến đáp ứng) theo một tập hợp
các biến độc lập (các biến dùng để dự báo). Mô hình hồi quy EV (sai số trong
biến) đã được Deaton (1985) đưa ra để sửa lại những ảnh hưởng của lỗi lấy
mẫu và thực tế hơn mô hình hồi quy bình thường. Ý chính của luận văn là tính
vững hoàn toàn và tính vững mạnh của ước lượng βˆn và θˆn cho tham số chưa
biết β và θ dưới giả định hai dãy sai số {δi , i ≥ 1}, {εi , i ≥ 1} là hai dãy biến
ngẫu nhiên NSD.
Luận văn trình bày về sự hội tụ của tổng các biến ngẫu nhiên và áp dụng
cho mô hình hồi quy tuyến tính đơn. Luận văn gồm 3 chương:

❼ Chương 1. Kiến thức chuẩn bị
Nội dung chương này bao gồm các kiến thức cơ bản liên quan tới đề tài :
– Một số định nghĩa: Dãy NSD, dãy bị chặn ngẫu nhiên, định nghĩa
hội tụ hoàn toàn và hội tụ hầu chắc chắn . . .
– Một số bổ đề quan trọng: Các tính chất của dãy NSD, dãy bị chặn
ngẫu nhiên . . .
– Mô hình hồi quy tuyến tính đơn cổ điển.
– Mô hình hồi quy EV tuyến tính đơn.




Chương 1
Kiến thức chuẩn bị
1.1

Một số khái niệm

Cho (Ω, F, P) là không gian xác suất và {Xn , n ≥ 1} là dãy các biến ngẫu
nhiên được định nghĩa trên không gian xác suất đó. Ta sẽ bắt đầu với một số
khái niệm.
Định nghĩa 1.1.1 ([9, trang 167]). Hàm φ : Rn → R được gọi là siêu cộng
tính (superadditive) nếu
φ(x ∨ y) + φ(x ∧ y) ≥ φ(x) + φ(y)

∀x, y ∈ Rn ,

trong đó ∨ là kí hiệu lấy giá trị lớn nhất từng thành phần, ∧ là kí hiệu lấy giá
trị nhỏ nhất từng thành phần.
Ví dụ 1.1.2. Các hàm đơn điệu (tăng, giảm) đều là hàm siêu cộng tính. Xét
φ : R2 → R được xác định như sau: φ(x1 , x2 ) = x1 + x2 .
Khi đó với x = (x1 , x2 ) ∈ R2 , y = (y1 , y2 ) ∈ R2 sao cho x1 < y1 , x2 < y2 thì
hàm φ là hàm siêu cộng tính.
Định nghĩa 1.1.3 ([9, trang 167]). Véc-tơ ngẫu nhiên X = (X1 , X2 , ..., Xn )
được gọi là NSD (negatively superadditive dependent) nếu
Eφ(X1 , X2 , ..., Xn ) ≤ Eφ(X1∗ , X2∗ , ..., Xn∗ ) ,

(1.1)

trong đó X1∗ , X2∗ , ..., Xn∗ là độc lập sao cho Xi∗ và Xi có cùng phân bố với mỗi


∀ε > 0.

n=1

Định nghĩa 1.1.8 ([2, trang 81]). Cho dãy {Xn , n ≥ 1} các biến ngẫu nhiên.
(i) Nếu P {ω : ∃ lim Xn (ω)} = 1 thì ta nói dãy {Xn , n ≥ 1} hội tụ hầu chắc
n→∞

chắn.
(ii) Nếu X là một biến ngẫu nhiên và P {ω : lim Xn (ω) = X(ω)} = 1 thì ta
n→∞

nói dãy {Xn , n ≥ 1} hội tụ hầu chắc chắn tới X.
6


1.2

Một số bổ đề quan trọng

Bổ đề 1.2.1 ([2, trang 82]). (i) Điều kiện cần và đủ để dãy {Xn , n ≥ 1} hội
tụ hầu chắc chắn là với mọi ε > 0
lim P ( sup |Xm − Xk | > ε) = 0.

n→∞

(1.2)

m,k≥n

n→∞ i≥n

Nhận xét 1.2.3.

Ai ) = 0).

n=1 i≥n

❼ Theo Định nghĩa 1.1.7, (ii) Bổ đề 1.2.1 và Bổ đề Borel
C

- Cantelli ta suy ra nếu Xn −
→ θ thì Xn → θ h.c.c. Điều ngược lại là đúng
nếu Xn là dãy biến ngẫu nhiên độc lập.
p

C

❼ Qua định nghĩa của dãy hội tụ hoàn toàn, suy ra nếu Xn −
→ θ thì Xn →
− θ.
C

Bổ đề 1.2.4. Cho dãy {Xn , n ≥ 1} các biến ngẫu nhiên. Nếu Xn −
→ 0 và
an → 0 thì
C

Xn + an −
→ 0.

n=1

P (|Xn + an | > ε) +
n=1

P (|Xn + an | > ε)
n=n0 +1

∞

≤n0 +
n=1

ε
P (|Xn | > ) < ∞.
2

Bổ đề 1.2.5 ([5, trang 134-135]). Giả sử (X1 , X2 , ..., Xn ) là NSD. Ta có
(i) (−X1 , −X2 , ..., −Xn ) là NSD.
(ii) Nếu g1 , g2 , ..., gn là các hàm không giảm, khi đó (g1 (X1 ), g2 (X2 ), ..., gn (Xn ))
là NSD.
Bổ đề 1.2.6 ([5, trang 134-135]). Giả sử X = (X1 , X2 , ..., Xn ) và Z = (Z1 , Z2 , ..., Zn )
là vectơ ngẫu nhiên độc lập. Nếu cả X và Z đều là NSD thì (X1 + Z1 , X2 +
Z2 , ..., Xn + Zn ) là NSD.
Bổ đề 1.2.7 ([9, trang 169]). Giả sử X = (X1 , X2 , ..., Xn ) và Z = (Z1 , Z2 , ..., Zn )
là vectơ ngẫu nhiên độc lập. Nếu cả X và Z đều là NSD thì khi đó: ∀β ∈ R :
(X1 + βZ1 , X2 + βZ2 , ..., Xn + βZn ) là NSD.
Chứng minh. Ta xét ba trường hợp.

❼ β = 0 suy ra (X1 , X2 , ..., Xn ) là NSD.

và

n

P (X1 > x1 , X2 > x2 , ..., Xn > xn ) ≤
i=1

Bổ đề 1.2.9 ([8, trang 345]). Cho {Xi , 1 ≤ i ≤ n} là dãy ngẫu nhiên NSD với
n

mômen cấp hai hữu hạn. Cho

Bn2

EXi2 . Khi đó, với mọi x > 0, α > 0 và

=
i=1

0 < β < 1,
n

P

Xi ≥ x

max

1≤k≤n




Chứng minh. Ta chứng minh bất đẳng thức thứ nhất. Đầu tiên ta sẽ chỉ ra
b

E|X|α I(|X| ≤ b) = −bα P (|X| > b) + α

xα−1 P (|X| > x)dx.
0

Ta có
+∞
α

xα I(x < b)dP (|Xn | ≤ x)

E|Xn | I(|Xn | ≤ b) =
0
b

xα dP (|Xn | ≤ x)

=
0
b

xα d(1 − P (|Xn | > x))

=
0


α

xα−1 P (|Xn | > x)dx

E|Xn | I(|Xn | ≤ b) = −x P (|Xn | > x) + α
0
b

xα−1 P (|Xn | > x)dx

= −bα P (|Xn | > b) + α
0
b

≤ bα P (|Xn | > b) + αC

xα−1 P (|X| > x)dx
0
b

α

xα−1 P (|X| > x)dx

≤ Cb P (|X| > b) + αC
0
α

α

b

xα−1 P (|Xn |I(|Xn | > b) > x)dx

=α
0

+∞

xα−1 P (|Xn |I(|Xn | > b) > x)dx

+α
b
b

xα−1 P (|Xn | > b)dx

=α
0

+∞

xα−1 P (|Xn | > x)dx

+α
b
b

xα−1 P (|X| > b)dx



trong đó các tham số (θ, β) được cố định nhưng chưa biết, giá trị x được cho
hoặc được chọn bởi thí nghiệm và trong đó ε ∼ N (0, σ 2 ) và cho các quan sát
khác nhau của ε là độc lập cùng phân bố.
Đây là một mô hình hồi quy tuyến tính, nó được gọi như vậy vì nó tuyến tính
theo θ, β và ε không phụ thuộc vào x. Biến x được gọi là biến giải thích và biến
ngẫu nhiên H được gọi là biến phụ thuộc.
Cho (η1 , η2 , ..., ηn ) là n quan sát độc lập, với giá trị hồi quy (x1 , x2 , ..., xn ). Khi
đó
ηi = θ + βxi + εi ,

i = 1, ..., n

trong đó εi là các biến ngẫu nhiên độc lập cùng phân bố N (0, σ 2 ).
Bây giờ ta sẽ xét phương pháp bình phương cực tiểu cho ước lượng tham số
θ và β. Phương pháp ước lượng bình phương tối thiểu là xác định giá trị của
θ, β sao cho

n

(ηi − θ − βxi )2 → min.

L(θ, β) =
i=1

Cụ thể
n

(ηi − θ − βxi )2



ηi2 + nθ2 + β 2

=
i=1

n

θηi − 2
i=1
n

x2i − 2θ
i=1

n

θxi ηi + 2
i=1
n

ηi − 2β
i=1

θβxi
i=1
n

xi ηi + 2θβ
i=1

1
=
n
1
=
n

n

ηi2
i=1
n

x2i ,
i=1

1
xn ηn =
n

n

xi ηi .
i=1

Khi đó
L(θ, β) = nηn2 + nθ2 + nβ 2 x2n − 2nθ¯
ηn − 2nβxn ηn + 2nθβ x¯n .
12


=0
∂β

(1.8)

suy ra
βˆn x2n − ηn xn + θˆn x¯n = 0 .

(1.9)

Từ (1.8) ta nhân hai vế phương trình với x¯n
x¯n θˆn − x¯n η¯n + βˆn x¯2n = 0 .

(1.10)

Lấy (1.9) trừ (1.10) ta được
βˆn x2n − ηn xn + θˆn x¯n − x¯n θˆn + x¯n η¯n − βˆn x¯2n = 0
⇔ βˆn (x2n − x¯2n ) =

ηn xn − x¯n η¯n

⇔

βˆn

ηn xn − x¯n η¯n

⇔

βˆn

thêm chi tiết về mô hình hồi quy EV, ta có thể tham khảo Fuller và cộng sự
(1987), Fusek và Fusková (1989), Mittag (1989), Carrolletal (1995), Hslao và
cộng sự (1997), . . .
Mô hình hồi quy tuyến tính đơn
ηi = θ + βxi + εi ,

ξi = xi + δi , 1 ≤ i ≤ n,

(1.11)

trong đó

❼ θ, β, x1 , x2 , ... là các hằng số chưa biết (tham số)
❼ ( 1 , δ1 ), ( 2 , δ2 ), ... là các véctơ ngẫu nhiên hai chiều
❼ ξi , ηi , i = 1, 2, ... là biến quan sát.
Từ (1.11) ta có:
ηi = θ + βξi + νi , νi = εi − βδi , 1 ≤ i ≤ n.

(1.12)

Dạng (1.12) là mô hình của ηi theo ξi , mô hình (1.11) được viết lại như sau


η = θ + βx + , ξ = x + δ , 1 ≤ i ≤ n;
i
i
i
i
i
i


14

θˆn = η¯n − βˆn ξ¯n ,

(1.14)


trong đó ξ¯n =

n
i=1 ξi ,

1
n

n
i=1 ηi ,

1
n

η¯n =

δ¯n =

1
n

n

n

n

2

β 2 ξi2

θ +
i=1

−2

i=1
n

ηi2 + nθ2 + β 2

=
i=1

n

θηi − 2
i=1
n

ξi2 − 2θ
i=1



η2

n

i=1
n

ξi ,
i=1

ξ2

n

1
=
n
1
=
n

n

ηi2
i=1
n

ξi2 ,
i=1


suy ra
θˆn − η¯n + βˆn ξ¯n = 0 .

❼

∂L(θ, β)
= 2nβn ξn2 − 2nηn ξn + 2nθn ξ¯n
∂β

❼

∂L(θˆn , βˆn )
=0
∂β

15

(1.16)


suy ra
βˆn ξn2 − ηn ξn + θˆn ξ¯n = 0 .

(1.17)

Từ (1.16) ta nhân hai vế phương trình với ξ¯n
ξ¯n θˆn − ξ¯n η¯n + βˆn ξ¯n2 = 0 .

(1.18)


=

.

Từ (1.16) suy ra
θˆn = η¯n − βˆn ξ¯n .
1.4.2

Hiệu giữa βˆn và β, θˆn và θ

Mệnh đề 1.4.1. Cho βˆn là ước lượng của β. Khi đó,
βˆn − β =

n
i=1 (xi

n
i=1 (δi

− δ¯n )εi − β
n
¯ 2
i=1 (ξi − ξn )

− x¯n )(εi − βδi ) +

n
i=1 (δi


=
i=1

16

i

− θ − β x¯n − ¯n )

− δ¯n )2

.

(1.19)


n

(xi + δi − x¯n − δ¯n )2

−β
i=1
n

[(xi − x¯n ) + (δi − δ¯n )][β(xi − x¯n ) + ( i − ¯n )]

=
i=1

n

n

n

(xi − x¯n )( i − βδi ) +

=
i=1

n

(δi − δ¯n ) i − β
i=1

i=1

n

+ (β δ¯n − ¯n )

n

i=1

i=1
n

n

(δi − δ¯n )εi − β


(δi − δ¯n ) = 0)

xi − nx¯n = nx¯n − nx¯n = 0, tương tự
i=1

i=1

Vậy ta có:
βˆn − β =

n
i=1 (xi

n
i=1 (δi

− δ¯n )εi − β
n
¯ 2
i=1 (ξi − ξn )

− x¯n )(εi − βδi ) +

17

n
i=1 (δi

− δ¯n )2


Sự hội tụ hoàn toàn của tổng các biến ngẫu
nhiên NSD

Trong mục này sẽ trình bày định lí: Hội tụ hoàn toàn cho tổng các biến
ngẫu nhiên NSD, nó được xem như là chìa khóa để chứng minh tính vững hoàn
toàn của ước lượng bình phương cực tiểu trong mô hình hồi quy EV với sai số
NSD trong Chương 3.
Định lý 2.1.1 ([9, trang 171]). Cho {Xn , n ≥ 1} là dãy biến ngẫu nhiên NSD,
bị chặn ngẫu nhiên bởi biến ngẫu nhiên X sao cho E|X|2p < ∞ với p > 0 nào
đó. Giả định thêm rằng EXn = 0 nếu p > 1. Cho {ani , i ≥ 1, n ≥ 1} là một
mảng các hằng số thỏa mãn:
max |ani | = O(n−1/p )

(2.1)

1≤i≤n

và








n

|ani |p = O(n−δ )


ani Xi > ε

max

1≤j≤n

i=1

19

< ∞,

∀ε > 0.

(2.3)


Trước khi chứng minh định lí, ta viết a+ = max(0, a), a− = max(0, −a).
Cho C > 0 là hằng số dương (có thể khác nhau ở một vài chỗ), cho a = O(b)
là kí hiệu của a ≤ Cb.
−
+
−
Chứng minh. Nếu sử dụng a+
ni và ani , ani = ani − ani thì:
∞

j



1≤j≤n

a−
ni Xi > ε

−

i=1

ε
>
2

∞

+

j

P
n=1

a−
ni Xi >

max

1≤j≤n


−q
Xni (2) = (Xi − a−1
< ani Xi ≤ ε/N )
ni n )I(n
−q
−q
Xni (3) = (Xi + a−1
ni n )I(−ε/N ≤ ani Xi < −n )
−q
−1 −q
Xni (4) = (Xi + a−1
ni n )I(ani Xi < −ε/N ) + (Xi − ani n )I(ani Xi > ε/N ) .

Dễ dàng thấy rằng Xni (1) + Xni (2) + Xni (3) + Xni (4) = Xi . Ta có:
j

∞

P

max

1≤j≤n

n=1

ani Xi > 4ε
i=1
j


ani Xni (2)

P
n=1

ani Xni (4) > 4ε
i=1
j

max

1≤j≤n

ani Xni (1) +
i=1

j

+

j

i=1
j

ani Xni (3) +
i=1

ani Xni (2)



∞

≤

1≤j≤n

j
i=1 ani Xni (4)

+ max

1≤j≤n

n=1
∞

+

ani Xni (1) > ε

max

1≤j≤n

P
n=1

+



∞

j

P

j
i=1 ani Xni (2)

+ max

i=1
j

ani Xni (4) > ε

max

1≤j≤n

i=1

= I1 + I2 + I3 + I4 .
Bước 1: Chứng minh I1 < ∞. Chú ý rằng:
max |ani (Xni (1) − EXni (1))| ≤ max |ani Xni (1)| + max |Eani Xni (1)|

1≤i≤n

1≤i≤n

n

E[ani Xni (1)]2 − [Eani Xni (1)]2

=
i=1
n

E[ani Xni (1)]2 .

≤
i=1

Ta có:
−q
−q
Xni (1) = Xi I(|ani Xi | ≤ n−q ) − a−1
ni n I(ani Xi < −n )
−q
−q
+ a−1
ni n I(ani Xi > n )

⇒

ani Xni (1) = ani Xi I(|ani Xi | ≤ n−q ) − n−q I(ani Xi < −n−q )
+ n−q I(ani Xi > n−q )
21

(2.4)

E[ani (Xni (1) − EXni (1))]2

Bn :=
i=1
n

E[ani Xni (1)]2

≤
i=1

n
−q(2−p)

E|ani Xi |p

≤ 2n

i=1
n

≤ Cn−(2−p)q

|ani |p E|X|p

i=1
−(2−p)q −δ

≤ Cn



do |Xni (1)| ≤ |Xi | nên |Xni (1)|2 ≤ |Xi |2 ⇒ E|Xni (1)|2 ≤ E|Xi |2 .
Áp dụng Bổ đề 1.2.10 và (2.2), ta có:
n

a2ni E|X|2 = O((logn)−1 ).

Bn ≤ C

(2.6)

i=1

Cho n ≥ 1 cố định, xét:
−q
−q
gni (x) = xI(|x| ≤ n−q /ani ) − a−1
ni n I(x < −n /ani )
−q
−q
+ a−1
ni n I(x > n /ani ) ,

ta thấy hàm gni (x) là hàm không giảm. Theo giả thiết Xi , 1 ≤ i ≤ n là dãy
NSD, áp dụng Bổ đề 1.2.5 suy ra Xni (1) = gni (Xi ) là NSD.
Xét hàm :
f (t) = ani t − c ,
ta thấy f (t) là hàm không giảm, áp dụng Bổ đề 1.2.5 ta suy ra {ani (Xni (1) −
EXni (1)), 1 ≤ i ≤ n} là NSD.
Áp dụng Bổ đề 1.2.9 với x = ε, α = 2n−q , β = 1/2, ta có (2.4) - (2.6)

exp −

+C
n=1

ε2 /2
2(2εn−q + O((logn)−1 ))
23

.