Chương III
Mô hình hồi quy bội
1. Mô hình hồi quy ba biến
- Hàm hồi quy tổng thể (PRF) và mô hình hồi quy tổng thể (PRM) có dạng:
PRF:
2 3 1 2 2 3 3
( / , )
i i i i
E Y X X X X
β β β
= + +
PRM:
1 2 2 3 3
;( 1 )
i i i i
Y X X U i N
β β β
= + + + = ÷
- Trong đó:
Y là biến phụ thuộc
2 3
,
i i
X X
là các biến độc lập
1
β
là hệ số chặn
2 3
,
β β

2 3
3
3
( / , )E Y X X
X
β
∂
=
∂
cho biết khi X
3
tăng một đơn vị thì trung bình của Y
thay đổi như thế nào trong điều kiện X
2
không thay đổi.
- Giả sử mọi giả thiết của phương pháp OLS đều được thoả mãn.
1.1. Ước lượng mô hình
- Từ tổng thể lập mẫu kích thước n:
{ }
2 3
( , , ); 1
i i i
W Y X X i n= = ÷
- Hàm hồi quy mẫu (SRF) và mô hình hồi quy mẫu (SRM) có dạng:
SRF:
1 2 2 3 3
ˆ ˆ ˆ
ˆ
i i i
Y X X

.
e
i
là các phần dư, thực chất là các ước lượng điểm của sai số ngẫu nhiên U
i
.
- Tổng bình phương các phần dư được xác định như sau:
2 2 2
1 2 2 3 3 1 2 3
1 1 1
ˆ ˆ ˆ ˆ ˆ ˆ
ˆ
( ) ( ) ( , , )
n n n
i i i i i i
i i i
e Y Y Y X X f
β β β β β β
= = =
= − = − − − =
∑ ∑ ∑
- Theo phương pháp OLS ta phải tìm
1 2 3
ˆ ˆ ˆ
, ,
β β β
sao cho:
1 2 3
ˆ ˆ ˆ
( , , )f Min

ˆ
ˆ ˆ ˆ
( , , )
ˆ ˆ ˆ
2 ( ) 0
ˆ
n
i i i
i
n
i i i i
i
n
i i i i
i
f
Y X X
f
X Y X X
f
X Y X X
β β β
β β β
β
β β β
β β β
β
β β β
β β β
β

1 1 1 1
2
1 3 2 2 3 3 3 3
1 1 1 1
ˆ ˆ ˆ
ˆ ˆ ˆ
ˆ ˆ ˆ
n n n
i i i
i i i
n n n n
i i i i i i
i i i i
n n n n
i i i i i i
i i i i
n X X Y
X X X X X Y
X X X X X Y
β β β
β β β
β β β
= = =
= = = =
= = = =

+ + =




=
=
∑
3 3
1
1
n
i
i
X X
n
=
=
∑
i i
y Y Y= −
2 2 2i i
x X X= −
3 3 3i i
x X X= −
- Giải hệ phương trình chuẩn (hệ Cramer) ta có:
1 2 2 3 3
ˆ ˆ ˆ
Y X X
β β β
= − −
2
2 3 3 3 2
1 1 1 1
2

ˆ
( )( ) ( )
n n n n
i i i i i i i
i i i i
n n n
i i i i
i i i
x y x x y x x
x x x x
β
= = = =
= = =
−
=
−
∑ ∑ ∑ ∑
∑ ∑ ∑
1.2. Các tham số đặc trưng của các ước lượng
- Phương sai và sai số chuẩn
2 2 2 2
2 3 3 2 2 3 3 2
2
1 1 1
1
2 2 2
2 3 3 2
1 1 1
( ) ( ) (2 )
1

2
1
2
2 2 2 2 2
2 3 3 2 2 23
1 1 1 1
ˆ
( )
( )( ) ( ) (1 )
n
i
i
n n n n
i i i i i
i i i i
x
Var
x x x x x r
σ
β σ
=
= = = =
= =
− −
∑
∑ ∑ ∑ ∑
2
22
2
1

1 1
ˆ ˆ
( , )
(1 )
n n
i i
i i
r
Cov
r x x
σ
β β
= =
−
=
−
∑ ∑
- Ma trận hiệp phương sai:
1 1 1 2 1 3
2 1 2 2 2 3
3 1 3 2 3 3
ˆ ˆ ˆ ˆ ˆ ˆ
( , ) ( , ) ( , )
ˆ ˆ ˆ ˆ ˆ ˆ ˆ
( ) ( , ) ( , ) ( , )
ˆ ˆ ˆ ˆ ˆ ˆ
( , ) ( , ) ( , )
Cov Cov Cov
Cov Cov Cov Cov
Cov Cov Cov

1
ˆ
3
n
i
i
e
n
σ
=
=
−
∑
1.3. Hệ số xác định bội của mô hình
- Công thức:
2 2 3 3
2
1 1
2
1
ˆ ˆ
1
n n
i i i i
i i
n
i
i
x y x y
ESS RSS

2
2
1
12
2 2
2
1 1
( )
n
i i
i
n n
i i
i i
x y
r
x y
=
= =
=
∑
∑ ∑

2
3
2
1
13
2 2
3

i i
i i
x x
r
x x
=
= =
=
∑
∑ ∑

+ Hệ số r
12
đo mức độ tương quan tuyến tính giữa Y và X
2
+ Hệ số r
13
đo mức độ tương quan tuyến tính giữa Y và X
3
+ Hệ số r
23
đo mức độ tương quan tuyến tính giữa X
2
và X
3
- Các hệ số tương quan cặp được xác định trong ma trận hệ số tương quan:
11 12 13 12 13
21 22 23 21 23
31 32 33 31 32
1

3
không đổi.
+ Hệ số r
13,2
đo mức độ tương quan tuyến tính giữa Y và X
3
khi X
2
không đổi.
+ Hệ số r
23,1
đo mức độ tương quan tuyến tính giữa X
2
và X
3
khi Y không đổi.
2. Mô hình hồi quy k biến
- Hàm hồi quy tổng thể (PRF) và mô hình hồi quy tổng thể (PRM) có dạng:
PRF:
2 3 1 2 2 3 3
( / , , , )
i i ki i i k ki
E Y X X X X X X
β β β β
= + + + +
PRM:
1 2 2 3 3
;( 1 )
i i i k ki i
Y X X X U i N

- Hệ số
2 3
( / , , , )
;( 2 )
k
m
m
E Y X X X
m k
X
β
∂
= = ÷
∂
cho biết khi X
m
tăng một đơn vị
thì trung bình của Y thay đổi như thế nào trong điều kiện các biến X
j
;

(
j m∀ ≠
)
không thay đổi.
- Ký hiệu các véc tơ:
4
1 21 1 1 1
2 22 2 2 2
2

:PRM Y X U
β
= +
- Giả sử mọi giả thiết của phương pháp OLS đều được thoả mãn.
2.1. Ước lượng mô hình
- Từ tổng thể lập mẫu kích thước n:
{ }
2
( , , , ) : 1
i i ki
W Y X X i n= = ÷
- Hàm hồi quy mẫu (SRF) và mô hình hồi quy mẫu (SRF) có dạng:
SRF:
1 2 2 3 3
ˆ ˆ ˆ ˆ
ˆ

i i i k ki
Y X X X
β β β β
= + + + +
SRM:
1 2 2 3 3
ˆ ˆ ˆ ˆ
ˆ
;( 1 )
i i i k ki i
Y X X X e i n
β β β β
= + + + + + = ÷

1
1
2
2
2
1
1
1
ˆ
ˆ
ˆ
ˆ
ˆ
ˆ
ˆ
ˆ
n
n
n
k
n
k
Y
e
e
Y
Y e

- Khi đó SRF và SRM có thể viết dưới dạng ma trận:
ˆ
ˆ
:SRF Y X
β
=
và
ˆ
:SRM Y X e
β
= +
- Tổng bình phương các phần dư được xác định như sau:
ˆ ˆ ˆ ˆ ˆ ˆ
( )( ) 2 ( )
T T T T T T T
e e Y X Y X Y Y X Y X X f
β β β β β β
= − − = − + =
- Theo phương pháp OLS ta phải tìm
ˆ
β
sao cho:
ˆ
( )f Min
β
→
- Hế số
ˆ
β
thoả mãn phương trình:

ˆ
( ) ( )

ˆ ˆ ˆ ˆ ˆ
( , ) ( , ) ( )
k
T
k
k k k
Var Cov Cov
Cov Var Cov
Cov X X
Cov Cov Var
β β β β β
β β β β β
β σ
β β β β β
 
 ÷
 ÷
= =
 ÷
 ÷
 ÷
 
- Do
2
σ
chưa biết nên được thay bởi một ước lượng điểm của nó:
2

- Giá trị của của R
2
đồng biến với số biến giải thích đưa vào mô hình. Tuy nhiên
tính chất này không đủ làm cơ sở để xem xét việc đưa thêm biến giải thích vào mô
hình vì giá trị của R
2
còn phụ thuộc vào bậc tự do của ESS (k) và RSS (n-k).
2. 4. Hệ số xác định bội đã điều chỉnh
2
R
- Công thức xác định:
2 2
/( ) 1
1 1 (1 )
/( 1)
RSS n k n
R R
TSS n n k
− −
= − = − −
− −
- Hệ số
2
R
có thể âm.
- Khi số biến giải thích của mô hình tăng lên thì
2
R
tăng chậm hơn so với R
2


1
k k
k k
ij ji
k k kk k k
r r r r r
r r r r r
r r r i j
r r r r r
   
 ÷  ÷
 ÷  ÷
= = = ∀ ≠
 ÷  ÷
 ÷  ÷
   
6
- Các hệ số tương quan cặp
;( , 2 )
ij
r i j n∀ = ÷
cho biết mức độ tương quan tuyến
tính giữa biến X
i
và X
j
.
- Các hệ số tương quan cặp
1

trong điều kiện
X
3
và X
4
không thay đổi.
+ Hệ số r
23,14
cho biết mức độ tương quan tuyến tính giữa X
2
và X
3
trong điều kiện
Y và X
4
không thay đổi.
- Các hệ số trương quan cặp có thể xem là hệ số tương quan riêng phần bậc 0.
3. Khoảng tin cậy và kiểm định giả thuyết về các hệ số hồi quy
3.1. Đối với
;( 1 )
j
j k
β
= ÷
a. Phương pháp ước lượng khoảng tin cậy
- Thống kê:
( )
ˆ
ˆ
( )

α α
− −
−
thoả mãn điều kiện:
2 1
( ) ( )
ˆ ˆ ˆ ˆ
( ) ( ) 1
n k n k
j j j j j
P Se T Se T
α α
β β β β β α
− −
 
− < < + = −
 
(công thức tổng quát)
- Trong thực tế người ta thường sử dụng một trong ba trường hợp sau:
+ Khoảng tin cậy đối xứng (
1 2
2
α
α α
= =
)
( ) ( )
2 2
ˆ ˆ ˆ ˆ
( ) ( ) 1

0,
α α α
= =
):
( )
ˆ ˆ
( ) 1
n k
j j j
P Se T
α
β β β α
−
 
< + = −
 
b. Phương pháp kiểm định giả thuyết.
- Kiểm định các cặp giả thuyết:
7
*
0
*
1
:
(1)
:
j j
j j
H
H


*
0
*
1
:
(3)
:
j j
j j
H
H
β β
β β

=


<


- Tiêu chuẩn kiểm định:
*
( )
ˆ
ˆ
( )
j j
n k
j

:
n k
W T T T
α α
−
= >
+ Cặp giả thuyết (3):
{ }
( )
:
n k
W T T T
α α
−
= < −
- Trường hợp kiểm địnn bằng 0 của các hệ số có thể sử dụng phương pháp p-
value.
3.2. Đối với
2
σ
a. Phương pháp ước lượng khoảng tin cậy
- Thống kê:
2
2 2
2
ˆ
( )
( )
n k
n k

2
2 2
1
ˆ ˆ
( ) ( )
1
( ) ( )
n k n k
P
n k n k
α α
σ σ
σ α
χ χ
−
 
− −
< < = −
 
− −
 
 
- Trong thực tế người ta thường sử dụng một trong ba trường hợp sau:
+ Khoảng tin cậy hai phía (
1 2
2
α
α α
= =
):

):
2
2
2
ˆ
( )
1
( )
n k
P
n k
α
σ
σ α
χ
 
−
> = −
 
−
 
+ Khoảng tin cậy bên trái dùng để ước lượng giá trị tối đa (
2 1
0,
α α α
= =
):
2
2
2

H
σ σ
σ σ

=


≠


, (2)
2 2
0 0
2 2
1 0
:
:
H
H
σ σ
σ σ

=


>


, (3)
2 2

−
= −:
nếu giả thuyết H
0
là đúng.
-

Miền bác bỏ tốt nhất với mức ý nghĩa
α
cho trước được xác định như sau:
+ Cặp giả thuyết (1):
2 2
2
2
2 2
1
2
( )
:
( )
n k
W
n k
α
α
α
χ χ
χ
χ χ
−

4. Kiểm định về sự phù hợp của hàm hồi quy
- Kiểm định cặp giả thuyết
2
0 2 3
0
2
1
1
: 0
: 0
: 0
: 0
k
j
H
H R
H
H R
β β β
β
= = = =

=


⇔
 
∃ ≠
>


2
/( 1)
( 1, )
(1 ) /( )
R k
F F k n k
R n k
−
= − −
− −
:
- Với cặp giả thuyết trên ta tìm được giá trị
( 1, )F k n k
α
− −
sao cho:
[ ]
( 1, )P F F k n k
α
α
> − − =
và miền bác bỏ:
{ }
: ( 1, )W F F F k n k
α α
= > − −
- Quá trình kiểm định F thường được cho trong bảng phân tích ANOVA:
Nguồn biến thiên Tổng bình phương Bậc tự do Phương sai
Từ hàm hồi quy
(ESS)

2
'
( 1)
Y
Y Y nY
S
n
−
=
−
5. Kiểm định F về sự thu hẹp của hàm hồi quy
- Xét mô hình k biến, ký hiệu là UR (Unrestricted Model)
1 2 2 3 3 1 1

i i i m mi m m i k ki i
Y X X X X X U
β β β β β β
+ +
= + + + + + + + +
(UR)
- Nếu có cơ sở cho rằng một số biến nào đó của mô hình là không cần thiết, chẳng
hạn X
m+1
, X
m+2
, ,X
k
khi đó ta kiểm định cặp giả thuyết:
0 1 2
1

RSS R
và
2
,
R R
RSS R
Bước 2: Sử dụng tiêu chuẩn kiểm định:
( )/( )
( , )
( )/( )
R UR
UR
RSS RSS k m
F F k m n k
RSS n k
− −
= − −
−
:
hoặc
2 2
2
( )/( )
( , )
(1 ) /( )
UR R
UR
R R k m
F F k m n k
R n k

: : 0
: : 0
H H
H H
β β β β
β β β β
= − =
 
⇔
 
≠ − ≠
 
Nếu giả thuyết H
0
đúng thì khi đó thay
3
β
=
2
β
và mô hình trở thành:
1 2 2 3
( )
i i i i
Y X X U
β β
= + + +

Đặt X
i

Nếu giả thiết H
0
đúng thì khi đó thay
3
β
=
2
β
−
và mô hình trở thành:
1 2 2 3
( )
i i i i
Y X X U
β β
= + − +

Đặt X
i
= X
2i
- X
3i
ta có:
1 2i i i
Y X U
β β
= + +
(R)
+) Kiểm định xem ảnh hưởng của X

( )
2
i i i i
Y X X U
β β
= + + +

Đặt
2 3
1
2
i i i
X X X= +
, ta có:
1 2i i i
Y X U
β β
= + +
(R)
- Xét mô hình:
1 2 2 3 3i i i i
Y X X U
β β β
= + + +
(UR)
- Khi muốn kiểm định về tổ hợp tuyến tính bất kỳ của các hệ số hồi quy:
0 2 3 0 2 3
1 2 3 1 2 3
: : 0
: : 0

0
là đúng.
2 3 2 2 3 3
2 2
2 2 3 3
ˆ ˆ ˆ ˆ ˆ ˆ
( ) ( ) 2 ( , ) ( )
ˆ ˆ ˆ ˆ
( ) 2 ( , ) ( )
Var a b Var a Cov a b Var b
a Var abCov b Var
β β β β β β
β β β β
− = − +
= − +
2 2
2 3 2 2 3 3
ˆ ˆ ˆ ˆ ˆ ˆ
( ) ( ) 2 ( , ) ( )Se a b a Var abCov b Var
β β β β β β
⇒ − = − +

Miền bác bỏ với mức ý nghĩa
α
cho trước được xác định như sau:
( 3)
2
:
n
W T T T

a
X X X
b
= +
ta có:
1 2i i i
Y X U
β β
= + +
(R)
6. Dự báo
Xét mô hình hồi quy k biến:
1 2 2 3 3

i i i k ki i
Y X X X U
β β β β
= + + + + +
6.1. Dự báo giá trị trung bình của biến phụ thuộc
- Giả sử trong tương lai biết
0 02 03 0
(1, , , , )
T
k
X X X X=
ta cần dự báo giá trị
E(Y/X
0
).
- SRF cho ta một ước lượng điểm của E(Y/X

T T
E Y E Y X
E Y E Y X
Var Y X X X X
Se Y X X X X
σ
σ
−
−


=
=
 
⇒
 
 
=
=
 
 


- Thống kê:
( )
0 0
0
ˆ
( / )
ˆ

−
thoả mãn điều kiện:
2 1
( ) ( )
0 0 0 0 0
ˆ ˆ ˆ ˆ
( ) ( / ) ( ) 1
n k n k
P Y Se Y T E Y X Y Se Y T
α α
α
− −
 
− < < + = −
 
- Khoảng tin cậy đối xứng:
( ) ( )
0 0 0 0 0
2 2
ˆ ˆ ˆ ˆ
( ) ( / ) ( )
n k n k
Y Se Y T E Y X Y Se Y T
α α
− −
− < < +
- Khoảng tin cậy bên phải:
( )
0 0 0
ˆ ˆ

0
là
0 0
ˆ
ˆ
T
Y X
β
=
- Biến ngẫu nhiên (
0 0
ˆ
Y Y−
) phân phối chuẩn với:
0 0
0 0
2 1
1
0 0 0
0 0 0
ˆ
ˆ
( ) 0
( ) 0
ˆ
ˆ
( ) 1 ( )
ˆ
( ) 1 ( )
T T

( )
n k
Y Y
T T
Se Y Y
−
−
=
−
:
. Do đó với độ tin cậy
1
α
−
cho trước tìm
được một cặp giá trị
1 2
,
α α
sao cho:
1 2
α α α
+ =
và hai giá trị tới hạn
1 2
( ) ( )
1
,
n k n k
T T

0 0 0 0
ˆ ˆ
( )
n k
Y Y Se Y Y T
α
−
> − −
- Khoảng tin cậy bên trái:
( )
0 0 0 0
ˆ ˆ
( )
n k
Y Y Se Y Y T
α
−
< + −
7. Một số dạng hàm hồi quy phi tuyến có thể đưa về dạng tuyến tính
7.1. Hàm tổng chi phí
- Dạng hàm:
2 3
1 2 3 4 1 2 3 4
;( 0, 0, 0, 0)
i i i i i
TC Q Q Q U
β β β β β β β β
= + + + + > > < >
- Đặt:
2 3

1
i
U
i i i
Q K L e
β
β
β
=
. Trong đó
2 3
,
β β
là hệ số co giãn của Q theo K, L.
- Biến đổi:
1 2 3
ln ln ln ln
i i i i
Q K L U
β β β
= + + +
- Đặt:
*
1 1
ln , ln , ln , ln
i i i i i i
LQ Q LK K LL L
β β
= = = =
*

Y X U
β β
= + +

- Đặt:
* *
1 2
ln
i i i i i
Y Y Y X U
β β
= ⇒ = + +
- Trong mô hình này, khi X tăng 1 đơn vị thì Y tăng
2
β
% (?)
7.6. Hàm dạng Hypecbol
- Mô hình chi phí trung bình phụ thuộc vào sản lượng:
13
1 2 1 2
1
( , 0)
i i
i
Y U
X
β β β β
= + + >
- Mô hình chi tiêu phụ thuộc vào thu nhập (đường cong Engel):
1 2 1 2

1 2 3t t t
Y X T U
β β β
= + + +
(T là biến xu thế thời gian)
- Mô hình có biến độc lập trễ:
1 2 3 1t t t t
Y X X U
β β β
−
= + + +
- Mô hình có biến phụ thuộc trễ:
1 2 3 1t t t t
Y X Y U
β β β
−
= + + +
(mô hình tự hồi quy)
(Tham khảo thí dụ 3.1 (T66), thí dụ 3.2 (T70), thí dụ 3.3 ( T83))
14