Bài 4: Mô hình hồi quy bội

47
BÀI 4. MÔ HÌNH HỒI QUY BỘI Mục tiêu

Sau khi kết thúc bài, học viên sẽ hiểu
được những vấn đề sau đây:
• Mô hình hồi quy bội có 2 biến và mô
hình tổng quát k biến.
• Ý nghĩa của các hệ số hồi quy ước lượng.
• Hệ số xác định bội và hệ số xác định
bội đã hiệu chỉnh.
• Khoảng tin cậy và kiểm định giả thiết
cho các hệ số hồi quy.
• Kiểm định về sự phù hợp của mô
hình hay ảnh hưởng của tất cả các
biến độc lập.
• Dự báo trong mô hình hồi quy bội.

Nội dung

Hướng dẫn học
• Mô hình hồi quy bội gồm 2 biến độc lập.
• Mô hình hồi quy bội gồm k biến (k-1 biến
độc lập).
• Phương pháp OLS cho mô hình hồi quy bội.
• Hệ số xác định bội và hệ số xác định bội đã

Lao động (L, người) lên sản lượng (SL, triệu sản phẩm) của công ty.
Cụ thể, họ muốn đưa ra quyết định về việc có nên tiếp tục mở rộng
sản xuất, thu hẹp lại hay giữ nguyên như hiện tại. Để tiến hành nghiên
cứu này, phòng kế hoạch của công ty thu thập số liệu về vốn đầu tư,
lao động sử dụng và sản lượng sản xuất ra trong 30 tháng qua tại công ty (có n = 30 quan sát).
Mô hình dùng để nghiên cứu có dạng
log(SL
i
) = β
1
+ β2log(V
i
) + β
3
log(L
i
)+u
i

Dùng số liệu của mẫu, ước lượng được hàm hồi quy mẫu có dạng,

iii
log(SL ) 0.424816 0.7358log(V ) 0.9489log(L ).=+ +

Câu hỏi

• Vậy công ty Đức Giang nên tăng, giảm hay giữ nguyên quy mô sản xuất?
• Liệu cả 2 biến vốn và lao động cùng không có ảnh hưởng đến sản lượng có đúng không?
• Giả sử trong tháng tới, công ty quyết định sử dụng lượng vốn là 10 tỉ đồng và lao động là
3000 thì sản lượng dự báo là bao nhiêu?

ij
Cov u ,u 0 i j=∀≠
(
)
2i i 3i i ki i
Cov(X ,u ) 0;Cov(X ,u ) 0; ,Cov X ,u 0== =
2
i
Var(u ) , i=σ ∀ .
4.1. Mô hình hồi quy với hai biến giải thích
Định nghĩa: Mô hình hồi quy tổng thể (PRF) với hai biến giải thích có dạng như sau:
i122i33ii
YXXu=β +β +β + (4.1)
với Y là biến phụ thuộc;
23
X ,X là các biến độc lập,
i2i3i
Y ,X ,X là các quan sát thứ i
của
23
Y, X ,X ; u là nhiễu ngẫu nhiên,
i
u là nhiễu tại quan sát thứ i;
1
β là hệ số chặn
(hệ số tự do), bằng giá trị trung bình của Y khi
23
XX0
=
= ;

i
u không tương quan với
2i 3i
X,X, tức là
2i i 3i i
Cov(X ,u ) 0;Cov(X , u ) 0.==
•

i
u có phương sai không thay đổi, tức là:
2
i
Var(u ) , i.
=
σ∀

Bài 4: Mô hình hồi quy bội

50
4.2. Ước lượng tham số của mô hình hồi quy
Tương tự trong bài 3, bài toán đặt ra là từ các dữ liệu quan sát chúng ta cần ước lượng
các hệ số hồi quy
123
,,βββ của mô hình (4.1). Phương pháp ta sẽ sử dụng sau đó chính
là phương pháp bình phương tối thiểu OLS. Hàm hồi quy mẫu (SRF) được xây dựng
từ n quan sát
i23
(Y,X ,X ) có dạng:
i122i33i
ˆˆ ˆ

ii122i33i
i1 i1
ˆˆ ˆ
ˆ
uY XX
==
=−β−β−β
∑∑
(4.3)
Ta cần xác định
123
ˆˆˆ
,,βββ
sao cho
n
2
i
i1
ˆ
u
=
∑
trong (4.3) đạt giá trị nhỏ nhất.
Theo lý thuyết giải tích nhiều biến, ta thấy để
n
2
i
i1
ˆ
u

β+β+β =
⎨
⎪
⎪
β+β +β=
⎪
⎩
∑∑∑ ∑
∑∑ ∑∑
(4.4)
trong đó
nn
22i33i
i1 i1
11
XX,XX
nn
==
==
∑∑

n
i
i1
1
YY.
n
=
=
∑

⎜⎟
⎝⎠
∑∑∑∑
∑∑ ∑
nn nn
2
i 3i 3i i 3i 2i 3i
i1 i1 i1 i1
3
nn n
22 2
2i 3i 2i 3i
i1 i1 i1
yx x yx x x
ˆ
xx(xx)
== ==
== =
−
β=
−
∑∑∑∑
∑∑ ∑Bài 4: Mô hình hồi quy bội

51
()
()

σ
là chưa biết. Vì vậy ta thay
2
σ bằng ước
lượng không chênh lệch của nó là
n
2
i
2
i1
ˆ
u
RSS
ˆ
n3 n3
=
σ= =
−−
∑
.
CHÚ Ý
()()
()
23
2
n
2
2i 3i
23 2 3
i1

Phương sai và độ lệch chuẩn của các ước lượng hệ số hồi quy theo phương pháp bình
phương tối thiểu được cho bởi các công thức
()
()
2
2
n
22
2i 23
i1
ˆ
Var
x1r
=
σ
β=
−
∑
;
(
)
(
)
22
ˆˆ
Se Var
β
=β;
()
()

X.
4.4. Mô hình hồi quy bội
4.4.1. Khái niệm:
Mô hình hồi quy bội là mô hình có hàm hồi quy tổng
thể (PRF) gồm một biến phụ thuộc Y và k – 1 biến độc
lập
23 k
X ,X , ,X có dạng như sau:
i122i33i kkii
Y X X X u=β +β +β + +β + (4.5)
trong đó
1
β là hệ số chặn, hệ số tự do, nó cho ta biết
trung bình của Y khi
23 k
X ,X , ,X bằng 0.

Bài 4: Mô hình hồi quy bội

52
j
(j 1,2, ,k)β=
là các hệ số hồi quy riêng, nó cho ta biết sự thay đổi của Y khi
j
X

thay đổi một đơn vị còn các
(
)
h

n
1 X X X
Y
1 X X X
Y
Y ; X . . . .
.
. . .
.
1X X X
Y
⎛⎞
⎛⎞
⎜⎟
⎜⎟
⎜⎟⎜⎟
⎜⎟
⎜⎟
==
⎜⎟⎜⎟
⎜⎟
⎜⎟
⎜⎟ ⎜ ⎟
⎝⎠
⎝⎠

11
22
nn
u

1
2
n
Eu
0
Eu
0
Eu .
.
.
.
Eu
0
⎛⎞
⎛⎞
⎜⎟
⎜⎟
⎜⎟
⎜⎟
⎜⎟
⎜⎟
==
⎜⎟
⎜⎟
⎜⎟
⎜⎟
⎜⎟
⎜⎟
⎝⎠
⎝⎠

u có phân bố chuẩn
(
)
2
N0,
σ

i1,n∀=
.
Giả thiết 4: Các
23 k
X ,X , ,X không có quan hệ tuyến tính.
4.4.3. Ước lượng các tham số bằng OLS
Với giả thiết trên, ta cần dựa vào dữ liệu
()
()
i2i3i ki
Y ,X ,X , ,X , i 1,n= quan sát được để tìm ước
lượng véc tơ hệ số
()
T
12 k
, , ,β= β β β của mô hình hồi quy
bội (4.7).
Ký hiệu
(
)
T
12 k
ˆˆˆ ˆ

)
ˆ
XX XY
′′
β= (4.8)
trong đó X ,Y
′′
tương ứng là các ma trận chuyển vị của X và Y . Từ giả thiết 4 dẫn
đến sự tồn tại ma trận nghịch đảo của
XX
′
và do đó
()
1
ˆ
XX XY.
−
′′
β=
Biểu thức này được gọi là phương trình cơ bản của phương pháp OLS.
4.5. Các tính chất của ước lượng bình phương nhỏ nhất
Xét mô hình hồi quy bội
i122i33i kkii
Y X X X u=β +β +β + +β + .
Giống như mô hình hồi quy đơn, mô hình hồi quy bội này có
các tính chất sau:
•
Đường hồi quy bội đi qua điểm
(
)

=
=
∑
.

Bài 4: Mô hình hồi quy bội

54
• Các
i
u không tương quan với
i
ˆ
Y
:
n
ii
i1
ˆ
uY 0
=
=
∑
.
•

i
ˆ
β
là các ước lượng tuyến tính không chệch và có phương sai nhỏ nhất cho các

Dễ dàng chứng minh được rằng
2
2
2
ˆ
XY nY
R
YY nY
′′
β−
=
′
−
. (4.9)
Từ các công thức trên có thể thấy hệ số xác định
2
R có tính chất sau:
•

2
0R 1.≤≤
•
Nếu
2
R1
=
khi đó đường hồi quy giải thích 100% sự thay đổi của Y bởi vì khi đó:
n
2
i

2
R của
2
R , cho bằng biểu thức

Bài 4: Mô hình hồi quy bội

55
n
2
i
2
i1
n
2
i
i1
ˆ
u/(n k)
R1
y/(n 1)
=
=
−
=−
−
∑
∑
.
trong đó n là số quan sát, k – 1 là số biến độc lập trong mô hình.

2
R có thể âm. Khi
2
R nhận giá trị âm thì để cho tiện, thường thì
người ta gán lại cho nó giá trị bằng 0.
Trong thực hành, khi muốn đánh giá sự phù hợp của mô hình thì
2
R hay được dùng
hơn so với
2
R, vì nếu dùng
2
R ta dễ đưa ra một hình ảnh lạc quan quá mức về sự phù
hợp của mô hình, nhất là đối với các bài toán mà số lượng biến giải thích không nhỏ
hơn nhiều lắm so với số lượng quan sát. Tuy nhiên, quan điểm này còn được điều
chỉnh tùy theo bài toán cụ thể. Hơn nữa, ngoài hai thống kê
2
R và
2
R, người ta còn
dùng một số tiêu chuẩn khác để đánh giá tính phù hợp của mô hình, chẳng hạn như:
quy tắc thông tin Akaike hay quy tắc dự báo Amemiya.
4.7. Quan hệ giữa hệ số xác định và tiêu chuẩn kiểm định F
Xét mô hình hồi quy bội (4.5):
i122i33i kkii
Y X X X u=β +β +β + +β + , i1,n=
Mô hình được gọi là không có
hiệu lực giải thích, hay nói cách khác không giải thích
được sự thay đổi của biến Y, nếu toàn bộ các hệ số hồi quy riêng đều bằng 0. Vì vậy để
kiểm định sức mạnh hay mức ý nghĩa của mô hình ta cần kiểm định bài toán sau:

qs
FFk1,nk
α
>−− thì bác bỏ
0
H.
•
Nếu
()
qs
FFk1,nk
α
≤−− thì chưa bác bỏ
0
H.
Quan hệ giữa hệ số xác định
2
R và thống kê F được diễn giải như sau: Từ (4.5) và
(4.9), ta thấy bài toán kiểm định (4.10) tương đương với bài toán kiểm định
2
0
2
1
H:R 0
H:R 0
⎧
=
⎪
⎨
≠

−−

Vậy thống kê F cũng là tiêu chuẩn thống kê cho bài toán kiểm định (4.11).
Ví dụ 1
Một công ty muốn mở rộng thị trường kinh doanh tại
một thành phố. Trước khi quyết định mở chi nhánh tại
thành phố đó, công ty đã tiến hành nghiên cứu thị
trường bằng cách tiến hành quảng cáo và chào bán sản
phẩm của mình từ đó xem xét khả năng tiêu thụ sản
phẩm. Thu thập số liệu trong 10 tuần về số sản phẩm
bán được trong một tuần, giá sản phẩm
2
X và chi phí
cho quảng cáo
3
X ta có bảng số liệu sau:
Giá sản phẩm Cho phí quảng cáo Số sản phẩm bán ra/tuần
4.92 4.79 425
5.5 3.61 467
5.54 5.49 296
5.11 2.78 626
5.62 5.74 165
5.24 1.34 515
4.15 5.81 270
4.02 3.39 689
5.77 3.74 413
4.57 3.59 561
Phân tích số liệu bằng Evievs ta thu được báo cáo:
R 0.772974= , hệ số xác định hiệu chỉnh (Adjusted R-Squared)
2
R 0.708110= ,
giá trị tiêu chuẩn thống kê F (F-Static)
2
qs
F 11.91675= . Vậy mô hình hồi quy cụ thể là:
23
ˆ
Y 1360.84 110.2952X 89.82406X=− −
.
Đối với mô hình này, ta cần đặt ra câu hỏi: Với mức ý nghĩa
0.05
α
= thì giá bán và
chi phí quảng cáo có ảnh hưởng đến số lượng sản phẩm bán ra hay không?
Để trả lời cho câu hỏi này, ta cần kiểm định bài toán:
02 3
123
H: 0
H: , 0
β=β=
⎧
⎨
∃β β ≠
⎩

hoặc kiểm định bài toán tương đương là:
2
0

(Prob(F-statistic)) có giá trị bằng 0.005575, nhỏ hơn 0.05, vậy có thể bác
bỏ giả thuyết
0
H.
4.8. Ước lượng khoảng cho hệ số hồi quy
Giả sử trong mô hình hồi quy (4.7), véc tơ nhiễu ngẫu nhiên u có phân phối chuẩn
2
N(0; )σ . Khi đó ta có véc tơ hệ số hồi quy
ˆ
β
có phân phối chuẩn
()
()
1
2
N, XX
−
′
βσ
,
các thành phần của véc tơ đó cũng có phân phối chuẩn
()
2
i
ˆ
~N ;
β
βσ , (i 1,k)= , với
2
σ chưa biết và nó có ước lượng không chệch là:

β
là:
nk nk
ii/2iii/2
ˆˆ ˆˆ
se( )t se( )t ; i 1,k
−−
αα
β− β <β<β+ β = (4.12)
trong đó
nk
/2
t
−
α
là phân vị của phân phối Student với (n – k) bậc tự do ứng với mức ý
nghĩa
/2α , giá trị này có thể thu được bằng cách tra bảng hoặc dùng lệnh thích hợp
trong Excel.
Ví dụ 2: Từ dữ liệu trong ví dụ 1 hãy tìm ước lượng khoảng của hệ số hồi quy riêng
với độ tin cậy 95%.
Trong bảng kết quả của Eviews ta đã có:
1
ˆ
1360.84β=
,
2
ˆ
110.2952β=−
,

0.025
t 2.365= . Thay các thông số tương ứng vào
(4.12), ta thu được các ước lượng khoảng của
2
β
và
3
β
lần lượt là:
2
110.2952 47.91851 2.365 110.2952 47.91851 2.365−−×<β<−+×
2
223.622 3.032⇒− <β < .
3
89.82406 20.69365 2.365 89.82406 20.69365 2.365−−×<β<−+×
3
138.765 40.8836⇒− <β <− .
4.9. Kiểm định giả thuyết cho các hệ số hồi quy
Để so sánh các hệ số hồi quy với các giá trị giả định cho trước, ta có các giả thuyết
*
0i i
H:β=β (i 1,k)=
đi kèm với một trong số các đối thuyết tương ứng
*
1i i
H:
β
≠β
hoặc
*

H:
H:
⎧
β=β
⎪
⎨
β≠β
⎪
⎩

Miền bác bỏ:
(n k) (n k)
/2 /2
W( ;t )(t ;).
−−
αα
=−∞− ∪ ∞

Bài 4: Mô hình hồi quy bội

59
Bài toán 2:
*
0i i
*
1i i
H:
H:
⎧
β=β

−
α
=−∞−

Sử dụng phần mềm Eviews chúng ta có thể tính được ngay giá trị tiêu chuẩn của
thống kê
i
t và xác suất ý nghĩa p tương ứng, từ đó có thể giải quyết bài toán theo hai
cách sau:
•
Cách 1:
Tìm phân vị
(n k)
/2
t
−
α
và miền bác bỏ W rồi so sánh tiêu chuẩn thống kê
i
t với W để
đưa ra kết luận.
•
Cách 2:
So sánh xác suất ý nghĩa p với mức ý nghĩa
α
đã định trước như sau:
o Đối với Bài toán 1, nếu p
≤
α thì bác bỏ giả thuyết
0

12
H: 0
H: 0
β=
⎧
⎨
β<
⎩

Với kết quả của Eviews đưa ra ở phần trên, ta có:
2
2
2
ˆ
110.2952
t 2.30172
ˆ
47.91851
se( )
β−
== =−
β
.
Mặt khác, với
n10,k3, 0.05==α=, ta có
(
)
7
(n k)
0.05

. Xét
mô hình hồi quy
122 kk
ˆˆ ˆ ˆ
ˆ
Y X X X
′
=β
+
β
++
β
=
β
.
với
23 k
X (1,X ,X , ,X )
′
′
= ;
123 k
ˆˆˆˆ ˆ
( , , , , )'
β
=
βββ β
.
Cho trước giá trị của các biến độc
lập

và
3
X3.2
∗
=
, ta có:

()
23
ˆ
Y E Y | X 4.5,X 3.2 1360.84 110.2952 4.5 89.824606 3.2 577.07
∗
====−×− ×=.

Bài 4: Mô hình hồi quy bội

61
TÓM LƯỢC CUỐI BÀI
• Mô hình hồi quy bội gồm 2 biến độc lập:
Giả sử nghiên cứu sự phụ thuộc của Y vào 2 biến X
2
và X
3
. Mô hình có dạng:
()
2i 3i 1 2 2i 3 3i
EY/X,X X X=β +β +β
hoặc
i122i33ii
YXXu=β +β +β +

•
Phương pháp OLS cho mô hình hồi quy bội.
Trong mô hình k biến chú ý công thức sau:
n
2
i
2
i1
ˆ
u
RSS
ˆ
.
nk nk
=
σ= =
−−
∑

•
Hệ số xác định bội R
2
và hệ số xác định bội đã hiệu chỉnh.
Để đo độ phù hợp của hàm hồi quy, dùng R
2
. Giá trị của R
2
cho biết bao nhiêu % sự biến
thiên của biến phụ thuộc được giải thích bởi đồng thời các biến độc lập hoặc được giải thích
bởi hàm hồi quy mẫu

()
()
(
)
()
(
)
nk nk
iii
22
ˆˆ ˆˆ
Se t Se t i 1, k
−−
αα
β− β <β<β+ β = .
Khoảng tin cậy này cho biết khi X
i
tăng hoặc giảm 1 đơn vị thì trung bình của biến phụ thuộc
sẽ thay đổi trong khoảng nào.
•
Kiểm định về sự phù hợp của mô hình hồi quy
Tiêu chuẩn kiểm định:
()
ii
i
i
ˆ
t
ˆ
Se

)
nk nk
22
W= ; t t ; .
−−
αα
−
∞− +∞∪
Bài toán 2:
*
0i i
*
1i i
H:
H:
⎧
β=β
⎪
⎨
β>β
⎪
⎩

Miền bác bỏ:
()
()
nk
W= t ;
−
α

hồi quy đơn?
2. Vai trò của các hệ số hồi quy trong mô hình hồi quy bội khác thế nào so với mô hình hồi quy đơn?
3. Hệ số xác định bội trong mô hình hồi quy bội cho biết điều gì?
4. Tại sao lại cần đưa ra khái niệm hệ số xác định bội đã điều chỉnh trong hàm hồi quy bội?
5. Khi nào thi nên đưa thêm biến độc lập mới vào mô hình nếu sử dụng hệ số xác định bội đã
điều chỉnh?
6. Khi nào thi ta cần xây dựng khoảng tin cậy cho các hệ số hồi quy?
7. Khi nào thì dùng khoảng tin cậy đối xứng, bên phải hoặc bên trái?
8. Kiểm định giả thiết về một hệ số hồi quy bằng 0 có ý nghĩa gì, kiểm định hệ số hồi quy bằng
một giá trị cụ thể có ý nghĩa gì?
9. Kiểm định F về sự phù hợp của mô hình hồi quy có ý nghĩa gì?
CÂU HỎI TRẮC NGHIỆM
1. Cho mô hình hồi quy
ˆ
Y = 10 – 3X
1
+ 2.5X
2
. Điều khẳng định nào sau đây đúng?
A. X
2
quan trọng hơn X
1
vì dấu của hệ số là dương.
B. Khi X
1
giảm 3 đơn vị, Y giảm 1 đơn vị.
C. Khi X
2
giảm 2.5 đơn vị, Y giảm 1 đơn vị.

64
5. Từ mô hình hồi quy với 3 biến độc lập và có 25 quan sát, tính được R
2
= 0.769. Giá trị của
hệ số xác định bội đã hiệu chỉnh là:
A. 0.385 B. 0.877
C. 0.591 D. 0.736
6. Một mô hình hồi quy bội thì có:
A. Chỉ duy nhất 1 biến độc lập. B. Chỉ duy nhất 2 biến độc lập.
C. Nhiều hơn 1 biến độc lập. D. Nhiều hơn 1 biến phụ thuộc.
7. Cho mô hình hồi quy:
123
ˆ
Y23X 4X 5X,=− + + 1 đơn vị tăng của X
1
, X
2
và X
3
giữ không
đổi, sẽ dẫn đến:
A. Tăng 3 đơn vị của Y. B. Giảm 3 đơn vị của Y.
C. Đơn vị 8 đơn vị của Y. D. Không có lựa chọn nào ở trên.
8. Để kiểm định sự phù hợp của mô hình hồi quy có 4 biến độc lập, giả thuyết H
0
là:
A.
02345
H: 1.β=β=β=β= B.
012345