BÁO CÁO TỐT NGHIỆP
Đề tài
Phương pháp phân tích phần
dư trong hàm hồi quy

MỤC LỤC
CHƯƠNG 1 KHÁI NIỆM CƠ SỞ PHÂN TÍCH PHẦN DƯ HÀM HỒI QUI
1.1. Khái niệm ,cơ sở phân tích hàm hồi qui 3
1.2. bản chất của phần dư trong hàm hồi quy 4
1.3. sự cần yhieets phải phân tích phần dư trong hàm hồi quy
4
1.4. Ý nghĩa của việc phân tích phần dư tỏng hàm hôi quy 4
CHƯƠNG 2 : NỘI DUNG PHÂN TÍCH PHẦN DƯ TRONG
HÀM HỒI QUY
2.1. Mô hình hồi qui đơn biến ( Hai biến ) 5
2.1.1. Khái niệm về hồi quy 5
2.1.2.Nội dung phân tích phần dư ei theo phương pháp bình phương nhỏ
nhất OLS 6-7
2.1.3.Nội dung phân tích phần dư theo phương pháp bình phương nhỏ nhất
tổng quát 8-9
2.1.4. phân tích phần dư trong hệ số đo sự phù hợp của hàm hồi quy mẫu 10-11
2.1.5. Một số dạng hàm thường được sử dụng 12-15
2.2. Mô hình hồi quy tuyến tính bộ
16
2.2 1 .Xây dựng mô hình 16
2 2.2. Mô hình hồi quy 3 biến 16-17
2.2 3. Mô hình hồi quy K biến 18
CHƯƠNG 3 ỨNG DỤNG CỦA PHẦN DƯ TRONG PHÂN TÍCH HÀM
HỒI QUY
3.1. Phát hiện phương sai của sai số thay đổi 19

i
X
21
ββ
Ui
khi đó ta có mô hình hồi quy mẫu SRF:
ii
XY
21
ˆˆ
ˆ
ββ
+=
từ trên : Y
i
=
1
ˆ
β
+
2
ˆ
β
X
i
+ e
i

trong đó
β1 : là hệ số tự do ( hệ số góc )

ˆˆ
ˆ
ββ
+=

Hình biểu diễn phần dư ei
vậy phần dư hàm hồi quy là ước lượng của Ui hay là giá trị chênh lệch giữa biến
phụ thuộc (Yi) với biến tiêu thức phụ thuộc (
i
Y
ˆ
)
ei = Yi -
i
Y
ˆ
phần dư hàm hồi quy có thể âm có thể dương
1.2. bản chất của phần dư trong hàm hồi quy
-Chúng ta có thế xây dựng được mô hình hồi quy bội dù chúng ta có đưa vào bao
nhiêu biến đi chăng nữa thì yếu tố phần dư vẫn tồn tại vì yếu tố hiễn nhiên của
chúng ,ngaycả khi các biến bị loại bỏ khỏi mô hình
- ei được sử dụng như một yếu tố đại diienj cho tất cả các biến không có trong mô
hình ngay cả khi các biến bị loại bỏ khỏi mô hình là biến nào đi chăng nữa khi đó
quá trình chuyển đổi mô hình hồi quy tổng thể PRF sang mô hình hồi quy mẫu SRF
luôn luôn tồn tại phần dư ei như một yếu tố ngẫu nhiên
- Ngoài các biến giải thích đã có trong mô hình còn có một số biến khác nhưng
ảnh hưởng của chúng đến Y rất nhỏ .Trong trường hợp này chúng ta có thể sử dụng
yếu tố ngẫu nhiên Ui để đại diện cho chúng .Tức phàn dư ei đại diện cho quá trình
chuyển đổi mô hình PRF sang SRF , với ei là ước lượng của Ui
1.3. sự cần yhieets phải phân tích phần dư trong hàm hồi quy


( )
2
11
2
ˆ
∑∑
==
−=
n
i
ii
n
i
i
YYe
=> min

CHƯƠNG 2 : NỘI DUNG PHÂN TÍCH PHẦN DƯ TRONG
HÀM HỒI QUY
2.1. Mô hình hồi qui đơn biến ( Hai biến )
2.1.1. Khái niệm về hồi quy
Phân tích hồi quy là tìm quan hệ phụ thuộc của một biến, được gọi là biến phụ
thuộc vào một hoặc nhiều biến khác, được gọi là biến độc lập nhằm mục đích ước
lượng hoặc tiên đoán giá trị kỳ vọng của biến phụ thuộc khi biết trước giá trị của
biến độc lập.
1
Một số tên gọi khác của biến phụ thuộc và biến độc lập như sau:
-Biến phụ thuộc: biến được giải thích, biến được dự báo, biến được hồi quy,
biến phản ứng, biến nội sinh.

ˆ
β
X
i
+ e
i

1
Theo Damodar N.Gujarati, Basic Econometrics-Third Edition, McGraw-Hill-1995, p16.

cặp quan sát thứ i có giá trị tương ứng ( Xi , Yi ) ; i= 1,n .Ta phải tìm Y sao cho
nó càng gần giá trị (Yi) có thể được tức phần dư

iiiii
XYYYe
21
ˆˆ
ˆ
ββ
−−=−=
càng nhỏ càng tốt
2.1.2.Nội dung phân tích phần dư ei theo phương pháp bình phương nhỏ
nhất OLS
Từ trên ta có do ei; i= 1,n có thể dương ,có thể âm do vậy cần phải tìm Yi sao
cho tổng bình phương của các phần dư đạt cực tiểu ( )
2
1

1
n
1i
2
i
=−=β−β−−=
β∂






∂
∑∑
∑
==
=
(2)
( )
0Xe2XX
ˆˆ
Y2
ˆ
e
n
1i
iii
n
1i

X
ˆ
X
ˆ
XY
Các phương trình ta được gọi là các phương trình chuẩn. Giải hệ phương trình
chuẩn ta được
X
ˆ
Y
ˆ
21
β−=β
(3.11)
Thay (3.9) vào (3.8) và biến đổi đại số chúng ta có
( )( )
( )
∑
∑
=
=
−
−−
=β
n
1i
2
i
n
1i

(3.13)
a. Các tính chất của phần dư e
i
(1) Giá trị trung bình của phần dư bằng 0:
( )
0eE
i
=

(2) Các phần dư e
i
và Y
i
không tương quan với nhau:
∑
=
=
n
1i
ii
0Ye
(3) Các phần dư e
i
và X
i
không tương quan với nhau:
∑
=
=
n

b. Phương sai của phần dư có thể được ước tính như sau
s
2
Chính là ước số σ
2
.
2.1.3.Nội dung phân tích phần dư theo phương pháp bình phương nhỏ nhất
tổng quát
Để giải đáp cho câu hỏi khi phương sai của sai số thay đổi ,thì phương pháp bình
phương nhỏ nhất tổng quát là cần thiết .Trước khi đi vào nội dung cụ thể chúng ta
trình bày phương pháp bình phương nhỏ nhất có trọng số
a. phương pháp bình phương nhỏ nhất có trọng số
Từ mô hình hai biến
Y
i
=
1
ˆ
β
+
2
ˆ
β
X
i
+ e
i
Như ta đã biết phương pháp bình phương nhỏ nhất không có trọng số cực tiểu tổng
bình phương phần dư


*
ˆ
*
ˆ
∑∑
==
−−=
n
i
ii
n
i
i
XYWiWie
ββ
=> min
Trong đó β1* , β1* là các ước lượng bình phương nhỏ nhất có trọng số ở
đây các trọng số Wi là tính như sau
Wi = 1/
σ
2
i
(
i
∀
) ,
σ
2
i
> 0

2
i
1
i
i
ww
X
w
1
w
Y ε
+β+β=
Ta viết lại mô hình như sau

**
22
*
11
*
iiii
XXY
εββ
++=
Trong đó

X
i1
= 1 (
i
∀

==
−−=
n
i
ii
n
i
i
XYe
ββ
ta sẽ thu được các ước lượng
Lưu ý Trong quá trình phân tích phần dư đối với giá trị biến độc lập X hoặc giá
trị dự đoán
Y

sẽ cho ta biết liệu phương sai của sai số có thay đổi hay không
.Phương sai của phần dư được chỉ da bằng đọ rộng của biểu đồ phân giải của phần
dư khi giảm hoặc tăng .Nếu độ rộng của biểu đồ rãi của phần dư tăng hoặc giảm
.Khi X tăng thì giá trị giả thiết về phương sai hắng số có thể không thõa mãn
2.1.4. phân tích phần dư trong hệ số đo sự phù hợp của hàm hồi quy mẫu
Làm thế nào chúng ta đo lường mức độ phù hợp của hàm hồi quy tìm được cho
dữ liệu mẫu. Thước đo độ phù hợp của mô hình đối với dữ liệu là R
2
. Để có cái nhìn
trực quan về R
2
, chúng ta xem xét đồ thị sau
Hình 3.5. Phân tích độ thích hợp của hồi quy
YY
i

Trên mỗi Xi chúng ta kỳ vọng e
i
nhỏ nhất, hay phần lớn biến thiên của biến phụ
thuộc được giải thích bởi biến độc lập. Nhưng một hàm hồi quy tốt phải có tính chất
mang tính tổng quát hơn. Trong hồi quy tuyến tính cổ điển, người ta chọn tính chất
tổng bình phương biến thiên không giải thích được là nhỏ nhất.
Ta có
iii
ii
ii
ey
ˆ
y
eYY
ˆ
YY
eY
ˆ
Y
+=
+−=−
+=
Với
YYy
ii
−=
và
YY
ˆ
y

∑∑∑
===
+=
n
1i
2
i
n
1i
2
i
n
1i
2
i
ey
ˆ
y
Đặt
∑
=
=
n
1i
2
i
yTSS
,
∑
=

2
−==

2
y
2
x
2
2
n
1i
2
i
n
1i
2
i
2
2
n
1i
2
i
n
1i
2
i
2
2
n






−












−
β=
β
==
∑
∑
∑
∑
∑
∑
=
=

2
i
2
n
1i
ii
2
r
yx
yx
R =






=
∑∑
∑
==
=
Vậy đối với hồi quy hai biến R
2
là bình phương của hệ số tương quan.
Tính chất của R
2
(1) 0≤ R
2
≤1. Với R

β−+β=
(2)
là mô hình phi tuyến trong các tham số nhưng tuyến tính trong biến số.
Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có
trong mô hình chúng ta xác định được các tham số
1
ˆ
β
và
2
ˆ
β
của mô hình hồi quy
cũng như các yếu tố khác có trong mô hình hồi quy

( )
2
11
2
ˆ
∑∑
==
−=
n
i
ii
n
i
i
YYe

*
1
*
(3.31)
Mô hình này tuyến tính theo tham số nên có thể ước lượng theo OLS. Theo phương
pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có trong mô hình
chúng ta xác định được các tham số
1
ˆ
β
và
2
ˆ
β
của mô hình hồi quy cũng như các
yếu tố khác có trong mô hình hồi quy

( )
2
11
2
ˆ
∑∑
==
−=
n
i
ii
n
i

∂
=>
2D
Y
X
X
Y
β=
∂
∂
=η
Vậy độ co dãn của cầu theo giá không đổi.
Hình . Chuyển dạng Log-log
Tổng quát, đối với mô hình logarit kép, hệ số ứng với ln của một biến số độc lập
là độ co dãn của biến phụ thuộc vào biến độc lập đó.
-Mô hình Logarit-tuyến tính hay mô hình tăng trưởng
Gọi g là tốc độ tăng trưởng, t chỉ thời kỳ. Mô hình tăng trưởng như sau
0
t
t
Y)g1(Y +=
Lấy logarit hai vế của
)Yln()g1ln(t)Yln(
0t
++=
Đặt
)Yln(Y
t
*
t

β2
ln(Y) ln(Y)
= ln(β
1
) + β
2
ln(X) ( )
2
11
2
ˆ
∑∑
==
−=
n
i
ii
n
i
i
YYe
=> min
-Mô hình tuyến tính-Logarit (Lin-log)
ε+β+β= )Xln(Y
21
Mô hình này phù hợp với quan hệ thu nhập và tiêu dùng của một hàng hoá thông
thường với Y là chi tiêu cho hàng hoá đó và X là thu nhập. Quan hệ này cho thấy Y

-Mô hình nghịch đảo hay mô hình Hyperbol
ε+β+β=
X
1
Y
21
Mô hình này phù hợp cho nghiên cứu đường chi phí đơn vị, đường tiêu dùng
theo thu nhập Engel hoặc đường cong Philip.
0 X 0
ln(X)
Y Y Y = β
1

+ β
2
ln(X)

Hình . Dạng hàm nghịch đảo
Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có
trong mô hình chúng ta xác định được các tham số
1
ˆ
β
và
2
ˆ
β
của mô hình hồi quy
cũng như các yếu tố khác có trong mô hình hồi quy


là giá trị các biến độc lập ứng với quan sát i
Hàm hồi quy mẫu
ii,kk
i,
33i,221i
eX
ˆ
X
ˆ
X
ˆˆ
Y +β++β+β+β=

i,kki,33i,221iiii
X
ˆ
X
ˆ
X
ˆˆ
YY
ˆ
Ye β−−β−β−β−=−=
Theo phương pháp tối thiểu tổng bình phương phần dư cho kết quả ước lượng
hiệu quả
.
Phương pháp bình phương tối thiểu
( )
2
n

XXY ε+β+β+β=
(4.7)
Hàm hồi quy mẫu
ii,33i,221i
eX
ˆ
X
ˆˆ
Y
ˆ
+β+β+β=
(4.8)
(1) Kỳ vọng của sai số hồi quy bằng 0:
( )
0X,XeE
i,3i,2i
=
(2) Không tự tương quan:
( )
0e,ecov
ji
=
, i≠j
(3) Phương sai đồng nhất:
( )
2
i
evar σ=
(4) Không có tương quan giữa sai số và từng X
m

XXYe
βββ
=> min
Từ đây xác định
33221
X
ˆ
X
ˆ
Y
ˆ
β−β−=β
(4.10)
2
n
1i
i,3i,2
n
1i
2
n
1i
2
n
1i
i,3i,2
n
1i
i,3i
n













−












=β
∑∑∑
∑∑∑∑
===
====






−

























(5) Các phần dư e
i
không tương quan với nhau
i
X
2
và
i
X
3
nghĩa là

∑
=
=
n
i
ii
Xe
1
2
∑
=
=
n
i
ii
Xe
1
3

ˆ
ββββ
++++=
Ta có mô hình hôi quy :
ii,kk
i,
33i,221i
eX
ˆ
X
ˆ
X
ˆˆ
Y +β++β+β+β=

Nói cụ thể hơn Y
1
= β
1
+ β
2
x
21
+ …+ β
k
x
k1
+ ε
1
Y

= β
1
+ β
2
x
2n
+ …+ β
k
x
kn
+ ε
n

hay Y = X
β
ˆ
+e
trong đó
e =












=> min∑
=
n
i
i
e
1
2
là tổng bình phương các phần dư RSS

CHƯƠNG 3 ỨNG DỤNG CỦA PHẦN DƯ TRONG PHÂN TÍCH HÀM
HỒI QUY
3.1 Phát hiện phương sai của sai số thay đổi
Như chúng ta đã biết việc phát hiện da phương sai của sai số thay đổi
rất khó .Do vậy để làm được điều này việc phân tích phần dư có ý nghĩa cực kỳ
quan trọng trong quá trình phát hiện phương sai của sai số thay đổi
3.1.1 Xem xét đồ thị
Đồ thị của sai số hồi quy , phần dư đối với giá trị của biến độc lập X
hoặc giá trị dự đoán Y^ sẽ xho ta biết liệu phương sai của sai số thay đổi hay
không .Phương sai của phần dư được chỉ ra bằng độ rộng của biểu đồ phân giải của
phần dư khi X tăng lên .Nếu độ rộng của biểu đồ rải của phần dư tăng lên hoặc
giảm đi khi X tăng thì giả thiết về phương sai hằng số có thể không thõa mãn
Đồ thị phân tán phần dư e
i
theo X
i
Theo các đồ thị trên thì khi giá trị dự báo Y tăng (hoặc khi X tăng) thì phần dư có

2 thu được từ hồi quy gốc .Tức từ hồi quy gốc ta thu được các phần dư
e
i
sau
đó bình phương chúng được
e
i
2 rồi lấy ln
e
i
2
Như vậy ta thực hiện kiểm định Park theo các bước sau
(1) Ươcs lượng hồi quy gốc ,cho dù có hoặc không tồn tại hiện tượng
phương sai của sai số thay đổi
(2) Từ hồi quy gốc thu được các phần dư
e
i
sau đó bình phương được
e
i
2 rồi đến lấy ln
e
i
(3) Tiến hành kiểm định nêu ở mục [4- 136 ] Bài giảng kinh tế lượng
PGS.TS NGYỄN QUANG ĐÔNG
3.1.3. Kiểm đinh Glejser
Kiểm đinh Glejser cũng tương tự như kiểm đinh Park .Sau khi thu được phần
dư
e
i

= (β1 + β2Xi ) +
vi
ei
= ( β1 + β2X
2
i
) +
vi
3.1.4. Kiểm đinh While
Mô hình hồi quy

iiii
UXXY +++=
,33,221
βββ
Tiến hành kiểm định
(1) Theo phương phap bình phương nhỏ nhất OLS , ta thu được phần dư
tương ưng
e
i
(2) Ươcs lượng mô hình

e
i
2 =
i
UXXXXXX
++++++
326
2

)1,1p(
nR≤χ
α−−
.
mô hình có phương sai của sai số thay đổi và thực hiện kỹ thuật ước lượng mô
hình như sau:
Đối với kiểm định Breusch-Pagan
pipi221
2
i
Z
ˆ
Z
ˆˆ
w
ˆ
α+⋅⋅⋅+α+α=
Đối với kiểm định Glejser
2
pipi221
2
i
)Z
ˆ
Z
ˆˆ
(w
ˆ
α+⋅⋅⋅+α+α=
Đối với kiểm định Harvey-Godfrey

phương pháp bình phương nhỏ nhất thong thường
Dù ei không hoàn toàn giống Ui nhưng sự xem xét trực tiếp thường gọi cho
ta manh mối nào đó về sự tương quan U .Trên thực tế sự xem xét trực quan về ei
hoặc ei2 có thể cho thong tin hữu ích về tự tương quan và tính không đồng
phương sai , sự không phù hợp của mô hình

Có những cách khác nhau để xem xét phần dư .Chúng ta có thể đơn thuần vẽ
đồ thị của chúng theo thơì gian
Phần
Dư
…………………………………………………….
………………………………………………………
……………………………………………………
t
Đồ thị phần dư theo thời gian
Đồ thị phần dư theo thời gian ở trên không biểu thị một kiểu mẫu nào khi
thời gian tăng lên những phần dư như vậy hình như phân bố ít nhiều ngẫu nhiên
xung quanh trung bình của chúng
3.2.1 Phương phá kiểm định số lượng
a.Phương pháp kiểm định các đoạn mạch
Từ việc phân tích phần dư ei ta thu được một chuỗi các phần dư và đânhs đáu
theop tiêu thức phần dư am ,phần dư dương
- + + - - - - + + - + + + + - - + + + + + + + - - - - - - - - -+ + + +
- + + + -
Ta xác định tổng quan sát n =
21
nn +
Trong đó
n Tổng quan sát