HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

NGUYỄN THANH HẢI

ĐỀ TÀI
NGHIÊN CỨU PHƯƠNG PHÁP HỌC CHUYỂN GIAO CHO
LỌC CỘNG TÁC
8 LUẬN VĂN THẠC SĨ KỸ THUẬT


LỜI CẢM ƠN

Trong thi gian hc tp ti Hc vi 
c s y bng dn tin gi li
cc bit xin gi li cng nht
ti thy n Duy ng dn em trong sut
c hit nghi


12CQCT01
.
-

k thut 
.
!
Học viên
Nguyễn Thanh Hải ii

LỜI CAM ĐOAN

u c liu, kt
qu  trong bt
k 

1.6. Chuyn giao tri thc t  10
1.7. ng dng ca hc chuyn giao 10
1.8.Kết luận chương 1 10
CHƯƠNG 2: LỌC CỘNG TÁC BẰNG PHƯƠNG PHÁP HỌC CHUYỂN GIAO 12
2.1. c c 12
2.2. Mt s  13
iv

2.3. Lc c nh 14
2.3.1.  15
2.3.2. Hn ch c--Based 16
2.3.3. i tin 17
2.4. c chuyn giao cho lc c 18
2.4.1. Hc chuyn giao t n sn phm 18
2.4.2. Hc chuyn giao t sn ph 20
2.4.3. Kt hp gia hai ki 22
2.4.3.1. - UserBased 23
2.4.3.2. -ItemBased 27
2.5.  minh ha 30
2.6. Kết luận chương 2 37
CHƯƠNG 3. THỬ NGHIỆM VÀ ĐÁNH GIÁ 38
3.1. D liu th nghim 38
3.2.  nghim 39
3.3. Kt qu th nghim 40
3.4. t qu 43
3.5. Kết luận chương 3 45
KẾT LUẬN 47
TÀI LIỆU THAM KHẢO 48
UTL
Unsupervised Transfer Learning
Hc chuy vi

DANH MỤC CÁC BẢNG

Bảng 1.1 Phân loại các phương pháp học chuyển giao 6
Bảng 1.2 Phân loại theo tình trạng dữ liệu 7
Bảng 2.1 Ma trận đánh giá người dùng - sản phẩm 13
Bảng 2.2 Ma trận đánh giá theo quan sát từ người dùng 20
Bảng 2.3 Ma trận đánh giá theo quan sát từ sản phẩm 22
Bảng 2.4 Ma trận đánh giá ban đầu 31
Bảng 2.5 Ma trận đánh giá quan sát theo người dùng 33
Bảng 2.6 Ma trận đánh giá quan sát theo sản phẩm 34
Bảng 2.7 Bảng mức độ tương tự giữa các sản phẩm 35
Bảng 2.8 Ma trận kết quả Transfer – UserBased sau vòng lặp t=1 36
Bảng 2.9 Bảng mức độ tương quan giữa các người dùng 36
Bảng 2.10 Ma trận kết quả của phương pháp Transfer-UserBased 37
Bảng 3.1 Bảng ví dụ đánh giá độ đo trung bình tuyệt đối 40
Bảng 3.2 Kết quả thực nghiệm phương pháp học chuyển giao dựa vào người dùng 41
Bảng 3.3: Kết quả thực nghiệm phương pháp học chuyển giao dựa vào sản phẩm 42
Bảng 3.4 Giá trị MAE trên tập ml -100K 44 vii

DANH MỤC CÁC HÌNH

c chuyn giao tri th
li th n ch ca mc chuy u
c chuyn giao, la ch th gii quy
lc c

2

Chương 2: Lọc cộng tác bằng phương pháp học chuyển giao
c cmt s truyn
thng  thc hic c
n ch c xui
ti  i cho lc c   thut hc
chuyp Transfer--ItemBased.
Chương 3: Thử nghiệm và đánh giá
  c hin th nghi       xut
Tranfer-  -   d liu MovieLens c 
u GroupLens thui ht qu v
n th u qu c
i.

3

CHƯƠNG 1: TỔNG QUAN VỀ HỌC CHUYỂN GIAO
1.1. Giới thiệu chung
 th  liu truyn th 
dt gi thuyng d liu hun luyng
d liu thc t 
b c t 
ra gi s  i trong mt min m
 d liu hun luyn trong mit nhiu d liu s

f(x) ca mt ca mt mu x mi.
4

m d liu min ngun D
S
= {(x
S1
,y
S1

Sn
,y
Sn
)}

Si
 X
S
u d liu, y
Si
 Y
S
m d
liu mi
T
={(x
T1
,y
T1


c t D
S
, T
S
 ci thi i f
T
(.) ca T
T

trong min D
T
u kin D
S
 D
T
hoc T
S
T
T
.
1.3. Phân loại các phương pháp học chuyển giao
T    hc chuyn giao, d   ng ca d liu
min ngu liu mi c chuyn
giao sau:
1.3.1. Học chuyển giao quy nạp (Inductive transfer learning)
Định nghĩa học chuyển giao quy nạp: Cho mt min ngun D
S

v T
S

T
T
!=T
S
i ph
d lii trong mi vic h
f
T
(.) ca T
T
 thc hi c, vic hc chuyn giao ch nhm ci thi

 ng h  t nhiu d li c g   i  min
ngu tic T
S
,T
T
ng thc
m,   
5

n vic ci thin chng ca vic hc T
T
dng tri thc thc t
T
S
.
 ng h    li      i  min
ngun, hc chuyn giao s   hc.
1.3.2. Học chuyển giao tăng cường (Transductive transfer learning)

ng d lii trong mi
c chuyn giao ng li
i ti mit nhiu d lii 
min ngun tu kin thun li cho vic h 
T
   n
luyn do T
T
= T
S
 t D
S
!= D
T
ng tri thc hc
 min ngun s phu chm th  
ng hp D
S
!= D
T
do P
S
(X) != P
T
(X), hai mic
 nhau ch  m u kin
t ging vu kin c n mn
lc.
ng hp D
S

S
u kin T
S
!= T
T
Y
S
,
Y
T
c.
6

 T
S
!= T
T
ging c chuyn giao
quy nc chuy
h mim, gim chi. Vi
 h li trong
min ngun ln mi
1.3.4. Tổng kết phân loại các phương pháp học chuyển giao:
T  gia min ngun
vi mi ngun v  
p hc truyn giao theo bng sau:
Bảng 1.1 Phân loại các phương pháp học chuyển giao
c
T
S


7

Bảng 1.2 Phân loại theo tình trạng dữ liệu
c
D
T

D
S



Hc quy np


i/
Hi quy
Hm

T hc
Hc ng


i/
Hi quy
n,
ly mn
lc
H


ng hp D
S

T
 
 t s mu d liu min ngu c,
trong khi mt s mu l c  mi
 s dng hiu qu  hun luyn  min ngu
dc cu d liu hun luy
ta cn phi li trng s c hun luyp vi min

1.4.2. Chuyển giao tri thức thông qua ví dụ huấn luyện trong học tăng
cường
c chuyn giao ng liu
 min ngung
nhau. Vng hp chuyn giao tri th hun luy
li min nguy vic h 
h thc hin ngun.
c m
c tng vi mt tham s c ti d kin. Trong
thc t  t d li bit
b liu hun luy liu hun luy
c ng vi tham s c ti thc nghim.
Do P(D
S
 
T
 liu min ngu 
c ti trng s c

  s pht P
T
(x
Ti
,y
Ti
)/P
S
(x
Si
,y
Si
) = P(x
Ti
)/P(x
Si
) ch   thuc

Ti

Si
t nhi 
 liu  min ngu
9

1.5. Chuyển giao tri thức từ biểu diễn đặc trưng
Trong chuyn giao tri thc t biu di g
mt biu dit nhm s t gia hai mim t l
li quy. Chin thu t biu dit theo mc
 rng d liu ca hai min.

 gim chi ng gi lp mt
b dng gii thut gim chin
ngu chy lp l t nht cho mi
1.6. Chuyển giao tri thức từ các quan hệ
n giao tri thn giao tri thc t
 ch ng trong hc chuyng hp hai mi
mi quan h v liu gia hai mic lng
 gng chuyi quan h t gia d liu
min ngun d liu mi thut hc th c s dng
 gii quyt v 
1.7. Ứng dụng của học chuyển giao
Trong nhc chuyc ng d
trong rt nhiu ng dng thc t. Hc chuyn giao ci thi chng ca
i d liu. Hc chuy
dng r n t nhiu ngu
ng ca lc c thng lc email spam,
chuyn giao tri thnh v  thi gian.
1.8.Kết luận chương 1
  i thiu chung v hc chuyn giao, nh   nh
i thiu ba  hc chuym:
 Hc chuyn giao quy np
11

 Hc chuyn giao ng
 Chuy
3 p cn gm:
 Hc chuyn giao tri th hun luyn
 Hc chuyn giao tri thc t biu di
 Hc chuyn giao tri thc t quan h
T nhng ph   d n thy vic s dng hc

N P = {p
1
,
p
2
, , p
M
M p
x
P 

p
x
P xP
u
i
U iU.
U P 
R={ r
ix
}, i = 1 N, x = 1 Mr
ix

i

U x

Pr
ix


4

p
5

p
6

p
7

u
1

4
2
5

3

3
u
2

5

5
5
4


4

2.1 R = (r
ij

U = {u
1
, u
2
, u
3
, u
4
, u
5
 P = {p
1
, p
2
, p
3
, p
4
, p
5
, p
6
, p
7


Pearson [8]. Sarwar 
4

18].



   

2.3. Lọc cộng tác dựa vào bộ nhớ
              
      8    
(ItemBased [4 
   


15

2.3.1. Phương pháp UserBased và ItemBased
 quan 
quan 
    



Bước 1. Tính toán mức độ tương tự giữa các cặp người dùng hoặc sản phẩm.

4, 8, 15, 19].
u
ij

PPx
iix
PPx
jjxiix
ij
rrrr
rrrr
u


(2.1)
  
   
22







yxyx
yx
UUi
yiy
UUi
xix
UUi
yiyxix
xy

r
PP
r


1
(2.4)



yx
UUi
ix
yx
x
r
UU
r


1
(2.5)
16




yx
UUx
jx







i
i
Kj
ij
ij
Kj
jjx
iix
u
urr
rr
(2.7)





x
x
Ky
xy
Ky
iyxy
ix


u
5
u
2
2.1). Khi hai