Học Máy
(IT 4862)

Nguyễn
ễ Nhật
hậ Quang


Trường Đại học Bách Khoa Hà Nội
Viện Công nghệ thông tin và truyền thông
Năm học 2011-2012


Nội dung
d
môn
ô học:
h
„

Giới thiệu chung
g

„

Đánh giá hiệu năng hệ thống học máy

„

Cá phương
Các

ờ
Học Máy – IT 4862

2


Hồi qquy tuyến tính – Giới thiệu
„

Với một ví dụ đầu vào, dự đoán một giá trị đầu ra kiểu số thực

„

Một phương pháp học máy đơn
đơn-giản-nhưng-hiệu-quả
giản nhưng hiệu quả phù hợp
khi hàm mục tiêu (cần học) là một hàm tuyến tínhh
n

f ( x) = w0 + w1 x1 + w2 x2 + ... + wn xn = w0 + ∑ wi xi

(wi,xi ∈R)

i =1

„

Cần học (xấp xỉ) một hàm mục tiêu f

f: X → Y

1.61

-2.76

-3.31

1.44

0.18

5.28

3.36

-1.74

-2.46

7 93
7.93

5 56
5.56

...

...

f(x)


Học Máy – IT 4862

5


Hàm đánh ggiá lỗi
„

Giải thuật học hồi quy tuyến tính cần phải xác định hàm
đá h giá
đánh
iá lỗi
→ Đánh giá mức độ lỗi của hệ thống trong giai đoạn huấn luyện

„

Định nghĩa hàm lỗi E
• Lỗi của hệ thống đối với mỗi ví dụ học x:
n
⎞
1
1⎛
2
⎜
E ( x) = (c x − y x ) = ⎜ c x − w0 − ∑ wi xi ⎟⎟
2
2⎝
i =1
⎠


yệ E
→ Phương pháp này có tên gọi là “Least-Square Linear Regression”

„

Giai đoạn huấn luyện
• Khởi tạo vectơ trọng số w
• Tính toán giá trị lỗi huấn luyện E
• Cập nhật vectơ trọng số w theo quy tắc delta (delta rule)
• Lặp lại, cho đến khi hội tụ về một giá trị lỗi nhỏ nhất (cục bộ) E

„

Giai đoạn dự đoán
Đối với một ví dụ mới z, giá trị đầu ra được dự đoán bằng:
n

f ( z ) = w *0 + ∑ w *i zi
i =1

Học Máy – IT 4862

Trong đó w*=(w*0,w*1,..., w*n)
là vectơ trọng số đã học được
7


Quy tắc delta
„


for each thuộc tính fi
delta_wi ← delta_wi + η(cx-yx)xi
for each thuộc tính fi
wi ← wi + delta_wi
end while
return w
Học Máy – IT 4862

9


Cập
p nhật theo đợt/theo từngg ví dụ
„

Giải thuật trên tuân theo chiến lược cập nhật theo đợt

„

Cập nhật theo đợt (Batch update)
• Tại mỗi bước học, các giá trị trọng số được cập nhật sau khi tất
cả các ví dụ học được đưa vào (được học bởi) hệ thống
- Giá trị lỗi được tính tích lũy đối với tất cả các ví dụ học
- Các giá trị trọng số được cập nhật theo giá trị lỗi tích lũy tổng thể

„

Cập nhật theo từng ví dụ (Instance-to-instance/
incremental update)
• T

for each thuộc tính fi
wi ← wi + η(cx-yx)xi
end while
return w

Học Máy – IT 4862

11


Các điều kiện kết thúc học
„

Trong các giải thuật LSLR_batch và
LSLR_incremental,
S
i
l quá
á ttrình
ì h học
h kết thúc
thú khi các
á điều
điề
kiện được chỉ định bởi CONVERGENCE được thỏa mãn

„

Các điề
Cá

Học Máy – IT 4862

12