X l ngôn ng tư nhiên
Đ ti: Phân loi văn bn: Lc thư rc
GVHD: PGS.TS Lê Thanh Hương
Nhóm sinh viên thực hiện:
1.
Trần Việt Đức – 20086084
2.
Dương Nữ Nguyệt Linh – 20081516
3.
Trương Công Trng Nghĩa – 20081877
4.
Nguyễn Thị Minh Thùy – 20082598
5.
Phn Văn Ton – 20082711
10/23/14 1
School of Infomation & Communication Technology - Ha Noi University Of Technology
I. Giới thiệu
•
1.1. Vấn đ Spam Email.
•
1.2. Hc my.
10/23/14School of Infomation & Communication Technology - Ha Noi University Of Technology 2
Tập d liệu
(Data set)
Tập th nghiệm
(Test set)
Tập học
(Training set)
Tập tối ưu
(Validation set)
Huấn luyện

•
4.1. Tính xc suất spam của mỗi token phân tch.
o
Theo Paulgraham.
o
Số token tỉ lệ với số email.
o
Vậy ta có:
10/23/14
School of Infomation & Communication Technology - Ha Noi University Of Technology
4
( , )
S
S N
s
N
p X w C spam
s n
N N
= = =
+
( , )
S
S N
s
T
p X w C spam
s n
T T
= = =

T T
 
 
 ÷
 ÷
 ÷
 ÷
= = =
 ÷
 ÷
+
 ÷
 ÷
 
 
II. Phân loại Naïve Bayes
•
Cuối cùng p dụng công thức naïve bayes.
•
Vậy xc suất một từ spam tính theo công thức.
10/23/14
School of Infomation & Communication Technology - Ha Noi University Of Technology
6
1
{ , }
1
( ). ( | )
( | )
( ). ( | )
n

i i
k spam non spam
i
P C c P X x C c
P C c X x
P C k P X x C c
=
∈ −
=
= = =
= = =
= = =
∏
∑
∏
uur r
III. Các chỉ sô đánh giá hiệu quả phân loại mail.
•
3.1. Spam Recall v Spam Precision.
•
3.2. Tỉ lệ lỗi Error v Tỉ lệ chính xc Accuary.
10/23/14School of Infomation & Communication Technology - Ha Noi University Of Technology 7
Re
S S
S S S N
n
n n
→
→ →
=

3.3. Tỉ lệ lỗi gia trng Weighted Error v tỉ lệ chính xc gia trng Weighted Accurary.
•
Chn � ngưỡng phân loi email:
10/23/14School of Infomation & Communication Technology - Ha Noi University Of Technology 8
N N N N
N S
n n
WAcc
N N
λ
λ
→ →
+
=
+
N S S N
N S
n n
WErr
N N
λ
λ
→ →
+
=
+
III. Các chỉ sô đánh giá hiệu quả phân loại mail.
•
3.4.1. Tỉ số chi phí tổng hợp.
•

N
WErr
TCR
WErr n n
λ
→ →
= =
+
IV. Th nghiệm
•
5.1. Tập dữ liệu.
o
Nhóm em dùng kho dữ liệu email chữ.
o
Tập huấn luyện:
•
922 email non-spam v 594 email spam.
o
Tỉ lệ: ≈ 0.64425.
o
Tập kiểm thử:
•
73 smail non-spam v 47 email spam.
o
Tỉ lệ: ≈ 0.64384.
•
5.2. Kết qu thực nghiệm.
o
Nếu ta chn ngưỡng phân loi email 0.5 tức l = 1 ngưỡng phân loi �
o

(
10/23/14
School of Infomation & Communication Technology - Ha Noi University Of Technology
11
IV. Th nghiệm
10/23/14
School of Infomation & Communication Technology - Ha Noi University Of Technology
12
V. Nhận xét
10/23/14
School of Infomation & Communication Technology - Ha Noi University Of Technology
13
•
Ưu điểm.
•
Nhược điểm.
•
Question/Answer.
Cám ơn vì đã lắng nghe
10/23/14School of Infomation & Communication Technology - Ha Noi University Of Technology 14