BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC LẠC HỒNG
***
CAO NGUYỄN THỦY TIÊN
XÂY DỰNG BỘ LỌC PHÁT HIỆN CÁC WEBSITE
CÓ NỘI DUNG KHÔNG LÀNH MẠNH
LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
Đồng Nai, Năm 2011
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC LẠC HỒNG
***
CAO NGUYỄN THỦY TIÊN
XÂY DỰNG BỘ LỌC PHÁT HIỆN CÁC WEBSITE
CÓ NỘI DUNG KHÔNG LÀNH MẠNH
Chuyên ngành: CÔNG NGHỆ THÔNG TIN
Mã số: 60 48 05
LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC
TS. VŨ ĐỨC LUNG
Đồng Nai, 2011
LỜI CAM ĐOAN
Tôi xin cam đoan luận văn thạc sỹ công nghệ thông tin “Xây dựng bộ lọc
phát hiện các website có nội dung không lành mạnh” là kết quả của quá trình
học tập, nghiên cứu khoa học độc lập, nghiêm túc.
Các số liệu trong luận văn là trung thực, có nguồn gốc rõ ràng, được trích dẫn
và có tính kế thừa, phát triển từ các số liệu, tạp chí, các công trình nghiên cứu đã
được công bố, trên các website.
Các phương pháp nêu trong luận văn được rút từ những cơ sở lý luận và quá
trình nghiên cứu tìm hiểu.
Đồng Nai, ngày 15 tháng 10 năm 2011
Tác giả

1.1.2. Đặc điểm web có nội dung không lành mạnh 4
1.1.3. Nguyên nhân cần xây dựng bộ lọc web 7
1.2. Các phương pháp lọc web có nội dung không lành mạnh 7
1.2.1. Bộ lọc web dựa vào địa chỉ mạng 7
1.2.2. Bộ lọc web dựa vào URL (Universal Resource Locator) 9
1.2.3. Bộ lọc web dựa vào DNS 12
1.2.4. Bộ lọc web dựa vào từ khóa (key word) 13
1.3. Những phần mềm lọc web hiện nay 14
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 16
2.1. Tổng quan khai phá dữ liệu 16
2.1.1. Khai phá Text 16
2.1.1.1. Khái niệm 16
2.1.1.2 Một số loại khai phá Text 16
2.1.1.3. Quy trình khai phá Text 17
2.1.2. Khai phá web 18
2.1.2.1. Khái niệm 18
2.1.2.2. Phân loại khai phá web 18
2.1.2.3. Phương pháp biểu diễn trang web 19
2.1.3 Xử lý văn bản tự động 21
2.1.3.1. Rút trích đặc trưng văn bản 21
2.1.3.2. Biểu diễn văn bản bằng vector đặc trưng 22
2.2. Lọc nội dung trang web bằng thuật toán Naïve Bayes 25
2.2.1. Giới thiệu 25
2.2.2. Học Bayes (Bayes Learning) 25
2.2.3. Công thức Bayes 28
2.2.4. Các bước tiến hành lọc nội dung bằng mạng Bayes 30
2.3. Phương pháp tách từ trong tiếng Việt 31
2.3.1. Tình hình nghiên cứu 31
2.3.2. Một số phương pháp tách từ 32
2.3.2.1. Tách câu dựa trên Maximum Entropy 32

3.5.1. Lấy nội dung website cần phân tích 61
3.5.2. Quản lý bộ từ điển tiếng Việt 61
3.5.3. Phân tích câu đối với nội dung website tiếng Việt 62
3.5.4. Phân tích nội dung website tiếng Việt 63
3.6. Chức năng huấn luyện từ cho việc lọc nội dung 63
3.6.1. Huấn luyện từ tiếng Anh 64
3.6.2. Huấn luyện từ tiếng Việt 64
3.7. Phân loại nội dung website 65
3.7.1. Nội dung tiếng Anh 65
3.7.2. Nội dung tiếng Việt 65
3.8. Quản lý các thông số hệ thống 66
3.9. Quản lý các danh sách 67
3.9.1. Black List 67
3.9.2. White List 68
3.10. Kết quả thực nghiệm và đánh giá kết quả đạt được 68
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 70
TÀI LIỆU THAM KHẢO
DANH MỤC HÌNH VẼ
Hình 1.1 – Màn hình trình duyệt cấm truy cập 3
Hình 1.2 – Báo cáo tìm kiếm từ khóa “sex” tại Việt Nam 6
Hình 1.3 – Báo cáo tìm kiếm từ khóa “sex” trên thế giới 6
Hình 2.1 – Sơ đồ lĩnh vực khai phá web 18
Hình 2.2 – Quy trình tách từ 37
Hình 3.1 – Tiến trình thu thập nội dung 49
Hình 3.2 – Mô hình tổng quát lọc nội dung không lành mạnh 50
Hình 3.3 – Mô hình tách câu trong tiếng Việt 51
Hình 3.4 – Mô hình tách từ đơn tiếng Việt 52
Hình 3.5 – Mô hình tách từ ghép tiếng Việt 53
Hình 3.6 – Mô hình tính xác suất cho từ ghép 54
Hình 3.7 – Mô hình cập nhật bộ từ điển 55

điểm của nó, ngoài những kiến thức hữu ích thì người dùng cũng dễ dàng tìm thấy
những nội dung không lành mạnh trên Internet.
Chính vì vậy, mục đích chính của đề tài là nghiên cứu các phương pháp và đề
xuất kỹ thuật ngăn chặn tự động các trang web có nội dung bằng tiếng Việt không
lành mạnh
2. Mục tiêu đề tài
Tìm hiểu đặc trưng cũng như sự phát triển của website có nội dung không lành
mạnh, kết hợp phân tích các hệ thống lọc web hiện có. Từ đó đề xuất mô hình có
thể tự động phát hiện những trang web có nội dung không lành mạnh sử dụng ngôn
ngữ tiếng Việt bằng các kỹ thuật rút trích thông tin từ website cũng như ứng dụng
khai phá dữ liệu văn bản, đặc biệt sử dụng thuật toán Naive Bayes nhằm xác định
ngưỡng xác suất website không lành mạnh để có hướng xử lý phù hợp.
Bênh cạnh đó, hiện thực hóa mô hình thành một trình duyệt web có khả năng
tự động ngăn chặn những website tiếng Việt có nội dung không lành mạnh.
3. Nội dung thực hiện
Nội dung chính cần thực hiện trong đề tài gồm các phần sau:
− Nghiên cứu tổng quan các hệ thống lọc web “đen” thông dụng hiện nay, xác
định những điểm bất cập từ những chương trình ứng dụng lọc web hiện có,
những điểm mạnh, điểm yếu của những phương pháp xây dựng bộ lọc web.
2
− Nghiên cứu những điểm mạnh của các kỹ thuật phân loại văn bản nhằm áp dụng
nó tốt nhất vào đề tài nghiên cứu.
− Tìm hiểu các phương pháp tách từ trong tiếng Việt, từ đó lựa chọn phương pháp
tối ưu nhất để giải quyết bài toán lọc nội dung
− Nghiên cứu các thuận toán, đặc biệt là thuật toán Naïve Bayes.
− Đề xuất phương pháp lọc web phù hợp và xây dựng mô hình.
− Cài đặt bộ lọc web hiện thực hóa vấn đề nghiên cứu.
4. Phạm vi ứng dụng
Đề tài “Xây dựng bộ lọc phát hiện các website có nội dung không lành mạnh”
được ứng dụng bằng một trình duyệt giúp phụ huynh kiểm soát được quá trình truy

xã hội, khiến cho các thành phần thanh thiếu niên và một số người trưởng thành
sao lãng học tập, làm việc, nảy sinh tư tưởng bệnh hoạn, gia tăng các tệ nạn đi
ngược lại với truyền thống văn hóa tốt đẹp của người Việt Nam.
Tuy nhiên ta cũng phải nhìn nhận rằng ở một số quốc gia có nền văn hóa
thoáng như ở Mỹ hay Châu Âu, vẫn cho phép một số website khiêu dâm được cấp
phép hoạt động và chỉ cho phép người trưởng thành truy cập vào. Các trang web
này hoạt động có tổ chức rõ ràng và dưới sự kiểm soát của chính quyền nước sở
tại. Như vậy, các trang web này chưa hẳn đã “xấu” nếu xét theo khía cạnh pháp lý.
Vậy căn cứ vào đâu để chúng ta phân biệt đâu là một trang web “xấu”, đâu là
một trang web “không xấu” ? Điều đó phụ thuộc vào truyền thống văn hóa của
người Việt Nam, căn cứ vào luật pháp hiện tại của nước Việt Nam chưa có thừa
nhận ngành công nghiệp sex, tất cả các trang web sử dụng công cụ khiêu dâm đều
bị xem là trang web “xấu”.
5
Nội dung phản động chính trị
Do cá nhân hoặc tổ chức phản động với mục đích tuyên truyền tư tưởng phản
động, chống phá nhà nước Việt Nam, kêu gọi mọi người “tự do chính trị”, “đa
nguyên đa đảng”, … Các trang web này có rất nhiều, chủ yếu đặt tại nước ngoài,
sử dụng tiếng Việt là ngôn ngữ chính để tuyên truyền. Hệ quả sự tồn tại của các
trang web này là sự chia rẽ nội bộ, kích động các phần tử vốn đã có tư tưởng phản
động. Cần có cái nhìn nghiêm túc đối với những trang web này, không thể vì lý do
“tự do ngôn luận” mà có thể lợi dụng điều này để thực hiện ý đồ phá hoại.
Tính đến năm 2010, Việt Nam hiện đứng thứ 3 ở khu vực Đông Nam Á với
24.269.083 người sử dụng Internet chiếm 2.9% người dùng Internet châu Á, với
tốc độ tăng trưởng trung bình 12.034,5% trong 10 năm qua Việt Nam vẫn đang là
một trong những thị trường công nghệ viễn thông đầy triển vọng ở châu Á cũng
như khu vực, thu hút sự quan tâm của các nhà đầu tư nước ngoài.
(internetworldstats.com)
Theo Google Trends (Hot Trends) là công cụ theo dõi xu hướng tìm kiếm của
từ khóa theo vùng miền, thành phố, ngôn ngữ thì Việt Nam nằm trong top 3 những

người quản trị mạng cần có hiểu biết chi tiết về các dịch vụ Internet, các dạng
packet header, …
8
 Danh sách đen (Back List) và danh sách trắng (White List)
Danh sách trắng và danh sách đen là 2 phương pháp phổ biến được nhiều nhà
cung cấp phần mềm sử dụng, vì nó đơn giản, dễ quản lý và cho một kết quả có thể
chấp nhận.
Danh sách trắng là danh sách các website được phép truy cập, danh sách đen là
danh sách những trang cấm, các danh sách này thường được tạo bằng cách thủ
công bằng cách khảo sát trang web để đưa ra quyết định trang web này là cấm hay
được phép truy cập.
Hàng này, số lượng các website mới xuất hiện rất nhiều gây khó khăn cho việc
cập nhật danh sách Backlist, Whitelist và được do làm thủ công nên mất nhiều thời
gian cho việc bổ sung các danh sách này.
 Lọc web qua địa chỉ IP
Đây là kỹ thuật ngăn chặn trực tiếp trên đường mạng bằng các địa chỉ IP của
một website. Kỹ thuật này có thể là thiết thực trong bối cảnh các website thường bị
truy cập thông qua địa chỉ IP hay nó có thể truy cập thông qua IP thay cho tên
DSN. Đa số trường hợp, không được khuyến dùng do 3 sự kém cỏi sau:
− Ngăn chặn truy cập đến một IP cũng sẽ ngăn chặn lưu thông mạng đến những
site có host ảo trên cùng IP ngay cả khi nó có nội dung liên quan đến vấn đề cấm
hay không.
− Ngăn chặn truy cập đến một IP cũng sẽ ngăn chặn lưu thông mạng đến mỗi
thành viên của cổng thông tin nằm trên IP đó. Nó sẽ ngăn chặn một thành phần
của website không phải là một phần hay một tập các trang con.
− Đó là sự thay đổi thường xuyên của các website bị lọc ngay khi chủ nhân
website phát hiện ra bị lọc. Hành động này dựa trên DNS để cho phép người
dùng vẫn còn truy cập đến trang web. Bảng thống kê phía dưới sẽ so sánh kết
quả lọc của một số phần mềm theo dự án khảo sát website của dự án NetProject.
9

xấu.
Theo khảo sát [5] [8], đa phần những trang web xấu dùng từ ngữ khiêu dâm,
gợi dục làm tên miền cho website của mình với mục đích thu hút sự chú ý của
người dùng Internet. Với những trang web như vậy, việc chặn trực tiếp ngay từ địa
chỉ URL mà không cần quan tâm đến nội dung trang web là một điều đúng vì
không có một trang web nào có nội dung là tốt nếu địa chỉ là xấu.
Ví dụ
Các trang web này đều là web sex:
www.sexviet.com
www.sex700.com
www.sexygirls.com
10
do đều chứa các từ khóa là “sex”
Hoặc các trang web sex sau đây
www.freeporns.com
www.asiaporns.com
www.childporn.com
đều chứa các từ khóa là “porn”
Ưu điểm
− Mức độ chính xác khá cao do dựa chủ yếu vào từ khóa.
Nhược điểm
− Chắc chắn bỏ qua các trang web không sử dụng URL keyword phổ biến.
− Một số ít những trang web không xấu có chứa một URL keyword nào đó và bị
xem là xấu.
 Kỹ thuật lọc web dựa vào URL
Đây là kỹ thuật lọc bằng cách quan sát lưu thông web (HTTP) bằng cách theo
dõi URL và các host field bên trong các yêu cầu HTTP để nhận ra đích đến của
yêu cầu. Host field đuợc dùng riêng biệt bởi các máy chủ web hosting để nhận ra
tài nguyên nào được trả về.
Lọc web qua URL [9] thường được xếp vào loại chủ đề rộng lớn về “Content

Wavecrest Computing
Ưu điểm khi sử dụng bộ lọc qua URL
− Những Website ảo không bị ảnh hưởng: Kỹ thuật này không ảnh hưởng đến các
máy chủ web ảo khi chúng cùng dùng một IP như những website hạn chế. Một
website bị chặn và website không bị chặn có thể chia sẻ cùng một địa chỉ IP.
− Không ảnh hưởng đối với việc thay đổi IP: Trong phần lớn tình huống, sự thay
đổi IP của website bị hạn chế sẽ không ảnh hưởng đến phương pháp này. Vì
phương pháp lọc này không phụ thuộc vào địa chỉ IP. Chủ sở hữu những trang
web có thể đòi bất cứ IP nào họ muốn, nhưng người dùng đứng sau bộ lọc
không thể truy cập được.
12
Hạn chế khi sử dụng bộ lọc thông qua URL
− Thường không thể ngăn chặn các cổng phi tiêu chuẩn:
+ Những Web server làm việc với cổng tiêu chuẩn rất tốt.
+ Website trên các cổng phi tiêu chuẩn thì khó khăn cho việc ngăn cấm vì
chúng yêu cầu một cấp độ cao hơn trong bộ lọc.
+ Một giải pháp lọc qua URL có thể là kỹ thuật có khả năng cần thiết cho
những kết nối HTTP trên các cổng phi tiêu chuẩn
− Không làm việc với các lưu thông bị mã hóa: vì HTTP yêu cầu sử dụng
SSL/TLS bị mã hóa. Phương pháp lọc theo URL không thể đọc các hostfield.
Cho nên, bộ lọc không có hiệu quả phát hiện một tài nguyên nào trên một địa chỉ
IP mà yêu cầu thực sự định hướng vào.
Tóm lại, các server cần có bộ lọc để thực hiện loại bỏ một số trang web không
tốt, nhưng nó có thể làm cho hệ thống chậm lại.
1.2.3. Bộ lọc web dựa vào DNS
Những website bị lọc sẽ hoàn toàn không thể truy cập được đến tất cả các cấu
hình sử dụng bộ lọc nameserver cho bộ phân giải tên do tất cả các bộ lọc
nameserver sẽ trả về thông tin bất hợp lệ khi yêu cầu phân giải một hostname của
website bị lọc. Như vậy không thể truy cập đến tài liệu trên của máy chủ chứa
Website. Tuy nhiên, các website không bị lọc sẽ cho phép truy cập miễn là chúng

đến các dịch vụ chạy trên mạng như e-mail.
1.2.4. Bộ lọc web dựa vào từ khóa (key word)
Tương tự như cách tiếp cận dựa vào URL keyword [10], cũng có một danh
sách các từ khóa để nhận ra những trang web bị chặn. Một trang web cấm sẽ chứa
14
nhiều từ khóa không hợp lệ, đây là cơ sở để nhận ra trang web bị cấm. Điều quan
trọng đối với phương pháp này là ngữ nghĩa của từ khóa theo ngữ cảnh, điều này
làm cho hệ thống có những nhầm lẫn khi đưa ra một quyết định về một trang web
có được thể hiện hay không.
Một website chuyên đề bệnh ung thư có thể bị khóa với lý do bài viết về “bệnh
ung thư vú”, ta thấy được rằng nếu trong bài viết có đề cập quá nhiều đến từ khóa
nằm trong danh sách từ khóa chặn là “vú” thì vô tình hệ thống sẽ nhầm lẫn và
khóa trang này.
Vấn đề tiếp theo đó là các từ cố ý hay vô ý đánh vần sai, ở một số trang chứa
nội dung xấu thì ngôn từ được dùng trong trang web của nó bị thay đổi để đánh lừa
hệ thống lọc, tuy nhiên khi người sử dụng đọc thì có thể hiểu ngay đó chỉ là sai
chính tả thôi còn đối với hệ thống lọc điều đó làm ảnh hưởng lớn đến hệ thống.
1.3. Những phần mềm lọc web hiện nay
SurfControl – Enterprise Threat Protecion: đây là phần mềm của hãng
SurfControl, phần mềm này thiết kế theo cách tiếp cận lọc web và ngăn chặn từ
proxy qua URL và từ khóa, có khoảng 20 cách ngăn chặn
Internet Filter – Web Filters: do hãng iPrism Internet Filters & Web Filters
phát triển, là phần mềm thực hiện giám sát và ngăn chặn. Phần mềm này được
quảng cáo là dùng kỹ thuật lọc web động kiểm soát nội dung trang web ngay từ ở
ngõ vào. Tuy nhiên, theo hướng dẫn của nhà sản xuất thì phần mềm này cũng có
bóng dáng của kỹ thuật dùng phương pháp lọc chặn từ khóa.
DWK4.1: Depraved Web Killer (DWK) do tác giả Vũ Lương Bằng dự thi
chung kết cuộc thi Trí Tuệ Việt Nam năm 2004, tính đến thời điểm này phiên bản
mới nhất là v4.1 (2011) có nhiều chức năng như:
– Ngăn chặn các trang web có nội dung xấu (từ khóa, URL).