BỘ THÔNG TIN VÀ TRUYỀN THÔNG
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

Dương Trần Đức

MỘT SỐ PHƯƠNG PHÁP HỌC MÁY XÁC ĐỊNH
ĐẶC ĐIỂM NGƯỜI DÙNG TRÊN MẠNG INTERNET

Chuyên ngành: Kỹ thuật máy tính
Mã số: 9.48.01.06

TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT

Hà Nội – Năm 2018


Công trình được hoàn thành tại: Học viện Công nghệ Bưu chính
Viễn thông

Người hướng dẫn khoa học:
PGS. TS. Phạm Bảo Sơn
TS. Tân Hạnh

Phản biện 1:……………………………………………
…………………………………………….
Phản biện 2:……………………………………………
…………………………………………….
Phản biện 3……………………………………………
…………………………………………….
Luận án được bảo vệ trước Hội đồng chấm luận cấp Học viện
họp tại: Học viện Công nghệ Bưu chính Viễn thông

nhiên, có nhiều người dùng không tự tiết lộ các thông tin cá nhân do
các vấn đề về an toàn và riêng tư. Vì vậy, để có được thông tin cá cá
nhân người dùng, cần phải dự đoán từ các “dấu vết” người dùng để
lại trên hệ thống, có thể là các văn bản hoặc các hành vi ngườ dùng
đã thực hiện.
Luận án này thực hiện các nghiên cứu trên cả hai lĩnh vực: xác
định đặc điểm tác giả văn bản và xác định đặc điểm người dùng dựa
trên hành vi. Các nghiên cứu về xác định đặc điểm tác giả văn bản
được thực hiện trên các văn bản tiếng Việt là loại ngôn ngữ chưa
được nghiên cứu nhiều. Các nghiên cứu về xác định đặc điểm người
dùng dựa trên hành vi được thực hiện trên dữ liệu của hệ thống
thương mại điện tử, là loại hệ thống có nhu cầu cao trong việc cá
nhân hóa nhằm giới thiệu sản phẩm và quảng cáo đúng mục tiêu.


2
1.

MỤC TIÊU CỦA LUẬN ÁN
Dựa trên nhu cầu thực tiễn và các kết quả nghiên cứu trước

đây ở trong nước và quốc tế, luận án đặt ra các mục tiêu chính như
sau:
-

Nghiên cứu vấn đề xác định đặc điểm tác giả văn bản trên loại
văn bản mới, chưa được nghiên cứu trước đây. Nghiên cứu các
phương pháp trích chọn đặc trưng mới cho vấn đề xác định đặc
điểm tác giả văn bản, nhằm tăng độ chính xác hoặc tính độc lập
trong quá trình nhận diện, có thể tận dụng các đặc điểm đặc thù

CÁC ĐÓNG GÓP CỦA LUẬN ÁN
Đóng góp trong lĩnh vực xác định đặc điểm tác giả văn

bản:
- Nghiên cứu việc ứng dụng các loại đặc trưng và phương
pháp nhận diện khác nhau, trong đó tập trung phân tích sâu
về các đặc trưng dựa trên nội dung. Đề xuất một phương
pháp nhận diện dựa trên loại đặc trưng mới là theo âm tiết
và vần trong tiếng Việt. Loại đặc trưng này cho độ chính
xác cao hơn khi kết hợp và có tính độc lập dữ liệu hơn so
với các đặc trưng nội dung.
Đóng góp trong lĩnh vực xác định đặc điểm người dùng
dựa trên hành vi:
- Nghiên cứu vấn đề dự đoán giới tính khách hàng dựa trên
dữ liệu lịch sử truy cập hệ TMĐT. Luận án nghiên cứu các
phương pháp trích chọn đặc trưng và phân loại hiệu quả,
trong đó đề xuất phương pháp trích chọn đặc trưng sử dụng
biểu diễn dạng cây của danh sách sản phẩm và phân loại.
4.

BỐ CỤC CỦA LUẬN ÁN
Nội dung của luận án bao gồm 3 chương và một phụ lục.

Chương 1 khảo sát và đánh giá các công trình đã thực hiện trong lĩnh
vực nghiên cứu của luận án. Chương 2 trình bày về vấn đề xác định
đặc điểm tác giả bài viết diễn đàn tiếng Việt, bao gồm phương pháp
tiếp cận và các kết quả thực nghiệm. Chương 3 mô tả các kết quả


4


5
thuật toán như máy véc tơ hỗ trợ (SVM - Support Vector Machine),
mạng Bayes (Bayesian Networks), hay cây quyết định (Decision
Trees).
Tập đặc trưng có thể được xem như một phương pháp biểu
diễn văn bản trên khía cạnh phong cách viết hoặc cách sử dụng từ.
Đã có nhiều tập đặc trưng được thử nghiệm và được chia làm hai loại
chính: đặc đặc trưng về phong cách và đặc trưng dựa trên nội dung.
Đặc trưng về phong cách bao gồm các đặc điểm liên quan đến cách
dùng ký tự, các tính chất từ (lexical), cách sử dụng các cấu trúc ngữ
pháp (syntactic), hay về cấu trúc văn bản. Đặc trưng dựa trên nội
dung bao gồm các từ nhất định hoặc các nội dung đặc biệt được sử
dụng thường xuyên trong lĩnh vực đó hơn là các lĩnh vực khác. Các
đặc trưng cũng có thể được phân loại thành các đặc trưng độc lập dữ
liệu và phụ thuộc dữ liệu (liên quan đến quá trình xây dựng tập đặc
trưng có cần tham chiếu đến tập dữ liệu hay không).
Mặc dù việc lựa chọn thuật toán học máy phù hợp là một vấn
đề quan trọng, các nghiên cứu trước đây cho thấy trong lĩnh vực
phân tích tác giả văn bản, việc lựa chọn tập đặc trưng lại có tầm quan
trọng cao hơn. Do vậy, các nghiên cứu gần đây tập trung khai thác,
tìm kiếm các loại đặc trưng mới cho vấn đề phân tích tác giả văn
bản.
1.2

NHẬN DIỆN ĐẶC ĐIỂM NGƯỜI DÙNG THÔNG QUA
PHÂN TÍCH HÀNH VI
Bên cạnh việc nhận diện người dùng thông qua phân tích văn

bản, gần đây vấn đề nhận diện đặc điểm người dùng dựa trên phân

2.1

XÁC ĐỊNH ĐẶC ĐIỂM TÁC GIẢ BÀI VIẾT DIỄN ĐÀN
TIẾNG VIỆT SỬ DỤNG CÁC ĐẶC TRƯNG CƠ BẢN


7
Nghiên cứu này thực hiện xác định đặc điểm tác giả bài viết
diễn đàn tiếng Việt trên các đặc trưng cơ bản theo phong cách và một
số thuật toán học máy phổ biến. Các đặc điểm cá nhân của tác giả bài
viết được nhận diện bao gồm giới tính, độ tuổi, nghề nghiệp, và vùng
miền. Các loại đặc trưng cơ bản được khảo sát trong nghiên cứu này
gồm các đặc trưng dựa trên ký tự và tính chất từ, đặc trưng ngữ pháp,
đặc trưng cấu trúc. Các thực nghiệm được thực hiện trên các tập con
đặc trưng khác nhau để nghiên cứu sự phù hợp của từng loại đặc
trưng với loại văn bản được nghiên cứu là bài viết diễn đàn tiếng
Việt. Sau khi các đặc trưng được trích chọn từ tập dữ liệu đã xử lý,
các thuật toán học máy được áp dụng để xây dựng mô hình phân
loại. Các bước thực hiện xây dựng mô hình xác định đặc điểm tác giả
bài viết diễn đàn tiếng Việt sử dụng học máy được mô tả như trong
hình 2.1. Theo đó, các bài viết diễn đàn tiếng Việt đã có thông tin về
đặc điểm người viết được thu thập từ Internet thông qua mô đun Thu
thập dữ liệu. Mô đun Xử lý dữ liệu tiến hành các thao tác tiền xử lý
trước khi thực hiện trích chọn đặc trưng và tạo các tập dữ liệu huấn
luyện tại mô đun Trích chọn đặc trưng. Cuối cùng, các bộ phân loại
sẽ được xây dựng bằng các thuật toán học máy trên các tập dữ liệu
tạo được.
Các đặc trưng được sử dụng trong nghiên cứu này bao gồm
333 đặc trưng theo phong cách, được chia làm ba nhóm gồm các đặc
trưng dựa trên từ vựng, dựa trên ngữ pháp, và dựa trên cấu trúc như

Các nghiên cứu trong chương này được thực hiện trên cơ sở
tập dữ liệu các bài viết chủ yếu từ diễn đàn Otofun.net.vn và bổ sung
thêm các bài viết từ một số diễn đàn phổ biến khác như diễn đàn
Webtretho.com, diễn đàn Tinhte.vn để đa dạng hóa nguồn dữ liệu.
Sau các bước xử lý và làm sạch, tập dữ liệu thu thập được bao gồm
có 6.831 bài viết từ 104 người dùng với tổng cộng có 736.252 từ và
trung bình 107 từ/bài. Các bài viết được lựa chọn là các bài có ít nhất
một thông tin về đặc điểm người viết, có thể dùng làm dữ liệu huấn
luyện cho hệ thống. Bảng 2.2 cho thấy các thông số thông kê về tập
dữ liệu huấn luyện theo diễn đàn và theo các lớp đặc điểm.


9
Bảng 2.2. Thống kê về tập dữ liệu huấn luyện
Đặc điểm

Số bài viết

Giới tính

4.474

Độ tuổi

Vùng

3.017

3.960


Bắc

57%

Nam

43%

Kinh doanh, bán hàng

36%

Kỹ thuật, công nghệ

31%

Giáo dục, y tế

33%

Sau khi các đặc trưng được tính toán giá trị, có thể chuyển qua
bước huấn luyện mô hình bằng các thuật toán học máy. Nhằm đánh
giá và lựa chọn được các thuật toán học máy phù hợp nhất, công cụ
Weka được sử dụng để tiến hành các thực nghiệm trên 10 thuật toán
học máy phổ biến. Các thực nghiệm được thực hiện trên các thuật
toán học máy và các tập con đặc trưng với độ đo chính xác
(accuracy). Kết quả nhận diện tốt nhất của đặc điểm giới tính
(82.94%), độ tuổi (62.14%), vùng miền (70.39%),

nghề nghiệp

được lựa chọn từ các thuật toán cho kết quả tốt trong bước trước và
thuộc các nhóm khác nhau (các thuật toán nổi bật nhất của các
nhóm). Cụ thể, có ba thuật toán tiếp tục được thực nghiệm gồm thuật
toán SVM/SMO thuộc nhóm functions, thuật toán Bayesian
Networks thuộc nhóm bayes, và thuật toán Random Forest thuộc
nhóm trees.


11
Trong nghiên cứu này, các thực nghiệm được tiến hành trên
tập dữ liệu bài viết diễn đàn được sử dung trong nghiên cứu trước để
tiện so sánh và đánh giá kết quả. Do vậy, các bước thu thập, xử lý dữ
liệu được thực hiện tương tự như ở phần 2.1. Ngoài ra, phương pháp
xây dựng mô hình phân loại cũng sử dụng học máy cùng với các kỹ
thuật hỗ trợ như lựa chọn đặc trưng. Do đó, phần này sẽ trình bày
chủ yếu về các đặc trưng được sử dụng trong nghiên cứu.
Các đặc trưng dựa trên nội dung (content-based features) trong
nghiên cứu này là các từ được lựa chọn từ chính tập dữ liệu huấn
luyện. Đó là các từ có thể phân biệt tốt nhất các lớp của mỗi đặc
điểm. Để chọn được các đặc trưng này, đầu tiên các từ có tần xuất sử
dụng cao nhất trong tập dữ liệu được lựa chọn (chọn riêng rẽ theo
từng lớp của mỗi đặc điểm tác giả). Sau đó, các thuật toán lựa chọn
đặc trưng được sử dụng để chọn lọc ra các đặc trưng có độ phân biệt
tốt nhất. Bên cạnh đó, khoảng 170 từ không có trong từ điển được sử
dụng trong các bài viết trong tập dữ liệu huấn luyện cũng được trích
chọn. Các đặc trưng là các cặp ghép n từ loại (POS n-grams) cũng
được trích chọn từ tập dữ liệu. Theo đó, các cặp ghép 2 và 3 của các
từ loại có tần suất xuất hiện cao nhất được chọn lựa.
Các thực nghiệm cũng được thực hiện trên các tập con đặc
trưng khác nhau như tập các từ nội dung, các từ ngoài từ điển, các

nhiều. Phân tích sâu hơn về các đặc trưng nội dung có thể phát hiện
ra một số xu hướng, chẳng hạn nam giới thường có xu hướng trao
đổi về các vấn đề công việc, thể thao, quy định, trong khi nữ giới
thường nói về cuộc sống, sức khỏe, áp lực. Những người có độ tuổi
dưới 22 (học sinh/sinh viên) thường thảo luận về học tập, hành động.


13
Người có độ tuổi 24-27 (những người mới đi làm) thường trao đổi về
nhu cầu, du lịch. Người trung niên thường trao đổi các quan điểm về
tiêu dùng, luật pháp v.v.
2.3

SỬ DỤNG CÁC ĐẶC TRƯNG VẦN VÀ ÂM TIẾT TIẾNG
VIỆT
Các đặc trưng dựa trên nội dung thường cho kết quả tốt hơn,

nhưng được xem là có tính đặc thù miền (domain-specific), do các từ
nội dung được chọn có thể là đặc thù trong lĩnh vực nghiên cứu. Để
làm giảm mức độ đặc thù miền của các đặc trưng nội dung, nghiên
cứu này đề xuất một phương pháp xác định đặc điểm tác giả văn bản
dựa trên loại đặc trưng mới chưa được nghiên cứu trước đây để xác
định đặc điểm tác giả văn bản tiếng Việt, đó là các đặc trưng theo âm
tiết và vần. Một từ tiếng Việt có thể chứa nhiều âm tiết, và một âm
tiết chỉ chứa một vần. Do đó, âm tiết và vần mang ít ngữ nghĩa hơn
nhiều so với các từ nội dung và khi sử dụng làm các đặc trưng phân
loại sẽ có thể xem như là các đặc trưng có tính độc lập lĩnh vực hơn
so với các từ nội dung. Ví dụ, từ ghép “đồng hồ” được tạo ra bởi 2
âm tiết là “đồng” và “hồ” và cả 2 âm tiết này đều cần thiết cho việc
xác định ngữ nghĩa của từ. Từ ngữ nghĩa riêng rẽ của một âm tiết,

Mặc dù vẫn còn một số ngoại lệ, như các đặc trưng vần cho
kết quả không tốt khi nhận diện các đặc điểm về độ tuổi và nghề
nghiệp so với đặc trưng phong cách, hoặc các đặc trưng âm tiết cho
kết quả kém khi nhận diện độ tuổi, có thể kết luận rằng các đặc trưng
âm tiết và vần mang lại kết quả khả quan và tốt hơn đặc trưng phong
cách. Hơn nữa, việc kết hợp tất cả các loại đặc trưng cho kết quả cao
nhất chứng tỏ việc sử dụng các âm tiết và vần đã có những ảnh


15
hưởng tích cực tới kết quả nhận diện kể cả khi các từ nội dung được
sử dụng.
Bảng 2.9. Kết quả xác định đặc điểm tác giả sử dụng các đặc trưng
vần và âm tiết
Tập đặc trưng

Giới
tính

Độ tuổi

Nghề
nghiệp

Vùng
miền

Theo phong cách

83.47


70.05

60.99

82.98

Kết hợp phong cách và
vần

86.56

60.90

54.30

75.70

Kết hợp phong cách và
âm tiết

91.33

69.23

58.70

81.07

Kết hợp phong cách và

phân tích các đặc trưng dựa trên nội dung và nghiên cứu, đề xuất một
phương pháp xác định đặc điểm tác giả dựa trên loại đặc trưng mới
là âm tiết và vần trong tiếng Việt.

CHƯƠNG 3
XÁC ĐỊNH ĐẶC ĐIỂM NGƯỜI DÙNG DỰA TRÊN DỮ LIỆU
LỊCH SỬ TRUY CẬP HỆ THỐNG THƯƠNG MẠI ĐIỆN TỬ

3.1

PHƯƠNG PHÁP TÁI CHỌN MẪU
Phần này trình bày nghiên cứu về dự đoán giới tính người

dùng dựa trên dữ liệu lịch sử truy cập trên hệ thống TMĐT thông
qua phương pháp tiếp cận tái chọn mẫu. Theo đó, mỗi mẫu danh sách
sản phẩm được xem của một người dùng sẽ được chia tách ra làm
nhiều mẫu tương ứng mỗi sản phẩm đơn lẻ. Kết quả cuối cùng sẽ
được kết hợp dựa trên kết quả của các mẫu đơn lẻ này. Nghiên cứu
sử dụng các thuật toán học máy thông dụng như SVM, Bayesian
Networks, cây ngẫu nhiên (Random Tree) để huấn luyện và kiểm
chứng mô hình trên các tập dữ liệu được cung cấp bởi tập đoàn FPT
trong cuộc thi về khai phá dữ liệu trong khuôn khổ hội nghị về khai
phá dữ liệu và phát hiện tri thức khu vực châu Á – Thái Bình Dương
2015 (PAKDD’15 – Pacific Asia Knowledge Discovery and Data
Mining 2015). Nghiên cứu cũng tập trung vào việc sử dụng các kỹ
thuật hỗ trợ để nâng cao độ chính xác cho các thuật toán học máy khi


17
xử lý vấn đề phân loại không cân bằng như tái chọn mẫu, học nhạy

xác.
Các kết quả thực nghiệm cho thấy, thuật toán Bayesian
Networks cho kết quả tốt hơn so với các thuận toán còn lại, trong khi
thuật toán SVM cho kết quả kém nhất. SVM được biết đến như một
thuật toán phân loại tốt nhất trong nhiều trường hợp, trong đó có việc
nhận diện đặc điểm cá nhân người dùng. Tuy nhiên, thuật toán này
có thể không phát huy được thế mạnh khi áp dụng trên tập dữ liệu có
số đặc trưng không lớn như tập dữ liệu hiện tại.
Khi sử dụng Baysian Networks trên các thuật toán tái chọn
mẫu khác nhau, thuật toán Resample với phương pháp tái chọn mẫu
tăng cho kết quả tốt trong khi hai thuật toán còn lại là
SpreadSubSample và SMOTE cho kết quả kém hơn. Khi kết hợp kỹ
thuật tái chọn mẫu với các kỹ thuật hỗ trợ khác như học nhạy cảm
chi phí, học kết hợp, cho thấy các kỹ thuật này đều có hiệu quả trong
việc nâng cao hiệu suất của thuật toán cơ sở. Mỗi kỹ thuật giúp tăng
độ chính xác lên khoảng 1-2%, trong khi kết hợp các kỹ thuật này có
thể giúp tăng hiệu suất lên hơn 3%.
3.2

PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG DỰA
TRÊN BIỂU DIỄN CÂY
Phần này trình bày một phương pháp tiếp cận khác để giải

quyết vấn đề dự đoán giới tính người dùng dựa trên dữ liệu lịch sử
truy cập hệ TMĐT như ở phần 3.1. Ý tưởng của phương pháp là khai
thác tối đa mối quan hệ giữa các sản phẩm/loại sản phẩm được xem
trong cùng một lượt xem dựa trên một biểu diễn dạng cây của danh
sách sản phẩm/loại sản phẩm. Theo đó, bên cạnh các đặc trưng cơ



20
dùng để dự đoán giới tính người dùng. Chẳng hạn người dùng nam
thường chỉ xem ít loại sản phẩm trong một lượt xem trong khi người
dùng nữ có thể xem liên tiếp nhiều loại sản phẩm khác nhau. Trong
file dữ liệu, danh sách các sản phẩm/loại sản phẩm đã xem trong một
lượt xem được biểu thị dưới dang danh sách liệt kê như dưới đây:
A00002/B00003/C00006/D19760/;
A00002/B00001/C00010/D18416;
A00002/B00001/C00004/D19764/;A00002/B00003/C00008/
D19761/; A00002/B00003/C00008/D08538/
Việc sử dụng danh sách liệt kê này có thể gây khó khăn cho
việc trích chọn hiệu quả tất cả các thông tin về mối quan hệ giữa các
sản phẩm/loại sản phẩm trong một lượt xem. Nghiên cứu này đề xuất
một biểu diễn dạng cây nhằm cung cấp một khung nhìn tốt hơn về
các quan hệ này. Theo biểu diễn này, loại sản phẩm ở mức chung
nhất sẽ nằm ở gốc của cây, các sản phẩm cụ thể nằm ở phần lá của
cây và các loại sản phẩm ở cấp độ trung gian nằm ở các tầng giữa
của cây. Theo đó, danh mục sản phẩm/loại sản phẩm được biểu diễn
dưới dạng danh sách liệt kê ở trên được chuyển đổi sang biểu diễn
cây như trong hình 3.1.
Từ biểu diễn dạng cây này, có thể dễ dàng chuyển đổi ngược
trở lại biểu diễn dạng danh sách liệt kê bằng cách duyệt cây theo
chiều sâu và từ trái sang phải. Ngoài ra, từ biểu diễn cây, có thể rút ra
được các thông tin về quan hệ giữa các sản phẩm/loại sản phẩm bằng
cách khai thác các thuộc tính của cây như các nút, các tầng, đường
đi, nút kề v.v. Trong bài toán hiện tại, có thể sử dụng các thuộc tính
của cây để làm đặc trưng về mối quan hệ như số nút tại mỗi tầng (số
sản phẩm trong mỗi lượt xem), chuỗi các nút liên tiếp trên cùng tầng



Hình 3.1. Biểu diễn dạng cây của danh mục sản phẩm/loại sản phẩm
được xem
Nghiên cứu này cũng sử dụng học máy để xây dựng mô hình
phân loại cùng với các kỹ thuật hỗ trợ giải quyết vấn đề không cân
bằng nhóm trong phân loại như ở nghiên cứu trước. Ngoài ra, do số
lượng các đặc trưng lớn (khoảng 3.500 đặc trưng), các kỹ thuật lựa
chọn đặc trưng được áp dụng để giảm bớt độ phức tạp và loại bỏ đi
các đặc trưng ít liên quan đến quá trình phân loại.
Nhằm đánh giá hiệu quả của các đặc trưng cơ bản và nâng cao,
các thực nghiệm được tiến hành trên các tập đặc trưng khác nhau,
bao gồm tập đặc trưng cơ bản và tập đặc trưng cơ bản kết hợp nâng
cao. Theo cách phân loại tập đặc trưng, các đặc trưng nâng cao chỉ
mang tính bổ sung, nếu sử dụng riêng rẽ sẽ không hiệu quả. Do đó,


22
thực nghiệm trên tập đặc trưng nâng cao riêng rẽ không được thực
hiện trong nghiên cứu này.
Mỗi tập đặc trưng sẽ được thử nghiệm trên ba thuật toán học
máy và các kỹ thuật hỗ trợ như đã nói ở trên. Kết quả thực nghiệm
cuối cùng cho thấy khi thuật toán học máy kết hợp với kỹ thuật tái
cân bằng lớp theo phương pháp đặt lại trọng số cho các lớp
ClassBalancer

và

kỹ

thuật



23
Bảng 3.12. Kết quả phân loại sau khi lựa chọn đặc trưng và tối ưu
tham số
BAC

Macro F1

Kết quả ban đầu

81.0

78.5

Áp dụng lựa chọn đặc trưng với Information

81.2

78.8

81.7

79.3

Gain (2.500 đặc trưng)
Tối ưu tham số cho thuật toán Random
Forest (1.000 cây, với số đặc trưng 13)
3.3

KẾT LUẬN CHƯƠNG