HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG
---------------------------------------

NGUYỄN NGỌC TUYÊN
NGHIÊN CỨU XÂY DỰNG HỆ THỐNG
KHUYẾN NGHỊ SẢN PHẨM TRONG
THƢƠNG MẠI ĐIỆN TỬ VỚI DEEP
LEARNING
Chuyên ngành:
Mã số:

HỆ THỐNG THÔNG TIN
60.48.01.04

TÓM TẮT LUẬN VĂN THẠC SĨ
TP.HỒ CHÍ MINH – 2017


Luận văn được hoàn thành tại:

HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG

Người hướng dẫn khoa học: TS. Phạm Trần Vũ
Phản biện 1:………………………………………………
Phản biện 2:……………………………………………..

Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn
thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông
Vào lúc:

giờ

trong việc mua bán được thuận lợi hơn? Cụ thể hơn là sản phẩm nào được đề xuất
tới khách hàng tiếp theo sau khi khách hàng đã đặt mua hoặc đánh giá một sản
phẩm trước đó? Nên đề xuất bao nhiêu sản phẩm là tốt nhất cho khác hàng?
Để hình thức mua bán qua mạng thực sự phát triển thì bên cạnh các lợi thế
vốn có của mình việc có thêm một hệ thống trợ giúp là hết sức cần thiết. Hệ thống
khuyến nghị sản phẩm (recommendation system [6]) được hình thành và phát triển
không nằm ngoài mục đích đáp ứng những yêu cầu trên.
Lọc cộng tác (Collaborative filtering [6]) và lọc dựa trên nội dung (contentbased filtering [6]) là hai hướng tiếp cận truyền thống để thiết kế các hệ thống
khuyến nghị. Những phương pháp này thông thường dựa vào các đánh giá của các
mục làm nguồn thông tin chính để đưa ra các khuyến nghị mà trong thực tế có rất
nhiều ứng dụng thì các đánh giá này rất ít, có thể khắc phục được điều này bằng
cách lấy nội dung thông tin của các mục để làm nguồn thông tin phụ trợ nhưng khi


2

nguồn thông tin này không đủ lớn thì sẽ làm ảnh hưởng tới kết quả mong muốn đạt
được.
Deep learning [10] là một trong những hướng nghiên cứu rất phát triển của
lĩnh vực trí tuệ nhân tạo trong những năm gần đây. Các mô hình học sâu (Deep
learning) đã tạo nên những đột phá lớn trong việc giải quyết các bài toán phức tạp.
Nó là thuật toán dựa trên một số ý tưởng từ não bộ với việc tiếp thu nhiều tầng biểu
đạt, cả cụ thể lẫn trừu tượng, qua đó làm rõ nghĩa của các loại dữ liệu. Điều đặc biệt
của công nghệ Deep Learning là sự chính xác cao của nguồn dữ liệu khổng lồ,
không bị hạn chế bởi sự quá tải của dữ liệu.
Chính vì vậy, chúng tôi đã chọn đề tài nghiên cứu là “ Nghiên cứu xây dựng
hệ thống khuyến nghị sản phẩm trong thương mại điện tử với Deep learning” làm
đề tài nghiên cứu của mình.

2.

của tác giả X.-W. Chen, tháng 4, 2014. Nội dung tác giả phân tích những khó khăn
và triển vọng của Deep learning với thực trạng dữ liệu ngày càng lớn và phức tạp
ngày nay.
Trên đây là những nghiên cứu đã có liên quan tới hệ thống khuyến nghị sản
phẩm và tiềm năng của Deep learning khi áp dụng cho hệ thống khuyến nghị này.
Trong phạm vi luận văn này, chúng tôi tập chung nghiên cứu chính vào các
vấn đề: thương mại điện tử, hệ thống khuyến nghị sản phẩm trong thương mại điện
tử, xây dựng hệ thống khuyến nghị sản phẩm với Deep learning. Bộ dữ liệu chúng
tôi dùng để cài đặt kiểm tra đánh giá là bộ dữ liệu dùng để nghiên cứu
Movielens[15] được tải trên website: />
3.

Mục tiêu và nhiệm vụ nghiên cứu
- Tìm hiểu lĩnh hệ thống khuyến nghị trong thương mại điện tử.
- Nghiên cứu tìm hiểu về các mô hình học sâu (deep learning).
- Thu thập, tìm hiểu, phân tích tài liệu, thông tin liên quan đến luận văn.
- Đề xuất phương pháp sử dụng mô hình học sâu (deep learning) cho bài toán hệ
thống khuyến nghị sản phẩm trong thương mại điện tử.
- Cài đặt thử nghiệm phương pháp và đánh giá kết quả.


4

4.

Đối tƣợng và phạm vi nghiên cứu
Đối tượng nghiên cứu:
- Đối tượng nghiên cứu của đề tài là: bài toán hệ thống khuyến nghị sản
phẩm trong thương mại điện tử, mô hình học sâu deep learning.
Phạm vi nghiên cứu:



5

6.

Bố cục của luận văn
Nội dung chính luân văn được chia làm ba chương như sau:
- Chương 1 - Hệ thống khuyến nghị sản phẩm trong thương mại điện tử
- Chương 2 - Mô hình học sâu – Deep learning
- Chương 3 - Xây dựng hệ thống khuyến nghị sản phẩm với deep learning
- Chương 4 - Xây dựng hệ thống và thực nghiệm

Trong chương 1, chúng tôi đi nghiên cứu chung về hệ thống khuyến nghị sản phẩm
trong thương mại điện tử. Chương 2, chúng tôi đi tìm hiểu về deep learning, mạng
nơ ron nhân tạo, ứng dụng của deep learning trong thời đại hiện nay. Chương 3,
chúng tôi tập trung nghiên cứu xây dựng hệ thống khuyến nghị sản phẩm với deep
learning như thế nào. Và cuối cùng, chương 4 chúng tôi tiến hành cài đặt thử
nghiệm phương pháp trong chương 3 với bộ dữ liệu Movielens từ kết quả thu được
đưa ra đánh giá và nhận xét.


6

CHƢƠNG 1 – HỆ THỐNG KHUYẾN NGHỊ SẢN PHẨM
TRONG THƢƠNG MẠI ĐIỆN TỬ
1.1.

Thƣơng mại điện tử




7

nhiều. Xuất hiện nhiều hình thức lừa đảo, cấy virus qua email dẫn tới sự tin tưởng
sản phẩm quảng cáo qua email giảm sút.

1.3.2. Tư vấn dựa trên việc khai phá dữ liệu
Để chính xác hơn trong việc quảng cáo, khuyến nghị sản phẩm tới người
dùng. Thì khai thác dữ liệu của người dùng trên website, application, gian hàng
online là hướng đi đúng đắn. Dựa vào nguồn dữ liệu rất lớn và hữu ích này hệ thống
có thể phân tích, tính toán và đưa ra dự đoán xem người dùng có thích sản phẩm
nào đó hay không? Mức độ thích là như thế nào? Từ đó đưa ra khuyến nghị tới
người dùng.
Có rất nhiều cách để đưa ra các dự đoán, ví dụ như:
- Khuyến nghị dựa trên nội dung: là phương pháp phân tích nội dung của sản
phẩm từ dữ liệu từ đó đưa ra khuyến những sản phẩm tương tự với những
sản phẩm đã từng yêu thích trước đây tới người dùng. Phương pháp này có
nhược điểm chính là những khách hàng mới chưa có dữ liệu trước đây hoặc
khuyến nghị không chính xác vì sở thích của mỗi người có thể thay đổi theo
thời gian.
- Khuyến nghị dựa trên cộng tác: là phương pháp khuyến nghị sản phẩm yêu
thích xuất phát từ người dùng có cùng sở thích và thị hiếu trước đây. Ví dụ
như bạn bè thân thiết thường sẽ có những sở thích về màu sắc, kiểu dáng, đặc
điểm tương tự nhau, người này thích xem phim hoạt hình thì người kia có lẽ
cũng như vậy. Hệ thống sẽ dựa vào điều này để đưa ra khuyến nghị tới người
dùng.
- Khuyến nghị dựa trên việc kết hợp khuyến nghị dựa trên nội dung và lọc
cộng tác: là phương pháp kết hợp hai phương pháp trên nhằm bổ sung những
nhược điểm cho nhau.

cũng như các sản phẩm giao dịch rất hữu ích cho việc xây dựng một hệ thống
khuyến nghị sản phẩm. Trong bối cảnh lượng dữ liệu thu thập được ngày càng
nhiều như vậy việc sử dụng các mô hình deep learning để phân tích nguồn dữ liệu
khổng lồ này là một hướng đi đúng. Chương tiếp theo, chúng tôi sẽ trình bày những
nghiên cứu của mình về deep learning.


9

CHƢƠNG 2 – MÔ HÌNH HỌC SÂU – DEEP LEARNING
2.1.

Giới thiệu

2.2.

Mạng nơ ron nhân tạo trong deep learning
2.2.1. Nơ ron sinh học

2.2.2. Mạng nơ ron nhân tạo(ANN - Artificial Neural Networks)
Quá trình hoạt động của mạng nơ ron nhân tạo như sau:
- Đầu tiên là nhận tín hiệu đầu vào từ một nơ ron khác truyền tới hoặc từ
input.
- Nhân các tín hiệu đầu vào với một trọng số w liên kết tương ứng.
- Tính tổng tất cả các tích của tín hiệu và trọng số.
- Đưa kết quả thu được tới một hàm truyền [3].
- Cuối cùng gửi kết quả tới một nơ ron tiếp theo hoặc đưa ra output.
- Quá trình tiếp tục lặp lại đối với tất cả các nơ ron trong mạng. Các nơ ron
phối hợp với nhau tạo thành hoạt động chính của mạng nơ ron nhân tạo.



2.5.3. Mô hình Boltzmann Machine
Các nút của một Boltzmann Machine được chia làm 2 lớp, một là khối các
nút hiện có thể nhìn thấy (visible units) trong đó là dữ liệu được giữ trên nó, và một
là khói các nút ẩn ( hidden units) chính là các nội dung tiềm ẩn. Các nút được kết
nối với nhau đối xứng tùy ý nhưng không kết nối với chính mình.

2.5.4. Mô hình Restricted Boltzmann Machine
Mô hình Restricted Boltzmann Machine (RBM [5]) là một Boltzmann
Machine có kiến trúc hạn chế hơn. Hạn chế hơn ở điểm ở Boltzmann Machine các


11

nút hiện có thể kết nối với nhau và các nút ẩn cũng vậy nhưng ở RBM thì không.
Mô hình RBM cũng gồm hai lớp, một lớp là các nút hiện (visible units) và một lớp
là các nút ẩn (hidden units) nhưng không có sự kết nối giữa các nút hiện với nút
hiện (visible - visible) hoặc nút ẩn với nút ẩn (hidden - hidden) giữa chúng là hoàn
toàn độc lập. Với tính năng hạn chế giữa các nút đó làm cho việc đào tạo RBM trở
lên dễ dàng hơn Boltzmann Machine.

2.6.

Kết luận chƣơng
Ở chương 2 đã trình bày nghiên cứu về mô hình học sâu deep learning. Deep

learning được biết đến như việc tiếp thu nhiều tầng biểu đạt, cả cụ thể lẫn trừu
tượng, qua đó làm rõ nghĩa của các loại dữ liệu ví dụ như hình ảnh, âm thanh và
văn bản. Trên thế giới đã có nhiều công trình nghiên cứu đạt những kết quả khả
quan, các ông lớn như Google, Microsoft và Facebook, họ đã tự thành lập những

…

u1

5

?

2

?

4

u2

1

3

1

1

?

2

1


sản phẩm I nếu không có đánh giá nào thì giá trị của nó bằng . Công việc tiếp


13

theo là phân giã ma trận này thành hai ma trận nhỏ hơn để phục vụ công việc
huấn luyện. Cụ thể được trình bày như sau:
Cho tập dữ liệu dùng để huấn luyện:
- Ma trận đầu vào Rm*n ( với m người dùng và n sản phẩm).
- V là tập dữ liệu huấn luyện của ma trận đầu vào R, chính là những đánh
giá thực tế của người dùng u cho sản phẩm i.
Không gian tham số:
-

Ma trận Um*k :(với k là một trọng số bất kỳ) là một hàng nhân tố ẩn của
người dùng trong ma trận R.

-

Ma trận Hk*n :(với k là một trọng số bất kỳ) là một cột nhân tố ẩn của
sản phẩm trong ma trận R.

Khi đó ma trận R phân tích thành 2 ma trận con:

Rm*n

Um*k Ik*n

(3.1)


k chiều

x= a1v1 + a2v2 + … + anvn

Không gian n chiều
với hệ cơ sở
v1, v2,…,vn

Ánh xạ
tuyến tính T
cần tìm
(phép chiếu)

y= b1u1 + b2u2 + … + bnun

Không gian k chiều
(k< n) với hệ cơ sở
u1, u2,…,un

Hình 3.3: Giảm số chiều của vector

3.2.3. Xây dựng mạng
Sau khi dữ liệu ban đầu được nhúng (nhúng Users và Items) sẽ được đưa
vào một mạng nơ ron feedforward [2]. Các lớp nhúng này được đưa vào cùng
huấn luyện với thuật toán lan truyền ngược ( sẽ được trình bày ở phần tiếp theo).
Các đặc tính ban đầu được nối với một lớp nơ ron rộng tiếp sau đó là một vài lớp
mạng fully connected Rectified Linear Units (ReLU) [14]. Hình 3-5 mô tả kiến
trúc của mạng:



nơ-ron thứ j trong lớp q-1 tới nơ-ron thứ i trong lớp q.
Đầu vào : Một tập các cặp mẫu học {(x (k), d (k)) | k= 1, 2, …, p }.
Trong đó: x là tín hiệu đầu vào và d là tín hiệu đầu ra mong muốn.
Theo [2] ta có các bước và các công thức tính như sau:
Bước 0:
Chọn một hằng số η > 0 và Emax (dung sai cho phép). Khởi tạo ngẫu nhiên
các trọng số trong khoảng giá trị nhỏ. Đặt E =0 và k = 1.
Bước 1: (thực hiện một quá trình lặp cho việc huấn luyện mạng)
Sử dụng mẫu học thứ k :
Theo [2] tại lớp vào (q =1), với mọi i ta có :
q

yi = 1 yi = x(k) i

(3.2)

Bước 2: (Lan truyền tín hiệu từ lớp vào tới lớp ra)
q

yi = g(q neti ) = g(∑

)

(3.3)


17

Bước 3: (Xác định tín hiệu lỗi


Begin
E=0;
K=1;
Chuyển tới bước1 {để bắt đầu một lần học tiếp theo };
End;

(3.8)


18

Hình 3.7: Lƣu đồ hoạt động của hàm huấn luyện [2]

3.2.5. Dự đoán
3.3.

Tiêu chuẩn và đánh giá
3.3.1. Mean absolute error (MAE)
3.3.2. Root mean square error (RMSE)

3.4. Kết luận chƣơng
Trong chương 3 đã trình bày bài toán khuyến nghị sản phẩm, phân tích bài
toán và phương pháp xây dựng hệ thống khuyến nghị sản phẩm với deep
learning, tiêu chuẩn để đánh giá phương pháp dựa vào chỉ số MAE và RMSE.
Chương 4 tiếp theo sẽ tiến hành cài đặt bài toán với bộ dữ liệu dành cho
nghiên cứu Movielens, dựa vào kết quả thu được để đưa ra các đánh giá cho
phương pháp này.


19


Nhiệm vụ của bài toán:
- Dự đoán: cho ra giá trị Raj thể hiện đánh giá của người dùng a lên tài
nguyên i.
- Tư vấn: cho ra danh sách N tài nguyên {TiN} mà người dùng a thích
nhất.

4.3.2. Thư viện sử dụng, sơ đồ khối và cài đặt
Kiến trúc mạng xây dựng cho bài toán:

Hình 4.1: Kiến trúc mạng xây dựng cho bài toán

4.3.3. Kết quả và đánh giá
Sau khi cài đặt và chạy chúng tôi thu được kết quả như sau:
Thứ nhất: Biểu đồ độ lỗi loss training và loss validation sao khi huấn
luyện 20 lần.


loss

21

epoch

Hình 4.2: Bảng kết quả độ lỗi sau 20 epochs và biểu đồ

Thứ 2: Chỉ số Mean absolute error (MAE) : sai số tuyệt đối trung bình
sau 20 epochs.

Hình 4.3: MAE validation


Kết quả của những phương pháp khác cùng sử dụng trên bộ dữ liệu chúng
tôi sử dụng trong nghiên cứu này được công bố trên website:
/>
Hình 4.6: Kết quả của những phƣơng pháp khác


23

Ta nhận thấy rằng chỉ số MAE thu được từ mô hình trên khá tốt so với
những phương pháp trước đây, chỉ số RMSE ở mức chấp nhận được. Cho thấy
hiệu quả của phương pháp này đem lại.

4.4. Kết luận chƣơng
Trong chương này đã cài đặt thử nghiệm mô hình trên bộ dữ liệu
Movielens. Nhìn chung khi sử dụng deep learning cho hệ thống khuyến nghị sản
phẩm cho một kết quả khá tốt so với các phương pháp khác cùng áp dụng trên
cùng bộ dữ liệu như chúng tôi sử dụng. Điều này cho thấy hiệu quả của phương
pháp của chúng tôi nghiên cứu.