ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN TUẤN ANH

TỐI ƯU VIỆC LỰA CHỌN SỐ ĐẦU VÀO KHI ÁP DỤNG
MẠNG NƠRON NHÂN TẠO TRONG BÀI TOÁN DỰ
ĐOÁN ĐIỂM ĐÍCH CỦA MỘT CHUYẾN TAXI

Ngành: Kỹ thuật Phần mềm
Chuyên ngành: Kỹ thuật Phần mềm
Mã số: 8480103.01

TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS PHẠM NGỌC HÙNG
TS. TRẦN TRỌNG HIẾU

Hà Nội, 10/2018


1

CHƯƠNG 1: MỞ ĐẦU
1.1. Hoàn cảnh
Nền công nghiệp taxi đang thay đổi nhanh chóng, các đối thủ mới cùng những công nghệ mới
đang thay đổi cách các doanh nghiệp taxi vận hành. Sự thay đổi này mang lại nhiều thuận lợi nhưng
nó cũng gây nên nhiều vấn đề. Một thay đổi lớn đang diễn ra là các công ty taxi chuyển từ hệ thống
điều phối taxi bằng bộ đàm sang hệ thống điều phối điện tử. Với hệ thống mới, mỗi taxi sẽ được gắn
một thiết bị GPS để xác định vị trí cũng như trao đổi thông tin liên lạc với trung tâm. Hệ thống điều
phối điện tử giúp cho việc xác định vị trí taxi đã đi qua và hiện tại là dễ dàng nhưng không biết rõ địa

tương lai.


2

CHƯƠNG 2: MẠNG NƠRON NHÂN TẠO TRUYỀN THẲNG NHIỀU TẦNG
2.1. Mạng nơron nhân tạo
Mạng nơron nhân tạo (artificial neural network) là một mô hình tính toán xử lý thông tin bằng
cách mô phỏng theo cách thức hoạt động của hệ nơron sinh học trong bộ não con người [2].
Mạng gồm một nhóm các phần tử (nơron nhân tạo) kết nối với nhau thông qua các liên kết (liên
kết được đánh trọng số). Nó làm việc như một thể thống nhất bằng cách truyền thông tin theo các kết
nối và tính giá trị mới tại các nơron. Một mạng nơron nhân tạo sẽ được cấu hình để giải quyết một vấn
đề cụ thể nào đó như nhận dạng mẫu, phân loại dữ liệu, dự đoán,... Nó hoạt động thông qua một quá
trình học từ tập các mẫu huấn luyện. Việc học về bản chất chính là quá trình đưa dữ liệu vào mạng
nơron và thực hiện hiệu chỉnh trọng số liên kết giữa các nơron thông qua kết quả có trước trong mẫu.
Mô hình toán học tiêu biểu cho một nơron nhân tạo được minh họa như hình 2.1 sau:
Wk1

x1

Hàm truyền
x2

∑

Wk2

Đầu ra

.


yk = f(uk – bk)
Trong đó, cụ thể các thành phần của một nơron gồm:
1. Tập đầu vào: là các tín hiệu (dữ liệu) vào của nơron, thường được đưa dưới dạng một vector
N chiều (x1, x2, … xN).
2. Tập liên kết: là các liên kết từ tín hiệu đến nơron. Mỗi liên kết sẽ được đánh trọng số, ví dụ
như nơron thứ k sẽ có trọng số wk1 ở liên kết 1. Do đó với mỗi nơron ta cũng có một vector trọng số
liên kết N chiều (wk1,wk2, … wkN). Các trọng số này thông thường sẽ được tạo ngẫu nhiên ở thời điểm
tạo mạng, sau đó qua quá trình học sẽ được hiệu chỉnh dần.
3. Hàm tổng: là tổng của tích các đầu vào với trọng số liên kết của nó, kí hiệu cho hàm tổng của
nơron thứ k là uk.
4. Ngưỡng: là một thành phần của hàm truyền, ký hiệu cho ngưỡng của nơron thứ k là bk.


3
5. Hàm truyền: là một hàm dùng để tính đầu ra của nơron từ hàm tổng và ngưỡng, ký hiệu là f.
6. Đầu ra: là tín hiệu đầu ra của nơron. Mỗi nơron chỉ có một tín hiệu đầu ra. Với nơron thứ k
đầu ra ký hiệu là yk.
Khái quát lại, nơron nhân tạo cho một đầu ra từ tập tín hiệu đầu vào.
Một số hàm truyền phổ biến là:
* Hàm đồng nhất
f(t) = αt
* Hàm bước nhảy
f(t) = {

1 𝑘ℎ𝑖 𝑡 ≥ 𝛼
0 𝑘ℎ𝑖 𝑡 < 𝛼

Có nhiều loại mạng nơron khác nhau trong đó mạng nơron truyền thẳng nhiều tầng là một trong
những mạng nơron thông dụng nhất.


...

.
.

y2
.
.
.
yq

xp

Hình 2.1 Mạng nơron truyền thẳng nhiều tầng
Kiến trúc của một mạng nơron truyền thẳng nhiều tầng tổng quát có thể mô tả như sau:
+ Đầu vào là một các tập vector (x1, x2, … xp) p chiều, đầu ra là một tập các vector (y1, y2, …
yq) q chiều.
+ Mỗi nơron thuộc tầng sau sẽ liên kết với tất cả các nơron thuộc tầng ngay trước nó. Như vậy
đầu ra của nơron tầng trước sẽ là đầu vào của nơron thuộc tầng liền sau.


4
Mạng nơron truyền thẳng nhiều tầng sẽ hoạt động như sau: tại tầng đầu vào các nơron nhận tín
hiệu vào xử lý, thực hiện việc tính tổng trọng số rồi gửi tới hàm truyền, kết quả của hàm truyền sẽ
được gửi tới các nơron thuộc tầng ẩn đầu tiên. Nơi đây các nơron tiếp nhận các kết quả này như là tín
hiệu đầu vào và xử lý rồi gửi kết quả đến tầng ẩn thứ 2. Quá trình cứ tiếp tục như thế cho đến khi các
nơron ở tầng ra cho ra kết quả.
Về ứng dụng của mạng nơron truyền thẳng nhiều tầng, vài kết quả đã được chứng minh cụ thể
như sau:

+ Học tăng cường: còn được gọi là học thưởng phạt vì phương pháp này hoạt động như sau: với
mỗi giá trị đầu vào, thực hiện đánh giá vector đầu ra mà mạng tính được với kết quả mong muốn, nếu
được xem là “tốt” thì mạng sẽ được thưởng (chính là việc tăng các trọng số liên kết), ngược lại nếu
“xấu” mạng sẽ bị phạt (tức là giảm các trọng số liên kết). Vì vậy học tăng cường là học theo nhà phê
bình còn học giám sát là học theo thầy giáo.


5

CHƯƠNG 3: BÀI TOÁN TÌM SỐ ĐẦU VÀO TỐI ƯU KHI DỰ ĐOÁN ĐIỂM
ĐÍCH CỦA CHUYẾN TAXI
3.1. Bài toán dự đoán điểm đích của taxi
Bài toán tìm đích đến của một chuyến taxi đang gây được sự chú ý của cộng đồng nghiên cứu
trong thời gian gần đây. Vì vậy vào năm 2015 tại hội nghị ECML/PKDD đã tổ chức một cuộc thi dự
đoán đích đến của một chuyến taxi như là một cuộc thi của Kaggle [15]. Dữ liệu đầu vào của bài toán
là những điểm bắt đầu trong hành trình của một chuyến taxi (thường gọi là prefixes) và những thông
tin meta của chuyến taxi đó. Từ đó người tham gia cuộc thi phải tìm ra điểm đích của cuộc hành trình
đó (gồm kinh độ và vĩ độ). Ý nghĩa của việc giải bài toán trên là sẽ giúp công ty taxi phân chia số
lượng taxi tại mỗi điểm đón, khu vực đón một cách tối ưu nhất.
Người tham gia cuộc thi sẽ phải xây dựng một mô hình dự đoán dựa trên tập dữ liệu gồm tất cả
các chuyến đi của 442 taxi hoạt động tại thành phố Porto thủ đô của Bồ Đào Nha trong suốt một năm
hoàn chỉnh (từ ngày 01/07/2013 đến ngày 30/06/2014) [15]. Tập dữ liệu huấn luyện trên có hơn 1.7
triệu chuyến đi hoàn chỉnh [1]. Mỗi chuyến đi sẽ bao gồm các thông tin sau:
+ Một chuỗi các vị trí (gồm kinh độ và vĩ độ) được đo bằng GPS mỗi 15 giây.
+ Thông tin meta tương ứng với mỗi chuyến đi gồm:
1. Nếu khách hàng gọi taxi bằng điện thoại thì chúng ta sẽ có ID của khách hàng. Nếu khách
hàng bắt taxi tại điểm đón thì chúng ta sẽ có ID của điểm đón. Ngược lại chúng ta sẽ không có thông
tin gì cả.
2. ID của taxi.
3. Thời gian bắt đầu của chuyến đi dưới định dạng của hệ điều hành unix.

Số giá trị có thể

Kích thước nhúng

ID khách hàng

57106

10

ID taxi

448

10

ID điểm đón

64

10

Một phần tư giờ trong này

96

10

Ngày thứ mấy trong tuần


∑𝐶
𝑗=1 exp(𝑒𝑗 )

trong đó (ej)j là giá trị đầu ra của tầng trước.
Các cụm ci được sinh ra bằng thuật toán mean-shift trên tất cả các hành trình có trong tập huấn
luyện, và cuối cùng cho ra tập C chứa 3392 cụm. Tổng quát lại mô hình mạng nơron nhân tạo truyền
thẳng nhiều tầng sử dụng trong cuộc thi của MILA lab được mô tả ở hình sau [1]:


7
dự đoán điểm đích
ŷ =

∑𝐶𝑖=1 𝑝𝑖 𝑐𝑖

centroid

Cụm (ci)1≤i≤c
(pi)i

softmax

(ei)i
Tầng ẩn

Thông tin sẽ được nhúng

…

Thời gian, id khách, …

cách Haversine này, do đó họ đã sử dụng một công thức tính khoảng cách equirectanglular đơn giản
hơn, mà hoàn toàn phù hợp với quy mô của thành phố Porto như sau [1]:

deqrec(x,y) = R√(𝑙𝑜𝑦 − 𝑙𝑜𝑥 ) cos(

𝑙𝑎𝑦 − 𝑙𝑎𝑥
2

))2 + (𝑙𝑎𝑦 − 𝑙𝑎𝑥 )2

3.2.5 Nhược điểm
Mô hình này cho độ sai lệch 2.035km khi được đánh giá với tập dữ liệu kín của cuộc thi, trong khi
độ lệch trung bình của các đội thi là 3.11km [1]. Bên cạnh đó, khi nghiên cứu kỹ phương pháp của
MILA lab, chúng ta có thể thấy một số nhược điểm sau đây:


8






Dữ liệu mà cuộc thi đưa ra đã không được tiền xử lý trước khi đưa vào mạng nơron nhân tạo.
Các điểm dữ liệu GPS bị thiếu, thời gian bắt đầu chuyến taxi bị sai (một số chuyến taxi có thời
gian chạy hơn 5 tiếng mà chỉ có vài điểm GPS), quỹ đạo chuyến đi không thực tế khi có một
điểm ngược với hành trình đang đi [8]. Đồng thời điều này cũng cho thấy độ thích nghi tốt với
dữ liệu thực tế của mô hình MILA lab sử dụng.
Khi chạy với dữ liệu cuộc thi, mô hình của MILA lab cho độ sai lệch là 2.035 km. Mặc dù đây
là kết quả tốt nhất trong các đội thi nhưng ta có thể thấy độ sai lệch này còn cao. Chúng ta kỳ

Nhu cầu của bài toán xuất phát từ yêu cầu mạng nơron nhân tạo truyền thẳng nhiều tầng cần
vector đầu vào có kích thước cố định (fixed-length feature vector). Điều này khác với mạng nơron hồi
quy (recurrent neutral network) khi cho phép số lượng đầu vào là có thể thay đổi. Trong thực tiễn, các
bài toán phần lớn là có số lượng đầu vào không cố định: như bài toán chúng ta đang giải, số điểm
trong chuyến hành trình taxi, mỗi chuyến taxi lại có số điểm khác nhau hay bài toán liên quan đến


9
đoạn văn, mỗi đoạn văn lại có số lượng và số loại từ khác nhau. Do đó các nhà nghiên cứu hiện đã đưa
ra nhiều phương pháp để chuyển đổi số lượng đầu vào từ không cố định (variable-length input) sang
số lượng đầu vào cố định. Một số phương pháp phổ biến như: túi từ (Bag of word), sử dụng vector từ
(word vector), vector đoạn (paragraph vector), băm không gian đầu vào, sử dụng pool, lấy giá trị số
lượng lớn nhất, trích xuất các đặc trưng.
Như vậy cách giải quyết của MILA lab với bài toán dự đoán điểm đích của chuyến taxi là họ đã sử
dụng phương pháp “trích xuất các đặc trưng”. MILA lab cho rằng chỉ những điểm đầu và những điểm
cuối là có ảnh hưởng nhiều nhất đến việc dự đoán điểm đích của chuyến taxi nên họ chỉ sử dụng các
điểm trong một chuyến taxi (bao gồm 5 điểm đầu tiên và 5 điểm kết thúc) để làm đầu vào cho mạng
nơron của họ.

3.4. Các phương pháp giải quyết hiện nay
3.4.1. Tìm kiếm Grid
Thuật toán đơn giản nhất có thể áp dụng để tìm siêu tham số tối ưu là tìm kiếm grid. Ý tưởng
của thuật toán rất cụ thể, ta thực hiện huấn luyện mạng nơron cho tất cả các trường hợp có thể xảy ra.
Với một siêu tham số, ta thực hiện huấn luyện cho tất cả các giá trị thuộc tập siêu tham số, với nhiều
siêu tham số, ta thực hiện huấn huyện cho tất cả các tập siêu tham số có thể phối hợp với nhau. Sau đó,
ta so sánh các kết quả để tìm kết quả tốt nhất, siêu tham số (hoặc tập các siêu tham số) cho kết quả tốt
nhất chính là siêu tham số (hoặc tập các siêu tham số) tối ưu.
Phương pháp tìm kiếm grid mang ý nghĩa lý thuyết nhiều hơn là thực tiễn, vì trong thực tế các
bài toán cần giải quyết mà có sử dụng đến mạng nơron nhân tạo thì đều có thời gian huấn luyện mạng
tính bằng ngày và số trường hợp siêu tham số có thể xảy ra là nhiều.

một hàm số mà thuộc một phân phối dữ liệu nào đó. Nhưng thực tế hàm số này là một hàm hộp đen,
nó không thể được thể hiện bằng công thức. Do vậy, để có thể tìm ra giá trị siêu tham số tối ưu, các
nhà nghiên cứu phải xây dựng các mô hình xấp xỉ (còn gọi là các surrogate model). Các mô hình này
được xây dựng để đảm bảo mô phỏng giống nhất có thể, tính toán chính xác nhất có thể mà vẫn đảm
bảm đơn giản nhất trong tính toán. Vì hàm số thể hiện mối quan hệ giữa siêu tham số và kết quả là
chưa biết nên các mô hình xấp xỉ sẽ được xây dựng theo hướng hướng dữ liệu (data-driven) và từ dưới
lên (bottom-up) theo hai bước chính:
+ Lựa chọn giá trị siêu tham số đưa vào huấn luyện dựa vào trạng thái hiện tại của mô hình xấp
xỉ (như giá trị trung bình, phương sai, …).
+ Dựa vào cặp giá trị giữa siêu tham số và kết quả huấn luyện tương ứng, thực hiện cập nhật mô
hình xấp xỉ.
Hướng nghiên cứu dựa trên thống kê đang là hướng nghiên cứu gây được chú ý trong thời gian
gần đây do những kết quả khả quan mà nó mang lại. Phương pháp phổ biến trong hướng này là tối ưu
Bayes (Bayesian optimization) [3]. Tối ưu Bayes xây dựng một mô hình xác suất mà ánh xạ từ các
siêu tham số với các kết quả cần đánh giá. Phương pháp này sẽ liên tục đánh giá các siêu tham số tiềm
năng (được lấy từ mô hình hiện tại) và thực hiện cập nhật lại mô hình. Tối ưu Bayes hướng đến việc
khoanh vùng được vùng các siêu tham số sẽ cho kết quả tốt [12].


11

CHƯƠNG 4: MÔ HÌNH ĐỀ XUẤT VÀ THỰC NGHIỆM
4.1. Mô hình đề xuất
Phương pháp dựa trên thống kê hiện nay được chú ý nhiều nhất do nó có thể mô tả bằng mô hình,
thực hiện một cách tự động. Do đó trong luận văn này tôi xin đề xuất sử dụng một mô hình theo hướng
dựa trên thống kê để giải quyết bài toán tìm số đầu vào tối ưu (gọi là tham số k) của mạng nơron nhân
tạo khi sử dụng mạng nơron này trong bài toán dự đoán điểm đích của một chuyến taxi.
Trong hướng dựa trên thống kê, phương pháp tối ưu Bayes nổi lên như một lựa chọn tốt và đang
được sử dụng phổ biến và mô hình trình bày trong luận văn này cũng áp dụng phương pháp tối ưu
Bayes. Phương pháp tối ưu Bayes sẽ gồm hai phần: mô hình xấp xỉ và hàm thu (acquisition function).

việc tính toán toàn bộ phân phối hậu nghiệm (posterior distribution) của hàm f với tập đầu vào x thông
qua:



giả thiết biết trước về hàm f
xác suất để toàn bộ các giá trị x đã lấy mẫu trước xảy ra (likelihood)

4.1.2. Gaussian process


12
Trong các mô hình của thuật toán tối ưu Bayes, Gaussian process là một mô hình phổ biến. Ý
tưởng của mô hình Gaussian process là với mỗi đầu vào x ta có một đầu ra y = f(x) mà f là một hàm
biến thiên ngẫu nhiên (stochastic function) [6]. Mô hình này coi rằng với mỗi đầu vào x sẽ có tương
ứng một phân phối gaussian (phân phối chuẩn) được đặc trưng bằng giá trị trung bình µ và độ lệch
chuẩn σ [10]. Do đó với mỗi đầu vào x, Gaussian process sẽ định nghĩa một phân phối xác suất cho
giá trị có thể của f(x). Vì giá trị trung bình µ và độ lệch chuẩn σ có thể khác nhau cho mỗi giá trị x,
nên ta định nghĩa phân phối xác suất như sau:

P(f(x) | x) = N(µ(x), σ2(x))
Trong đó N là một phân phối chuẩn tắc (standard normal distribution).
Để ước lượng giá trị của µ(x) và σ(x), cần phải điều chỉnh mô hình Gaussian process sao cho
phù hợp với dữ liệu mẫu đang có. Vì mỗi giá trị f(x) được lấy mẫu từ phân phối chuẩn nên giả sử ta có
t mẫu dữ liệu như sau: f(x1), f(x2), …, f(xt) thì vector [f(x1), f(x2), …, f(xt)] là một mẫu từ một phân
phối chuẩn nhiều chiều [4]. Phân phối chuẩn nhiều chiều này sẽ được đặc trưng bởi một vector trung
bình và một ma trận hiệp phương sai. Do đó một Gaussian process là sự tổng quát của một phân phối
chuẩn cho n biến, với n là số mẫu đang có.
Ma trận hiệp phương sai thể hiện sự tương quan giữa các mẫu. Với giả thiết ban đầu rằng hàm f
mịn (smooth) dẫn tới các mẫu mà ở gần nhau sẽ có tương quan mạnh và các mẫu ở xa nhau thì độ


)

với σf2 và 𝑙 là hai tham số cần được cấu hình bằng tay. Tham số chiều dài 𝑙 đặc trưng cho độ mịn của
hàm (thông thường tham số 𝑙 được cài đặt bằng 1 và bằng nhau cho toàn bộ giá trị x). Tham số σf2 đặc
trưng cho độ biến thiên theo chiều dọc (thường được cài đặt bằng 1)
4.1.3. Hàm thu


13
Hàm thu định nghĩa tập siêu tham số cho lần huấn luyện tới của mạng nơron. Có rất nhiều hàm
khác nhau có thể tính toán giá trị tốt nhất cho siêu tham số. Nhưng ở trong mô hình đề xuất này, tôi sử
dụng hàm Expected Improvement. Hàm này có hai cách tính, nếu ta đang muốn tìm giá trị nhỏ nhất, ta
sẽ sử dụng công thức sau:

gmin(x) = max(0, ymin – ygiá trị mong muốn nhỏ nhất )
trong đó ymin là giá trị nhỏ nhất của y mà ta đã thấy và ygiá trị mong muốn nhỏ nhất là giá trị nhỏ nhất có thể.
Nếu ta muốn tìm giá trị lớn nhất thì sử dụng công thức sau:

gmax(x) = max(0, ygiá trị mong muốn lớn nhất - ymax)
trong đó ymax là giá trị lớn nhất của y mà ta đã thấy và ygiá trị mong muốn lớn nhất là giá trị lớn nhất có thể.
Trong bài toán hiện tại, chúng ta đang mong muốn sai số của việc dự đoán điểm đích là nhỏ nhất
nên ta sẽ sử dụng công thức gmin(x)

4.2. Xây dựng thử nghiệm
Cách thức triển khai thử nghiệm được biểu diễn ở hình 4.2 sau:


14
Xác định giá trị k


Đúng

Hàm thu tính giá trị k mới

Tìm sai số nhỏ nhất trong tập k-sai-số, giá trị k
tương ứng là tối ưu.

Hình 4.2 Cách thức triển khai thử nghiệm

Kết thúc


15
Trình tự triển khai mô hình như sau:
+ Cài đặt và chạy được mô hình của MILA lab [11]
+ Xác định vị trí cấu hình tham số k trong mã nguồn của MILA lab
+ Cài đặt thuật toán tối ưu Bayes mà cụ thể là cài đặt Gaussion Process cho vai trò mô hình xấp
xỉ và Expected Improvement cho vai trò hàm thu.
+ Nếu giá trị k tiếp theo nằm trong tập các giá trị k đã huấn luyện thì mô hình đã hội tụ. Thực
hiện dừng việc huấn luyện, tìm giá trị kết quả nhỏ nhất trong các kết quả đã huấn luyện. Giá trị tham
số k tương ứng với giá trị này chính là tham số k tối ưu mà mô hình đã tìm ra. Kết thúc chương trình.
+ Nếu giá trị k tiếp theo không nằm trong tập các giá trị k đã huấn luyện, thực hiện huấn luyện
mạng nơron với giá trị k này.
+ Sau khi huấn luyện xong, đưa dữ liệu đánh giá là tập các chuyến taxi vào mạng nơron nhân
tạo để mạng dự đoán. Kết quả dự đoán sẽ được lưu vào tệp csv.
+ Thực hiện đẩy tệp kết quả csv này lên máy chủ Kaggle sẽ được trả lại giá trị sai lệch.
+ Kết quả sai lệch là một số thực, nếu sai lệch bằng 0, có nghĩa là đây chính là giá trị tối ưu
nhất, do đó dừng chương trình, giá trị k tương ứng với kết quả này chính là giá trị tối ưu nhất. Nếu sai
lệch khác 0 thì giá trị sai lệch này và giá trị k sẽ tạo thành cặp giá trị (k, sai số).

Với bài toán tìm giá trị tối ưu cho siêu tham số, ta cần xác định khoảng giá trị của siêu tham số
mà ta sẽ thực hiện tìm kiếm. Do đó ta cần cài đặt khoảng giá trị của k. Hiển nhiên điểm cận dưới của k
là giá trị một, nhưng do việc chỉ lấy một điểm đầu và điểm cuối để huấn luyện là không hợp lý, nên
thực hiện cài giá trị nhỏ nhất của k là 2. Với cận trên của k, ta mong muốn lấy được quãng đường di
chuyển được của taxi trong tối đa là 25 phút (đây là quãng thời gian hợp lý cho một chuyến taxi), nên
với yêu cầu mỗi 15 giây lấy một điểm thì ta có giá trị tương ứng là 50. Do đó cận trên của k là 50. Vậy
k nằm trong khoảng từ 2 đến 50.
Do MILA lab sử dụng ngôn ngữ Python để cài đặt mô hình mạng nơron nhân tạo nên trong luận
văn, python cũng được sử dụng để cài đặt Gaussian process và hàm thu.
Để cài đặt Gaussian process, luận văn sử dụng thư viện sklearn trong đó đã có cài đặt Gaussian
process:
from sklearn.gaussian_process import GaussianProcessRegressor
noise = 0.1
rbf = ConstantKernel(1.0) * RBF(length_scale=1.0)
gp = GaussianProcessRegressor(kernel=rbf, alpha=noise**2)
gp.fit(k_train, error_train)
error_mean, error_std = gp.predict(k_range, return_std=True)
error_std = vector_2d(error_std)

Mã nguồn 4.1 Gaussian process
Với Gaussian process, ta cần đưa vào ít nhất 2 giá trị để hàm có thể hoạt động. Do đó ta có thể
lấy ngẫu nhiên hai giá trị k bất kỳ để mô hình huấn luyện trước. Trong luận văn này, ta sử dụng giá trị
bắt đầu của k là 5 (bằng với giá trị của MILA lab sử dụng) và giá trị thứ 2 là một giá trị ngẫu nhiên
(khác 5). Lúc này tập k_train sẽ chứa 2 giá trị là 5 và một giá trị ngẫu nhiên, tập error_train sẽ chứa hai
giá trị lỗi tương ứng cho 2 giá trị k này.
Sau khi chạy Gaussian process thông qua hàm fit() ta sẽ có được giá trị trung bình và phương
sai cho từng giá trị k trong khoảng [2, 50]. Nhưng đầu vào của hàm thu của ta nhận thông số là độ lệch
chuẩn nên ta thực hiện thêm bước tính giá trị này từ phương sai.
Ta định nghĩa hàm thu, cụ thể là hàm expected improvement như sau:
def expected_improvement(error_min, error_mean, error_std, k_range):

4.3. Kịch bản thực nghiệm
Do k nằm trong khoảng [2,50], nên ta cần huấn luyện tối đa là 49 mô hình mạng nơron. Mỗi lần
huấn luyện với cấu hình máy đã đưa ra ở phần 4.2 thì mất khoảng 21 giờ nên tổng thời gian cần thực
hiện để huấn luyện hết các giá trị k là 43 ngày. Tổng thời gian này là có thể thực hiện được đối với
luận văn này. Nếu có thể tạo nhiều máy ảo thì thời gian chờ có thể giảm xuống.
Sau khi đã huấn luyện được 49 mô hình, ta có tương ứng 49 file dự đoán cho tập dữ liệu đánh giá
và sau đó thực hiện lấy giá trị sai số thông qua Kaggle website cho từng trường hợp. Vì hai giá trị k
mồi ban đầu cần khác nhau nên ta chỉ có 48 trường hợp tìm giá trị k tối ưu. Với mỗi cặp mồi, mô hình
sẽ đi tìm giá trị k tối ưu đến khi nào sai lệch bằng 0 hoặc giá trị k đã được huấn luyện. Cuối cùng khi
có 48 dãy giá trị k, ta đánh giá hiệu quả của mô hình luận văn đề xuất.

4.4. Kết quả thực nghiệm
Bảng 4.1 sau thể hiện sai lệch dự đoán của mô hình mạng nơron với từng giá trị k trong khoảng [2,
50].
Giá trị k

Sai số (km)

Giá trị k

Sai số (km)

Giá trị k

Sai số (km)

2

2.03574


1.97844

5

2.00669

22

1.99724

39

2.19232

6

1.97495

23

1.89386

40

2.02894

7

1.93868


2.08107

10

1.96785

27

1.95202

44

1.95307


18
11

1.92488

28

2.04802

45

2.04514

12


48

1.99676

15

6.40615

32

2.06058

49

1.99735

16

1.99129

33

2.0248

50

2.02899

17


Bảng 4.2 sau thể hiện kết quả tìm kiếm các giá trị k tối ưu của mô hình luận văn đề xuất. Có 48
kết quả tương ứng với 48 cặp giá trị k ban đầu dùng để mồi. Mỗi một kết quả là một chuỗi các giá trị k
mà mô hình tìm được. Hai giá trị k đầu tiên dùng để mồi sẽ nằm ở đầu dãy, do đó dãy luôn bắt đầu
bằng số 5. Giá trị thứ 2 sẽ chạy lần lượt từ 2 đến 50 và bỏ qua giá trị 5 (vì trùng với giá trị đầu tiên).
STT

Dãy giá trị k tối ưu tìm được

1

5, 2, 50, 50,

2

5, 3, 50, 50,

3

5, 4, 50, 50

4

5, 6, 50, 50

5

5, 7, 50, 50


19

13

5, 15, 24, 33, 42, 50, 10, 28, 38, 2, 46, 8, 20, 36, 30, 22, 12, 48, 4, 40, 11, 26, 44, 11

14

5, 16, 25, 34, 43, 50, 11, 20, 2, 2

15

5, 17, 26, 35, 44, 50, 11, 40, 2, 2

16

5, 18, 27, 36, 45, 11, 50, 31, 2, 41, 8, 23, 14, 38, 48, 25, 12, 33, 4, 43, 29, 22, 47, 39, 12

17

5, 19, 28, 37, 46, 12, 50, 2, 50

18

5, 20, 29, 38, 47, 13, 24, 2, 2

19

5, 21, 30, 39, 48, 13, 26, 2, 2

20



28

5, 30, 14, 39, 48, 22, 34, 2, 2


20
29

5, 31, 14, 40, 49, 23, 19, 2, 2

30

5, 32, 14, 23, 41, 50, 27, 2, 2

31

5, 33, 14, 23, 42, 50, 28, 19, 2, 2

32

5, 34, 14, 23, 43, 50, 28, 19, 2, 2

33

5, 35, 14, 23, 44, 50, 29, 19, 2, 2

34

5, 36, 14, 23, 45, 29, 50, 19, 2, 2


5, 44, 14, 23, 32, 50, 38, 27, 2, 2

43

5, 45, 14, 23, 32, 39, 50, 2, 2

44

5, 46, 14, 23, 32, 39, 27, 2, 2

45

5, 47, 14, 23, 32, 39, 27, 2, 2

46

5, 48, 14, 23, 32, 40, 27, 2, 2

47

5, 49, 14, 23, 32, 40, 27, 2, 2

48

5, 50, 14, 23, 32, 41, 27, 2, 2
Bảng 4.2 Dãy giá trị k tối ưu tìm được

Cần chú ý rằng các dãy ở bảng 4.2 có giá trị cuối là giá trị đã xuất hiện ở trong dãy. Giá trị cuối
này thể hiện dãy số là hoàn thiện khi mô hình đề xuất đưa ra giá trị k đã xuất hiện ở trong dãy. Từ đó

áp dụng công nghệ dự đoán điểm đích của chuyến taxi sẽ mang lại hiệu quả vượt trội so với hệ thống
điều phối bằng radio truyền thống. Công ty vận tải có thể gửi yêu cầu chính xác tới từng chiếc taxi để
đảm bảo giảm thời gian chờ xe của khách hàng xuống thấp nhất, đặc biệt trong khung giờ cao điểm.
Từ đó giúp nâng cao trải nghiệm của khách hàng. Việc áp dụng công nghệ này không chỉ giúp phục vụ
khách hàng tốt hơn mà còn giúp công ty giảm chi phí vận hành, tối ưu nguồn lực, đồng thời còn có tác
động tới những vấn đề vĩ mô của xã hội như giảm ùn tắc giao thông, giảm ô nhiễm môi trường.
Với nhu cầu thực tiễn trên, cùng kỳ vọng nâng cao độ chính xác khi dự đoán điểm đích của
chuyến taxi, luận văn đã trình bày cụ thể một mô hình đề xuất để tối ưu việc lựa chọn số đầu vào khi
áp dụng mạng nơron nhân tạo trong bài toán dự đoán điểm đích của một chuyến taxi. Kết quả thực
nghiệm của mô hình đã cho thấy hiệu quả rõ rệt khi xác suất tìm ra giá trị số lượng đầu vào tối ưu nhất
là hơn 50%. Điều này cho thấy việc sử dụng tối ưu Bayes, cụ thể là Gaussion Process và hàm thu
(acquisition function), đã cho thấy sự đúng đắn. Mô hình luận văn đề xuất hoàn toàn có thể sử dụng
trong thực tiễn. Khi áp dụng vào bài toán thực tế, các công ty vận tải sau một thời gian sử dụng hệ
thống dự đoán điểm đích của chuyến taxi hoàn toàn có thể sử dụng mô hình luận văn đề xuất để cập
nhật lại số lượng đầu vào của mạng nơron (tham số k). Từ đó đảm bảo sai số nhỏ nhất trong việc dự
đoán vì theo thời gian lịch trình di chuyển của khách hàng cũng thay đổi theo nên có thể giá trị tối ưu
nhất của tham số k cũng thay đổi. Mô hình của luận văn đề xuất mang đến sự chính xác và tự động khi
tìm kiếm giá trị tham số k tối ưu trong khoảng giá trị mong muốn.
Dù đã có những kết quả tốt trong thực nghiệm nhưng mô hình của luận văn đề xuất mới chỉ thử
nghiệm trên một tập dữ liệu taxi, và tập dữ liệu này chỉ có kích thước trung bình. Do vậy kết quả thực
nghiệm cũng chưa được khách quan.
Mô hình luận văn đề xuất hoàn toàn có thể áp dụng rộng cho bài toán tổng quát hơn. Bất kỳ bài
toán nào mà sử dụng mạng nơron nhân tạo truyền thẳng nhiều tầng và cần lựa chọn số lượng đầu vào
cho mạng nơron này thì đều có thể sử dụng mô hình để tìm ra giá trị tối ưu nhất.
* Hướng phát triển
Kết quả của luận văn đạt được đã mở ra nhiều hướng nghiên cứu tiếp trong tương lai. Tác giả
cần thử nghiệm các mô hình đề xuất với các tập dữ liệu taxi lớn hơn, đồng thời cải thiện tốc độ tính
toán để có thể cho nhiều kết quả. Từ đó việc so sánh, đánh giá, nhận xét sẽ khách quan hơn. Tác giả
cũng cần thử áp dụng mô hình đề xuất với các bài toán sử dụng mạng nơron nhân tạo truyền thẳng
nhiều tầng mà cũng cần lựa chọn số đầu vào tối ưu cho mạng để đánh giá mức độ phù hợp của mô

[10] Martin Krasser (March 19, 2018), “Gaussian
http://krasserm.github.io/2018/03/19/gaussian-processes/

processes”,

[online],

available:

[11] adbreds’s Github repo, [online], available: https://github.com/adbrebs/taxi
[12] resibots (2013), “Introduction to Bayesian Optimization (BO)”, [online], available:
http://www.resibots.eu/limbo/guides/bo.html#a-mockus2013
[13] neupy (December 17 2016), “Hyperparameter optimization for Neural Networks”, [online],
available: http://neupy.com/2016/12/17/hyperparameter_optimization_for_neural_networks.html
[14] Martin Krasser (March 21, 2018), “Bayesian
https://krasserm.github.io/2018/03/21/bayesian-optimization/

Optimization”,

[15]
ECML/PKDD
15:
Taxi
Trajectory
Prediction
https://www.kaggle.com/c/pkdd-15-predict-taxi-service-trajectory-i

(I),

[online],