BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT
ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG
TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

Chuyên ngành: Khoa học Máy tính
Mã số: 62480101

TÓM TẮT LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

Hà Nội − 2016


Công trình được hoàn thành tại:
Trường Đại học Bách khoa Hà Nội

Người hướng dẫn khoa học:
1. TS. Trần Thị Thanh Hải
2. PGS.TS. Nguyễn Quang Hoan

Phản biện 1:
Phản biện 2:
Phản biện 3:

Luận án được bảo vệ trước Hội đồng đánh giá luận án tiến sĩ
cấp Trường họp tại Trường Đại học Bách khoa Hà Nội:
Vào hồi..............giờ, ngày.......tháng.......năm.......

Mục tiêu và những thách thức
Xuất phát từ ý tưởng tạo ra một hệ thống hỗ trợ giống như một người bạn đồng hành
có khả năng giao tiếp thân thiện và hiệu quả. Luận án hướng đến phát triển một hệ thống
trợ giúp định hướng và cảnh báo vật cản cho NKT sử dụng robot di động.
Để đạt được mục tiêu này, robot cần có khả năng nhận biết và di chuyển giữa các vị trí
trong môi trường và nhận dạng được các vật cản trên đường đi. Do vậy, chúng tôi chia các
mục tiêu đạt được thành ba bài toán cụ thể:
1. Biểu diễn môi trường và định vị: Với mục tiêu dẫn đường cho NKT đi từ vị trí
hiện tại đến vị trí mong muốn trong môi trường, robot phải biết mình đang ở đâu
trong môi trường và đường đi đến vị trí đích như thế nào. Để giải quyết vấn đề này,
bản đồ môi trường phải được xây dựng từ trước và robot phải có khả năng định vị từ
một vị trí bất kỳ trên bản đồ. Mặc dù có nhiều phương pháp đã được đề xuất, hướng
tiếp cận tổng quát và bền vững với các yếu tố môi trường đang là những mục tiêu mà
các nhà khoa học theo đuổi.
2. Phát hiện và ước lượng khoảng cách vật cản: Trong quá trình di chuyển, để đảm
bảo an toàn cho NKT cũng như cho sự di chuyển của robot, các vật cản trong môi
trường bao gồm vật cản tĩnh và động cần phải được phát hiện và cảnh báo về mức
độ nguy hiểm có thể gây ra. Ngoài các thách thức chung của bài toán phát hiện đối
tượng trong lĩnh vực thị giác máy tính như điều kiện chiếu sáng thay đổi, che khuất,
1


bóng, luận án còn phải giải quyết với chất lượng ảnh không tốt do rung lắc của thiết
bị, camera di chuyển và ước lượng khoảng cách giữa NKT và vật cản trong thời gian
thực.
3. Dẫn đường, điều khiển và tương tác người robot: Trong ngữ cảnh của bài toán
robot dẫn đường thì việc tìm đường tối ưu là một phần quan trọng, đặc biệt với việc
dẫn đường cần phải thực hiện với độ chính xác cao trong khi vẫn đảm bảo an toàn
cho NKT. Bên cạnh đó, điều khiển robot di chuyển đúng hành trình, giảm sai số định
vị là một thách thức trong lĩnh vực điều khiển động học. Tương tác người-robot phải

khoảng cách vật cản dựa trên tính toán ảnh sai khác từ các quan sát khác nhau trên
01 camera.
◦ Chương 4: Thử nghiệm và đánh giá hệ thống dẫn đường, trình bày hệ thống
dẫn đường hoàn chỉnh tích hợp các thiết bị phần cứng và phát triển thêm một số chức
năng khác như tìm đường, điều khiển, tương tác người robot sử dụng các kỹ thuật cơ
bản sẵn có. Phần thử nghiệm và đánh giá trên người dùng khiếm thị 100% không nhìn
thấy ánh sáng tại 03 môi trường khác nhau.
2


CHƯƠNG 1
TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP
NGƯỜI KHIẾM THỊ
1.1

Đặt vấn đề

1.2

Các nghiên cứu liên quan

1.2.1

Các nghiên cứu trên thế giới

1.2.2

Các nghiên cứu trong nước

1.2.3

− Ứng dụng triển khai hệ thống trợ giúp dẫn đường và cảnh báo vật cản cho NKT một
cách hiệu quả và thân thiện.
Trong LATS này, trợ giúp dẫn đường được hiểu là dẫn NKT di chuyển đến vị trí mong
muốn trên bản đồ với các cảnh báo về vật cản. Khi thiết kế một hệ thống, chúng tôi đều phải
dựa trên một số ràng buộc theo đặc thù của môi trường triển khai. Môi trường trong nhà
hay ngoài trời đều có những thách thức riêng. Do vậy chúng tôi giới hạn pham vi nghiên cứu
là môi trường trong nhà diện hẹp ví dụ như hành lang tòa nhà có gắn các thiết bị (wi-fi),
3


cm bin (camera) cho phộp thu thp cỏc tớn hiu ca mụi trng nhm phc v cho cỏc
ng dng khỏc nhau. H thng xut ch phc v 01 ngi dựng ti mt thi im.
1.3.2

Phng phỏp xut

Cỏc thnh phn chớnh ca h thng xut c mụ t nh trong Hỡnh 1.1 gm robot
di ng cú gn camera thu nhn hỡnh nh mụi trng, thc hin cỏc phộp x lý tớnh toỏn
tr li 02 cõu hi chớnh: i) robot ang õu? cú nhng vt cn gỡ? ii) lm th no dn
NKT i n v trớ mong mun? khi NKT s dng in thoi di ng cú kt ni khụng dõy
iu khin v nhn phn hi t h thng. Trong quỏ trỡnh dn, NKT bỏm vo mt im
trờn robot i theo.




ẹieọn thoaùi
thoõng minh

Maùng Wireless

BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ
2.1

Giới thiệu chung

2.2

Những nghiên cứu liên quan

2.3

Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường

Xuất phát từ mục tiêu của luận án nghiên cứu phương pháp định vị sử dụng hình ảnh
hỗ trợ cho bài toán trợ giúp dẫn đường cho NKT, chúng tôi đề xuất mô hình biểu diễn môi
trường theo hướng tiếp cận lai ngữ nghĩa.
Ý nghĩa của cụm từ lai ngữ nghĩa được giải thích như sau. Bản đồ của môi trường được
cấu thành từ bản đồ số liệu và bản đồ topo. Ngoài ra, các thông tin vật cản tĩnh của môi
trường ở từng vị trí trên bản đồ cũng được xác định và đưa vào mô hình biểu diễn môi
trường như mô tả trong Hình 2.1 dưới đây:

y(m)
ĐỊNH NGHĨA CÁC THÀNH PHẦN:

Hội trường

◦ Bản đồ được biểu diễn theo cấu trúc topo gồm một tập
N điểm trong môi trường sao cho tồn tại đường đi giữa
hai điểm kề cận:
WC

2. Z : Mô hình quan sát tại vị trí Li
i

3. Oi = {Oi1 , Oi2 .., Oij }: Tập vật cản xuất hiện trên ảnh Ii

Phòng ngủ
số 3

vị trí Li thu nhận

Điểm mốc

L1
(0, 0)

Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa
Để biểu diễn môi trường theo mô hình này, các nhiệm vụ sau cần thực hiện:
5

x(m)


1. Xác định các vị trí mốc trong môi trường Li với i = 1, N
2. Xác định tọa độ các vị trí mốc trong môi trường Mi = (xi , yi , zi ).
3. Xác định các vật cản Oi = {Oi1 , Oi2 ...Oij } trên ảnh Ii thu tại vị trí Li . Tập vật cản
Oi thuộc các tập định nghĩa từ trước và hình dạng vật cản không ảnh hưởng đến mô
hình biểu diễn, chi tiết phương pháp xác định vật cản được trình bày tại CHƯƠNG
III của luận án.

2.4


Phương pháp VO của Van Hamme và đồng nghiệp đề xuất năm 2011 [13] được đánh giá
trong môi trường ngoài trời với camera lắp đặt trên xe chạy với tốc độ 70km/h. Khi áp dụng
vào môi trường trong nhà với camera gắn trên robot đi với tốc độ chậm, phương pháp này
gặp một số khó khăn và thách thức. Trong phần dưới đây, chúng tôi sẽ trình bày trước tiên
phương pháp VO, các thích nghi VO trong nhà gọi tắt là VO* sẽ được trình bày sau đó.
2.4.1.1 Phương pháp đo hành trình bằng hình ảnh sử dụng mô hình không chắc chắn
Ý tưởng của giải thuật VO đề xuất trong [13] sử dụng mô hình không chắc chắn của
chuyển động của camera và chuyển động của xe để tính toán các tứ giác tương ứng với các
điểm đặc trưng tại khung hình hiện tại cũng như chuyển động của các điểm đặc trưng trong
khung hình trước đó. Sau đó chuyển động của camera giữa hai khung hình liên tiếp được
ước lượng từ sự chồng lấp của các tứ giác.
Với chuỗi hình ảnh liên tiếp thu thập được I = {I1 , I2 , ..., IN }, thuật toán VO gồm N −1
bước lặp, tại bước lặp thứ i với i = 2, N thực hiện các bước:
1. Trích chọn đặc trưng Harris Corner[14] trên khung hình Ii . Chi tiết phương pháp trích
chọn đặc trưng có trong PHỤ LỤC A.1 của luận án.
[I(x + u, y + v) − I(x, y)]2

E(u, v) =

(2.2)

w

Trong đó: E(u, v) là hàm tương quan tính toán trên ảnh I; u, v là dịch chuyển của điểm
x, y trên hàm cửa số w, khi đó w nhận hai giá trị 0/1 hoặc thông qua hàm Gaussian
xác định giá trị cho w.
Kết quả thu được là tập Mi điểm đặc trưng {KPij } với j = 1, Mi . Số điểm đặc trưng
quyết định bởi ngưỡng θV O đưa vào tính Công thức (2.3). KPij phụ thuộc vào R là
việc lấy ngưỡng θV O (R ≥ θV O ) và R là các đáp ứng góc tính như sau:



Trích chọn đặc trưng
Harris trên ảnh Ii

w [I(x

+ u, y + v) − I(x, y)]2

R = λ1 λ2 − k(λ1 + λ2 )2






KPij

R ≥ θV O

j = 1, Mi

PUT: Perspective Uncertainty Tetragons
MUT: Motion Uncertainty Tetragon

KeyPoint(Harris corners)

Tính các PUT
trên ảnh Ii


Xếp chồng P U Ti và M U Ti

Ảnh
tương đồng

Ước lượng tham số
i
i
; Ri−1
Ti−1

30
20
10
0
-10
-60

-50

-40

-30

-20

-10

0



100

50

80

80

40

60

60

40

Bản đồ

20

30

Thực đòa

Thực đòa

Bản đồ

40


25

0

50

(b) Thư viện Tạ Quang Bửu – ĐHBK Hà Nội

-40

-30

-20

-10

0

10

(c) Viện nghiên cứu MICA – ĐHBK Hà Nội

Hình 2.3 Một số trường hợp lỗi tích lũy khi xây dựng bản đồ
2.4.1.2 Thích nghi VO cho mơi trường trong nhà
Để nâng cao độ chính xác của bản đồ tái tạo, chúng tơi đề xuất một giải pháp đơn giản
dễ thực hiện để nâng số điểm đặc trưng phát hiện được trên mỗi khung hình. Cụ thể chúng
tơi tạo các điểm đánh dấu trên đường đi (xem Hình 2.4) với quy trình tạo các điểm đánh
dấu trên mặt sàn như sau:


lập luận phía trên và khuyến cáo cho người phát triển hệ thống khi thực hiện VO* trong
mơi trường trong nhà.

b) Không phân biệt màu sắc

a) Tạo các điểm đánh dấu ngẫu nhiên

d) Phụ thuộc vào hình dạng của mẫu đánh dấu

d) Tạo các điểm đánh dấu quá dày

Hình 2.6 Minh họa phương pháp thử nghiệm khi tạo các mẫu đánh dấu
Cách làm này dễ thực hiện song, cho phép nâng cao độ chính xác của hành trình tái tạo sẽ
được trình bày chi tiết trong phần thực nghiệm của luận án.
9


2.4.2

Xây dựng bản đồ topo

Trong luận án này, chúng tôi đi theo hướng tiếp cận chỉ xác định một số điểm mốc phân
biệt trên bản đồ để tạo bản đồ topo. Thuật toán FAB-MAP[6] được lựa chọn để thưa hóa có
chọn lọc các vị trí trên bản đồ số liệu. Tuy nhiên FAB-MAP thuộc nhóm các phương pháp
SLAM vừa định vị vừa xây dựng bản đồ không cho phép dẫn đường giữa hai vị trí trong
môi trường. Ngoài ra, FAB-MAP được thử nghiệm ngoài trời với camera gắn trên xe chạy
với tốc độ cao, khung cảnh thay đổi liên tục. Khi áp dụng vào môi trường trong nhà giải
thuật cũng gặp những khó khăn cần khắc phục. Trong phần tiếp theo, chúng tôi sẽ trình
bày sơ lược ý tưởng của giải thuật FAB-MAP gốc đồng thời trình bày các cải thiện và thích
nghi giải thuật này để tạo bản đồ topo và định vị.

Zk
Tính P (Li |Z k )

i = 1, nk

Z k = {Zk , Z k−1 }

Xây dựng cây
nhị phân(ChowLiu)

Đúng

Sai
max(P (Li |Z k )) > θ

CSDL
túi từ

i = 1, nk

CSDL
từ đồng
xuất hiện

Tạo mới Lnk+1

Cập nhật

Lk+1 = {L1 , ..., Lnk+1 }


(300 mm/s), các quan sát liên tiếp là rất giống nhau ảnh hưởng đến chất lượng của từ điển
cũng như khả năng xác định vị trí đã qua.
Bài toán xác định khung cảnh phân biệt được mô tả như sau: Giả thiết có một chuỗi N
khung hình liên tiếp I = {I1 , I2 , ..., IN }. Xác định tập con của Id ∈ I với Id = {Ii1 , Ii2 , ..., Iid }
trong đó các khung cảnh Iij là phân biệt. Để xác định Iij với Iik là phân biệt, có thể kiểm
chứng bằng hàm khoảng cách D(Iij , Iik ).
(2.4)

D(Iij , Iik ) = ED(Gist(Iij ), Gist(Iik ))
Trong đó ED là khoảng cách giữa hai vector trong không gian.

Việc xác định các khung cảnh riêng biệt thực hiện bằng giải thuật sau đây. Đầu vào là
một chuỗi các hình ảnh liên tiếp thu thập từ camera: I = {I1 , I2 ...IN }.
- Tính toán sai khác giữa hai khung hình liên tiếp Ii và Ii−1 : Sai khác này được định
nghĩa là khoảng cách Euclid Di giữa hai vector đặc trưng GIST tương ứng Fi , Fi−1 .
- Kiểm tra nếu Di > θGist thì Ii được lựa chọn là khung hình phân biệt, trong đó θGist
là ngưỡng xác định trước bằng thực nghiệm quyết định số lượng khung hình giữ lại.
Theo [20], [18] đặc trưng GIST trích chọn thể hiện các tính chất quan trọng như tính
tự nhiên, tính mở, độ nhám, độ chắc chắn, cho phép trình bày cấu trúc không gian của một
cảnh. Chi tiết đặc trưng GIST có trong PHỤ LỤC A.4 của luận án.
Khoaûng caùch D
1
0.8

0.6

(a)

θGist


biến đổi Gabor [21] theo các hướng, tần số khác nhau và được tính theo Công thức (2.5):
− 21

h(x, y) = e

y2
x2
2 + δ2
δx
y

e−j2π(u0 x+v0 y)

(2.5)

Trong đó, tham số (δx , δy ) là độ lệch chuẩn của hàm Gauss theo hướng x, y; (u0 , v0 ) là các
thành phần tần số trung tâm của bộ lọc Gabor.
Chúng tôi chuẩn hóa ảnh đầu vào được đưa về dạng vuông, chia thành lưới (4 × 4) theo
8 hướng tương ứng. Do đó, vector GIST được tính toán sử dụng phổ năng lượng của 32 đáp
ứng. Đồng thời tính toán trung bình trên mỗi lưới (16 × 16) điểm ảnh trên mỗi đáp ứng,
như thể hiện. Như vậy kích thước vector GIST giảm xuống 512 chiều. Kết quả trích chọn
đặc trưng GIST phục vụ việc phân loại khung cảnh minh họa như Hình 2.8.
11


(b) Chuyển pha trực tuyến của FAB-MAP về hoạt động ngoại tuyến để xây
dựng toàn bộ bản đồ môi trường: Sau khi đã xác định các cảnh phân biệt, các ảnh
này được đưa vào pha ngoại tuyến để xây dựng từ điển và cây Chow Liu. So với FAB-MAP,
đầu vào của FAB-MAP* là tập các ảnh đã thu thập từ trước về trên hành trình khai phá
đường đi trong môi trường. Việc này có thể chạy một lần hoặc nhiều lần với các dữ liệu

Hình 2.9 Minh họa bước thực hiện cập nhật điểm mốc quan trọng
2.4.3

Bổ sung thông tin đối tượng vật cản tĩnh trên bản đồ

Bản đồ topo được xây dựng từ giải thuật FAB-MAP* có thêm các thông tin về tọa độ
của mỗi vị trí trên bản đồ từ giải thuật VO*. Sau đó trên mỗi vị trí của bản đồ, chúng tôi
bổ sung các thông tin đối tượng vật cản tĩnh để thực hiện dự báo khả năng có vật cản ở pha
trực tuyến một cách nhanh chóng. Thông tin về tọa độ trên ảnh và tọa độ thể giới thực sẽ
được lưu để sử dụng ở pha phát hiện vật cản sẽ trình bày trong CHƯƠNG III của luận án.

2.5

Phương pháp định vị

Sau khi đã xây dựng bản đồ topo số liệu ở pha ngoại tuyến, việc định vị ở pha trực
tuyến trở nên thuận lợi hơn. Ở pha trực tuyến, camera thu nhận ảnh Ik , quan sát từ đầu
đến thời điểm k là Z k như định nghĩa ở phần trên. Thực hiện tính xác suất mà quan sát Z k
có thể ở vị trí Li trên bản đồ LN = {L1 , L2 , ..., LN } với mọi giá trị i = 1, N.
p Li |Z k =

2.6

p Zk |Li , Z N p Li |Z N
p (Zk |Z N )

(2.6)

Kết quả thực nghiệm


Chậu
hoa

Người
~ 2.5m

~ 1.5m
Người
Vật cản
Chậu
hoa

Bình cứu hỏa
Trường nhìn của camera

Robot
Bình cứu hỏa
Chậu
hoa

Hình 3.1 Định nghĩa bài tốn phát hiện và ước lượng khoảng cách
Hình 3.1 minh họa ngữ cảnh của bài tốn và các kết quả mong muốn đạt được. Trong
ví dụ này robot có gắn camera di chuyển trong mơi trường, chậu hoa, bình cứu hỏa, thùng
rác là các vật cản tĩnh trong mơi trường, người là vật cản động xuất hiện bất ngờ.

3.2

Những nghiên cứu liên quan

3.3

Bản đồ môi trường

Robot
Lk

Phát hiện vật cản tĩnh
Đối sánh các điểm
đặc trưng (Ik , Ik∗ )

Phát hiện
các vật cản: Oi

Phát hiện người
HoG-SVM

(t: giây)

Lk−t
L2
L1

Dự đoán khoảng cách
Quan sát trước t(giây)

Ảnh Ik−t

Xây dựng bản đồ
chênh lệch Ik , Ik−t

Tính khoảng cách


Kết quả định vị

Phương pháp đối sánh ảnh mẫu (template matching)

Ảnh mẫu
Ik∗

1

2

3

Phát hiện

Đối sánh điểm
đặc trưng

Đối tượng

Xác định vùng
chứa đối tượng

Ảnh hiện thời
Ik

Kết quả

Hình 3.3 Sơ đồ các bước thực hiện phát hiện vật cản cố định

3

Ảnh
nhận dạng

Nhận dạng
4

Kết quả

Hình 3.4 Sơ đồ các bước phát hiện người sử dụng HoG-SVM

3.5

Uớc lượng khoảng cách vật cản

3.5.1

Nguyên lý phương pháp ước lượng khoảng cách

Gọi D là khoảng cách từ vật cản tới camera tính như sau:
D=

2 tan( ϕ20

Bx0
+ ∆ϕ)(x1 − x2 )

(3.1)


B2
B

f
SL

SR

Hình 3.5 Mô hình ước lượng khoảng cách vật cản từ hai quan sát

Hình 3.6 Sơ đồ các bước tính toán bản đồ chênh lệch và ước lượng khoảng cách
3.5.2

Xây dựng bản đồ chênh lệch

1. Thu thập dữ liệu.
2. Hiệu chỉnh cải thiện.
3. Đối sánh hình ảnh.
4. Tính toán độ sâu.

3.6

Kết quả đánh giá

3.7

Kết luận chương 3

Kết quả chính của chương này đã được công bố tại: Tạp chí KH&CN các trường đại
học kỹ thuật, số 95C tháng 7/2013; Hội nghị nghiên cứu cơ bản và ứng dụng công nghệ thông

1

Phát hiện và
Ước lượng
khoảng cách vật cản

Điều khiển
Robot

4

Xây dựng
bản đồ môi trường

5

Tìm đường
6

Thu thập
dữ liệu (đường đi/
khung cảnh)

Phân tích
yêu cầu
người dùng

Biểu diễn môi trường & Định vị

Cảnh báo & Tìm đường

17


− Tầng vật lý : bao các thiết bị phần cứng, như robot, xe thu thập, camera, wi-fi, điện
thoại di động nhằm thực hiện các nhiệm vụ như thu nhận và xử lý tương tác với hệ
thống.
− Tầng logic: có nhiệm vụ kết nối giữa hai tầng vật lý và tầng chức năng qua các giao
diện cảm biến đồng thời phản hồi lại các u cầu từ hệ thống tới người dùng.
− Tầng chức năng: đây là tầng quan trọng nhất của hệ thống dẫn đường với các mơ đun
chính như: Xây dựng bản đồ mơi trường; Định vị; Phát hiện và ước lượng khoảng cách
vật cản; Tìm đường; Điều khiển robot; Tương tác người robot.
Ba mơ đun chính của hệ thống là xây dựng bản đồ mơi trường, định vị và phát hiện
vật cản đã được trình bày chi tiết trong chương II, chương III. Để hệ thống dẫn đường
hoạt động tại thực địa, các mơ đun còn lại như tìm đường, điều khiển robot, tương tác
người máy cần được phát triển. Nội dung chương này trình bày về việc phát triển các
mơ đun này và tích hợp để hồn thiện và thử nghiệm hệ thống.
− Tầng ứng dụng: có nhiệm vụ phát triển các giao diện phần mềm được cài đặt lên robot
và lên điện thoại di động; ngồi ra các thư viện mã nguồn mở OpenCV, các hàm API
(Application Programming Interface) nằm trong bộ điều khiểm M3 của robot do nhà
sản xuất cung cấp được cài đặt thêm và tích hợp với các mơ đun đã được xây dựng.
4.1.2

Tích hợp phần cứng

Trong phần thực nghiệm, chúng tơi sử dụng robot PC-Bot914 và tích hợp thêm một số
thiết bị ngoại vi như: Camera Axis kết nối với robot thơng qua địa chỉ TCP/IP có nhiệm
vụ thu nhận hình ảnh với góc nhìn rộng đã sửa méo để ảnh thu nhận có chất lượng tốt hơn;
điện thoại di động giúp NKT tương tác vào/ra với robot; một số thiết bị khác (màn hình
giao tiếp, ắc quy duy trì nguồn điện, bộ phát sóng mạng wi-fi, khung giá đỡ...)
Robot nguyên bản

Phát triển hệ thống dẫn đường sử dụng robot
Tìm đường cho robot

Cho trước một đồ thị có trọng số G = {V, E}, trong đó V là tập đỉnh, E tập cạnh và
f : E → R là hàm một trọng số có giá trị thực. Cho trước một đỉnh v thuộc V , tìm một
đường đi P từ v tới mỗi đỉnh v ′ thuộc V sao cho p∈P f (p) là nhỏ nhất trong tất cả các
đường nối từ v tới v ′ .
Như vậy bài tốn tìm đường trong khn khổ của LATS được phát biểu đơn giản là xác
định đường đi từ một vị trí Lb (vị trí hiện tại của robot là đầu ra của giải thuật định vị đã
được trình bày trong chương II) đến một vị trí Le (vị trí mà người dùng u cầu được ánh
xạ trên bản đồ mơi trường). Theo lý thuyết đồ thị, bản đồ LN = {L1 , L2 , ..., LN } được khái
qt hóa dưới dạng đồ thị trong đó đỉnh là các vị trí Li , cạnh chỉ tồn tại giữa hai vị trí kề
cận {Li , Li+1 }. Khi đó đường đi ngắn nhất giữa hai vị trí Lb và Le được xác định theo giải
thuật Dijkstra thơng thường.
Với các mơi trường và kịch bản thử nghiệm, bản đồ xây dựng tại ba mơi trường (Tầng
8 Viện MICA, Khu nội trú tầng 2 trường THCS Nguyễn Đình Chiểu, Tầng 5 Thư viện Tạ
Quang Bửu) đều là đồ thị khơng rẽ nhánh, vì vậy việc tìm đường là trường hợp đơn giản
trong giải thuật tìm đường tối ưu.
y(m)
30

A
25

20

Bản đồ môi trường
Khả năng mở rộng đường đi

15


25

30

Hình 4.3 Minh họa đường đi từ hai điểm biết trước trên bản đồ mơi trường
Hình 4.3 minh họa đường đi của robot tới các vị trí mong muốn. Trong hình vẽ này A, D là
các điểm nằm trên bản đồ; B, C, E là các điểm mới trong trường hợp mở rộng bản đồ mơi
trường, q trình được thực hiện bằng cách học lại các vị trí mới của mơi trường.
4.2.2

Điều khiển robot

4.2.2.1 Điều khiển trực tiếp dựa trên đường đi xác định
4.2.2.2 Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc Kalman

19


Bắt đầu
Nghe lệnh của người dùng
& phân tích lệnh

Xác định điểm xuất phát
(Kết quả định vị hình ảnh)

Đầu vào
(Điểm xuất phát
& điểm kết thúc)
i=0

Phát hiện vật cản và
cảnh báo nguy hiểm

Phương trình chuyển động
của robot

Vị trí dự đoán L∗i+1

i++

Tính khoảng cách ∆ giữa
hai điểm Li và L∗i+1

Kết thúc

Hình 4.4 Lược đồ điều khiển robot sử dụng lọc Kalman

20


Các bước điều khiển robot sử dụng lọc Kalman được thực hiện như sau:
− Bước 1 : Robot phân tích yêu cầu của người dùng từ điện thoại di động để xác định
tọa độ của điểm cần đến (điểm cuối Le của hành trình).
− Bước 2 : Robot tự động xác định vị trí hiện tại của nó (điểm đầu lb của hành trình).
− Bước 3 : Sau khi xác định được điểm đầu và điểm cuối của hành trình, chức năng tìm
đường được kích hoạt. Kết quả trả về là hành trình của robot sẽ đi qua một tập các
điểm trung gian Ld = {Lb , ...Le } trong đó Lb là điểm xuất phát và Le là điểm kết thúc.
− Bước 4 : Tại bước lặp thứ i, với mỗi cặp điểm liền kề trong hành trình di chuyển của
robot tính toán khoảng cách ∆ giữa hai điểm Li và Li+1 .
− Bước 5 : Kiểm tra điều kiện ∆ < ǫ với ǫ là ngưỡng nhỏ nhất để robot có thể di chuyển,

cơ... robot có vai trò dẫn đường NKT từ vị trí hiện tại đến vị trí mong muốn.
Điện thoại di động: là điện thoại di động cài đặt phần mềm điều khiển, có vai trò gửi
và nhận lệnh điều khiển, lệnh phản hồi từ robot. Chuyển đổi các tín hiệu trạng thái
của robot thành các tín hiệu rung theo tần số khác nhau.
21


Một số vị trí của mơi trường đã được định nghĩa trên màn hình cảm ứng, khi muốn
đến vị trí trên bản đồ NKT sẽ chạm vào ơ cửa sổ quy định với vị trí đã định nghĩa
trước. Trên thực tế, có thể đưa thêm nhiều vị trí hơn và sử dụng mơ đun đọc màn
hình cho NKT để giúp lựa chọn đúng địa điểm cần đến.
Mạng khơng dây: có vai trò truyền thơng, kết nối giữa robot với các thiết bị như
camera, điện thoại di động qua giao tiếp TCP/IP.
Cổng: 8888
Robot

Rung

✿❀❁❂ ❃❄❁❅ ❂❆❇❈❃❆ ❉❄❊❃❋

Điện thoại
di động
Điện thoại
di động

Cổng: 7777

(a). Mô hình tương tác người và robot

(b). Tương tác trên điện thoại di động


Kết luận chương 4

Kết quả chính của chương này đã được cơng bố tại: Hội nghị FAIR lần thứ 7, tháng
6/2014; Hội nghị quốc tế ACVR lần thứ 2 tại Thụy sĩ, tháng 9/2004; Hội nghị quốc tế
ICARCV lần thứ 13 tại Singapore, tháng 12/2014, Tạp chí khoa học và cơng nghệ (JICT) Chun san cơng nghệ thơng tin số 5, tháng 10/2014;

22


KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
KẾT LUẬN
Trong thực hiện luận án, NCS đã nghiên cứu và phát triển một số kỹ thuật định vị dựa
trên hình ảnh, ứng dụng trợ giúp dẫn đường cho NKT trong môi trường diện hẹp, sử dụng
robot để giải quyết một số bài toán như: biểu diễn môi trường và định vị; phát hiện và ước
lượng khoảng cách vật cản; tìm đường và dẫn hướng điều khiển robot; tương tác người robot. Với các đóng góp chính như sau:
− Đóng góp 1: Đề xuất mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa
trong đó bản đồ số liệu và bản đồ topo được tích hợp cùng với các thông tin về vật
cản tĩnh trong môi trường, đây là cơ sở toán học để thực hiện một loạt các bài toán
đã đề cập của luận án.
− Đóng góp 2: Nâng cao độ chính xác của giải thuật xây dựng bản đồ môi trường và định
vị sử dụng hình ảnh, thường được thiết kế cho môi trường ngoài trời nhưng gặp phải
các khó khăn khi hoạt động trong môi trường trong nhà. Cụ thể đã đề xuất phương
pháp phân biệt khung cảnh có cấu trúc giống nhau lặp lại, sử dụng đặc trưng GIST
khi thực hiện bài toán định vị, thích nghi cải tạo môi trường thông qua các điểm đánh
dấu đối với bài toán xây dựng bản đồ môi trường trong nhà.
− Đóng góp 3: Đề xuất phương pháp phát hiện nhanh và chính xác một số vật cản trong
môi trường, cụ thể sử dụng kỹ thuật đối sánh ảnh mẫu (Template Matching) với bộ
CSDL đối tượng đã chuẩn bị khoanh vung từ trước đối với vật cản cố định, kết hợp
với phương pháp phát hiện người truyền thống (HoG-SVM) giảm thời gian phát hiện,