BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT
ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG
TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

Hà Nội − 2016


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT
ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG
TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

Chuyên ngành: Khoa học Máy tính
Mã số chuyên ngành: 62480101

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. TS. Trần Thị Thanh Hải
2. PGS.TS. Nguyễn Quang Hoan

PGS.TS. Nguyễn Quang Hoan. Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới các
thầy, cô về định hướng khoa học trong suốt quá trình nghiên cứu. Nghiên cứu sinh xin
được trân trọng cảm ơn các nhà khoa học, tác giả các công trình công bố đã được trích
dẫn và cung cấp nguồn tư liệu quý báu trong quá trình hoàn thành luận án.
Nghiên cứu sinh xin trân trọng cảm ơn Viện Nghiên cứu Quốc tế đa phương tiện
MICA; Viện Đào tạo sau Đại học Trường Đại học Bách Khoa Hà Nội; GS.TS. Phạm Thị
Ngọc Yến; GS.TS. Eric Castelli; đề tài KHCN tiềm năng mã số: KC.01.TN19/11-15,
đề tài VLIR mã số: ZEIN2012RIP19; đề tài hợp tác Việt - Bỉ mã số: FWO.102.2013.08;
Quỹ phát triển KH&CN quốc gia Việt Nam; Trường THCS Nguyễn Đình Chiểu Hà
Nội; nhóm nghiên cứu IPI Đại học GENT Vương quốc Bỉ...đã tạo điều kiện thuận lợi
về thời gian, địa điểm thực tập, trang thiết bị, hỗ trợ về mặt nhân lực để NCS thực
hiện việc thu thập dữ liệu, thực nghiệm các kết quả nghiên cứu.
Cuối cùng nghiên cứu sinh xin bày tỏ sự biết ơn tới Ban giám hiệu Trường Cao
đẳng Y tế Thái Nguyên; gia đình và đồng nghiệp đã động viên khích lệ, tạo mọi điều
kiện thuận lợi để NCS yên tâm công tác và học tập.
Hà Nội, ngày 20 tháng 7 năm 2016
NGHIÊN CỨU SINH

Nguyễn Quốc Hùng

ii


MỤC LỤC
LỜI CAM ĐOAN

i

LỜI CẢM ƠN


1.2.1

Các nghiên cứu trên thế giới . . . . . . . . . . . . . . . . . . . .
1.2.1.1 Siêu âm . . . . . . . . . . . . . . . . . . . . . . . . . .

4
5

1.2.1.2
1.2.1.3
1.2.1.4

Hồng ngoại . . . . . . . . . . . . . . . . . . . . . . . .
Laser . . . . . . . . . . . . . . . . . . . . . . . . . . .
Camera . . . . . . . . . . . . . . . . . . . . . . . . . .

7
7
7

1.2.1.5 Đa cảm biến . . . . . . . . . . . . . . . . . . . . . . .
Các nghiên cứu trong nước . . . . . . . . . . . . . . . . . . . . .

9
10

1.2.3 Thảo luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Mục tiêu nghiên cứu và phương pháp đề xuất . . . . . . . . . . . . . .
1.3.1 Mục tiêu và phạm vi nghiên cứu . . . . . . . . . . . . . . . . . .


Thảo luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

iii

17
19
21


2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường . . . . . . .

22

2.4 Phương pháp xây dựng bản đồ môi trường . . . . . . . . . . . . . . . .
2.4.1 Xây dựng bản đồ số liệu . . . . . . . . . . . . . . . . . . . . . .
2.4.1.1 Phương pháp đo hành trình bằng hình ảnh sử dụng mô

23
23

hình không chắc chắn . . . . . . . . . . . . . . . . . .
Thích nghi VO cho môi trường trong nhà . . . . . . .

24
27

2.4.1.2
2.4.2

Xây dựng bản đồ topo . . . . . . . . . . . . . . . . . . . . . . . 29


48
53

2.7 Kết luận chương 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

3 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN
3.1 Định nghĩa bài toán và các thách thức . . . . . . . . . . . . . . . . . .
3.2 Những nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . .

60
60
61

2.6.3

3.2.1

Các phương pháp sử dụng 01 camera . . . . . . . . . . . . . . .
3.2.1.1 Hướng nghiên cứu sử dụng stereo camera . . . . . . .

61
62

3.2.1.2 Hướng nghiên cứu sử dụng cảm biến Kinect . . . . . .
3.2.1.3 Phân tích và đánh giá các phương pháp . . . . . . . .
3.3 Đề xuất phương pháp phát hiện và ước lượng khoảng cách . . . . . . .


3.5 Uớc lượng khoảng cách vật cản . . . . . . . . . . . . . . . . . . . . . .
3.5.1 Nguyên lý ước lượng khoảng cách . . . . . . . . . . . . . . . . .

77
77

3.4.2

iv


3.5.2

Xây dựng bản đồ chênh lệch . . . . . . . . . . . . . . . . . . . .

79

3.5.2.1
3.5.2.2
3.5.2.3

Thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . .
Hiệu chỉnh hình ảnh . . . . . . . . . . . . . . . . . . .
Đối sánh hình ảnh . . . . . . . . . . . . . . . . . . . .

80
80
84

3.5.2.4 Tính toán độ sâu . . . . . . . . . . . . . . . . . . . . .

4.2 Phát triển hệ thống dẫn đường sử dụng robot . . . . . . . . . . . . . . 102
4.2.1
4.2.2

Tìm đường cho robot . . . . . . . . . . . . . . . . . . . . . . . . 102
Điều khiển robot . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.2.2.1 Điều khiển trực tiếp dựa trên đường đi xác định . . . . 103
4.2.2.2

Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc
Kalman . . . . . . . . . . . . . . . . . . . . . . . . . . 105

4.2.3 Tương tác người-robot . . . . . . . . . . . . . . . . . . . . . . . 111
4.3 Thử nghiệm và đánh giá hệ thống dẫn đường . . . . . . . . . . . . . . 112
4.3.1 Môi trường và quy trình thử nghiệm . . . . . . . . . . . . . . . 112
4.3.1.1
4.3.1.2
4.3.2

Môi trường thử nghiệm . . . . . . . . . . . . . . . . . 112
Quy trình thử nghiệm . . . . . . . . . . . . . . . . . . 115

Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . 116
4.3.2.1 Đánh giá khả năng xác định vị trí xuất phát của robot 116
4.3.2.2 Đánh giá khả năng điều khiển robot . . . . . . . . . . 117
4.3.2.3
4.3.2.4

Đánh giá khả năng tương tác người-robot . . . . . . . 119
Đánh giá hệ thống dẫn đường trợ giúp NKT bằng robot 121

A.6 Đặc trưng Haar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 173
B.1 Giới thiệu 3 CSDL thử nghiệm . . . . . . . . . . . . . . . . . . . . . . 173
B.2 Khung nhận dạng đối tượng tổng quát . . . . . . . . . . . . . . . . . . 177
B.3 Độ đo đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
B.4 Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU

188

C.1 Xe camera thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . 188
C.2 Hiệu chỉnh camera góc rộng . . . . . . . . . . . . . . . . . . . . . . . . 191
C.3 Robot PC-Bot914 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

vi


DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
TT
1
2
3
4
5
6
7
8
9
10
11

BOW
CSDL
ED
FAB-MAP
FLANN
FN
FP
GPS
HOG
HSI
KF
KH&CN
k-NN
LASER
LATS
LIDAR
MICA
MUT
NCS
NĐC
NKT
PUT
RANSAC
RFID
RGB
RMSE
SAD
SIFT
SLAM
SURF

Perspective Uncertainty Tetragons
RANdom SAmple Consensus
Radio Frequency Identification
Red Green and Blue
Root Mean Square Error
Sum of Absolute Differences
Scale Invariant Feature Transforms
Simultaneous Localization and Mapping
Speeded Up Robust Features
Support Vector Machine
True Positive
Tạ Quang Bửu
Visual Odometry
Wireless Fidelity
vii


DANH MỤC CÁC BẢNG
Bảng 2.1

Bảng tổng hợp thông tin về 03 môi trường thử nghiệm . . . . . .

46

Bảng 2.2 Tốc độ lấy mẫu (fps) của các camera tại các môi trường thử nghiệm 47
Bảng 2.3

Dữ liệu thu thập tại E1:NĐC . . . . . . . . . . . . . . . . . . . .

47


Bảng 2.9

So sánh khả năng định vị của giải thuật FAB-MAP* tại E1:NĐC

54

Bảng 2.10 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E2:TQB 56
Bảng 2.11 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E3:MICA 57
Bảng 3.1

Kết quả thu nhận dữ liệu khung cảnh/đường đi phục vụ đánh giá

88

Bảng 3.2 Thu thập dữ liệu đánh giá phát hiện và ước lượng khoảng cách
vật cản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

90

Bảng 3.3

Kết quả phát hiện đối tượng theo phương pháp đề xuất . . . . .

91

Bảng 3.4

Kết quả phát đánh giá so sánh với phương pháp Haar-AdaBoost


Kết quả sai số định vị sử dụng sai số trung vị . . . . . . . . . . . 118
viii

. 113


Bảng 4.7

Kết quả sai số định vị sử dụng sai số trung bình . . . . . . . . . . 119

Bảng 4.8

Bảng câu hỏi phỏng vấn trước và sau khi sử dụng hệ thống . . . 119

Bảng 4.9

Tổng hợp kết quả tần số rung (Hz) phản hồi thông tin môi trường 121

Bảng 4.10 Kết quả đánh giá độ sai số RMSE khi robot chuyển động tịnh tiến 122
Bảng 4.11 Kết quả đánh giá hiệu năng robot dẫn đường chuyển động tịnh tiến122
Bảng 4.12 Kết quả đánh giá robot dẫn đường chuyển động tịnh tiến

. . . . 123

Bảng 4.13 Kết quả đánh giá độ sai số RMSE với kịch bản robot chuyển động
tịnh tiến và quay tại E1:NĐC . . . . . . . . . . . . . . . . . . . . . . . 123
Bảng 4.14 Kết quả robot dẫn đường chuyển động quay và tịnh tiến tại E1:NĐC124
Bảng 4.15 Đánh giá các lần thử nghiệm hệ thống dẫn đường tại E1:NĐC . . 125
Bảng 4.16 Kết quả sai số RMSE robot phát hiện vật cản xuất hiện bất ngờ
tại E1:NĐC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

24

Hình 2.3 Các bước giải thuật đo hành trình bằng thông tin hình ảnh VO .

25

Hình 2.4 Một số trường hợp lỗi tích lũy khi xây dựng bản đồ . . . . . . . .

26

Hình 2.5 Một số cấu trúc mặt nền thử nghiệm thuật toán VO . . . . . . .

27

Hình 2.6 Tạo các điểm đánh dấu dọc hành trình . . . . . . . . . . . . . . .

28

Hình 2.7 Minh họa số điểm đặc trưng phát hiện trên mặt sàn . . . . . . . .

28

Hình 2.8 Minh họa phương pháp thử nghiệm khi tạo các mẫu đánh dấu . .

29

Hình 2.9 Các bước của giải thuật FAB-MAP [29]

. . . . . . . . . . . . . .



Hình 2.17 Minh họa các bước trích chọn đặc trưng GIST . . . . . . . . . . .

42

Hình 2.18 Minh họa kết quả loại bỏ khung cảnh có cấu trúc giống nhau

. .

42

Hình 2.19 Minh họa các bước thực hiện giải thuật FAB-MAP* . . . . . . . .

43

Hình 2.20 Minh họa bước thực hiện cập nhật điểm mốc quan trọng . . . . .

44

Hình 2.21 Mô hình định vị sử dụng thông tin hình ảnh sử dụng robot . . . .

45

x


Hình 2.22 Hệ thống thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . .

46


55

Hình 2.31 Minh họa kết quả định vị FAB-MAP* tại E1:NĐC . . . . . . . .

55

Hình 2.32 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E2:TQB . . . .

56

Hình 2.33 Minh họa kết quả định vị FAB-MAP* tại E2:TQB . . . . . . . .

57

Hình 2.34 Biểu đồ so sánh hai phương pháp định vị FAB-MAP* tại E3:MICA 58
Hình 2.35 Minh họa kết quả định vị giải thuật FAB-MAP* tại E3:MICA . .

58

Hình 3.1 Định nghĩa bài toán phát hiện và ước lượng khoảng cách . . . . .

61

Hình 3.2 Mô hình phát hiện và ước lượng khoảng cách vật cản . . . . . . .

66

Hình 3.3 Sơ đồ các bước thực hiện phát hiện vật cản cố định . . . . . . . .

68


77

Hình 3.12 Hình ảnh của đối tượng (cây) quan sát từ hai góc thu nhận . . .

78

xi


Hình 3.13 Sơ đồ các bước tính bản đồ chênh lệch và ước lượng khoảng cách

80

Hình 3.14 Minh họa hai quan sát khi camera chuyển động . . . . . . . . . .

81

Hình 3.15 Kết quả tìm đường eplipolar trên mô hình camera chuyển động .

82

Hình 3.16 Minh họa hiệu chỉnh hình ảnh trên cùng mặt phẳng ngang . . . .

82

Hình 3.17 Kết quả hiệu chỉnh hình ảnh . . . . . . . . . . . . . . . . . . . . .

84


92

Hình 3.27 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Chậu hoa

94

Hình 3.28 Minh họa dự đoán khoảng cách lớp đối tượng chậu hoa . . . . . .

94

Hình 3.29 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Bình cứu hỏa 95
Hình 3.30 Minh họa dự đoán khoảng cách lớp đối tượng bình cứu hỏa . . . .

95

Hình 3.31 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp thùng rác

96

Hình 3.32 Minh họa dự đoán khoảng cách lớp đối tượng thùng rác

. . . . .

96

Hình 3.33 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp người . . .

97

Hình 3.34 Minh họa dự đoán khoảng cách lớp đối tượng người . . . . . . . .

Hình 4.22 Minh họa hình ảnh robot dẫn đường tại E2:TQB . . . . . . . . . 128
Hình 4.23 Minh họa hình ảnh robot dẫn đường tại E3:MICA . . . . . . . . . 130
Hình 4.24 Lược đồ thời gian trung bình vận hành điều khiển robot dẫn đường 131
Hình 4.25 Một số hình ảnh trong phóng sự “cuộc sống tươi” đẹp phát trên
kênh VTV4 - Đài truyền hình Việt Nam . . . . . . . . . . . . . . . . . 149
Hình A.1 Minh họa phát hiện các điểm đặc trưng Harris-Corner . . . . . . 151
Hình A.2 Một số trường hợp phát hiện đặc trưng Harris-Corner . . . . . . . 152
Hình A.3 Một số trường hợp phát hiện đặc trưng Harris-Corner . . . . . . . 152

xiii


Hình A.4 Minh họa đặc trưng biểu diễn các điểm đặc biệt trong ảnh . . . . 154
Hình A.5 Mô tả tạo bộ mô tả các điểm đặc trưng (nguồn [87]) . . . . . . . 157
Hình A.6 Minh họa đặc trưng SURF biểu diễn các điểm đặc biệt trong ảnh

158

Hình A.7 Minh họa xấp xỉ đạo hàm cấp 2 hàm Gaussian [5] . . . . . . . . . 158
Hình A.8 Minh họa giảm không gian không gian trong biểu diễn đặc trưng

159

Hình A.9 Minh họa các điểm quan tâm được phát hiện quanh tâm . . . . . 160
Hình A.10 Phép lọc Haar wavelet: x (trái) và y hướng (phải). Vùng đen trọng
số -1 và vùng trắng trọng số +1 . . . . . . . . . . . . . . . . . . . . . . 161
Hình A.11 Gán hướng: một cửa sổ kích thước

π
3

Hình B.11 Một số kết quả nhận dạng đúng/sai CSDL Naicorp 2012 . . . . . 184
Hình B.12 Một số kết quả nhận dạng đúng/sai CSDL RobotVision2013 . . . 184
Hình B.13 Đồ thị AP của 20 lớp đối tượng CSDL PascalVOC 2007 . . . . . 186
Hình B.14 Đồ thị AP từng lớp đối tượng CSDL PascalVOC 2007 . . . . . . 186
Hình B.15 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 . . . 187
Hình B.16 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 . . . 187
Hình C.1 Một số giải pháp thu thập dữ liệu từ 2 camera . . . . . . . . . . . 188
Hình C.2 Một số lỗi khi xây dựng bản đồ tại môi trường trong nhà . . . . . 189
Hình C.3 Một số lỗi khi xây dựng bản đồ tại môi trường ngoài trời . . . . . 189
Hình C.4 Thiết kế xe camera thu thập dữ liệu . . . . . . . . . . . . . . . . 190
Hình C.5 Mô hình thu nhận ảnh của camera . . . . . . . . . . . . . . . . . 191
Hình C.6 Các loại biến dạng khi thu nhận ảnh . . . . . . . . . . . . . . . . 192
Hình C.7 Quá trình hiệu chỉnh méo hình ảnh từ camera góc nhìn rộng . . . 193
Hình C.8 Các phiên bản của robot PC-Bot 914 . . . . . . . . . . . . . . . . 194
Hình C.9 Vị trí lắp các cảm biển hồng ngoại IR . . . . . . . . . . . . . . . 195
Hình C.10 Cơ cấu bánh xe điều khiển của robot PC-Bot 914 . . . . . . . . . 195

xv


MỞ ĐẦU
Tính cấp thiết, ý nghĩa khoa học của luận án
Năm 2013, theo công bố của Tổ chức Y tế thế giới (WHO) trên thế giới có khoảng
285 triệu người suy giảm thị lực, trong đó 246 triệu người có thị lực kém ở mức độ vừa
phải đến mức độ nặng và 39 triệu người mù [107]. Tại Việt Nam, theo số liệu của Viện
mắt Trung ương cung cấp, có khoảng 1.2 triệu NKT, trong đó 820.503 người không
còn khả năng nhìn thấy ánh sáng. Nếu tính cả những người bị các tật về mắt như cận
hoặc viễn thì con số này còn lớn hơn rất nhiều.
Số lượng NKT lớn, bản thân NKT gặp nhiều khó khăn trong cuộc sống cũng như
nắm bắt các cơ hội việc làm. Chính vì vậy, trợ giúp NKT là vấn đề thu hút sự quan

phương pháp đã được đề xuất, hướng tiếp cận tổng quát và bền vững với các yếu
tố môi trường đang là những mục tiêu mà các nhà khoa học theo đuổi.
2. Phát hiện và ước lượng khoảng cách vật cản: Trong quá trình di chuyển,
để đảm bảo an toàn cho NKT cũng như cho sự di chuyển của robot, các vật cản
trong môi trường bao gồm vật cản tĩnh và động cần phải được phát hiện và cảnh
báo về mức độ nguy hiểm có thể gây ra.
Ngoài các thách thức chung của bài toán phát hiện đối tượng trong lĩnh vực thị
giác máy tính như điều kiện chiếu sáng thay đổi, che khuất, bóng, luận án còn
phải giải quyết với chất lượng ảnh không tốt do rung lắc của thiết bị, camera di
chuyển và ước lượng khoảng cách giữa NKT và vật cản trong thời gian thực.
3. Dẫn đường, điều khiển và tương tác người robot: Trong ngữ cảnh của bài
toán robot dẫn đường thì việc tìm đường tối ưu là một phần quan trọng, đặc biệt
với việc dẫn đường cần phải thực hiện với độ chính xác cao trong khi vẫn đảm
bảo an toàn cho NKT.
Bên cạnh đó, điều khiển robot di chuyển đúng hành trình, giảm sai số định vị là
một thách thức trong lĩnh vực điều khiển động học. Tương tác người-robot phải
thân thiện, tự nhiên và hiệu quả để NKT cảm nhận được các trạng thái hệ thống
đang hoạt động và đưa ra các phản hồi kịp thời mà không mất đi các giác quan
tự nhiên là một bài toán đòi hỏi nhiều thời gian thử nghiệm trên người dùng
khiếm thị.

Những điểm mới của luận án
Để giải quyết 03 bài toán nêu trên, chúng tôi đã đề xuất và cải tiến một số phương
pháp với những đóng góp chính sau đây:
1. Đề xuất mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa trong
đó bản đồ số liệu và bản đồ topo được tích hợp cùng với các thông tin về vật cản
tĩnh trong môi trường.
2. Nâng cao độ chính xác của giải thuật xây dựng bản đồ và định vị sử dụng hình
ảnh, vốn thường được thiết kế cho môi trường ngoài trời nhưng gặp phải các khó
khăn khi hoạt động trong môi trường trong nhà.


CHƯƠNG 1

TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP
NGƯỜI KHIẾM THỊ
1.1

Đặt vấn đề

Để nhận biết được thế giới xung quanh, con người sử dụng hệ giác quan gồm thị
giác, thính giác, khứu giác, vị giác và xúc giác. Mỗi giác quan đều có vai trò quan trọng
và hỗ trợ mật thiết cho nhau trong quá trình định hình không gian và thời gian cho
con người. Đối với người khiếm thị, khiếm khuyết thị giác làm cho họ rất khó khăn khi
hòa nhập vào xã hội. Việc cảm nhận thế giới xung quanh của họ lúc đầu thông qua
các giác quan còn lại như xúc giác (lần, sờ ), thính giác (nghe phản xạ âm thanh gần
và xa), khứu giác (ngửi ) hay vị giác (nếm) và dần dần hình thành thói quen.
Ngày nay, với sự phát triển vượt bậc của khoa học kỹ thuật, nhiều công nghệ đã
được nghiên cứu và triển khai trợ giúp NKT được hòa nhập nhiều hơn trong xã hội
trong nhiều hoạt động khác nhau. Trong khuôn khổ của luận án, chúng tôi tập trung
giải quyết bài toán trợ giúp dẫn đường cho NKT, cụ thể là dẫn NKT đi giữa hai vị
trí trong môi trường. Phần 1.2 của chương này trình bày các nghiên cứu trợ giúp dẫn
đường, dẫn hướng, tránh vật cản cho NKT. Các trợ giúp khác như đọc sách, đi chợ,
v.v nằm ngoài phạm vi nghiên cứu của luận án. Phần 1.3 trình bày hệ thống đề xuất
với các chức năng chính.

1.2

Các nghiên cứu liên quan

1.2.1

Leslie Kay 1984 đề xuất thiết bị tên Sonic torch [71] có khả năng hỗ trợ di chuyển
cho NKT thiết bị này có thiết kế nhỏ gọn dạng cầm tay giống như một chiếc đèn pin
bao gồm 2 phần, phần thứ nhất là các cảm biến siêu âm phát ta chùm sóng siêu âm
hướng phía trước và nhận được chùm tia phản xạ từ vật cản gần nhất, phần thứ hai
là hệ thống truyền âm thanh tới tai NKT.
Pressey 1977 đề xuất thiết bị cầm tay Mowat sensor [113] cho phép xác định vật
cản cầm tay. Thiết bị này có thiết kế nhỏ gọn, có thể bỏ túi khi không sử dụng. Thiết
bị này phát hiện vật cản phía trước bằng cách gửi một chùm sóng siêu âm tần số ngắn
và nhận được chùm tia phản xạ. Nếu có vật cản phía trước, hệ thống sẽ phát ra một
âm báo và rung lắc cho biết phía trước có vật cản. Phạm vị mà thiết bị phát hiện
được vật cản là 4m. Chùm tia phát ra hình elip với góc phương vị là (β = 1500) và
góc ngẩng (α = 3000). Tần số rung của thiết bị tỷ lệ với khoảng cách tới vật cản. Một
rung động ở tần số 4hz tương ứng với khoảng cách tới vật cản là 4m ngược lại nếu ở
khoảng cách 1m thì tín hiệu rung lắc có tần số f = 40hz. Về ưu điểm, thiết bị này sản
xuất với chi phí thấp, thuận tiện cho người dùng khi di chuyển để xác định vật cản
phía trước. Tuy nhiên, để sử dụng thiết bị một cách hữu thì cần thêm một chiếc gậy
thông thường trong một số tình huống di chuyển trong nhà hoặc người trời với phạm
vi nhỏ.
Dodds và Allan 1984 đề xuất thiết bị siêu âm tìm đường có tên The Sonic

5


Pathfinder [36] hoạt động theo nguyên lý phản hồi âm thanh. Thiết bị này được kế
thừa các mặt tối ưu của các nghiên cứu trước như Mowat sensor [113] và Sonic torch
[71]. Hệ thống gồm có 5 đầu dò siêu âm gắn lên mũ trong đó 3 cảm biến siêu âm thu
nhận tín hiệu sóng siêu âm phản xạ, được chia làm 3 vùng: trái, phải, giữa và 2 bộ
phát tín hiệu siêu âm về hướng phía trước. Tín hiệu sóng siêu âm phản xạ từ các vật
cản trên đường đi nhận lại từ 3 bộ cảm biến này được truyền về bộ xử lý trung tâm.
Đầu ra là tín hiệu âm thanh được truyền vào một tai nghe hoặc cả hai. Tùy thuộc vào

máy tính. Mặc dù có nhiều nỗ lực trong cải tiến phương thức giao tiếp, những sản
6


phẩm này vẫn có những hạn chế cố hữu như giới hạn nguồn thông tin, không có tính
tương tác với người dùng.
1.2.1.2 Hồng ngoại
Loughborough 1979 phát triển một thiết bị có tên Talking Signs [86] sử dụng bộ
phát hồng ngoại lưu giữ bộ tiếng nói tổng hợp các vị trí cần trợ giúp được lắp đặt trên
các điểm quan trọng trên toàn hộ hành trình. NKT được trang bị bộ thu tín hiệu hồng
ngoại có khả năng chuyển đổi tín hiệu hồng ngoại thành tín hiệu âm thanh. Ứng dụng
này cho phép NKT biết được vị trí hiện tại của mình như trước cửa phòng, phía trước
con đường. Tuy nhiên, nghiên cứu này cũng có những nhược điểm như khả năng lưu
trữ thông tin không nhiều, chi phí lắp đặt nhiều nguồn phát hồng ngoại.
1.2.1.3 Laser
Từ những năm 70 của thế kỷ trước, nhiều công trình khoa học công bố sử dụng
công nghệ laser gắn trên gậy để trợ giúp di chuyển cho NKT đã được đề xuất. Năm
1970, Benjamin và các đồng nghiệp đã dựa trên ý tưởng xác định và tránh vật cản được
đề xuất bởi [10] để thiết kế chế tạo gậy dẫn đường có gắn cảm biến quang. Năm 1973
ông phát triển gậy dẫn đường gắn cảm biến laser [7] nhằm phát các hiện vật cản nhô
ra trên mặt đường. Khi hoạt động, chùm tia laser được phát ra ở tần số f = 200Hz
phía trước khoảng 50cm trên mặt đất. Độ cao mà chùm tia có thể phát hiện vật cản
từ điểm gắn cảm biến laser trên gậy là 40cm đến 60cm. Khi phát hiện ra vật cản phía
trước, thiết bị phát ra tiếng bíp ở tần số f = 2600Hz đủ để người khiếm thị có thể
nghe thấy. Gậy hoạt động liên tục được 3 tiếng với nguồn pin 6 vôn. Nghiên cứu này
có ưu điểm bởi tính gần gũi như gậy truyền thống của NKT. Tuy nhiên, do gắn các
thiết bị nên gậy có trọng lượng lớn việc cầm nắm di chuyển kém linh động hơn. Cho
nên thiết bị này là một bước đột phá trong lĩnh vực trợ giúp NKT thập kỷ 70.
1.2.1.4 Camera
Sử dụng camera để thay thế đôi mắt thu nhận thông tin hình ảnh về môi trường

giá thành tương đối đắt và đòi hỏi quá trình hiệu chỉnh phức tạp. Trong [8], các tác
giả giới thiệu một hệ thống sử dụng cảm biến Kinect phát triển bởi Microsoft. Cảm
biến này được gắn vào một đai thắt lưng của NKT. Các thông tin thu được từ Kinect
sẽ được xử lý bằng cách chuyển thông tin độ sâu và hình ảnh sang biểu diễn dạng đám
mây điểm, phát hiện vật cản trên đám mây điểm, phân tích thông tin gia tốc để xác
định tốc độ chuyển động của người. Cuối cùng các phản hồi sẽ được truyền đến tai
người bằng tín hiệu âm thanh. Những phương pháp trình bày phía trên đều sử dụng
âm thanh để phản hồi đến người dùng. Như đã phân tích, việc sử dụng tín hiệu âm
thanh làm cho hạn chế hoạt động của thính giác, là một trong những giác quan quan
trọng để NKT cảm nhận và di chuyển. Để không chiếm hữu giác quan này, một số
hướng tiếp cận sử dụng xúc giác trên một số bộ phận của cơ thể người như trên lưỡi,
đầu ngón tay.
[68] thiết kế một thiết bị chuyển đổi thông tin hình ảnh thành các tín hiệu tiếp
xúc. Thiết bị gồm một đai đeo với 14 bộ rung đặt cách nhau, hai camera quan sát môi
trường. Tín hiệu hình ảnh thu được từ hai camera cho phép tái tạo bản đồ độ sâu phía
trước NKT. Bản đồ này sau đó được chia thành 14 vùng theo chiều dọc. Khi có vật
cản xuất hiện ở trong một vùng, cảm biến rung tương ứng với vùng đó được kích hoạt.
Tần số của tín hiệu thể hiện khoảng cách của vật cản.
8