BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------

Lê Văn Chung

NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT
TAY MÁY DI ĐỘNG BÁM MỤC TIÊU
TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH

LUẬN ÁN TIẾN SĨ KỸ THUẬT

Hà Nội – 2019


BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------

Lê Văn Chung

NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT
TAY MÁY DI ĐỘNG BÁM MỤC TIÊU


LỜI CẢM ƠN

Lời đầu tiên, Tôi xin chân thành cảm ơn Ban Lãnh đạo Học viện Khoa học
và Công nghệ, Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ
Việt Nam, Phòng Công nghệ tự động hóa đã tạo điều kiện thuận lợi trong quá trình
học tập, nghiên cứu.
Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới PGS.TSKH.
Phạm Thượng Cát và TS. Phạm Minh Tuấn, hai thầy đã định hướng và tận tình
hướng dẫn để tôi có thể hoàn thành luận án.
Tôi xin cảm ơn Ban Giám hiệu Trường Đại học Công nghệ Thông
tin và Truyền thông - Đại học Thái Nguyên, Khoa Công nghệ tự động hóa và
các đơn vị trong Nhà trường đã quan tâm giúp đỡ, tạo điều kiện để tôi có thể thực
hiện nghiên cứu.
Tôi xin cảm ơn các cán bộ Phòng Công nghệ tự động hóa – Viện Công nghệ
thông tin, các đồng nghiệp thuộc Khoa Công nghệ Tự động hóa - Trường Đại học
Công nghệ thông tin và truyền thông - Đại học Thái Nguyên đã động viên và trao
đổi kinh nghiệm trong quá trình hoàn thành luận án.
Cuối cùng, tôi xin chân thành cảm ơn đến gia đình, người thân, các bạn đồng
nghiệp - những người luôn dành cho tôi những tình cảm nồng ấm, luôn động viên
và sẻ chia những lúc khó khăn trong cuộc sống và tạo điều kiện tốt nhất để tôi có
thể hoàn thành quá trình nghiên cứu.
Hà Nội, ngày 28 tháng 8 năm 2019
Tác giả luận án

Lê Văn Chung

ii



quy vào hệ tọa độ OcXcYcZc ........................................................................... 24
2.1.2 Xác định hệ phương trình động học tốc độ hệ pan-tilt. ........................... 28
2.1.3 Xây dựng bài toán điều khiển động học (kinematic control) hệ rô bốtstereo camera bám mục tiêu. ............................................................................. 29
2.2.Thiết kế thuật toán điều khiển ..................................................................... 30
2.2.1 Xây dựng mô hình bộ điều khiển ............................................................. 30
2.2.2 Xây dựng thuật toán điều khiển hệ Pan-tilt –2 camera bám mục tiêu di
động ................................................................................................................... 31
2.3 Một số kết quả mô phỏng kiểm chứng ........................................................ 35
2.4. Kết luận chƣơng 2 ........................................................................................ 43
CHƢƠNG 3.............................................................................................................. 45
MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN ....................................................... 45
HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG ........................................ 45
3.1

dựng mô hình 3D cho hệ 2 camera trên hệ pan-tilt ........................... 47

3.1.1 Mô hình 3D cho hệ stereo camera ........................................................... 47
3.1.2 Mô hình hệ camera ảo. ............................................................................. 47
3.1.3 Kiểm soát sự suy biến của ma trận Jacobian ......................................... 53
3.1.4 Bài toán điều khiển rô bốt bám mục tiêu với nhiều tham số bất định ..... 53
3.2.

dựng hệ động lực học hệ pan-tilt – stereo camera với các tham số

bất định ............................................................................................................ 53
3.3.

dựng bộ điều khiển nơ ron cho hệ động lực học hệ pan-tilt stereo

camera bám mục tiêu di động. ...................................................................... 55

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ ........................................... 100
TÀI LIỆU THAM KHẢO .................................................................................... 101
PHỤ LỤC ............................................................................................................... 111
1. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mô hình camera 3D ảo ................................................................... 111
v


2. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mô hình camera 3D ảo ................................................................... 118

vi


DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

Ký hiệu

Đơn vị

Mô tả

tính

Computed Torque Controller – bộ điều khiển dựa

CTC

trên phương pháp tính mô men.
d

Hàm Hamilton.

Jimag

Ma trận Jacobi ảnh.

Jrobot

Ma trận Jacobi rô bốt.

J

Ma trận Jacobi tổng hợp.

Jˆ imag (m), Jˆ robot (q)

Các giá trị biết được của các ma trận tương ứng.
Các đại lượng không biết của các ma trận tương

ΔJ imag (m), ΔJrobot (q)

ứng.
Jˆ

Ma trận giả nghịch đảo của ma trận J;

T
1 T
(Jˆ Jˆ ) Jˆ


l2

m

Chiều dài khớp tilt củahệ pan-tilt.

LQR

Linear–Quadratic Regulator.
vii


LQG

Linear–Quadratic–Gaussian.

m

Pixel

Véc tơ đặc trưng ảnh.

md

Pixel

Véc tơ đặc trưng ảnh mong muốn.

Q


U, V

Pixel

Tọa độ ảnh của đối tượng

u1,

Thành phần điều khiển nơ ron

u*

Thành phần điều khiển tối ưu

v

véc tơ biến ngoài của đầu tay nắm của bệ pan-tilt
(trùng với gốc tọa độ camera OC)

C

v

Véc tơ vận tốc dài của đầu tay nắm của bệ pan-tilt

C

Ω

Véc tơ vận tốc góc của đầu tay nắm của bệ pan-tilt


Góc quay của khớp pan

θ2

rad

Góc quay của khớp tilt

m

rad

Góc hướng của rô bốt di động

θ1d

rad

Góc quay mong muốn của khớp pan

θ2d

rad

Góc quay mong muốn của khớp tilt
viii


 md

Hình 2.1 Bệ pan-tilt PTU-D48E-Series và biểu di n hệ tọa độ ................................ 24
Hình 2.2 Mô hình hệ thống camera ........................................................................... 25
Hình 2.3 Ảnh theo 2 trục Z, Y .................................................................................. 26
Hình 2.4 Ảnh theo 2 trục X, Y .................................................................................. 26
Hình 2.5 Mạng RBF xấp xỉ hàm f ........................................................................... 32
Hình 2.6 Cấu trúc của hệ visual servoing điều khiển camera bám mục tiêu di động
có nhiều tham số bất định.......................................................................................... 34
Hình 2.7 Sai lệch tọa độ ảnh mục tiêu (pixel). .......................................................... 37
Hình 2.8 Sai lệch tọa độ ảnh mục tiêu (pixel) khi bộ điều khiển không có mạng nơ
,
ron bù ( u1 = 0 ). ........................................................................................................ 37

Hình 2.9 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng. ................ 38
Hình 2.10 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng ................ 38
Hình 2.11 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng với bộ điều
khiển không có mạng nơ ron bù ( u1, = 0 ). .................................................................. 39
Hình 2.12 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng với bộ điều
khiển không có mạng nơ ron bù ................................................................................ 39
Hình 2.13 Sai lệch bám quỹ đạo khi mục tiêu cơ động theo cung tròn .................... 40
Hình 2.14 Sai lệch tọa độ ảnh khi mục tiêu cơ động theo cung tròn ........................ 40
Hình 2.15 Sai lệch bám quỹ đạo với mục tiêu cơ động theo cung tròn khi bộ điều
khiển không có mạng nơ ron bù ................................................................................ 41
Hình 2.16 Sai lệch tọa độ ảnh với mục tiêu cơ động theo cung tròn khi bộ điều
khiển không có mạng nơ ron bù ( u1, = 0 ). .................................................................. 41
Hình 2.17 Sai lệch bám quỹ đạo khi mục tiêu di chuyển với vận tốc thay đổi......... 42
x


Hình 2.18 Sai lệch tọa độ ảnh khi mục tiêu di chuyển với vận tốc thay đổi............. 42
Hình 3.1 Hệ trục tọa độ của hệ Pan-tilt – stereo cameras ......................................... 48

Hình 3.17 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường
thẳng khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ............................... 71
Hình 3.18 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn
khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ......................................... 71
Hình 3.19 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ
nhật với tốc độ thay đổi khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron .. 71
Hình 3.20 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình tròn
của bài báo trích dẫn [20]. ......................................................................................... 73
Hình 4.1 Cấu trúc của hệ rô bốt- pan-tilt-stereo camera ........................................... 76
Hình 4.2 Mô hình hệ thống stereo camera ................................................................ 80
Hình 4.3 Ảnh theo hai trục X, Z (trái) và Y, Z (phải). .............................................. 80
Hình 4.4 Vị trí và hướng mong muốn của rô bốt di động. ........................................ 81
Hình 4.5 Sơ đồ khối hệ thống. .................................................................................. 85
Hình 4.6 Sơ đồ khối hệ thống với bộ điều khiển trượt CTC. .................................... 88
Hình 4.7 Thuật toán điều khiển tối ưu ...................................................................... 92
Hình 4.8 Bám tọa độ ảnh nhìn trong hệ tọa độ gốc. ................................................. 93
Hình 4.9 Rô bốt di động bám theo mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa độ
gốc. ............................................................................................................................ 94
Hình 4.10 Sai số vecto v giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pantilt và hai bánh rô bốt di động ................................................................................... 94
Hình 4.11 Mô phỏng di chuyển bám theo mục tiêu của rô bốt di động .................... 95
Hình 4.12 Sai số giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pan-tilt và
hai bánh rô bốt di động.............................................................................................. 95

xii


DANH MỤC BẢNG
Bảng 3.1 Bảng tham số của hệ thống hệ pan-tilt ................................................ 62
Bảng 4.1 các tham số trong mô hình rô bốt di động – hệ pan-tilt – stereo
camera ...................................................................................................................... 89

trong một số trường hợp cụ thể là những vấn đề khó và cần tiếp tục nghiên cứu. Việc
s dụng thị giác 2 camera là một xu hướng tất yếu vì nó mang tính linh hoạt dựa trên
đặc tính của hầu hết các loài động vật bậc cao đều có 2 mắt. Nhưng trong việc s dụng
thị giác 2 camera cho rô bốt đi động, việc phát triển các thuật toán điều khiển sao cho
phát huy được các ưu điểm của thị giác hai camera và hạn chế được các khuyết điểm
1


đã nêu

trên vẫn còn khá nhiều vấn đề cần được giải quyết.
Với lý do trên, tác giả đã lựa chọn đề tài: “Nghiên cứu điều khiển rô bốt tay

máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh” để phát triển
một số thuật toán điều khiển rô bốt theo dõi mục tiêu di động và rô bốt di chuyển bám
mục tiêu s dụng thông tin hình ảnh có nhiều tham số bất định.

Đối tƣợng nghiên cứu
Đối tượng nghiên cứu chính của đề tài là tập trung vào hệ rô bốt tay máy pantilt và rô bốt di động có cơ cấu di chuyển b ng bánh xe. Hệ camera dùng để lấy thông
tin hình ảnh cho điều khiển tay máy bám mục tiêu di động là hệ 2 camera. Những hình
ảnh thu được sẽ được x lý, tính toán từ đó ra quyết định điều khiển các cơ cấu chấp
hành khác của rô bốt thực hiện theo các yêu cầu.

Mục tiêu nghiên cứu
Mục tiêu của đề tài là nghiên cứu phát triển một số thuật toán điều khiển tay
máy rô bốt bám mục tiêu di động dựa trên cơ s

thông tin hình ảnh s dụng hai

camera có tính bền vững với nhiều tham số bất định và khả năng kháng nhi u với tốc

gồm rô bốt di động – hệ pan-tilt mang 2 camera khi có các tham số bất định
trong mô hình và nhi u.
2. Nghiên cứu các thuật toán điều khiển hiện đại để từ đó xây dựng các thuật
toán điều khiển mới cho hệ pan-tilt theo dõi mục tiêu và hệ phức hợp nói
trên bám mục tiêu di động.
3. Tối ưu hệ thống bao gồm tối ưu các ma trận Jacobian đảm bảo tính khả
nghịch và tham số trong mô hình điều khiển.
4. Chứng minh tính ổn định của các thuật toán đề xuất b ng lý thuyết ổn định
Lyapunov, bổ đề Barbalat.
5. Mô phỏng đáp ứng của hệ thống với các thuật toán đề xuất trên Matlab
simulink để kiểm chứng việc theo dõi và bám mục tiêu của hệ thống.
Ý nghĩa của đề tài

- Về mặt lý thuyết: đóng góp các thuật toán điều khiển hệ pan-tilt theo dõi
mục tiêu và thuật toán điều khiển hệ rô bốt di động –hệ pantilt s dụng 2
camera bám mục tiêu di động với nhiều tham số bất định trong mô hình
cũng như nhi u tác động.

- Về mặt thực ti n: xây dựng mô hình camera 3D ảo loại bỏ sự suy biến của
ma trận Jacobian ảnh và mô hình động lực học cho hệ gồm rô bốt di động –
hệ pan-tilt mang dụng 2 camera.
Những điểm mới của luận án

3


Qua các nghiên cứu về phương pháp điều khiển rô bốt s dụng thông tin hình
ảnh, trong đó cụ thể là hệ pan-tilt và hệ rô bốt di động – hệ pan-tilt stereo camera có
nhiều tham số bất định trong mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận
Jacobian rô bốt cũng như các yếu tố bên ngoài, tác giả có một số đóng góp như sau:



bất định. Thuật toán được chứng minh tính ổn định tiệm cận b ng lý thuyết ổn định
Lyapunov và mô phỏng kiểm chứng trên Matlab simulink.
Kết quả của các nghiên cứu trong chương này được công bố trong tạp chí Tin
học và điều khiển, tạp chí Khoa học công nghệ - Đại học Thái Nguyên và trong kỷ yếu
hội nghị toàn quốc về tự động hóa VCCA 2013:
, Pham Thuong Cat (2015), “A new control method for stereo visual servoing
system with pan-tilt platform”, Journal of Computer Science and Cybernetics,Vol
31 (2), pp. 107 – 122.
, Phạm Thượng Cát, Bùi Tuấn Anh (2013), “Phương pháp điều khiển hệ servo
thị giác stereo sử dụng bệ Pan-Tilt”, Hội nghị toàn quốc lần thứ 2 về Điều khiển
và Tự động hoá - VCCA-2013, Đà N ng, pp. 375 - 382.
, “Phát triển hệ pan-tilt – nhiều camera bám mục tiêu di động”, Tạp chí KHCN
Đại học Thái Nguyên, 116(02), tr. 41-46.
Chƣơng 3: Xây dựng mô hình camera 3D ảo để thiết lập ma trận Jacobian ảnh
vuông giúp hệ stereo camera ảnh có thể theo dõi các đối tượng chuyển động phức tạp.
Xây dựng mô hình động lực học cho hệ pan-tilt 2 camera bám mục tiêu di động. Bộ
điều khiển s dụng mang nơ ron với các tham số đã được tối ưu. Mô hình và thuật toán
điều khiển này cho kết quả tốt hơn so với các kết quả trong chương 2 khi có xét thêm
nhi u ngoài và các yếu tố bất định trong mô hình động lực học. Tính ổn định tiệm cận
của hệ thống đã được chứng minh b ng lý thuyết ổn định Lyapunov, bổ đề Barbalat và
mô phỏng trên Matlab.
Kết quả nghiên cứu của chương này được tác giả công bố trên tạp chí quốc tế về
x lý ảnh và điều khiển robot và kỷ yếu hội nghị toàn quốc về cơ điện t VCM 2014:
, “Robust Visual Tracking Control of Pan-tilt -Stereo Camera System”,
International Journal of Imaging and Robotics, Vol 18 (1), (1/2018), pp. 45 – 61.
, Pham Thuong Cat (2014), “Robust visual tracking control of pan-tilt – stereo
camera system”, Hội nghị cơ điện t VCM 2014, Đồng Nai, pp.167-173.
Chƣơng 4 Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pantilt mang dụng 2 camera. Xây dựng 02 thuật toán điều khiển cho hệ nói trên bao gồm

s dụng thông tin hình ảnh như: điều khiển thích nghi, điều khiển tối ưu, tuyến tính
hóa phản hồi hay điều khiển mờ, mạng nơ ron đã được công bố. Đối với việc theo dõi
mục tiêu di chuyển, việc s dụng một hay hai camera đều khả dụng nhưng để tính toán
khoảng cách tới mục tiêu thì việc s dụng 2 camera sẽ thuận tiện hơn, hơn nữa việc
dùng 2 camera sẽ cho khả năng quan sát và góc nhìn tốt hơn một camera. Đối với việc
s dụng thông tin hình ảnh để điều khiển rô bốt di chuyển thì việc s dụng 2 camera sẽ
cho không gian theo dõi mục tiêu rộng hơn, tính được tọa độ 3D của mục tiêu từ đó
giúp điều khiển rô bốt di chuyển d dàng hơn.
Việc điều khiển rô bốt s dụng thông tin hình ảnh stereo camera để bám mục
tiêu di động còn một số khó khăn như tham số bất định trong mô hình rô bốt và camera
hay ma trận Jacobian ảnh của hệ stereo camera không vuông là nguyên nhân của các
điểm kỳ dị khi lấy nghịch đảo ma trận này bên cạnh đó vấn đề tối ưu hóa tham số điều
khiển cũng còn nhiều điểm cần cải thiện. Trong việc điểu khiển rô bốt di động kết hợp
với hệ thống theo dõi mục tiêu di chuyển

trên còn một số khó khăn như việc kết hợp

điều khiển động lực học của hai rô bốt hay điều khiển tối ưu để hệ thống hoạt động
hiệu quả nhất.
Như vậy để điều khiển hệ thống rô bốt s dụng stereo camera hoạt động được
tốt hơn thì vấn đề đặt ra là:
Thứ nhất là: Phát triển các phương pháp điều khiển hệ thống rô bốt s dụng
thông tin hình ảnh trong việc bám mục tiêu di động khi tồn tại các tham số bất định.
Thứ hai là: Phải tìm ra cách thức xây dựng ma trận Jacobian ảnh là ma trận
vuông cũng như cách để tối ưu hóa các tham số điều khiển trong hệ thống bám mục
tiêu di động để hệ thống hoạt động tốt nhất.
Thứ ba là: Phát triển một số phương pháp điều khiển hệ thống kết hợp rô bốt di
động với rô bốt mang hai camera bám mục tiêu di động để vừa có khả năng bám mục
tiêu vừa có khả năng di chuyển tới gần mục tiêu trong không gian.
7

Việt

Nam quan tâm trong hơn 15 năm tr lại đây. Một số tác giả tập trung vào nghiên cứu
phát triển thuật toán điều khiển rô bốt s dụng thông tin hình ảnh từ 1 camera [7], [2],
[4], [6], đặc biệt được PGS.TSKH Phạm Thượng Cát tổng hợp trong sách [8] về điều
khiển rô bốt công nghiệp s dụng camera. Tuy nhiên để điều khiển rô bốt di động s
dụng thông tin hình ảnh thì s dụng 2 camera sẽ cho thông tin đầy đủ hơn về mục tiêu
bao gồm hướng và khoảng cách [1]. Việc s dụng 1 camera trong điều khiển rô bốt
8


thích hợp với các bài toán theo dõi hướng của mục tiêu mà không cần thông tin
khoảng cách tới mục tiêu hoặc khoảng cách đã biết trước [10]. Trong bài toán bám
mục tiêu di động, việc s dụng 1 camera thường phải kết hợp với 1 cảm biến để đo
khoảng cách riêng [3] hoặc phải có thêm các điều kiện ràng buộc cụ thể [4] thì việc
điều khiển rô bốt bám mục tiêu mới thực hiện được. Do vậy, s dụng 1 camera trong
bài toán điều khiển rô bốt di động còn gặp nhiều hạn chế.
Trong các nghiên cứu trong lĩnh vực này thì nhóm tác giả Ngô Mạnh Tiến [2],
[3] tập trung đi xây dựng phần cứng cho hệ pan-tilt mang 1 camera để bám mục tiêu di
động với thuật toán điều khiển thích nghi mô hình mẫu. Các kết quả nghiên cứu của
nhóm tác giả Phạm Đức Long [7] – ĐH Công nghệ thông tin và truyền thông Thái
Nguyên thì tập trung vào việc x lý ảnh song song CNN cho hệ rô bốt di động s dụng
1 camera thực hiện các nhiệm vụ khác nhau. Nhóm tác giả Nguy n Văn Tính và các
cộng sự [5], [57], [58], [73], [74]

viện Công nghệ thông tin viên Hàn lâm khoa học

Việt Nam tập trung vào xây dựng các thuật toán điều khiển cho hệ kết hợp rô bốt di
động,hệ pan-tilt mang 1 camera tiếp cận mục tiêu trên mặt sàn. Ngoài ra là các thuật
toán điều khiển rô bốt di động bám quỹ đạo khi có xét tới các yếu tố trơn, trượt của

Bộ điều khiển cổ điển PID được dùng trong các bộ điều khiển bệ pan-tilt mang
camera theo dõi mục tiêu như bộ điều khiển PD hay có thêm thành phần bù trọng
trường [2]. Kết quả mô phỏng việc bắt mục tiêu

vị trí bất kỳ đều cho kết quả tốt còn

khi mục tiêu di chuyển liên tục theo các quỹ đạo khác nhau thì còn cần phải cải tiến.
Nếu s dụng 1 camera việc theo dõi mục tiêu thực hiện tốt trong hầu hết các trường
hợp nhưng khoảng cách lại cần dùng thêm một cảm biến khác do vậy khi rô bốt hoạt
động trong các môi trường phi cấu trúc thì việc bám các đối tượng sẽ khó khăn hơn.
Nếu dùng 2 camera ta sẽ có đầy đủ tham số tọa độ mục tiêu trong không gian nhưng
một số trường hợp bị sai số lớn thậm chí mất bám. Lý do là ma trận Jacobian ảnh với
hệ 2 camera là (3x6) do vậy trong một số phép biến đổi lấy giả nghịch đảo không khả
nghịch sẽ dẫn tới suy biến ma trận Jacobian của hệ và gây ra các sai số lớn.
Phương pháp điều khiển mờ và mạng nơ ron trong các bài toán điều khiển rô
bốt s dụng thông tin hình ảnh cũng được s dụng nhiều trong thời gian gần đây [7] để
loại bỏ ảnh hư ng của các tham số bất định trong mô hình và cho kết quả tốt hơn so
với các phương pháp điều khiển PD thông thường. Hệ thống họat động tốt hơn nhưng
cũng không triệt tiêu được ảnh hư ng do sự suy biến của ma trận Jacobian ảnh gây ra
khi s dụng 2 camera. Phương pháp điều khiển nơ ron còn được s dụng để làm giảm
sự ảnh hư ng của các cơ cấu chấp hành [6] như ma sát khớp, độ rơ của khớp...
Bộ điều khiển thích nghi trong việc điều khiển rô bốt s dụng thông tin hình
ảnh cho kết quả khá tốt [45] khi có sự bất định trong mô hình và các tham số đầu vào
của bộ điều khiển không chắc chắn như tốc độ di chuyển của mục tiêu được ước lượng
10