BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

LÊ VĂN CHUNG

NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT
TAY MÁY DI ĐỘNG BÁM MỤC TIÊU
TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH

Chuyên ngành: Kỹ thuật điều khiển và tự động hóa

Mã số:

9.52.02.16

TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT

Hà Nội - 2019


Công trình được hoàn thành tại: Học viện Khoa học và
Công nghệ - Viện Hàn lâm Khoa học và Công nghệ Việt Nam.

Người hướng dẫn khoa học: 1. PGS.TSKH Phạm Thượng Cát
2. TS. Phạm Minh Tuấn

Phảnbiện 1: ..................................................................................


[6]

[7]

Le Van Chung (2018), “Robust Visual Tracking Control of Pan-tilt Stereo Camera System”, International Journal of Imaging and
Robotics, Vol 18 (1), pp. 45 – 61.
Le Van Chung, Pham Thuong Cat (2015), “A new control method for
stereo visual servoing system with pan tilt platform”, Journal of
Computer Science and Cybernetics,Vol 31 (2), pp. 107 – 122.
Le Van Chung, Pham Thuong Cat (2016), “Optimal tracking a
moving target for integrated mobile robot – pan tilt – stereo camera”,
Advanced Intelligent Mechatronics AIM IEEE Conference, Banff,
Canada July 12-15, pp. 530 – 535.
Le Van Chung, Duong Chinh Cuong (2016), “Design Adaptive-CTC
Controller for Tracking Target used Mobile Robot-pan tilt-stereo
camera system”, International Conference on Advances in
Information and Communication Technology, ICTA, Thai Nguyen,
Dec 12-14, pp. 217 – 227.
Le Van Chung, Pham Thuong Cat (2014), “Robust visual tracking
control of pan tilt – stereo camera system Hội ngh c điện t VCM
2014 Đồng Nai pp.167-173.
Lê Văn Chung Phạm Thượng Cát B i Tuấn Anh 2013 “Phương
pháp điều khiển hệ servo thị giác stereo sử dụng bệ Pan-Tilt Hội
ngh toàn qu c l n th 2 v Đi u khiển và T động hoá - VCCA-2013
Đà N ng pp. 375 - 382.
Lê Văn Chung “Phát triển hệ pan/tilt – nhiều camera bám mục tiêu
di động” Tạp chí KHCN Đại học Thái Nguyên, 116(02), tr. 41-46.



pan tilt mang hai camera bám mục tiêu di động.
Những điểm mới của luận án
Đ xuất 02 phư ng pháp đi u khiển 01 phư ng pháp xây d ng
ma trận Jacobian ảnh vuông cho hệ pan/tilt 2 camera cụ thể như sau:
a) ây d ng 1 phư ng pháp để thiết lập ma trận Jacobian ảnh
vuông tránh suy biến trong các phép biến đổi ngh ch đảo.
b) Xây d ng bộ đi u khiển mạng n ron nhân tạo để b các
tham s bất đ nh trong mô hình rô b t pan/tilt trong ma trận Jacobian
ảnh ma trận Jacobian rô b t c ng như các yếu t bên ngoài . Bộ đi u
khiển này hoạt động t t khi có bất đ nh trong hay nhiễu tác động vào.


2
c) ây d ng mô hình động l c học cho hệ gồm rô b t di động –
rô b t pan tilt mang dụng 2 camera và 2 thuật toán đi u khiển trong
đó: 01 bộ đi u khiển trượt và 01 bộ đi u khiển t i ưu theo chu n t i
ưu bình phư ng t i thiểu cho hệ kết hợp gồm hai rô b t rô b t pan/tilt
mang hai camera và rô b t di động. Trong đó hệ động l c học của
toàn hệ được tổng hợp trong một phư ng trình.
Luận án đã ch ng minh tính ổn đ nh tiệm cận của các phư ng
pháp đi u khiển đ xuất ở trên dùng lý thuyết ổn đ nh Lyapunov bổ
đ Barbalat và mô phỏng kiểm ch ng bằng công cụ mô phỏng Matlab.
Nội dung của luận án
Chƣơng 1: Tổng quan các vấn đ trong đi u khiển rô b t.
Chƣơng 2: Phát triển thuật toán đi u khiển hệ pan tilt hai camera.
Chƣơng 3: Một s cải tiến trong đi u khiển hệ servo th giác bám
mục tiêu di động.
Chƣơng 4: Phát triển thuật toán đi u khiển rô b t di động s dụng
thông tin hình ảnh.
CHƢƠNG 1

Đi u
khiển
động
học

Đi u
khiển
động
l c học

Phƣơng pháp điều khiển hiện đại

Kết hợp với
mạng n ron
Phư ng
pháp cổ
điển kết
hợp
mạng
n ron

Phư ng
pháp
hiện đại
kết hợp
mạng
n ron

Đi u khiển t i ưu
thích nghi


4
pan/tilt sao cho ảnh mục tiêu luôn được duy trì ở v trí mong mu n
trên mô hình của ảnh thu được từ 2 camera. Nội dung chư ng gồm 4
ph n chính là xây d ng mô hình động học của hệ rô b t stereo bám
mục tiêu di động, thiết kế thuật toán đi u khiển hệ servo th giác, mô
phỏng kiểm ch ng so sánh với bộ đi u khiển không kết hợp với mạng
n ron và kết luận.
2.1. Xây dựng mô hình động học hệ rô bốt pan tilt-stereo camera
bám mục tiêu di động với nhiều tham số bất định
2.1.1 Xác định ma trận Jacobi ảnh qua tọa độ điểm ảnh thu được từ
2 camera quy vào hệ tọa độ OcXcYcZc

Hình 2.1 Bệ pan/tilt PTU-D48E-Series và biểu diễn hệ tọa độ
Phư ng trình t c độ điểm đặc trưng ảnh của 2 camera:
(2.9)
m = Jimag (m) v
- Jimag (m) là ma trận Jacobi ảnh:
- v là vecto t c độ chuyển động của camera.
UR UL
B
J imag (m)

0
UR UL
B

0

U L (U L U R )

2 f 2 UR
L R

fB

f

2f

VL
UL UR
2f

(2.10)

VL

2.1.2 Xác định hệ phương trình động học tốc độ rô bốt Pan-Tilt.
Quan hệ t c độ giữa biến trong và biến ngoài mô tả hệ động
học t c độ qua ma trận Jacobi của rô b t:


5

Hình 2.2 Mô hình hệ th ng camera
(2.11)
2.1.3 Xây dựng bài toán điều khiển động học (kinematic control) hệ
rô bốt-stereo camera bám mục tiêu.
sai lệch đặc trưng ảnh: ε m md
Bài toán đi u khiển động học hệ pan/tilt -stereo camera bám mục tiêu


; j = 1,2,3

(2.22)


6

Hình 2.6 Cấu trúc của hệ visual servoing đi u khiển camera bám mục
tiêu di động có nhi u tham s bất đ nh
Định lý 1:
Hệ stereo camera có nhiều tham số bất định (2.9), (2.11), với
mạng nơron (2.22), (2.23) được mô tả theo hình 2.5 sẽ bám theo
mục ti u di động với sai số ε, ε  0 nếu tốc độ các khớp bệ Pan-Tilt
được điều khiển theo thuật toán (2.25), (2.26), (2.27) và luật học
(2.28) như sau:
(2.25)
q Jˆ + [(md - Kε) + u1, ] Jˆ + (md - Kε) + Jˆ +u1, = u0 + u1
u0 = Jˆ + md - Kε

(2.26)
ε
ε

1)Wσ -

u1, = (
u1 = Jˆ u
+



(2.29)

ε

(2.37)

i 1

0

Ta thấy V  0 khi ε  0 và V  0 khi và chỉ khi ε 0 .Theo
nguyên lý ổn đ nh Lyapunov ta có sai lệch t c độ ε 0 , ε 0 . Như
vậy hệ (2.21) là ổn đ nh tiệm cận và do đó m(t ) md , m(t ) md .


7
2.3 Một số kết quả mô phỏng kiểm chứng
Mô phỏng 1: Mục tiêu cố định
Tâm camera ở thời điểm ban đ u là: m(0) =[-40, 30, 0] (pixel); tọa
độ ảnh của mục tiêu đ ng yên ở mt=[-20, 0, 20] (pixel);

Hình 2.7 Sai lệch tọa độ ảnh mục
tiêu (pixel).

Hình 2.8 Sai lệch tọa độ ảnh khi
không có mạng n ron b
Mô phỏng 2: Mục tiêu di chuyển theo đƣờng thẳng
Điểm mục tiêu đi từ điểm A(0m,1.8m,0m) tới điểm B(-0.3m,
1.8m, -0.5m) trong thời gian T=30(s).

trong 1/6 cung đ u vận t c tăng d n đ u với gia t c 1cm/s2 sau 3 giây
nó chuyển động đ u với vận t c 3cm/s. Tới 1/6 cung tròn cu i nó
chuyển động vận t c giảm d n đ u với gia t c -1cm/s2.

Hình 2.17 Sai lệch bám quỹ đạo khi mục tiêu có vận t c thay đổi.

Hình 2.18 Sai lệch tọa độ ảnh khi mục tiêu có vận t c thay đổi.
2.4. Kết luận chƣơng 2
Chư ng này tác giả đã đ xuất một phư ng pháp mới cho hệ
servo th giác stereo s dụng mạng n ron với luật học on-line trong
bộ đi u khiển để bù cho các tham s bất đ nh không biết rõ như mô
men quán tính, ma trận Jacobi, ma sát ở các khớp, nhiễu tác động
vv… giúp cho hệ th ng hoạt động ổn đ nh và sai lệch bám triệt tiêu.
Độ ổn đ nh toàn cục của hệ th ng được ch ng minh bằng thuyết ổn
đ nh Lyapunov. Tính khả thi của việc cài đặt ng dụng mạng n ron
này lên các microcontroller là hoàn toàn khả thi. Do luật học cập nhật
liên tục được th c hiện chỉ với một s phép nhân và tích phân (cộng
dồn) nên kh i lượng tính toán không quá lớn và mặt khác các chip ví


10
x lý 32 và 64 bit hiện nay có t c độ x lý ngày càng cao nên hy vọng
không là rào cản cho việc ng dung trong th c tế sau này.
CHƢƠNG 3
MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN
HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG
Như trong chư ng2 tác giả đã nhận thấy để đi u khiển hệ
pan/tilt th giác hai camera bám mục tiêu di động hoạt động được t t
thì bài toán đi u khiển có một s vấn đ c n giải quyết như sau:
- Th nhất là c n xây d ng được ma trận Jacobian ảnh vuông để


T


11

Hình 3.2 Mô hình hệ camera 3D ảo
Mô hình camera 3D ảo được xây d ng theo các bước như sau:
ước 3 Hệ tọa độ camera ảo Ov X v Yv Zv được s dụng để đ nh ngh a
ra hai hệ tọa độ Ov1 X v1Yv1Zv1 , Ov 2 X v 2Yv 2 Zv 2 của hệ camera ảo. G c
của hai hệ tọa độ được đặt trên hai trục Xv và Zv đặt xa g c Ov một
khoảng λ.
ước 4, Mô hình camera ảo được kết hợp với mô hình camera tr c
quan 3D để tạo ra không gian 3D Cartesian ảo có tọa độ điểm đặc
trưng của mục tiêu được biểu diễn trong hệ tọa độ ảo là:
T
x s  zv 1 zv 2 xv 1  . Jvimg là ma trận Jacobian ảnh vuông:

Jvimg


1



xv


x 
  v


iể oát ự u biến c a a trận acobian
Ta có thể tránh s suy biến của ma trận này bằng cách chọn
tham s λ thỏa mãn λ > max xv, zv).
3.1.3


12
3.1.4 ài toán điều hiển bá

ục ti u với nhiều tha

ố bất định
(3.19)
3.2.
dựng hệ động lực học rô bốt pan tilt – hai camera với các
tham số bất định
Hệ động l c học của rô b t n-link với s ảnh hưởng của các tham s
nhiễu và các tham s bất đ nh có thể biểu diễn như sau:
  C(q, q
 )q
  g(q)  d(t )  τ
(3.20)
M(q)q
3.3.
dựng bộ điều khiển nơ ron cho hệ động lực học rô bốt
pan tilt hai camera bám mục tiêu di động.
3.3.1 X dựng bộ điều hiển
Luật đi u khiển được xác đ nh như sau:
(3.30)


ε 
τ NR  A   1 Wσ  

ε 

W  sσT ,

(3.37)
(3.38)


13

Hình 3.6 Cấu trúc s đồ đi u khiển của hệ th ng
Chứng minh: Chọn hàm ng tuyển Lyapunov
V ( s, W ) 

1 T
1
s s
2
2

3

w

T
i wi


t đ n v s và luôn b chặn G là ma trận hằng s và xác đ nh dư ng
,   0 . Như vậy V thỏa mãn là hàm liên tục. Theo Barbalat's ta có
s  0 khi t  0 kéo theo ε  0 khi hệ là ổn đ nh toàn cục.
phỏng 1: Mục ti u di chu ển theo đư ng th ng
Mục tiêu đi từ điểm A 0m 3m 0m tới B -0.5m 3m -0.3m trong
mặt phẳng COCXC với thời gian T 6 s t c đô v 10 cm/s .

Hình 3.7 Kết quả bám mục tiêu di chuyển theo đường thẳng


14

Hình 3.8 Sai s bám mục tiêu di động hệ tọa độ ảo 3D
phỏng 2 ục ti u di chu ển theo đư ng tr n O (0, 0, 0), r = 1

Hình 3.9 Kết quả bám mục tiêu nhìn trong không gian camera

Hình 3.10 Sai s bám mục tiêu nhìn trong hệ tọa độ ảo 3D

a)
b)
c)
Hình 3.11 a) L i bám mục tiêu theo 2 trục
. b) Mô ment đặt lên
các khớp. c) T c độ khớp pan/tilt q


15
phỏng 3

Hình 3.15 Sai s bám mục tiêu nhìn trong hệ tọa độ ảo 3D

a)
b)
c)
Hình 3.15 a) Sai s bám mục tiêu chiếu theo hai trục
. b)
Moment đặt lên các khớp. c) T c độ các khớp q
Trong mô phỏng 1 khi mục tiêu di chuyển theo đường thẳng ở
hình 7 ta thấy sai s hội tụ v 0. Khi mục tiêu di chuyển theo đường


17
tròn ở hình 8 và hình 9 của mô phỏng 2 nhưng l i bám còn lớn c n
phải cải thiện. Khi mục tiêu di chuyển tới các điểm trên đường tròn
mà tới các điểm cos hay sin đổi dấu tại
0
đường tròn nhưng
hệ th ng vẫn bám mục tiêu t t Khác với chư ng trước, nó b mất bám
tại điểm đường tròn. Trong mô phỏng 3 4 Khi mục tiêu di chuyển
theo hình chữ nhật và theo đường bất đ nh nhưng hệ th ng vẫn bám
t t ngay cả khi mục tiêu thay đổi hướng và t c độ. S ảnh hưởng của
các tham s bất đ nh và nhiễu tác động tới hệ động l c được triệt tiêu
bởi thành ph n đi u khiển n ron. Mặt khác ma trận Jimg Jrobot không
b suy biến. Khi không có bộ đi u khiển n ron thì hệ có thể bám mục
tiêu theo đường thẳng còn lại b mất bám hoặc sai s rất lớn.

Hình 3.17 Khi mục tiêu đi theo
Hình 3.18 Khi mục tiêu đi theo
đường thẳng không có hệ tọa độ ảo đường tròn không có hệ tọa độ

gồm 4 ph n chính là xây d ng mô hình động học động l c học của hệ
rô b t di động - pan/tilt - stereo bám mục tiêu di động thiết kế thuật
toán đi u khiển hệ rô b t di chuyển tiếp cận mục tiêu trong khoảng
thời gian ngắn nhất mô phỏng kiểm ch ng và kết luận... Trong
chư ngnày tác giả trình bày thuật toán đi u khiển t i ưu và thuật toán
đi u khiển trượt kết hợp với tính tr c tiếp moment để đi u khiển toàn
hệ th ng.
4.1. Xây dựng mô hình động học và bài toán hệ điều khiển Rô bốtPan Tilt–Stereo Camera bám mục tiêu di động
4.1.1 Xác định ma trận Jacobi ảnh
Ma trận Jacobian ảnh được xác đ nh theo phư ng trình 2.10 .
4.1.2 Xác định ma trận Jacobi c a hệ và tốc độ bám mục tiêu cho rô
bốt di động.
Vậy vận t c góc mong mu n của khớp pan/tilt là:
1d
2d

last
1
last
2

J p1

Km

m
m

(m)last


4.2. Thiết kế thuật toán điều khiển
Trong ph n này tác giả trình bày 2 thuật toán đi u khiển đó là
thuật toán đi u khiển t i ưu và thuật toán đi u khiển trượt d a trên
phư ng pháp tính mô men.
4.2.1 Động lực học hệ rô bốt di động-bệ pan/tilt
Phư ng trình động l c học của toàn hệ gồm rô b t di động –
pan/tilt – stereo camera là [43], [44]:
(4.22)
M(q) v s C(q, v s ) v s g(q) = τ
Đặt e1 là vecto sai s giữa giá tr đo được và giá tr mong mu n của
vận t c góc hai bánh và khớp pan/tilt với:
(4.25)
e1 v d v s
4.2.2 Thiết kế bộ điều khiển tối ưu
Luật đi u khiển cho hệ động l c (4.22 như sau:
τ h He1 u*
(4.30)
*

u (t )

1

T

R B

F (s, t )
s


Chứng minh sự ổn định của hệ thống với bộ điều khiển trƣợt
Chọn hàm ng tuyển Lyapunov:
1 T
1 T 1
(4.51)
V (s, t )
s (t )Ps(t )
x Γ a;
2
2
1 T
ˆ 1 (q)D q, q, v BT s Γ 1a).
(4.55)
V
s Qs aT (M
s
2
Luật đi u khiển trượt:
ˆ 1 (q)D q, q, v BT s
a
Γ 1M
(4.56)
s

V
V

1 T
s Qs .
2

s

(4.59)
(4.60)

Theo giả thiết 2 qd , qd , qd là b chặn. Kéo theo ta có s, s x c ng b
chặn. Mặt khác ta có Q là ma trận hằng đ i x ng xác đ nh dư ng.
Như vậy V là b chặn V là hàm liên tục nên theo Barbalat s ta có
hệ th ng là ổn đ nh toàn cục.
e
0 , e 0 khi t
4.3. Mô phỏng hệ thống
4.3.1
phỏng hệ thống với bộ điều hiển tối ưu
Mục tiêu di chuyển trong không gian theo quỹ đạo như sau:
xuất phát tại v trí (x, y, z) = (2, 4, 0) so với g c tọa độ sau đó tọa độ
tọa độ z = 0.1t. Còn tọa độ x y thì thay đổi theo vận t c thẳng và góc
như sau: t = 0-5s: v=0.5m/s. ω = 0 rad/s. t = 5-10s: v = 0.5 +
0.15*sin((t-)*pi/10); ω=0.15*sin((t-5)*pi/10); t = 10-15s: v=0.75m/s.
ω = 0 rad/s. t = 15-20s: v = 0.75 + 0.15*sin((t-15)*pi/10); ω =0.15*sin((t-15)*pi/10). t = 20-25s: v=0.75m/s. ω = -0.15 rad/s. t = 2530s: v=0.75m/s. ω =-0.15 - 0.15*sin((t-25)*pi/10); t >30s v=0.5m/s. ω
= -0.3 rad/s;

Hình 4.8 Bám tọa độ ảnh nhìn trong hệ tọa độ g c.


22

Hình 4.9 Bám mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa độ g c.

Hình 4.10 Sai s vecto v giữa t c độ mong mu n và t c độ đặt của