Tuyển tập công trình Hội nghị Cơ điện tử toàn quốc lần thứ 6 787
Mã bài: 167
Điều khiển tốc độ bệ pan-tilt-camera bám mục tiêu di động
với nhiều tham số bất định
Velocity Control of Pan-Tilt-Camera System Tracking Moving Object
with Uncertain Parameters
Nguyễn Tiến Kiệm
Trường Đại học Công nghiệp Hà nội
Phạm Thượng Cát
Viện Công nghệ thông tin, Viện KH và CN Việt Nam
Email: [email protected]
Tóm tắt:
Báo cáo khảo sát bài tóan điều khiển bệ Pan/Tilt Camera bám mục tiêu di động khi có nhiều tham số bất
định trong hệ động lực của bệ. Sau khi xây dựng mô hình và phân tích hệ thống báo cáo đề xuất một phương
pháp điều khiển mới sử dụng mạng nơ ron học on-line trong vòng điều khiển kín để điều khiển bệ chuyển
dịch camera luôn bám theo mục tiêu cơ động không biết trước. Cấu trúc điều khiển dựa trên sai lệch đặc
trưng ảnh, xác định tốc độ quay hai phương Pan và Tilt cần thiết và tính được mô men điều khiển các khớp
để camera luôn bắt được ảnh mục tiêu ở tâm điểm. Tính ổn định tiệm cận toàn cục của hệ kín được chứng
minh theo nguyên lý ổn định Lyapunov. Các kết quả mô phỏng trên Matlab tool cho thấy hệ thống bám
nhanh và ổn định.
Abstract:
This paper studies a problem controlling a Pan-Tilt Camera tracking a moving target where many uncertain
parameters exist in the system’s dynamics. After modelling and analysing the system, this paper suggests a
new control method using an on-line neural network in closed-loop to control the Pan-Tilt moving the
Camera always tracking an unknown moving target. The control structure based on the image property error
determines necessary rotate velocities on the Pan and Tilt joints and computes the torques controlling the
joints such that the target image always be at the center point in the image plane. The global asymptotical
stability of the closed-loop is proven by the Lyapunov direct stability theory. Simulation results on Matlab
show the system tracking fast and stable.
c
o
r

Tọa độ mục tiêu trong hệ tọa độ
camera

Chữ viết tắt:
RBF- Radial Basis Function. 1. Đặt vấn đề
Bệ Pan/Tilt có hai bậc tự do quay theo theo hai
hướng phương vị (Pan) và góc tà (Tilt). Cấu trúc
này được ứng dụng nhiều làm bệ quay radar (cố
định hay di động đặt trên xe, tàu) hay bệ quay các
thiết bị quang học theo dõi, kiểm tra không gian.
Bài báo này khảo sát và nghiên cứu phương pháp
điều khiển tốc độ bệ Pan/Tilt gắn camera bám mục
tiêu cơ động khi ta không biết rõ mô hình động lực
của bệ.
788 Nguyễn Tiến Kiệm, Phạm Thượng Cát
VCM2012
fx fy
u v
z z
 

Hình 1: Bệ Pan-Tilt-camera.
Hiện nay trên thế giới có nhiều bài báo và báo cáo

Cách tiếp cận mới về việc điều khiển bám mục
tiêu di động bằng cánh tay robot và camera sử dụng
bộ quan sát phi tuyến báo cáo cho hội nghị
IEEE/ASME transaction on mechatronics, Vol2.16,
No2, April, 2011 bài nghiên cứu này giới thiệu
phương pháp điều khiển mới để tìm kiếm vật thể
chuyển động trong không gian 3 chiều [12].
Điều khiển ổn định bám mục tiêu di động kết hợp
mạng nơ ron cho cánh tay robot, báo cáo tại hội
nghị IEEE transaction neural networks, Vol.17,
No4, July, 2006, bài nghiên cứu sử dụng mạng nơ
ron để nhận dạng thông số của rô bốt để điều khiển
bám theo đối tượng [13].
Trong báo cáo này chúng tôi sử dụng thuật toán
điều khiển vận tốc bệ Pan Tilt bám theo mục tiêu
dùng mạng nơ ron để nhận dạng các tham số bất
định, và dùng bộ lọc Kalman để ước lượng vận tốc
và vị trí của đặc trưng ảnh của mục tiêu. Với thuật
điều khiển này cánh tay robot điều khiển vận tốc
luôn bám sát mục tiêu khi nhận được tín hiệu ảnh
của mục tiêu trên mặt phẳng ảnh.
2. Xây dựng thuật toán điều khiển bám mục
tiêu di động
Mô tả phương trình tạo ảnh của camera
Ảnh của một điểm P (x,y,z) trong không gian được
ánh xạ vào mặt phẳng ảnh thu được điểm
i
P(u, v)
có toạ độ như sau Hình 2:


của camera và chuyển động của mục tiêu:







( ) ( , )
c w w
c o
t t t
0
e r e r r (3)
trong đó,
c
r
o
là vector vị trí và hướng của mục tiêu
nhìn trong khung toạ độ camera,
w
r
c
là vector vị trí
Tuyển tập công trình Hội nghị Cơ điện tử toàn quốc lần thứ 6 789
Mã bài: 167
và hướng của camera nhìn trong khung toạ độ bệ
Pan-Tilt và
w
r

w
r
c
, thành phần
/
w
o
w
o
t
t

  
 
r
e
e
r
được coi là thành phần đặc trưng
cho chuyển động của mục tiêu gây nên sự thay đổi
trên đặc trưng ảnh,
/
w
c c
t
  
Ω r
là thành phần
vận tốc của camra gắn trên bệ Pan-Tilt.
Mục đích điều khiển là đảm bảo nếu

 
e e

. Để hệ thống điều khiển ổn định theo hàm
mũ,
ee




( > 0), ta có thể chọn luật điều
khiển vận tốc của camera như sau:
c c
t

 

  

1 1
c
e
J e J
Ω
(6)
trong đó  gọi là hệ số suy giảm, thành phần
t/


e

tiêu. Phương pháp phổ biến là lọc Kalman hoặc lọc
Kalman mở rộng.
ˆ
c
Ω
là giá trị ước lượng của
c
Ω
thường được lấy từ giá trị đo tốc độ chuyển
động của camera gắn trên rô bốt.

3. Thuật điều khiển tốc độ bệ pan/tilt-camera
bám mục tiêu di động
Ta khảo sát cấu trúc bệ pan/tilt-camera được điều
khiển theo góc quay phương vị (pan) và góc tà (tilt)
như Hình 1. Thuật điều khiển tốc độ bệ bám mục
tiêu di động được xác định qua 2 bước. Bước 1 là
xác định tốc độ cần thiết cho các khớp Pan và tilt
và bước 2 là xác định mô men cho các khớp Pan và
Tilt bảo đảm tốc độ của các khớp bám sát tốc độ
cần thiết tính trong bước 1.
3.1 Xác định tốc độ cần thiết cho các khớp
Pan và Tilt bảo đảm sai lệch ảnh luôn
triệt tiêu
Hệ phương trình động lực học của bệ pan/tilt có
dạng [2]:





 

 
 
 
 

 

 
H q
h q,q
  

 



2220211
qcosqsinIIc 

trong đó q
1
, q
2
là các biến khớp theo trục quay pan
và tilt. I
1
, I
2


 
 
J
;







2
1
q
q



q
;
pan
tilt
w
w
 
 
 
 
 

 
 
J
(11)
trong đó
[ , ]
T
u v
ξ là toạ độ trọng tâm của đặc
trưng ảnh, f là tiêu cự của thấu kính camera. Để
camera luôn chiếu thẳng đến mục tiêu ta chon
*
ξ = 0
. Lúc này
*
e =
ξ -ξ = ξ
và
t t
 

 
e
ξ
. Lưu
ý là
[ , ]
T
u v
ξ



1 1
0 0 0
ˆ
d c

 
   q J J
ξ J J ξ J Ω


(13)
Như vậy (13) là vận tốc mong muốn của các khớp
của hệ robot-camera được xác định khi biết đặc
trưng ảnh
ξ
tại thời điểm hiện tại là đặc trưng ảnh
thu được, đặc trưng ảnh hoặc tốc độ của đặc trưng
ảnh tại thời điểm tiếp theo
ˆ
ξ

(có thể ước lượng
được), và tốc độ của các khớp robot đo được tại
thời điểm hiện tại
q

.
3.2 Xác định mô men cần thiết cho các khớp Pan

  
(16)
trong đó K là ma trận xác định dương và ký hiệu
d
ε = q -q
 
thì hệ kín (15) có dạng:
ε + Kε = 0

(17)
Như vậy hệ sai số
ε
sẽ triệt tiêu về 0 theo hàm số
mũ tức là tốc độ các khớp
q

sẽ bám theo tốc độ
d
q

(13) mong muốn. Điều này sẽ bảo đảm camera
bám mục tiêu với

Hình 3. Sơ đồ khối hệ điều khiển tốc độ bệ Pan/Tilt-camera.

sai lệch đặc trưng ảnh
.

e 0
Sơ đồ điều khiển

 
f = H(q)q + h(q,q)
 

(20)
Ta chọn mô men
τ
điều khiển các khớp rô bốt
như sau:

0 1
τ τ + τ
(21)
)

0 d d
τ H(q)(q -K(q - q )+ h(q,q)
 
   
(22)
trong đó
d
 
ε q q
 

; K là một ma trận đối xứng
xác định dương,
1
τ

'
f
và xác định tín hiệu
điều khiển
1
τ
sao cho hệ (26) ổn định tiệm cận.
Cấu trúc của mạng nơron RBF nhân tạo để xấp
xỉ các thành phần bất định
f'
của hệ robot-
camera phụ thuộc vào sai lệch vị trí của các khớp
ε
có thể chọn như Hình 4. Mạng nơron xấp xỉ
hàm
( )

f
εlà mạng RBF 3 lớp. Ở đây ta chọn
lớp đầu vào của mạng nơ ron là n=2 thành phần
của sai lệch tốc độ
ε
. Lớp ra có n=2 nơ ron
tuyến tính. Lớp ẩn là các nơron có hàm phân bố
Gauss dạng:




f (
ε)
. Đầu vào
của mạng nơ ron là sai lệch
ε
.

Hình 4: Mạng RBF xấp xỉ hàm

f

Theo định lý Stone-Weierstrass, mạng RBF có
cấu trúc trên có thể xấp xỉ thành phần bất định
2
R


f
mô tả bằng phương trình sau:
ˆ
f = W
σ +β = f + β

(28)
ˆ
f = W
σ
(29)
trong đó: W là ma trận trọng số của mạng được

1
 
 

 
 
ε
τ = H ( )Wσ -
ε

(31)


 
T
W
εσ


(32)
trong đó các tham số tự chọn K là ma trận đối
xứng xác định dương
T
K = K > 0
, các hệ số
, 0
 

.
Cấu trúc của hệ điều khiển có thể mô tả theo sơ


 
 
 
 

T T
ε ε w w

(33)
Trong đố
i
w
là véc tơ cột thứ i của ma trận trọng
W. Ta có V > 0 khi

i
ε,w 0
; V = 0 khi và chỉ
khi

i
ε,w 0
i=1,2;
V
 
khi
 
i
ε,w .

1i
V

 
   

T T
ε Kε ε τ -f w w


(36)
Với thuật học on-line (32) ta có
i i
 
 
w s

; i
= 1, 2;
i
w
là cột i của ma trận W (37)
ta có thể xác định được:
2 2
T T
i i i
1 1
2
T T
i i

T T
ε Kε ε τ Wσ β

(39)
Từ (24) và (31) ta có
(1 ) -
 

 
ε
τ Wσ
ε
;
0


(40)
Thay (40) vào (39) ta được:
0
( )
.
.
V


 
    
   
   
T T

T
ε Kε ε

(43)
Ta thấy
0
V


khi

ε 0
và
0
V


khi và chỉ khi

ε 0
.Theo nguyên lý ổn định Lyapunov ta có sai
lệch tốc độ

ε 0
và sai số đặc trưng ảnh cũng sẽ
triệt tiêu

e 0
. Như vậy hệ (23) là ổn định tiệm
cận và do đó ( )t 

1
(44)
Ở đây, (x
k
, y
k
) và (x
k+1
, y
k+1
) tương ứng là vector
trạng thái và vector đầu ra của hệ thống tại thời
điểm thứ k và k+1. Đối với bài toán ước lượng
trọng tâm ảnh, ta có:
T
kkkkk
vvuu ][


x ;
T
kkk
vu ][y (45)
Nhiễu quá trình 
k
là nhiễu thể hiện độ không
chính xác của mô hình và được giả thiết là nhiễu ồn
trắng và có giá trị kỳ vọng bằng 0, ma trận tương
quan Q đã biết, có thể coi 
k

001
T
T
A ;







0100
0001
C ; G = I
Thuật toán lọc Kalman:
Bước cập nhật trạng thái
1
1
ˆ ˆ
k k
T T
k k





 
x Ax
P AP A GQG

P P K CP

Khởi tạo ban đầu.


0 0
,
x x P


P là ma trận tương quan sai lệch, ban đầu P
0
chọn
là ma trận đơn vị, chỉ số “-“ xác định giá trị trước
thời điểm cập nhật. Đầu ra của bộ dự báo cho ta vị
trí và tốc độ của tâm điểm ảnh mục tiêu.
6. Kết quả mô phỏng hệ thống điều khiển
visual servoing trên Matlab

Hệ thống điều khiển camera được điều khiển để
bám theo đối tượng, đáp ứng được yêu cầu bám
mục tiêu khi có nhiều bất định trong hệ động lực
của bệ Pan/Tilt. Sai số của hệ có điều khiển khi
bám theo mục tiêu cho đặc trưng ảnh nằm ở chính
giữa ảnh đã đạt được độ chính xác cao.
 Kết quả mô phỏng.
Mục tiêu nằm tại vị trí (2000, -119, 165) mm theo
hệ toạ độ thực. Vị trí ban đầu các góc khớp là
(q
1

4
Do Thi van toc goc khop mong muon cua Pan-Tilt
Time (s)
Angular Velocity (rad/s)q
d
dot
1
q
d
dot
2

Hình 6.2 Đồ thị các vận tốc khớp mong muốn
0 1 2 3 4 5 6 7 8 9 10
-150
-100
-50
0
50
100
Time (s)
Mo men khop (N.m)Mo men khop Pan
Mo men khop Tilt


0.4
0.5
0.6
Time (s)
Joint Angle (rad)q
1
q
2

Hình 6.5 Đồ thị các góc khớp
0 1 2 3 4 5 6 7 8 9 10
-4
-3
-2
-1
0
1
Time (s)
Sai lech van toc khop Pan-Tilte
1
=q
1
-q
d1

Tutorial on Visual Servo Control. IEEE Trans.
Robot. Automat., 12(5): 651-670, Oct. 1996.
[4]. Armel Cretual, Francois Chaumette. Image-
Based Visual Servoing by Integration of Dynamic
Measurements. IEEE Int. Conf. Robot. Automat.,
Vol 3:1994-2001, May, 1998.
[5]. Peter I. Corke. Visual Control of Robot: High-
Performance Visual Servoing. Research Studies
Press Ltd, 1996.
[6]. Koichi Hashimoto. Observer-based visual
servoing. Okayama University, Japan.
[7]. J.A. Piepmeier, G.V. McMuray, H.Lipkin.
Tracking moving target with Model Independent
Visual Servoing: A predictive estimate Approach
Proceeding of the 1998 IEEE, Int. Conf. On
intelligent robot and system, Leuven, Begium,
1998.
[8]. Wen Yu, Marco A Moreno-Armendariz. Robust
visual servoing of Robot Manipulators with neuro
compensation. Journal of the Franklin institute.
[9]. Hyroiuki Ukida, Masayuki Kawanami, Yasuhiro
Terama. 3D object tracking by Pan-Tilt moving
camera and robot using sparse template matching
and particle filter. SICE annual conference
2011september 13-18, 2011, Waseda university,
Tokyo, Japan.
[10]. Tingting Wang, Guodong Liu, Wenfiang Xie,
member IEEE. Visual servoing control of video
tracking system for tracking a flying target. 2011
IEEE/ASME International conference on advance