1
Một sơ đồ điều khiển hệ thống Hand-eye Rô-bốt
bám mục tiêu di động sử dụng mạng nơ-ron

Bùi Trọng Tuyên Phạm Thượng Cát
Viện Vật Lý và Điện Tử Viện Công Nghệ Thông Tin
Email: Email: Tóm tắt:

Báo cáo trình bầy một ứng dụng mạng nơ ron trong điều khiển hệ thống bao gồm tay máy có gắn
camera (hand-eye robot) để quan sát và bám theo mục tiêu. Phương thức điều khiển dựa trên nguyên lý tuyến
tính hoá tín hiệu ảnh phản hồi. Mạng nơ ron được đưa vào nhằm giảm nhẹ tác động của những thành phần ngẫu
nhiên, cho phép sử dụng các tham số có độ chính xác hạn chế vào trong mô hình động học của hệ thống. Mạng
nơ ron được xem như là một yếu tố thích nghi bổ xung vào hệ thống điều khiển để tăng cường khả năng của
chúng.

A scheme based on ANN to control hand-eye robot
for tracking of moving objects.

An application of Neural Networks based visual servoing for hand-eye robot tracking target is
introduced in this paper. The used control method bases input-output feedback linearization technique. The
Neural Network is introduced to compensate model uncertainties of overall system. It suffers if the parameter
values are inaccurate in the model of dynamics, the presence of image distortions and time varying. Adding the
NN controller as adaptive item in the control system is one effective way to compensate for the ill effects of these
uncertainties and in fact it can in some cases be used for parameter estimation.

1. GIỚI THIỆU HỆ THỐNG HAND-EYE RÔ-
BÔT ĐƯỢC SỬ DỤNG.

tốc độ trong các hệ cơ khí (ví dụ 1000 Hz). Do vậy
việc kết hợp vòng điều khiển khớp riêng biệt với
vòng điều khiển sử dụng thị giác thành hệ điều
khiển phân cấp có các tốc độ lấy mẫu khác nhau.
Cấu trúc này cho phép là tăng độ chính xác của bộ
điều khiển và dễ dàng nâng cao được tốc độ đáp
ứng của hệ thống.

Hình 1: Sơ đồ khối hệ look-and-move image-based visual servoing
Control
Law
Feature’s
extraction
Camera
+
_
d
ξ
Joint
Controlle
r

based), được tính toán trên cơ sở sai lệch (e) của
đặc trưng ảnh hiện thời
ξ
nhận từ camera và đặc
trựng ảnh mong muốn
d
ξ
, thêm vào đó là các tín
hiệu phản hồi trạng thái của các biến trong của rô-
bốt
θθ
&
,
nhằm mục đích đưa camera về vi trí mà
tại đó hình ảnh thu nhận được về đối tượng tương
đương với hình ảnh mong muốn
.

1.1 Mô hình động lực học của Rô bốt
Động học của một Rô bốt có m khớp nối
được mô tả bằng một hệ phương trình vi phân như
sau:

),()(
θθθθτ
&&&
hH +=
(1)
Trong đó
T

là véc tơ đại diện cho lực
Coriolis, lực ly tâm và trọng lực phụ thuộc phi
tuyến vào góc
θ
vận tốc góc
θ
&
.
Đặt các biến trạng thái là vector góc
θ
và vector
vận tốc góc
θ
&
ta có phương trình trạng thái của rô-
bốt như sau:
τ
θ
θθθ
θ
θ
θ






+



1.2 Mô tả trạng thái của hệ thống điều khiển phi
tuyến cho hand-eye rô-bốt.
Trong bài báo này trình bày một hệ thống
điều khiển phi tuyến dựa trên cở sở tuyến tính hoá
các tín hiệu đặc trưng ảnh được phản hồi trực tiếp
từ đầu ra trở lại đầu vào, thêm vào đó việc bù trực
tiếp ảnh hưởng quá trình động học của rô-bốt cũng
được sử lý có hiệu quả bằng việc mở rộng thuật
toán tính mô men thực cho các khớp.
Hoạt động của hệ thống có thể hình dung
như sau: khi camera gắn trên tay Rô bốt hướng về
đối tượng và thu nhận được ảnh của đối tượng nếu
các khớp của Rô bốt thực hiện một phép quay
T
m
]...[
21
θθθθ
=
sẽ làm cho vị trí của vật trên ảnh
cũng bị thay đổi theo.
Giả thiết rằng ta đã xác định được ma trận
),(
θξ
J
và ma trận đó không bị suy biến (đủ hạng)
với một đối tượng không chuyển động. Trong
trường hợp đó đặc trưng ảnh của đối tượng chỉ còn
phụ thuộc vào các biến trong của rô-bốt .

hợp các phương trình (2), (4) và (5) ta nhận được
phương trình trạng thái và đầu ra của mô hình
camera gắn trên tay máy như sau:

τ
)()( xgxfx
+=
&
,
)(
d
Gz
ξξ
−=
(6)
với:








−
=
−
hH
f
1

&
&
GJz =
(8)
Để đơn giản đặt
θµ
&
J
def
=)(
)(
1
1
τθ
θ
µ
τ
θ
θ
µ
θ
µ
+−+
∂
∂
=


1.3 Mô hình hoá chuyển động của đối tượng và mô
tả trạng thái của hệ thống điều khiển phi tuyến cho
camera gắn trên tay máy trong trương hợp này.
Giả thiết rằng đối tượng chuyển động
trong không gian
0
m
chiều
6
0
≤m
và véc tơ
p

là véc tơ mô tả vị trí và hướng của đối tượng trong
không gian
0
m
Rp
∈
. Đồng thời cũng giả thiết
rằng vận tốc của vật được tính theo ma trận tham số
l chiều
)1(
0
m
<Ω
.
Mô hình chuyển động của vật trong không
gian thực được mô tả bởi phương trình sau:

∂
, mối quan hệ
giữa các đại lượng này như sau:

3
pLJ
∂+∂=∂
θξ
(11)
Trong đó,
J
là ma trận Jacobian của đặc
trưng ảnh và
L
là ma trận Jacobian của chuyển
động của đối tượng.

p
i
L
i
J
∂
∂
∂
∂
=
∂
∂
∂

θξξξ
(13)

Trong đó:



=
>
=
mnI
mnpJ
G
def
T
,
,),(
**
θ)(**)(
*)(**2
*)(**2
)(2
)(*
**
))(),((
1
2




∂
∂
=⇒
Ω






∂
∂
Ω
∂
∂
+
∂∂
∂
+
∂
∂
+
∂
∂
=



∂
∂
∂
∂
+






∂
∂
∂
∂
+






∂
∂
∂
∂
+




θ
θ
θθ
θ
θθ
θ
θ
θ
θ
θθ
θθ
θθ
ϕ
θ
θ
θ
NhGJHz
W
p
z
W
p
p
p
zz
gz
W
p
z
W

tptzz
i
TTTT
i
T
i
ii
i
TTTT
i
T
i
i
i
TTT
i
T
i
i
T
i
T
i
T
T
i
T
T
T
i

p
z
xmplxmpWmxn
z
T
i
T
i






∂
∂
∂
∂
⇒






∂
∂
==Ω
∂
∂

λ
.
.
.
1
,
















=
m
N
N
N
.
.
.

θλ
&&
2
2
∂
∂
=
i
T
def
i
z

W
p
z
N
i
T
def
i
θ
θ
∂∂
∂
=
2
2
&


ll
def
liilii
def
i
]......[)(
]......[
2
2
21
2
1
221111
ΩΩΩΩΩΩ=Ω
ΦΦΦΦ=Φ
κViết lại phương trình (9) theo dạng

hNzGJH +ΩΦ−Ω−−=
−
))(()(
1
κλτ
&&
(14)

Hay
γτ

&
−−=
ω
(17)
Ta có được sơ đồ điều khiển như trong hình 2, các
ma trận
dp
KK
,
chọn là các ma trận hệ số xác
định dương.
Hình 2: Sơ đồ hệ thống điều khiển hand-eye rôbốt
K

Kd

)(tz
)(tz
&
)(t
ξ
J, L

G

d
ξ

)(t
ξ
G4

2. THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN SỬ
DỤNG MẠNG NƠ RON.
Điều khiển robot bằng phương pháp tính
mô men được ứng dụng rộng rãi, trong các hệ thống
điều khiển đó đòi hỏi các thông số của hệ động học
cần được xác định chính xác, trong các trường hợp
mà các thông số của hệ thống xác định được không
đảm bảo đủ độ chính xác cần thiết (hầu hết các hệ
thống trong thực tế đều rơi vào trường hợp này) thì
phương pháp trên tỏ ra thiếu tính hiệu quả.


,
γ
được xác định
theo công thức (16). Tuy nhiên trong quá trình tính
toán
Ψ
,
γ
theo công thức (16) phải sử dụng các
giá trị gần đúng
)(
ˆ
θ
H
và
),(
ˆ
θθ
&
h
để thay thế
cho
)(
θ
H
và
),(
θθ
&
h

=
Ψ
ω
+
γ
(18)
thay (17) vào (18) ta có
τ
=
γ
ˆ
)(
ˆ
+−−Ψ
zKzK
dp
&
(19)
mặt khác phương trình (15) mô tả trạng thái của hệ
thống có thể được viết lại ta nhận đươc (20)

=+Ψ=
γτ
z
&&
γγ
ˆ
)
ˆ
(

pd
&&&&&
(21)
)(
ˆ
zKzKzz
pd
++Ψ=∆+∆Ψ
&&&&&
γ

Trong trường hợp xác định được chính xác các
tham số của hệ thống nghĩa là
0=∆Ψ
và
0
=∆
γ

0
=++
zKzKz
pd
&&&
(22)

Như vậy sẽ đảm bảo cho hệ thống ổn định tại điểm
)0,0(),(
=
zz

T∆
) là chu kỳ lấy mẫu của
thông tin ảnh hồi tiếp. Các nơ-ron ở lớp ẩn có hàm
kích hoạt là “sigmoid” (sigmoid activated function).
Đầu ra của mạng
T
m
]...[
21
φφφφ
=
có số nơ ron
tương ứng số khớp nối của robot và hàm kích hoạt
là tuyến tính.
Sau khi đã bổ xung mạng nơ ron thì mô men tại các
khớp nối được tính như sau:

)(
t
new
τ
=
Ψ
(
θ
) (
ω
+
φ
) +

+
+
φ
)(
t
ω
-
-
+
-
+
+
+
+
τ
+
)(tz
)(tz
&
)(t
ξ
G

G

d
ξ
)(
t
ξ

Giá trị lý tưởng của
φ
là tại
ν
= 0 và là:

φ
=
Ψ
-1
(
∆ Ψ
θ
&&
+
∆
ψ
).
Để chứng minh cho nhận xét trên, quá trình huấn
luyên mạng là nhằm tối thiểu hóa hàm sai số
ν
,
đặt hàm mục tiêu
EvvE
T
2
1

∂
−=
∂
∂
φ
. Thuật học
lan truyền ngược (back-propagation) được sử dụng
để cập nhật các giá trị trọng mới, thuật học được cải
tiến bằng việc bổ xung thêm một thành phần gọi là
momentum được dẫn ra trong công thức (27).

)1()( −∆+
∂
∂
−=∆ twv
w
tw
T
α
φ
η
(27)
Với
η
là tốc độ cập nhật trọng và
α
là hệ số của
thành phần momentum.
z
2
(t)
z
n
(t)
z
1
(t-1)
z
2
(t-1)
z
n
(t-1)
z
1
(t-2)
z
2
(t-2)
z
1
(t)
z
n
(t-2)
km
w
nk