ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

ĐINH THỊ HỒNG GẤM
CHUYỂN VỀ MÔ HÌNH RỜI RẠC
MỘT LOẠI BÀI TOÁN ĐIỀU KHIỂN
NGẪU NHIÊN TỔNG HỢP VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC

HÀ NỘI – 2011

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

1.2.1 Khái niệm về bài toán điều khiển tối ưu với tham số ngẫu nhiên 13
1.2.2 Sơ lược về một vài phương pháp số giải bài toán điều khiển tối ưu 16
1.3 Mô hình dò tìm hỗn hợp giải bài toán quy hoạch ngẫu nhiên . . . . . . 23
2 Tham số hóa hàm điều khiển để giải trực tiếp một loại bài toán điều
khiển ngẫu nhiên tổng hợp 25
2.1 Đặt vấn đề . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2 Thiết lập bài toán điều khiển tổng quát . . . . . . . . . . . . . . . . . . 28
2.3 Thiết lập điều khiển chấp nhận được . . . . . . . . . . . . . . . . . . . 33
2.4 Tham số hóa biến điều khiển theo chương trình . . . . . . . . . . . . . 37
2.5 Xác định bộ tham số điều khiển ε− tối ưu bằng mô hình dò tìm ngẫu
nhiên hỗn hợp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3 Ứng dụng vào việc giảm thiểu thiên tai lũ lụt cho Đồng bằng Bắc Bộ 56
3.1 Bài toán giảm thiểu thiên tai lũ lụt bằng hệ thống thủy điện bậc thang 56
3.2 Thiết lập bài toán quy hoạch ngẫu nhiên . . . . . . . . . . . . . . . . . 61
1
3.3 Mô phỏng độ rủi ro lũ lụt của mỗi quy trình điều tiết hợp lý khả thi . . 64
KẾT LUẬN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
TÀI LIỆU THAM KHẢO . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
2
MỞ ĐẦU
Trong số "4 biển" thì Thái Bình Dương là biển lớn nhất. Vì thế nên phía Tây Nam
của biển này, nghĩa là vùng Đông Nam Á (chứa lãnh thổ nước ta) vẫn được mệnh danh
là "rốn bão của thế giới". Đây là lý do làm cho thiên tai lũ lụt và kéo theo nó là hạn
hán ở nước ta nhiều hơn so với các nước khác trên thế giới. Trong tình hình biến đổi
khí hậu và môi trường hiện nay, thiên tai nói trên ngày càng nhiều trầm trọng. Lũ lụt
ở miền Trung (cuối năm 2010) và hạn hán ở đồng bằng Bắc Bộ (đầu năm 2011) là
những dấu hiệu mở đầu thời kỳ này.
Nhằm hạn chế lũ lụt-hạn hán, bài toán thủy điện đa tiêu chí (TĐĐTC) đã ra đời
(trong những năm 1986-1987) từ việc xây dựng quy trình vận hành (QTVH) hợp lý
khả thi (HLKT) ở nhà máy thủy điện (NMTĐ) Hòa Bình [16], trong đó lấy nhiệm vụ

sóng vỡ đập về tàn phá vùng đồng bằng Bắc Bộ). Để đổi lại thiệt hại trên, QTVH này
đưa đến một dung tích phòng lũ TB là 14,06 tỷ m
3
(tăng hơn 2 lần khả năng phòng
lũ, so với yêu cầu 7 tỷ m
3
của thiết kế); sản lượng điện TB là 24,09 tỷ Kwh (tăng 1,12
lần phát điện, so với yêu cầu 21,5 tỷ Kwh của thiết kế); dung tích chống hạn TB là
2,036 tỷ m
3
(trong Dự án thiết kế chưa có cơ sở để xác định tiêu chí này).
Thực tiễn tính toán của VSAM 5 còn chỉ ra rằng QTVH ít rủi ro lũ lụt nhất nói
trên cũng là quy trình cho dung tích phòng lũ tương đối cao nhất (trong số 200 QTVH
HLKT khác nhau của HTTĐ 3-bậc thang trên sông Đà được đem ra so sánh một cách
ngẫu nhiên). Về mặt định tính, ta có thể lý giải điều trên như sau: dung tích phòng lũ
trong mỗi hồ chứa càng lớn, thì khả năng vỡ đập do lũ lụt tương ứng càng ít và kéo
theo là khả năng xuất hiện thảm họa lũ lụt (vỡ đập do lũ lụt ở hạ nguồn của HTTĐ
bậc thang) càng ít. Trong trường hợp HTTĐ chỉ có 1 bậc thang, thì hiện tượng vỡ đập
bởi nguyên nhân lũ lụt đồng nghĩa với sự xuất hiện của thảm họa lũ lụt ở hạ nguồn
và do đó QTVH ít rủi ro lũ lụt nhất cũng là quy trình có dung tích phòng lũ TB lớn
nhất (giảm nhiều nhất thiên tai lũ lụt).
Với ý nghĩa trên đây, ta có thể xem bài toán giảm thiểu độ rủi ro lũ lụt cho 1 HTTĐ
n-bậc thang [14] như là bài toán Giảm thiểu thiên tai lũ lụt bằng một HTTĐ bậc thang
cho hạ du của hệ thống này, trong đó mục tiêu cần giảm thiểu tuy vẫn là độ rủi ro lũ
lụt nhưng hàm ý làm cực đai dung tích phòng lũ có thể, theo nghĩa: tạo ra khả năng
tồn tại cao nhất của các đập thủy điện trong hệ thống (ứng với xác suất xuất hiện
thảm họa lũ lụt bé nhất), để cho HTTĐ này vững vàng đảm nhận trọng trách chứa
được (trong dung tích phòng lũ nói trên) 1 lượng nước lũ cao nhất có thể tràn về trong
4
mùa lũ chính vụ. Sẽ là không cần thiết và vô nghĩa, nếu ta chuyển mục tiêu của bài

hiệu là  · 
X
.
Định nghĩa 1.1.1 : Ánh xạ f : [t
o
, T ] → X gọi là liên tục tại t ∈ [t
o
, T ] nếu:
lim
∆t→0
f(t + ∆t) − f(t)
X
= 0 ( với : t + ∆t ∈ [t
o
, T ]). (1.1.1)
Nếu f liên tục tại mọi điểm t ∈ (t
o
, T ) và liên tục trái tại t
o
, liên tục phải tại T thì
ánh xạ f gọi là liên tục trên [t
o
, T ]. Ta ký hiệu B-không gian của những ánh xạ liên
tục trên [t
o
, T ] (xem [30] tr.40-41) là : C([t
o
, T ]; X) = C(t
o
, T ; X), trong đó chuẩn của

, T ] → X, sao cho
∀∆t : t + ∆t ∈ [t
o
, T ] ta có:



f(t + ∆t) − f(t) −
˙
f(t)∆t



X
= o(∆t) =⇒
˙
f(t) = lim
∆t→0
f(t + ∆t) − f(t)
∆t
∈ X. (1.1.3)
6
Khi đó toán tử tuyến tính
˙
f(t) được gọi là đạo hàm mạnh (Frechet) của f tại t.
Trong trường hợp toán tử đạo hàm
˙
f : [t
o
, T ] → X là liên tục tại t ∈ [t

C
1
=


f


C
1
(t
o
,T ;X)
:= max
t
o
≤t≤T

f(t)
X
, 
˙
f(t)
X

(∀f ∈ C
1
([t
o
, T ]; X)). (1.1.4)

, |∆
i
| := t
i+1
− t
i
(∀i = 0 ÷ n − 1).
Ứng với dãy điểm và phân hoạch nói trên, ta lập tổng Rieman σ

{(t
i
, τ
i
)}
n
i=0

:=

n−1
i=0
f(τ
i
).|∆
i
|. Khi max
o≤i≤n−1
{|∆
i
|} → 0, nếu tổng Rieman nói trên có giới hạn

o≤i≤n−1
{|∆
i
|}. (1.1.5)
Định lý 1.1.1 : (xem [25] tr.458-459) Nếu ánh xạ f : [t
o
, T ] → X khả vi (Frechet) liên
tục trên [t
1
, t
2
] ⊂ [t
o
, T ], thì nó cũng khả tích trên [t
1
, t
2
] và ta có công thức Neuton -
Leibnitz sau:

t
2
t
1
˙
f(t)dt = f(t
2
) − f(t
1
) ∈ X. (1.1.6)



U
|g(u)|
p
µ(du)

1
p
< +∞

(p ≥ 1),
(1.1.8)
7
L
∞
(U) = L
∞
(U, Σ
U
, µ) :=

g : g
L
∞
(U)
:= inf
{N: µ(N)=0}
sup
u∈U\N

(Ω). Khi ξ ∈ L
1
(Ω), đlnn ξ
gọi là có kỳ vọng hữu hạn với kỳ vọng được ký hiệu là:
E{ξ} = E
w
{ξ(ω)} :=

Ω
ξ(ω)P (dω) ⇒ |E{ξ}| ≤ E{|ξ|} := ξ
L
1
(Ω)
. (1.1.11)
Định nghĩa 1.1.5: (xem [13] tr.236-237) Ta gọi:
L
2
(Ω) = L
2
(Ω, Σ, P ) =

ξ : Ω → R
1
| E{ξ
2
} =

Ω
ξ
2

2
n×m
:= L
2
n×m
(Ω) =

ξ = (ξ
ij
)
n×m
: Ω → R
n×m
| ξ
ij
∈ L
2
(Ω) (∀i = 1 ÷ n, j = 1 ÷ m)

(1.1.13)
8
là không gian Hilbert của các biến (ma trận) ngẫu nhiên (n × m)-chiều có moment bậc
2 hữu hạn, trong đó tích vô hướng và chuẩn được xác định dưới dạng:
(ξ, η)
L
2
n×m
:=
n


∀ξ = (ξ
ij
)
n×m
, η = (η
ij
)
n×m
∈ L
2
n×m
(Ω)

. (1.1.13*)
Trường hợp m = 1, ta gọi L
2
n×1
= L
2
n
(Ω) là không gian Hilbert các biến (vec tơ) ngẫu
nhiên n-chiều.
Định nghĩa 1.1.6: (xem [13] tr.237) Ánh xạ (1.1.7) với U = Ω, X = L
2
(Ω) được gọi
là quá trình (hàm) ngẫu nhiên Hilbert (qtnn H) xác định trên không gian xác suất
(Ω, Σ, P ) và được ký hiệu là

ξ(t) = f (t; .), t
o

ξ(t) =

f
ij
(t; ·)

n×m
, t
o
≤ t ≤ T

, trong đó trạng thái của quá trình tại
thời điểm t là biến (ma trận) ngẫu nhiên ξ(t) =

f
ij
(t; ·)

n×m
∈ L
2
n×m
(Ω), không gian
trạng thái là L
2
n×m
(Ω), không gian các tham số là [t
o
, T ].
Chú ý 1.1.2 : Khi m=1, qtnn nói trong định nghĩa trên trở thành qtnn H n-chiều

(∀(t, ω) ∈ [t
o
, T ] × Ω),
f
i
(t; ·) ∈ L
2
(Ω) (∀t ∈ [t
o
, T ], i = 1 ÷ n). (1.1.14)
Khi đó ta thu được các mệnh đề dưới đây, như là những trường hợp đặc biệt của các
mệnh đề trong Tiểu mục 1.1.1.
Định nghĩa 1.1.7: (xem [13] tr.237-238) qtnn H n-chiều {ξ(t) =

f
1
(t; ·), , f
n
(t; ·)


, t
o
≤
1
Chuyển vị của vec tơ hàng (f
1
, , f
n
) được ký hiệu là (f

(t) := f
i
(t; ·) ∈ L
2
(Ω) (∀i = 1 ÷ n). (1.1.15)
Định nghĩa 1.1.8: (xem [13] tr.239) qtnn H n-chiều {ξ(t) =

f
1
(t; ·), , f
n
(t; ·)


, t
o
≤
t ≤ T } được gọi là khả vi TBP tại t ∈ [t
o
, T ], nếu ánh xạ (1.1.14) khả vi (Frechet) tại
t (theo Định nghĩa 1.1.2):
n

i=1
E
ω



f

2
(Ω) (∀i = 1 ÷ n), (1.1.16)
trong đó đạo hàm Frechet
˙
ξ(t) =
˙
f(t; ·) :=

˙
f
1
(t; ·), ,
˙
f
n
(t; ·)


∈ L
2
n
(Ω) gọi là đạo hàm
TBP tại t của qtnn H n-chiều {ξ(t) =

f
1
(t; ·), , f
n
(t; ·)


f
1
(t; ·)dt, ,

T
t
o
f
n
(t; ·)dt


∈ L
2
n
(Ω). (1.1.17)
Định lý 1.1.2 : (xem [25] tr.244) Nếu qtnn H n-chiều {ξ(t) =

f
1
(t; ·), , f
n
(t; ·)


, t
o
≤
t ≤ T } khả vi liên tục TBP trên [t
1

f
i
(t; ω) ≡ f
i
(t) ∈ R
1
(∀t ∈ [t
o
, T ], ω ∈ Ω, i = 1 ÷ n)
(không phụ thuộc vào biến cố sơ cấp ω ∈ Ω), thì qtnn H n-chiều trong Chú ý 1.1.2
được tất định hóa và trở thành "quá trình (hàm) tất định" thông thường

ξ(t) =

f
1
(t), , f
n
(t)


, t
o
≤ t ≤ T

với "không gian trạng thái" (miền giá trị) là R
n
. Khi
đó, các khái niệm "liên tục TBP" (Định nghĩa 1.1.7) và "đạo hàm TBP" (Định nghĩa
10

, T ] → X là nghiệm (cần tìm) với đạo hàm Frechet của nó tại
t là ˙z(t) ∈ X; ánh xạ (đã cho) g : [t
o
, T ] × X → X là liên tục và thỏa mãn điều kiện
Liptschitz, với sự tồn tại hằng số C>0 để cho:
g(t, x

) − g(t, x”)
X
≤ Cx

− x”
X
(∀x

, x” ∈ X, t ∈ [t
o
, T ]). (1.1.20)
Định lý 1.1.3 : (xem [30] tr.179-180) Với sự thỏa mãn điều kiện (1.1.20) của ánh xạ
liên tục g, phương trình vi phân (1.1.19) luôn tồn tại duy nhất nghiệm z ∈ C
1

[t
o
, T ]; X

.
Chú ý 1.1.4 : Ta có thể tích phân phương trình vi phân (1.1.19), nghĩa là sử dụng
công thức Neuton-Leibnitz (1.1.6) để biến phương trình này thành phương trình tích
phân tương đương:

z
1
(t; ·), , z
n
(t; ·)


, t
o
≤ t ≤ T

của nó là một qtnn H n-chiều, ˙z(t) là
đạo hàm TBP của quá trình này tại t, ảnh của ánh xạ (đã cho) g : [t
o
, T ] × L
2
n
(Ω) →
11
L
2
n
(Ω) và mỗi thành phần của vec tơ ngẫu nhiên (đã cho) z
o
:= (z
01
, , z
on
)


(1.1.19) trong không gian Hilbert X = L
2
n
(Ω) luôn tồn tại duy nhất nghiệm z ∈
C
1

[t
o
, T ]; L
2
n
(Ω)

.
Trường hợp phương trình vi phân (phi tuyến) (1.1.19) trong B-không gian X trở
thành phương trình vi phân tuyến tính:
˙z(t) = A(t).z(t) + g(t) (t
o
< t ≤ T ) , z(t
o
) = z
o
(đã cho) ∈ X, (1.1.23)
ta có thể thay giả thiết (1.1.20) bởi các giả thiết yếu hơn sau đây:
g ∈ C([t
o
, T ]; X) ; lim
∆t→0
|A(t + ∆t) − A(t)| = 0

1
(t; ·), , g
n
(t; ·)


, t
o
≤ t ≤ T

là đã cho
cùng với qtnn H (n × n)-chiều

A(t) =

a
ij
(t; ·)

n×n
, t
o
≤ t ≤ T

và giả thiết (1.1.24)
có dạng:
g ∈ C([t
o
, T ]; L
2

, T ];
L
2
n
(Ω)

.
Cuối cùng, từ Chú ý 1.1.3 ta nhận thấy rằng: phương trình vi phân ngẫu nhiên
tuyến tính nói trên là sự mở rộng trực tiếp của hệ n phương trình vi phân tuyến tính
(1.1.23) vói X = R
n
(theo nghĩa tất định thông thường). Khi đó với sự thay thế tính
liên tục TBP trong giả thiết (1.2.25) bởi tính liên tục từng khúc trên [t
o
, T ], ta thu
được mệnh đề quen thuộc dưới đây (như là hệ quả của Hệ quả 1.1.1):
Hệ quả 1.1.2 : (xem [12] tr.56) Nếu các hàm A : [t
o
, T ] → R
n×n
, g : [t
o
, T ] → R
n
liên
tục từng khúc trên [t
o
, T ], thì phương trình vi phân (tất định) (1.1.23) (với X = R
n
)

t, z(t), x(t)

(t
o
< t ≤ T ) , z(t
o
) = z
o
(đã cho) ∈ L
2
n
(Ω), (1.2.2)
x(t) ∈ X(t) ⊂ L
2
m
(Ω) (t
o
≤ t ≤ T ), (1.2.3)
z(t) ∈ Z(t) ⊂ L
2
n
(Ω) (t
o
≤ t ≤ T ), (1.2.4)

x(t), z(t)

∈ Y (t) ⊂ L
2
m

1
(t; ·), , z
n
(t; ·)


∈ L
2
n
(Ω), t
o
≤
2
Cần phân biệt lối nói tắt này với bài toán kinh điển về "điều khiển tối ưu ngẫu nhiên " (stochastic
optimal control) [12], [2], trong đó phương trình vi phân ngẫu nhiên hiểu theo nghĩa Ito.
13
t ≤ T

; hệ động lực (với tham số) ngẫu nhiên là PTVPNN (1.2.2) trong không gian
L
2
n
(Ω) với ˙z(t) ∈ L
2
n
(Ω) là đạo hàm TBP của biến trạng thái tại t. Điều kiện (1.2.3) gọi
là ràng buộc về biến điều khiển, điều kiện (1.2.4) gọi là ràng buộc về biến trạng thái,
điều kiện (1.2.5) gọi là ràng buộc hỗn hợp giữa biến điều khiển và trạng thái. Các ánh
xạ (đã cho) g, f
o

, T ; Ω) → L
1
(Ω),
với : L
p
k
(t
o
, T ; Ω) :=

y : [t
o
, T ] → L
2
k
(Ω)


y
p
L
p
k
:=

T
t
o
y(t)
p

, T ; Ω

là không gian Hilbert (xem [13] tr.241-243) của những qtnn H
m-chiều bình phương khả tích trên [t
o
, T ] (theo Định nghĩa 1.1.9)) với tích vô hướng và
chuẩn có dạng:





< x, y >
L
2
m
:=

m
i=1

T
t
o
E
ω
{x
i
(t; ω).y
i

1
, , y
m
)

∈ L
2
m

t
o
, T ; Ω

:= L
2

[t
o
, T ]; L
2
m
(Ω)

.
(1.2.6*)
Chú ý 1.2.1 : Ta cũng có thể phát biểu bài toán ĐKNN (1.2.1)-(1.2.5) với t
o
, z
o
, T

m
(Ω)

,
(1.2.7)
- Hệ động lực (1.2.2) gọi là điều khiển được bởi lớp hàm này, nếu với mọi điều khiển
x ∈ X
o
PTVPNN (1.2.2) trong L
2
n
(Ω) có nghiệm duy nhất thuộc lớp L
1
n
(t
o
, T ; Ω) =
L
1

[t
o
, T ]; L
2
n
(Ω)

.
- Nếu hệ động lực (1.2.2) là điều khiển được bởi lớp hàm X
o


t, z(t)

(phụ thuộc vào trạng thái z(t)) với hệ động lực
(1.2.2) và lớp hàm điều khiển (1.2.7) lần lượt có dạng:





˙z(t) = g

t, z(t), x

t, z(t)

(t
o
< t ≤ T ) , z(t
o
) = z
o
(đã cho) ∈ L
2
n
(Ω),
X
o
(t
o

o
, T ; L
2
m
(Ω)) thì lớp hàm này cũng gọi là tập
hợp các điều khiển CNĐ của bài toán (1.2.1)-(1.2.3): X = X(t
o
, T ; L
2
m
(Ω)) ≡ X
o
(xem
[2] tr.230).
Định nghĩa 1.2.2 : Điều khiển CNĐ x
∗
∈ X(t
o
, T ; L
2
m
(Ω)) gọi là tối ưu, nếu:
J
G
(x
∗
) ≤ J
G
(x) (∀x ∈ X(t
o

1

z(T )

, f
o
1
: L
2
n
(Ω) → L
1
(Ω),
J
G
(x) = J
L
(x) :=

T
t
o
E

f
o
2

t, z(t), x(t)


o
E

f
o
2

t, z(t), x(t)

dt.
(1.2.10)
Chú ý 1.2.3 : Tương tự như trong trường hợp tất định (xem [12] tr.40-41), ta có thể
chỉ ra rằng: 3 dạng trên đây của bài toán ĐKNN là tương đương, theo nghĩa: từ dạng
này có thể chuyển sang dạng kia.
15
Chú ý 1.2.4 : Từ Chú ý 1.1.3 ta dễ dàng nhận thấy rằng: Nếu xét trường hợp đặc
biệt của bài toán ĐKNN (1.2.1)-(1.2.5) với các không gian L
2
m
(Ω), L
2
n
(Ω) được lần lượt
thay bởi R
m
, R
n
thì biến điều khiển

x(t) =

≤ t ≤ T

trở thành các quá trình tất
định. Khi đó bài toán (1.2.1)-(1.2.5) trở thành bài toán điều khiển tối ưu (tất định):
J
G
(x) := f
o
(z, x) → inf, (1.2.11)
˙z(t) = g

t, z(t), x(t)

(t
o
< t ≤ T ) , z(t
o
) = z
o
(đã cho) ∈ R
n
, (1.2.12)
x(t) ∈ X(t) ⊂ R
m
(t
o
≤ t ≤ T ), (1.2.13)
z(t) ∈ Z(t) ⊂ R
n
(t


×L
2
([t
o
, T ]; R
m
) → R
1
, (1.2.16)













L
2
m
= L
2
([t
o

L
2
m
:=

m
i=1

T
t
o
x
i
(t).y
i
(t)dt, x
L
2
m
:=

m
i=1

T
t
o
x
2
i

([t
o
, T ]; R
m
) :=

x ∈ L
2

[t
o
, T ]; R
m

: thỏa mãn (1.2.13)

⊂ L
2
([t
o
, T ]; R
m
),
X = X

[t
o
, T ]; R
m


m
(∀t ∈ [t
o
, T ]) và là một tập hợp lồi, đóng. Cụ thể là
bài toán:





J
B
(x) := f
o
1

z(T )

+

T
t
o
f
o
2

t, z(t), x(t)

dt → inf, x(t) ∈ X(∀t ∈ [t















F : [t
o
, T ] → R
n×n
, G : [t
o
, T ] → R
n×m
, F(t) ≤ c, G(t) ≤ c

(∀t ∈ [t
o
, T ]),
f ∈ L
2



∂f
o
2
(t,z,x)
∂z



≤ c
1

z + x + f
1
(t)

,



∂f
o
2
(t,z,x)
∂x



≤ c
2

, T ]; R
m

là tối ưu khi và chỉ khi nó thỏa mãn "nguyên lý cực đại"
(một cách hầu khắp nơi - a.e theo thời gian) sau đây:
H

t, z
∗
(t), x
∗
(t), p(t)

= max
u∈X

H

t, z
∗
(t), u, p(t)

∀t ∈ [t
o
, T ](a.e)

, (1.2.19)
trong đó

z

∗
(t),x
∗
(t)

∂z
1
, ,
∂f
o
2

t,z
∗
(t),x
∗
(t)

∂z
n


(t
o
≤ t < T ),
p(T ) = −

∂f
o
1

o
2
(t, z, x) +

p, F (t)z + G(t)x + f(t)

(∀t ∈ [t
o
, T ], z, p ∈ R
n
, x ∈ R
m
).
(1.2.21)
Để thiết lập hàm Hamilton trong nguyên lý cực đại (1.2.19), ta cần giải (đồng thời)
PTVP (1.2.20) (với biên kiện cho tại t=T) và PTVP trong (1.2.18) (với biên kiện
cho tại t = t
o
), nghĩa là việc tìm nghiệm

z(t), p(t)

(t
o
≤ t ≤ T ) của hệ 2 phương
trình nói trên đưa đến 1 bài toán giá trị biên 2 điểm. Các kỹ thuật Newton - Raphson
(Quasilinearization technique [2] tr.188-189) và bắn (Shooting method [2] tr.187-188)
của giải tích số có thể thực hiện điều trên một cách gần đúng. Nhằm hữu hạn hóa
số (không đếm được) các bài toán quy hoạch cần giải trong (1.2.19), ta có thể chọn
X(t

m
) (trạng thái z ∈ L
1
(t
o
, T ; R
n
) tương ứng
thỏa mãn các điều kiện L
j
(z(t), t) < 0 (∀j, t)), ta nhận thấy rằng nguyên lý cực đại ( [2]
tr.255) đưa đến 2 bài toán quy hoạch gắn với sự tồn tại hàm π(t) có biến phân giới nội
và hệ hàm

λ
j
(t)

k
j=1
không giảm, liên tục phải sao cho λ
j
(0) = 0 (j = 1 ÷ k). Trong
trường hợp đơn giản hơn ( [2] tr.255): điều kiện ràng buộc biến trạng thái (1.2.14) chỉ
đặt tại thời điểm cuối T với Z(T) :=

z ∈ R
n
: L
j

2
(t, z, x), F (t), G(t), f(t) xác định bởi các ma trận đối xứng), tuy nguyên lý cực
đại có đưa ra biểu thức giải tích (hiển) của điều khiển tối ưu ( [2] tr.260) nhưng lại
liên quan đến việc giải phương trình vi phân ma trận Riccarti. Đây cũng không phải
là những công việc đơn giản về mặt toán học tính toán.
Khi vượt ra ngoài khuôn khổ của những bài toán điều khiển lồi nói trên, nguyên lý
cực đại (trong dạng điều kiện cần của điều khiển "tối ưu") cũng đã được phát biểu
([2] tr.231-232) cho bài toán (1.2.11)-(1.2.13) (không có các ràng buộc (1.2.4)-(1.2.15)),
trong đó hàm mục tiêu có dạng Mayer (J
G
(x) = J
M
(x)) và X(t
o
, T ; R
m
) là lớp những
hàm liên tục từng khúc. Tuy nhiên, do bài toán điều khiển (theo chương trình) này
không có tính lồi và do nguyên lý nói trên chỉ là điều kiện cần nên khái niệm "tối ưu"
nói trên chỉ được hiểu theo nghĩa địa phương (không phải là tối ưu toàn cục). Ngoài
ra, do bài toán quy hoạch trong nguyên lý cực đại nói chung không có dạng của bài
toán quy hoạch lồi nên phải dùng đến phương pháp Monte Carlo ( [20] tr.271-309) để
giải nó.
2 - Phương pháp ẩn : Bây giờ ta xét bài toán điều khiển tổng hợp có dạng (1.2.11)-
(1.2.14) sau:






o
(đã cho) ∈ R
n
, trong đó :
X
o
(t
o
, T ; R
m
) :=

x : [t
o
, T ] × Z → X ⊂ R
m


liên tục từng khúc trên [t
o
, T ]

,
(1.2.22)
X(t
o
, T ; R
m
) :=


∀θ ∈ [t
o
, T ], y ∈ Z, x ∈ Y(θ, y)

,
(1.2.23)
trong đó: Y(θ, y) :=

x ∈ X
o
(θ, T ; R
m
) : z(t) ∈ Z (θ ≤ t ≤ T )

là tập hợp các điều
khiển CNĐ của hệ động lực (1.2.23) với X
o
(θ, T ; R
m
) là thu hẹp trên [θ, T ] của lớp hàm
X
o
(t
o
, T ; R
m
).
19
Gọi V : [t
o

∗
) (θ ≤ t ≤ T) là trạng thái ứng với điều khiển tối ưu
x
∗
∈ X(t
o
, T ; R
m
) của bài toán (1.2.22). Khi đó ta có (xem [12] tr.117) phương trình
quy hoạch động sau:
∂V (θ, y)
∂θ
= − min
u∈X

∂V (θ, y)
∂y
, g(θ, y, u)

(∀(θ, y) ∈ [t
o
, T ]×Z), V (T, y) = f
o
1
(y) (∀y ∈ Z).
(1.2.25)
Định lý 1.2.2 : ( [12] tr.115-122) Giả sử X ⊂ R
m
là tập hợp compac và bài toán biên
đối với phương trình đạo hàm riêng (1.2.25) có nghiệm phẳng là hàm Bellman (1.2.24).

∂V (t, z
∗
(t))
∂y
, g(t, z
∗
(t), u)

(∀t ∈ [t
o
, T ]),
(1.2.26)
với z
∗
(t) (t
o
≤ t ≤ T ) là trạng thái của hệ động lực (1.2.12) ứng với điều khiển
x
∗
(t) (t
o
≤ t ≤ T ). Khi đó x
∗
(t) = x
∗

t; z
∗
(t)


(t
o
) := z
o
để thiết lập bài toán (1.2.26) với t = t
o
và thu được lời
giải u = x
∗
(t
o
). Tiếp theo, bằng việc sai phân hóa hệ (1.2.12) ta thu được z
∗
(t
k
) từ
x
∗
(t
k−1
), z
∗
(t
k−1
) (đã biết trong bước trước ). Trên cơ sở này thiết lập và giải bài toán
cực đại (1.2.26) (với t = t
k
), để thu được lời giải u = x
∗
(t

(x) =
J
M
(x)) trong dạng tất định (1.2.11)-(1.2.12) (xem [2] tr. 193-195) hoặc dạng ngẫu
nhiên (1.2.1)-(1.2.2) (xem [19], [29], [18]), trong đó J
M
(x) = f
o
1

z[T ; x(·)]

và J
M
(x) =
E

f
o
1

z[T ; x(·)]

là những phiếm hàm xác định lần lượt trên X
o
(t
o
, T ; R
m
) và X

o
,T ;L
2
m
(Ω))
J
M
(x). Các công cụ của phép tính biến phân ( [12] tr.10-31) hoặc
của giải tích số như: phương pháp đường dốc nhất ( [24] tr.589-599), gradient ( [2]
tr.192-195) đã được sử dụng để giải các bài toán cực tiểu phiếm hàm đã thiết lập.
Đương nhiên là cách tiếp cận này không có điều kiện xét tới những ràng buộc trạng
thái và ràng buộc hỗn hợp trong bài toán điều khiển và cũng không xét tới bài toán
điều khiển tổng hợp.
Để khắc phục những nhược điểm nói trên, trong phương pháp TSHĐK ta có thể xét
dạng điều khiển tất định theo chương trình (1.2.11)-(1.2.15) hoặc dạng ngẫu nhiên mở
rộng của bài toán (1.2.22)-(1.2.22*) là bài toán ĐKNN tổng hợp sau đây:





J
G
(x) := E

f
o

z, x


:=

x : [t
o
, T ] × Z → X ⊂ L
2
m


liên tục từng khúc trên [t
o
, T ]

,
X

t
o
, T ; L
2
m
(Ω)

:=

x ∈ X
o

t
o

→ inf , θ ∈ Θ ⊂ R
N
, (1.2.28)
˙z(t) = g

t, z(t), x(t, z(t); θ)

(t
o
< t ≤ T ) , z(t
o
) = z
o
(đã cho) ∈ L
2
n
(Ω). (1.2.28
∗
)
Khi đó (1.2.28) trở thành một bài toán quy hoạch ngẫu nhiên (QHNN) [10], với z(t; θ) =
z(t) (t
o
≤ t ≤ T ) là nghiệm của PTVP ngẫu nhiên (1.2.28*). Phương pháp Monte Carlo
(Mục 1.3) sẽ được sử dụng để giải bài toán QHNN nói trên.
Thí dụ về phương pháp TSHĐK trên đây có thể tìm thấy trong Chương 2 của bản
luận văn này, trong đó lớp hàm điều khiển X
o
(t
o
, T ; R

o
j=1
f
o
(ˆz, ˆx ; ω
j
)

(∀ˆx ∈

N
n=1
X
n
),
trong đó {ω
j
}
N
o
j=1
(N
o
 1) là dãy những thể hiện độc lập của vtnn ω (tạo bằng PPCM
22
[20]). Khi bài toán QHNN có tính lồi , phương pháp chiếu tựa gradient ngẫu nhiên
( [10] tr.148-154) đã được dùng để giải bài toán. Ở đây dãy mô phỏng {ω
j
}
N

⊂ R
m
, µ(Θ) > 0, (1.3.1)
trong đó B
m
là σ-đại số các tập hợp Borel trong R
m
, µ là độ đo Lebesgue trong R
m
,
hàm mục tiêu F : Θ → R
1
là đo được trên Θ (tập hợp các lời giải CNĐ). Các phương
pháp dò tìm ngẫu nhiên (đơn giản, tổng quát, hỗn hợp) có thể được sử dụng để giải
bài toán trên (xem [20] tr.281-309).
Khi bài toán điều khiển đưa đến bài toán quy hoạch ngẫu nhiên (QHNN):
F (θ) := E

f(θ; ξ)

→ inf, θ = (θ
1
, , θ
m
) ∈ Θ ⊂ R
m
, với f(θ; ξ) ∈ L
1
(Ω) (∀θ ∈ Θ),
(1.3.2)