Lí thuyết điều khiển nâng cao - Chương 3: Điều khiển tối ưu

Môn học
LÝ THUYẾT ĐIỀU KHIỂN NÂNG CAO
Giả iê PGS TS H ỳ h Thái H àng v n: . . u n o ng
Bộ môn Điều Khiển Tự Động
Khoa Điện – Điện Tử
Đại học Bách Khoa TP HCM .
Email: hthoang@hcmut.edu.vn
Homepage: 
15 January 2014 © H. T. Hoàng - HCMUT 1
Chương 3
Ề Ể ỐĐI U KHI N T I ƯU
15 January 2014 © H. T. Hoàng - HCMUT 2
 Giới thiệu
Nội dung chương 3
 Tối ưu hóa tĩnh
 Tối ưu hóa động và phương pháp biến phân 
 Điều khiển tối ưu liên tục dùng phương pháp biến 
phân
 Phương pháp qui hoạch động Bellman
 Điều khiển tối ưu toàn phương tuyến tính LQR 
Ước lượng trạng thái tối ưu (lọc Kalman)
 Điều khiển tối ưu LQG 
15 January 2014 © H. T. Hoàng - HCMUT 3
GIỚI THIỆU
15 January 2014 © H. T. Hoàng - HCMUT 4
 Điều khiển tối ưu : xác định luật ĐK cho hệ thống động
Giới thiệu
cho trước sao cho tối thiểu hóa một chỉ tiêu chất lượng. 
 ĐK tối ưu được phát triển trên cơ sở toán học: phương 
pháp biến phân (Bernoulli, Euler, Lagrange, Weiertrass,)
 Từ những năm 1950, ĐK tối ưu phát triển mạnh mẽ và trở 
thành một lĩnh vực độc lập. 
Phương pháp quy hoạch động do Richard Bellman đưa 
t thậ iê 1950ra rong p n n .
Nguyên lý cực tiểu Pontryagin do Lev Pontryagin và 
các đồng sự đưa ra trong thập niên 1950 . 
Bài toán điều chỉnh toàn phương tuyến tính và lọc 
Kalman do Rudolf Kalman đưa ra trong những 
15 January 2014 © H. T. Hoàng - HCMUT 5
năm1960. 
Có hiề bài t á điề khiể tối tù th
Phân loại bài toán điều khiển tối ưu
 n u o n u n ưu, y eo: 
Loại đối tượng điều khiển
Miền thời gian liên tục hay rời rạc 
Chỉ tiêu chất lượng
Bài toán tối ưu có ràng buộc hay không
 ĐK tối ưu tĩnh: chỉ tiêu chất lượng không phụ thuộc thời 
gian
 ĐK tối ưu động: chỉ tiêu chất lượng phụ thuộc thời gian
Bài toán chỉnh toàn phương tuyến tính (Linear 
Quadractic Regulator LQR) –
Bài toán điều khiển tối ưu H2

15 January 2014 © H. T. Hoàng - HCMUT 6
 Trước khi máy tính số ra đời chỉ có thể giải được
Ứng dụng
 , 
một số ít bài toán điều khiển tối ưu đơn giản
 Máy tính số ra đời cho phép ứng dụng lý thuyết điều 
khiển tối ưu vào nhiều bài toán phức tạp.
 Ngày nay, điều khiển tối ưu được ứng dụng trong 
ềnhi u lĩnh vực:
Không gian (aerospace)
Điều khiển quá trình (proccess control) 
Robot
Kỹ thuật sinh học (bioengineering) 
Kinh tế
Tài chính
15 January 2014 © H. T. Hoàng - HCMUT 7

Ố Ó ĨT I ƯU H A T NH
15 January 2014 © H. T. Hoàng - HCMUT 8
 Bài toán tối ưu tĩnh không ràng buộc: tìm m thông
Tối ưu hóa tĩnh không ràng buộc
số thực (hay phức) u1, u2,, um sao cho hàm
L( ) đ t tiểu1, u2,, um ạ cực u:
L(u)=L(u1, u2,, um) min
đó [ ]Ttrong u= u1, u2,, um
 Điểm u* được gọi là điểm cực tiểu cục bộ nếu 
L(u) L(u*) với mọi u nằm trong lân cận  của u*. 
 Điểm u* được gọi là điểm cực tiểu toàn cục nếu 
L(u) L(u*) với mọi u
15 January 2014 © H. T. Hoàng - HCMUT 9
 Giả sử L(u) khả đạo hàm theo u thì điều kiện cần và
Điều kiện cực trị không ràng buộc
 , 
đủ để u* là điểm cực tiểu cục bộ là:
 0)( *uL
 0)( *uuu
u
L
 trong đó:
   uL
uL
LL 2
1
 

m
u
uL
u
  
 
m
uu
uuLuuLuuL
LL
1
2
21
2
11
2
2
2


u
15 January 2014 © H. T. Hoàng - HCMUT 10
  mmmm uuLuuLuuL 22212 
Tìm cực trị không ràng buộc – Thí dụ 1
 Tìm cực trị hàm: 22 38225)( uuuuuuL u 212121
 Giải:
 Điều kiện cần có cực trị:
01 



 
 L
u
L
LLu 
 08210 21 uu 
 7222.0*
*
1u 
2 u
u
 Xét vi phân bậc hai:
 0342 21 uu 3889.02u




21
2
2
1
2
uu
L
u
L
L 
210
L 0 L 
 


 
2
2
2
21
2
u
L
uu
Luu 
42uu uu
15 January 2014 © H. T. Hoàng - HCMUT 11
 là điểm cực tiểu.)3889.0;7222.0(),( *2*1 uu
Tìm cực trị không ràng buộc – Thí dụ 1
)38890;72220(*u
250
.. 
150
200
100L
0
50
-4
-2
0
2
4
-6-4
-20
24
6
-50
u1u
u*
15 January 2014 © H. T. Hoàng - HCMUT 12
2
 Bài toán tối ưu tĩnh có ràng buộc: tìm vector thông số
Tối ưu hóa tĩnh có ràng buộc
u sao cho hàm L(x,u) đạt cực tiểu, đồng thời thỏa 
điều kiện f(x u)=0 ,
L(x,u) min
f(x u)=0,
trong đó x=[x1, x2,, xn]T 
u=[u u u ]T1, 2,, m
   mnL :
pmnf  điề kiệ à b ộ
: hàm đánh giá
 : : u n r ng u c
15 January 2014 © H. T. Hoàng - HCMUT 13
Hàm Hamilton
 Định nghĩa hàm Hamilton: 
),(),(),( uxfuxux TLH  
trong đó là vector hằng số gọi là thừa số Larrangep 
Do ràng buộc f(x,u) = 0 nên cực tiểu của L(x,u) cũng 
hí h là tiể ủ H( )
 , 
 Biến đổi bài toán tìm cực tiểu hàm L(x,u) với ràng buộc 
ể
c n cực u c a x,u .
f(x,u) = 0 thành bài toán tìm cực ti u không ràng buộc 
hàm Hamilton H(x,u)
 Vi phân hàm Hamilton:
uuxxuxux dHdHdH   ),(),()(
15 January 2014 © H. T. Hoàng - HCMUT 14
ux ,
Thừa số Lagrange
 Do ta cần tìm cực trị theo u nên có thể tự do chọn 
thừa số Lagrange sao cho:
)()()(  uxfuxux LH 0,,,),(    xxxux
T
xH 
1),(),( 



 
x
uxf
x
uxLT
  1 xxT L fViết gọn lại:
15 January 2014 © H. T. Hoàng - HCMUT 15
Độ dốc của hàm mục tiêu với điều kiện ràng buộc
 Vi hâ hà tiê uxux dLdLdL  ),(),()(
 Do f(x,u) = 0 nên: 0),(),(),(   uuxfxuxfuxf ddd
 p n m mục u: u
u
x
x
ux   ,
 ux
 u
u
uxf
x
uxfx dd 


 
 ),(),( 1
uuxuuxfuxfuxux dLdLdL   
 
 ),(),(),(),()(
1
 Thay (2) vào (1), ta được:
uuxx  ,
uuxuxfux dLdL T 

 
 ),(),(),(  uuxux dHdL 
 ),(),( 
 Với ĐK f(x,u)=0, độ dốc của L(x,u) theo u chính bằng Hu(x,u)
uu u
 Điều kiện để L(x u) đạt cực trị với ràng buộc f(x u)=0 là:
15 January 2014 © H. T. Hoàng - HCMUT 16
 , , 
0),( uxuH
Điều kiện cần cực trị có ràng buộc
 Kết hợp với điều kiện xác định hằng số Lagrange , 
điều kiện cần để L(x,u) đạt cực trị có ràng buộc 
là:0),( uxf
 0),(),(),( uxfuxux LH x
T
xx 
0),(),(
0),(),(),(
uxfux
uxfuxux
H
LH u
T
uu 
trong đó: )()()( fLH T ,,, uxuxux 
15 January 2014 © H. T. Hoàng - HCMUT 17
Tìm cực trị có ràng buộc – Thí dụ 1
Tì t ị hà 22 m cực r m:
Với điều kiện ràng buộc:
212121 38225)( uuuuuuL u
026)( 21 uuf u
 Giải:
Hà H il m am ton:
)()()( uuu fLH T 
)26(38225)( 212121
2
2
2
1 uuuuuuuuH u 
15 January 2014 © H. T. Hoàng - HCMUT 18
Tìm cực trị có ràng buộc – Thí dụ 1
 Điều kiện cần để có cực trị: 
08210)( 21  uuH u 
0)(
0)(
u
u
H
H
u
x
06342)(
1
 

uuH
u
u  
 0)(uf
026)( 21
21
2

uuf
u
u
 T*
 Giải hệ phương trình, ta được:
4735.08412.0 u 5353.0 
)26(38225)( 212121
2
2
2
1 uuuuuuuuH u
15 January 2014 © H. T. Hoàng - HCMUT 19
Tìm cực trị có ràng buộc – Thí dụ 1
 T4735084120* u
250
.. 
150
200
100L
0
50
*
-4
-2
0
2
4
-6-4
-20
24
6
-50
u1u
u
15 January 2014 © H. T. Hoàng - HCMUT 20
2
Tìm cực trị có ràng buộc – Thí dụ 2
Tì t ị hà 22 )2()2()( m cực r m: , uxuxL
Với điều kiện ràng buộc: 632 xxu
 Giải:
 Viết lại điều kiện ràng buộc:
Hà H ilt
632 xxu 0632 uxx 
 m am on:
),(),(),( uxfuxLuxH T 
)63()2()2(),( 222 uxxuxuxH  
15 January 2014 © H. T. Hoàng - HCMUT 21
Tìm cực trị có ràng buộc – Thí dụ 2
 Điều kiện cần để có cực trị: 
 0)( uxH 032)2(2
),( 
 xx
x
uxH 
 0),(
,
uxHu
x
0)2(2),( 
 u
u
uxH  
 0),( uxf
063),( 2 uxxuxf
Giải hệ h ì h đ b hiệ
)22.8;68.1(),04.2;71.1(),92.0;53.4(),( ux
 p ương tr n , ta ược a ng m:
22 )2()2()(L Thay 3 nghiệm trên vào , ta được 
các giá trị tương ứng là: 43.78; 0.087; 117.94.
, uxux
**ế ầ )63()2()2(),( 222 uxxuxuxH 
15 January 2014 © H. T. Hoàng - HCMUT 22
)04.2;71.1(),( ux K t luận: cực trị c n tìm là
Tìm cực trị có ràng buộc – Thí dụ 3
Tì t ị hà 222 3)( m cực r m: 21, uxxuL x
Với các điều kiện ràng buộc:
0
2
42
)(
),(
),(
1
21
2
1 
ux
xx
uf
uf
u
x
x
xf
,
 Giải:
 Hàm Hamilton:
),(),(),( uuLuH T xfxx  
)2()42(3),( 12211
22
2
2
1 uxxxuxxuH x 
15 January 2014 © H. T. Hoàng - HCMUT 23
Tìm cực trị có ràng buộc – Thí dụ 3
 ĐK cần để có cực trị: 
022/),( 2111  xxuH x 
0),(
0),(
uH
uH
u
x
x
x
02/),(
06/),(
2
122
 
 
uuuH
xxuH
x
x


 0),( uxf
02),(
042),(
12
211
uxuf
xxuf
x
x
 T8514057141* 57143*  T1429714295
 Giải hệ phương trình, ta được:
.. x . u .. 
 Do là hàm toàn phương nên 222
2
1 3),( uxxuL x
)2()42(3),( 12211
22
2
2
1 uxxxuxxuH x
15 January 2014 © H. T. Hoàng - HCMUT 24
cực trị tìm được ở trên cũng chính là cực tiểu
TỐI ƯU HÓA ĐỘNG 
VÀ PHƯƠNG PHÁP BIẾN PHÂN
15 January 2014 © H. T. Hoàng - HCMUT 25
Tối ưu hóa động không ràng buộc
 Bài toán tối ưu động không ràng buộc: tìm vector hàm
min)()( ft dttLJ xxx 
x(t) sao cho phiếm hàm J(x) đạt cực tiểu:
,,
0
t
trong 
đó
  nTn txtxtxt  )()()()( 21 x
:     nnL :
Chú ý: Phiếm hàm là hàm của hàm 
 Phiếm hàm có cực tiểu cục bộ tại nếu )(xJ )(* tx
(functional = function of function)
với mọi hàm nằm trong lân cận  của 
))(())(( * tJtJ xx 
)(* tx)(tx
15 January 2014 © H. T. Hoàng - HCMUT 26
 )()( * tt xx
Tìm cực trị phiếm hàm?
 Nhắc lại cực trị hàm: 
 Điều kiện cần: đạo hàm bậc 1 của hàm cần tìm cực trị 
bằng 0 
 điểm dừng
 Điểm dừng có đạo hàm bậc 2 xác định dương 
 điểm cực tiểu 
 Cực trị phiếm hàm? 
 Khái niệm biến phân (variation): có thể hiểu là “đạo 
hàm của phiếm hàm”
 Phương pháp biến phân (Calculus of Variation): dựa 
vào khái niệm biến phân đưa ra điều kiện cực trị của 
ế ề
15 January 2014 © H. T. Hoàng - HCMUT 27
phi m hàm tương tự như đi u kiện cực trị hàm
Khái niệm biến phân
)()()( JJJ L i ủ hiế hà xxxx 
trong đó là biến phân của hàm
 ượng g a c a p m m:
)(tx )(tx
)(tx
)()( tt xx  
t
Minh họa biến phân của hàm )(tx
 Biến phân của phiếm hàm:
)]()([lim)(lim)( xxxxx JJJJ 
15 January 2014 © H. T. Hoàng - HCMUT 28
00 xx 
Thí dụ tính biến phân phiếm hàm
 1ế 
0
2 )()( dttxxJ Cho phi m hàm:
 Biến phân của phiếm hàm được tính như sau: 
)()()]([ xJxxJtxJ  1 21 2 )()( dtxdtxx 
 1 21 22 )(])(2[ dtxdtxxxx 
00
 1 2 ])(2[ dtxxx 
00 0
dtxxxxJxJ
xx
])(2[lim)(lim)( 2
1
00
  
0
dtxxxJ ]2[)(
1
 
15 January 2014 © H. T. Hoàng - HCMUT 29
0
Công thức tính biến phân phiếm hàm dạng tích phân
Ch hiế hà d í h hâ ổ á
ft
dtLJ )()(
 o p m m ạng t c p n t ng qu t:
t0
xx
 Biến phân của phiếm hàm dạng tích phân được tính như 
sau:
 


 
ft
dtLJ )()( x
x
xx 
t0
15 January 2014 © H. T. Hoàng - HCMUT 30
Biến phân phiếm hàm bài toán tối ưu động không ràng buộc
 Phiế hà ft dLJ )()( m m: t tt0 ,, xxx
 Biến phân phiếm hàm:
dttLtLJ f
t
t 
 
 
0
),,(),,( x
x
xxx
x
xx 
 
 Chú ý rằng: )()()( 0
0
tdt
t
t
xxx  
 Thực hiện biến đổi tích phân suy ra:
0)()( 0 ftt xx 
 , 
 
 
 
ft
dttL
dt
dtLJ ),,(),,( xxxxx  

15 January 2014 © H. T. Hoàng - HCMUT 31
t0
xx
Điều kiện cần để phiếm hàm đạt cực trị cục bộ
 Điều kiện cần để phiếm hàm đạt cực trị cục bộ)(xJ 
tại là biến phân của phải bằng 0 tại )(* tx )(xJ )(* tx
0)(x J *xx 
 ĐK cần để bài toán tối ưu động không ràng buộc có cực trị:
0),,(),,( 
 

x
xx
x
xx

 tL
dt
dtL 0 
 

xx 
L
dt
dL 
(phương trình Euler-Lagrange)
 Trường hợp đặc biệt khi L không phụ thuộc tường 
   
ft
dttLdtLJ ),,(),,( xxxxx  
minh vào t, dạng đơn giản của pt Euler-Lagrange là:
cLL x (c là hằng số)
15 January 2014 © H. T. Hoàng - HCMUT 32
 t dt0 xx  x 
Tối ưu hóa động không ràng buộc – Thí dụ 1
2/ 
 Tìm hàm x(t) sao cho : min)]()([)(
0
22 dttxtxxJ 
)/()(i điề ki bi
 Giải:
32,10 xxVớ u ện ên:
ề 22
 Phương trình Euler-Lagrange:
 Theo đ bài, ta có: xxL  
0 
 

x
L
dt
d
x
L

ổ
 022 x
dt
dx  0 xx 
 Lời giải t ng quát: tCtCtx cossin)( 21 
 Thay điều kiện biên, suy ra: 1,3 21 CC
15 January 2014 © H. T. Hoàng - HCMUT 33
 Kết luận: tttx cossin3)(* 
Tối ưu hóa động không ràng buộc – Thí dụ 2
 Tìm hàm x(t) sao cho phiếm hàm dưới đây đạt cực tiểu: 
min)(1)(
2
0
2 dttxxJ  0)2(,1)0( xxvới ĐK biên:
 Giải:
 Phương trình Euler-Lagrange: 0 

 
 L
d
dL
xtx
0 xd  1
11
2
2
 xxxxxx



 Lời giải tổng quát: 21)( CtCtx 
1 2
 xdt 
 0
1 2
 x 0 x 
 Thay điều kiện biên, suy ra: 1,
2
1
21 CC
ế
1
15 January 2014 © H. T. Hoàng - HCMUT 34
21 xL   K t luận: 12)(
* ttx
Tối ưu hóa động có ràng buộc
 Bài toán tối ư động có ràng b ộc: tìm ector hàm x(t) ác
 ft
 u u v x 
định trên đoạn [t0, tf] sao cho phiếm hàm J(x) đạt cực tiểu:
min),,()(
0
t
dttLJ xxx 
với điều kiện ràng buộc 0),,( txxf 
  nT
và điều kiện biên: x(t0)=x0, x(tf)=xf
trong đó: n txtxtxt  )()()()( 21 x
    nnL :
pnn    :f
15 January 2014 © H. T. Hoàng - HCMUT 35
Hàm Hamilton và điều kiện cần để có cực trị
 Định nghĩa hàm Hamilton: 
),,(),(),,,( ttLtH T xxfxx,xx   
t đó là t hà i là thừ ố Lpt )(rong vec or m, gọ a s arrange 
 Do nên cực tiểu của0),,( txxf  1
0
),,()(
t
t
dttLJ xxx 
cũng chính là cực tiểu của 1
0
),,,()(
t
t
dttHJ xxx 
iể kh b hiế h tìm cực t u ông ràng uộc p m àm )( xJ
 Điều kiện cần để phiếm hàm có cực trị là:)(xJ
0),,,(),,,( 
 

x
xx
x
xx

 tH
dt
dtH 
15 January 2014 © H. T. Hoàng - HCMUT 36
(PT Euler-Lagrange của bài toán tối ưu động có ràng buộc)
Tối ưu hóa động có ràng buộc dạng tích phân
 Bài toán tối ưu động có ràng buộc: tìm vector hàm x(t) xác
min)()( ft dttLJ xxx 
định trên đoạn [t0, tf] sao cho phiếm hàm J(x) đạt cực tiểu:
,,
0t
với điều kiện ràng buộc qxxf dttftt0 ),,( 
và điều kiện biên: x(t0)=x0, x(tf)=xf
 Hàm Hamilton và phương trình Euler-Lagrange trong 
 Hàm Hamilton: ),,(),(),,,( ttLtH T xxfxx,xx   
trường hợp ràng buộc tích phân như sau:
 Phương trình Euler-Lagrange:
0),,,(),,,(  xxxx  tHdtH 
15 January 2014 © H. T. Hoàng - HCMUT 37
   xx dt
Trình tự giải bài toán tối ưu động có ràng buộc
 Bước 1: Xác định hàm mục tiêu đ kiện ràng buộc và điều
 ftt dttLJ 0 ),,()( xxx 
 , . 
kiện biên:
t xx )(Điều kiện biên và
Đ.kiện ràng buộc hoặc0),,( txxf 
00 )( xx t
qxxf ftt dtt0 ),,( 
 Bước 2: Thành lập hàm Hamilton:
)()()( ttLtH T xxfxxxx   
ff 
,,,,,,,
 Bước 3: Viết phương trình Euler-Lagrange:
)()(  xxxx  tHdtH 
 Bước 4: Tìm nghiệm PT Euler Lagrange thỏa điều kiện
0,,,,,,   xx dt
15 January 2014 © H. T. Hoàng - HCMUT 38
 - 
ràng buộc và điều kiện biên
Tối ưu hóa động có ràng buộc – Thí dụ 1
 Tìm hàm x(t) sao cho phiếm hàm dưới đây đạt cực tiểu: 
min)()(
4
2 dttxxJ 
0
với điều kiện ràng buộc: 3)(
4
 dttx 
0
và điều kiện biên: 0)4(,0)0( xx
 Giải:
 Hàm Hamilton: 
),,(),,(),,,( txxftxxLtxxH   
15 January 2014 © H. T. Hoàng - HCMUT 39
)()(),,,( 2 txtxtxxH   
Tối ưu hóa động có ràng buộc – Thí dụ 1
 Phương trình Euler Lagrange: -
0),,,(),,,( 
 

x
txxH
dt
d
x
txxH

 
0)(2 tx (1)  0)(2 tx
d
d  
t
 Tìm nghiệm phương trình Euler-Lagrange:
2
)(  tx (1) 12)( cttx 
 
2
21
2
4
)( ctcttx  
15 January 2014 © H. T. Hoàng - HCMUT 40
)()(),,,( txtxtxxH  
Tối ưu hóa động có ràng buộc – Thí dụ 1
 Xác định các hằng số dựa vào điều ... ệu điều khiển
 to n t ra t m t n u u n u u c n t ng t 
trạng thái đầu bất kỳ về trạng thái cuối x(N) = 0 sao cho 
tối thiểu chỉ tiêu chất lượng dạng toàn phương: 
0)0( xx 
  
1
0
)()()()(
2
1)()(
2
1)(
N
k
TTT kkkkNNJ RuuQxxMxxu
trong đó Q vàM là các ma trận trọng số bán xác định dương
R là ma trận trọng số xác định dương
15 January 2014 © H. T. Hoàng - HCMUT 103
Lời giải bài toán LQR rời rạc
Tí hiệ điề khiể tối )()()(* kkk K n u u n ưu: xu 
  dTddTd kkk APBRBPBK )1()1()( 1 trong đó:
và P(k) là nghiệm bán xác định dương của phương trình Ricatti:
 QAPBRBPBBPPAP dTddTddTd kkkkk )1()1()1()1()( 1
MP )(N
 Nghiệm phương trình Ricatti rời rạc: lần lượt thay 0)1( Nk 
vao phương trình Ricatti sẽ tìm được P(k) 
15 January 2014 © H. T. Hoàng - HCMUT 104
Bài toán LQR rời rạc thời gian vô hạn 
 Đối tượng tuyến tính mô tả bởi phương trình trạng thái rời rạc: 
 Chỉ tiêu chất lượng dạng toàn phương trong đó thời điểm cuối N= :
)()()1( kkk dd uBxAx 
 , 
  
0
)()()()(
2
1)(
k
TT kkkkJ RuuQxxu
 Tín hiệu điều khiển tối ưu: )()(* kk Kxu 
t đó   TT PABRPBBK 1 rong :
và P là nghiệm bán xác định dương của phương trình đại số Ricatti:
dddd 
 1
 Chú ý: trong trường hợp này K và P là không phụ thuộc k
QAPBRBPBPBPAP dTddTddTd
15 January 2014 © H. T. Hoàng - HCMUT 105
 Giá trị cực tiểu của chỉ tiêu chất lượng: )0()0(min PxxTJ 
Lời giải bài toán LQR thời gian vô hạn dùng Matlab 
 Nghiệm phương trình đại số Ricatti liên tục (continuous algebraic 
Ricatti equation – care)
>> P=care(A,B,Q,R)
 Lời giải bài toán LQR (Linear quadratic Regulator – LQR) liên tục 
>> K=lqr(A,B,Q,R)
hi h ì h đ i ố i i ời (di l b i i i Ng ệm p ương tr n ạ s R catt r rạc screte a ge ra c R catt 
equation – dare)
>> P=dare(A B Q R), , ,
 Lời giải bài toán LQR (Linear quadratic Regulator – LQR) rời rạc 
15 January 2014 © H. T. Hoàng - HCMUT 106
>> K=dlqr(A,B,Q,R)
BỘ LỌC KALMAN 
15 January 2014 © H. T. Hoàng - HCMUT 107
é h ế í h li
Lọc Kalman liên tục
 )()()()( ttutt wBAxx X t ệ tuy n t n ên tục: )()()( tvtxty C
Trong đó: w(t) là nhiễu hệ thống; v(t) là nhiễu đo lường . 
Giả sử nhiễu hệ thống và nhiễu đo lường có phân bố Gauss, không 
tương quan, có trung bình bằng 0 và phương sai là: 
N
TE Qww ][ NTvvE R ][
 )](ˆ)([)]()(ˆ[)(ˆ ttttt LBA
Trong đó L là độ lợi của bộ lọc Kalman:
)(ˆ)(ˆ txty
yyu
C
xx Bộ lọc Kalman liên tục: 
1 NRCL T
với  là nghiệm của phương trình Ricatti:
15 January 2014 © H. T. Hoàng - HCMUT 109
01 NNTT QCRCAA 
Sơ đồ khối bộ lọc Kalman liên tục
( )u(t) y t)()()( tutt BAxx  x(t) C
+
CB 
L
)(ˆ tx
+
++ )(ˆ ty
A
)(ˆ)(ˆ
))(ˆ)(()()(ˆ)(ˆ tytytutt
C
LBxAx Bộ lọc Kalman: tty x
1 NRCL TTrong đó:
15 January 2014 © H. T. Hoàng - www4.hcmut.edu.vn/~hthoang/ 110
01 NNTT QCRCAA 
Bộ lọc Kalman liên tục – Thí dụ 1
 Cho hệ tuyến tính bậc 2 mô tả bởi PTTT: 
)()()(
)()()()(
tvtxty
ttutt
C
wBAxx
 21
10A 
 1
0B  01 CTrong đó:
ầ ế ế ố
 1.00
02.0][ N
TE Qww 01.0][ NTvvE R
 Yêu c u: Thi t k bộ lọc Kalman ước lượng trạng thái của hệ th ng 
trên từ tín hiệu đo y(t).
 Giải:
 Bộ ước lượng trạng thái:
)(ˆ)(ˆ
))(ˆ)(()()(ˆ)(ˆ
tty
tytytutt
xC
LBxAx
15 January 2014 © H. T. Hoàng - HCMUT 111
1 NRCL T
Bộ lọc Kalman liên tục – Thí dụ 1
 Trong đó  là nghiệm của phương trình đại số Ricatti: 
01  CRCQAA NN TT
 1.00
02.0
21
10
21
10
32
21
32
21
pp
pp
pp
pp
11 pppp   001
01.00 32
21
32
21 pppp
 0202ppppp 1.00
.
222 323
212
3221
32
ppppppp
0100 21
2
1 ppp
010021002.02 21213
2
12 ppppppp
2
221 ppp
15 January 2014 © H. T. Hoàng - HCMUT 112
1.0421002 223221213
 pppppppp 
Bộ lọc Kalman liên tục – Thí dụ 1
 0100202 2pp (1)
01.042
01002
.
2
232
21213
12
ppp
ppppp (2)
(3)
01.0104400 2121
2
2 ppppp(2) &(3) (4)
0104)10400)(1050()1050( 222 pppp(1) &(4) 
 04410p
... 1111 
009.136490200002500 1
2
1
3
1
4
1 pppp 
0262.0
00279.0
.
3
2
1
p
p 
 0262.000279.0
00279.00441.0 
 Độ lợi bộ lọc Kalman: 1 NRCL T
1100279004410 409.4L
15 January 2014 © H. T. Hoàng - HCMUT 113
01.000262.000279.0
..
 L 279.0 
ếLọc Kalman rời rạc
 )()()()1( kkukk wBxAx Xét hệ tuy n tính rời rạc: )()()( kvkxky d
dd
C
Trong đó: w(k) là nhiễu hệ thống; v(k) là nhiễu đo lường. 
Giả sử nhiễu hệ thống và nhiễu đo lường có phân bố Gauss, không 
tương quan, có trung bình bằng 0 và phương sai là: 
T
NE Qww ][ NTvvE R ][
 Bộ lọc Kalman rời rạc: 
 )]1(ˆ)1([)]()(ˆ[)1(ˆ kkkkk LBA
Trong đó L là độ lợi của bộ lọc Kalman:
)(ˆ)(ˆ kxky
yyu
d
kdd
C
xx
với  là nghiệm của phương trình Ricatti:
 1)()()( NTddTdd kkk RCCCAL 
15 January 2014 © H. T. Hoàng - HCMUT 114
T
ddN
T
ddN
T
dd kkkk ACRCAQAA )()()()1(
1  
Sơ đồ khối bộ lọc Kalman rời rạc
u(t) ( )y t
)()()1( kukk ddd BxAx 
x(t)
+
dC
1 z
)(ˆ tx
+
++dB dC
L
)(ˆ ty
dA
)(ˆ)(ˆ
)]1(ˆ)1([)]()(ˆ[)1(ˆ
kxky
kykykukk kdd
C
LBxAx Bộ lọc Kalman: d
Trong đó: 1)()()( NTddTdd kkk RCCCAL 
15 January 2014 © H. T. Hoàng - www4.hcmut.edu.vn/~hthoang/ 115
T
ddN
T
ddN
T
dd kkkk ACRCAQAA )()()()1(
1  
Lời giải bộ lọc Kalman dùng Matlab
 Lời giải bộ lọc Kalman liên tục: 
L l (A G C QN RN) %G ậ đ ị>> = qe , , , , ma tr n ơn v
15 January 2014 © H. T. Hoàng - HCMUT 116
BỘ ĐIỀU KHIỂN LQG
(Linear Quadratic Gaussian)
15 January 2014 © H. T. Hoàng - HCMUT 117
 Xét hệ tuyến tính liên tục bị tác động bởi nhiễu Gauss:
Bài toán điều khiển LQG (Linear Quadratic Gaussian)
)()()(
)()()()(
tvtxty
ttutt
C
wBAxx
Trong đó: w(t) là nhiễu hệ thống; v(t) là nhiễu đo lường. Giả sử 
nhiễu không tương quan, có trung bình bằng 0 và phương sai là: 
T Q][ TNE ww NvvE R ][
 Bài toán đặt ra là tìm tín hiệu điều khiển u(t) điều chỉnh hệ thống từ 
trạng thái đầu bất kỳ về trạng thái cuối x(t ) = 0 sao cho)0( xx f 
tối thiểu chỉ tiêu chất lượng dạng toàn phương: 
0
   1  0 )()()()(2)( dtttttEJ TT RuuQxxu
t đó Q là á t ậ t ố bá á đị h dươ
15 January 2014 © H. T. Hoàng - HCMUT 118
rong c c ma r n rọng s n x c n ng
R là ma trận trọng số xác định dương
Nguyên lý tách rời
 Nguyên lý tách rời: Bài toán tối ưu LQG có thể giải bằng cách giải 
riêng bài toán điều khiển tối ưu tiền định và bài toán ước lượng trạng 
thái tối ưu.
LQG = LQR + Lọc Kalman 
15 January 2014 © H. T. Hoàng - HCMUT 119
Lời giải bài toán điều khiển LQG
 Tín hiệu điều khiển tối ưu LQR: 
)(ˆ)(* tt xKu 
PBRK T1 với độ lợi hồi tiếp trạng thái: 
01 PBPBRQPAPA TT
trong đó P là nghiệm bán xác định dương của pt đại số Ricatti:
 Bộ lọc Kalman:
)(ˆ)(ˆ
)](ˆ)([)]()(ˆ[)(ˆ
txty
tytytutt
C
LBxAx
trong đó  là nghiệm bán xác định dương của pt đại số Ricatti:
1 NRCL Tvới độ lợi ước lượng:
15 January 2014 © H. T. Hoàng - HCMUT 120
01 NNTT QCRCAA 
Sơ đồ khối bộ điều khiển LQG liên tục
u(t) y(t)x(t)r(t)
)()()( tutt BAxx  C
L + 
C )(ˆ tyB 
)(ˆ tx+
++
A
K
 
 Bộ lọc Kalman Bộ điều khiển LQR
)(ˆ)(* K
)(ˆ)(ˆ
))(ˆ)(()()(ˆ)(ˆ
tty
tytytutt
xC
LBxAx
1 RCL T
tt xu 
PBRK T1 
01 PBPBRQPAPA TT
15 January 2014 © H. T. Hoàng - www4.hcmut.edu.vn/~hthoang/ 121
 N
01 NNTT QCRCAA 
THÍ DỤ THIẾT KẾ 
Ề Ể ỐĐI U KHI N T I ƯU
15 January 2014 © H. T. Hoàng - HCMUT 122
Đối tượng điều khiển: hệ con lắc ngược
 Thông số hệ con lắc ngược 
M =1.0 kg: troïng löôïng xe
m=0.1kg : troïng löôïng con laéc
à él = 1.0 m: chieu daøi con lac
u : löïc taùc ñoäng vaøo xe [N]
g : gia toác troïng tröôøng [m/s2]
x : vò trí xe [m]
 : goùc giöõa con laéc vaø phöông 
thaúng ñöùng [rad] 
 Mô hình toán hệ con lắc ngược
2
2)(cos
sincos)(sin


mmM
mgmlux 
 
mlgmMu )sin(cos)(sin)(cos  
15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 123
lmMml )()(cos 2 
PTTT phi tuyến của hệ con lắc ngược
 Đặt các biến trạng thái xxxxxx   4321 ,,,
 Phương trình trạng thái phi tuyến
2
21111
2
1
)()(cos
)sin(cos)(sin)(cos
lmMxml
xxxmlxgmMxu
x
x
x


 11
2
21
4
1
3
2
sincos)(sin xxmgxxmlu
x
x
x


 214 )(cos xmmM
 Yêu cầu: Thiết kế bộ điều khiển giữ cân bằng con lắc quanh vị 
trí thẳng đứng
15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 124
PTTT tuyến tính của hệ con lắc ngược
 PTTT tuyến tính hóa quanh điểm cân bằng thẳng đứng (góc 
lệch  nhỏ hơn 100)
xMx 1
00010
11
uMl
x
xgMl
m
x
x
1
01000
000
3
2
3
2


M
xg
M
m
x 000 44
 Thay cụ thể thông số của hệ con lắc ngược: 
x
x
x
x
1
0
0007810
0010
2
1
2
1


u
x
x
x
x 
 1
0
00098.0
1000
.
4
3
4
3


15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 125
BA
  
Thiết kế bộ điều khiển LQR
 Giả thiết: 
 Đặc tính động của hệ con lắc ngược có thể được mô tả
bởi hệ phương trình biến trạng thái tuyến tính. Điều này
hỉ đú khi ó lệ h  hỏc ng g c c n .
 Hệ thống phản hồi trạng thái đầy đủ, nghĩa là có thể đo
được 4 biến trạng thái (góc lệch , vận tốc góc, vị trí xe x,
vận tốc xe )
 Không có nhiễu tác động vào hệ thống.
Thiết kế dù M tl b ng a a :
 >> K = lqr(A,B,Q,R)
 Tùy theo độ lớn tương đối giữa trọng số Q và R mà hệ 
thống có đáp ứng quá độ và năng lượng tiêu tốn khác nhau.
 Muốn trạng thái đáp ứng nhanh tăng thành phần Q tương 
ứng
15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 126
 Muốn giảm năng lượng tăng R
Mô phỏng điều khiển LQR hệ con lắc ngược
15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 127
Kết quả mô phỏng điều khiển LQR hệ con lắc ngược
0
0001 0
.5
[
r
a
d
]
,
[
r
a
d
/
s
] 


1000
0100
0010
Q
0 1 2 3 4 5 6
-0.5
0.5
1
m
/
s
]
x
x
1 R 0 1 2 3 4 5 6-0.5
0
[
m
]
,
[
m
10
-5
0
5
[
N
]
 u
Gó lệ h lắ
]410920001700910362034[ . . . .= K
0 1 2 3 4 5 6
Time [s]
c c con c 
được giữ cân bằng 
tốt, tuy nhiên vị trí xe 
15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 128
dao động khá lớn
0Kết quả mô phỏng điều khiển LQR hệ con lắc ngược
-0.5
0
.5
[
r
a
d
]
,
[
r
a
d
/
s
] 
0001


0 1 2 3 4 5 6
-1
1
2
m
/
s
]
1000
010000
0010
Q
x
x
0 1 2 3 4 5 6
-1
0
[
m
]
,
[
m
20
1 R
-10
0
10
[
N
]
 u
Tăng trọng số q33
(tương ứng với vị trí 
0 1 2 3 4 5 6
Time [s]
]05141100010109122135670[ . . . .= K
xe) vị trí xe ít dao 
động hơn, tuy nhiên 
năng lượng tiêu tốn
15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 129
tăng lên
Kết quả mô phỏng điều khiển LQR hệ con lắc ngược
-0.5
0
0.5
[
r
a
d
]
,
[
r
a
d
/
s
] 
0001


0 1 2 3 4 5 6
-1
1
2
m
/
s
]
1000
010000
0010
Q
x
x
0 1 2 3 4 5 6
-1
0
[
m
]
,
[
m
20
1 R
10
0
10
[
N
]
 u
Khuyết điểm của bộ 
điều khiển LQR là 
0 1 2 3 4 5 6
-
Time [s]
]05141100010109122135670[ . . . .= K
nếu có nhiễu đo 
lường thì chất lượng 
điều khiển bị ảnh
15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 130
hưởng đáng kể
Thiết kế bộ điều khiển LQG
 Giả thiết: 
 Hệ thống hoạt động trong miền tuyến tính
 Giả sử chỉ đo được góc lệch và vị trí xe
 Có nhiễu tác động vào hệ thống. Nhiễu đo vị trí xe có
phương sai là 0.01; nhiễu đo góc lệch con lắc có phương
sai 0 001.
 Dùng lọc Kalman để ước lượng trạng thái và lọc nhiễu
ế ế Thi t k dùng Matlab:
 >> K = lqr(A,B,Q,R)
 >> L = lqe(A,G,C,QN,RN) %G là ma trận đơn vị
15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 131
Thiết kế bộ điều khiển LQG
 Bộ điều khiển LQR
 0010
0001
Q
 1000
010000 ]05141100010109122135670[ . . . .= K 
1 R
 Bộ lọc Kalman
1470057130
1876.05437.21
0571.05617.6
L
IQ 000001.0 N
 00010 
0271.09568.1
.. 
01.00
.
NR
(Do ta giả sử không có nhiễu hệ thống nên chọn Q rất bé Hai
15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 132
 N . 
thành phần của RN chính là phương sai của nhiễu đo lường)
Mô phỏng điều khiển LQG hệ con lắc ngược
15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 133
Kết quả mô phỏng điều khiển LQG hệ con lắc ngược
1 
-2
-1
0
[
r
a
d
]
,
[
r
a
d
/
s
] 
 
0 1 2 3 4 5 6
0
2
]
,
[
m
/
s
]
x
x
0 1 2 3 4 5 6
-2
[
m
10
 u
0 1 2 3 4 5 6
-10
0
[
N
]
Time [s]
Bộ lọc Kalman ước lượng trạng thái và lọc nhiễu, nhờ vậy mà 
đáp ứng của hệ thống điều khiển LQG tốt hơn LQR trong
15 January 2014 © H. T. Hoàng - ÐHBK TPHCM 134
trường hợp hệ thống có nhiễu
MỘT SỐ CÔNG THỨC CẦN NHỚ 
15 January 2014 © H. T. Hoàng - HCMUT 135
Nghiệm của phương trình vi phân bậc 1
 Phương trình vi phân bậc 1 đồng nhất : 0)()( taxtx 
 Nghiệm tổng quát: atCetx )(
 Hằng số C được xác định dựa vào điều kiện biên. 
15 January 2014 © H. T. Hoàng - HCMUT 136
Nghiệm của phương trình vi phân bậc 1 (tt)
 Phương trình vi phân bậc 1 không đồng nhất : 
btaxtx )()(
b
 Nghiệm tổng quát: 
ằ ố ề
a
Cetx at )(
 H ng s C được xác định dựa vào đi u kiện biên. 
15 January 2014 © H. T. Hoàng - HCMUT 137
Nghiệm của phương trình vi phân bậc 1 (tt)
 Phương trình vi phân bậc 1 không đồng nhất : 
)()()()( tqtxtptx 
 Nghiệm tổng quát: 
)(
)()(
)(
t
Cdttqt
tx 
 
 dttpet )()(
 Hằng số C được xác định dựa vào điều kiện biên
trong đó: 
 . 
15 January 2014 © H. T. Hoàng - HCMUT 138
Nghiệm của phương trình vi phân bậc 2
 Phương trình vi phân bậc 2 đồng nhất : 0)()()( tcxtxbtxa  
 Nghiệm tổng quát: 
 Trường hợp 1: 042 acb
tptp eCeCtx 21 21)( 
với )2/()(2,1 abp 
ptpt teCeCtx 21)( 
 Trường hợp 2: 042 acb
với )2/( abp 
 Trường hợp 3: 042 acb
teCteCtx tt  cossin)( 21 
Với và )2/( ab )2/( a 
15 January 2014 © H. T. Hoàng - HCMUT 139
 Hằng số C1 và C2 được xác định dựa vào điều kiện biên. 
Nghiệm của phương trình vi phân bậc 2
 Phương trình vi phân bậc 2 không đồng nhất : 
dtcxtxbtxa )()()( 
d Nghiệm tổng quát: 
c
zx 
trong đó z(t) là nghiệm của phương trình vi phân đồng nhất: 
0)()()( tcztzbtza 
 Hằng số C1 và C2 được xác định dựa vào điều kiện biên. 
15 January 2014 © H. T. Hoàng - HCMUT 140
Nghiệm của phương trình trạng thái
 Phương trình vi phân bậc 1: )()()( tutt BAxx  
trong đó: nTtxtxtxt  x )]()()([)(
Điều kiện đầu: 00 )( xx t
nn
n
  A
,...,, 21
 Nghiệm :   t dtttt )()()()()( B 
 Trong đó: 
t
u
0
0 xx
tet A  )(
 11 )()(  AIA set t LCách 1:
Cách 2:       112210)(  nnt CCCCet AAAIA 
thay các trị riêng i của ma trận A (nghiệm của ) 0)det( AI
15 January 2014 © H. T. Hoàng - HCMUT 141
vào phương trình trên sẽ tính được các hệ số Ci 
Nghiệm của phương trình trạng thái (tt)
 Các trường hợp riêng của phương trình vi phân bậc 1:
 Nếu B=0: )()( tt Axx 
)()()()( )( 0ttA  00 tettt xxx 
 Nếu u=1: BAxx )()( tt 
   t
t
dtttt )()()()( 0  Bxx
0
15 January 2014 © H. T. Hoàng - HCMUT 142
Tổng kết chương
Sau khi học xong chương 3, sinh viên phải có khả năng:
 Giải bài toán tối ưu động không ràng buộc và có ràng buộc
 Thà h lậ á bài t á điề khiể tối độn p c c o n u n ưu ng
 Giải bài toán tối ưu động liên tục dùng phương pháp biến 
phân
 Giải bài toán tối ưu rời rạc dùng phương pháp qui hoạch 
động
ế ế ề ể ề ể Thi t k bộ đi u khi n LQR, bộ lọc Kalman, bộ đi u khi n 
LQG
15 January 2014 © H. T. Hoàng - HCMUT 143