动态规划与逆向递推求解

一、动态规划原理

1.1 Bellman 最优性原理

Bellman 最优性原理：最优策略具有如下性质——无论初始状态和初始决策如何，剩余决策必须构成关于由第一个决策产生的状态的最优策略。

用数学语言表述：

$$V^{\ast }(x(k))=\underset{u(k)}{\min }\left\{x(k{)}^{\top }Qx(k)+u(k{)}^{\top }Ru(k)+V^{\ast }(x(k+1))\right\}$$

1.2 值函数定义

定义值函数（最优值函数）为从状态 $x$ 开始到终端的最小代价：

$$V^{\ast }(x(k))=\underset{u(k),\dots ,u(N-1)}{\min }\left\{\sum _{i=k}^{N-1}(x(i{)}^{\top }Qx(i)+u(i{)}^{\top }Ru(i))+x(N{)}^{\top }Px(N)\right\}$$

1.3 边界条件

终端时刻 $k=N$ 的值函数：

$$V^{\ast }(x(N))=x(N{)}^{\top }Px(N)$$

---

二、逆向递推求解

2.1 基本思路

动态规划采用逆向递推（Backward Recursion）方法：

1. 从终端时刻 $k=N$ 开始
2. 逐步向前递推到 $k=0$
3. 每一步求解一个静态优化问题

2.2 二次型假设

假设值函数具有二次型形式：

$$V^{\ast }(x(k))=x(k{)}^{\top }{P}_{k}x(k)$$

其中 $P_k$ 是待定的对称矩阵，依赖于剩余时域 $N-k$。

2.3 终端条件

$$P_N=P(\text{终端权重})$$

---

三、Riccati 差分方程

3.1 Bellman 方程展开

在时刻 $k$，Bellman 方程为：

$$V^{\ast }(x(k))=\underset{u(k)}{\min }\left\{x(k{)}^{\top }Qx(k)+u(k{)}^{\top }Ru(k)+V^{\ast }(x(k+1))\right\}$$

代入 $V^{\ast }(x(k+1))=x(k+1{)}^{\top }{P}_{k+1}x(k+1)$ 和 $x(k+1)=Ax(k)+Bu(k)$：

$$V^{\ast }(x(k))=\underset{u(k)}{\min }\left\{x(k{)}^{\top }Qx(k)+u(k{)}^{\top }Ru(k)+(Ax(k)+Bu(k){)}^{\top }{P}_{k+1}(Ax(k)+Bu(k))\right\}$$

3.2 最优性条件

对 $u(k)$ 求导：

$$\frac{\partial }{\partial u(k)}\left\{u(k{)}^{\top }Ru(k)+(Ax(k)+Bu(k){)}^{\top }{P}_{k+1}(Ax(k)+Bu(k))\right\}=0$$ $$2Ru(k)+2B^{\top }{P}_{k+1}(Ax(k)+Bu(k))=0$$

解得最优控制：

$$u^{\ast }(k)=-(R+B^{\top }{P}_{k+1}B{)}^{-1}{B}^{\top }{P}_{k+1}Ax(k)=-K_{k}x(k)$$

3.3 时变反馈增益

$$\boxed{K_k=(R+B^{\top }{P}_{k+1}B{)}^{-1}{B}^{\top }{P}_{k+1}A}$$

3.4 Riccati 差分方程

将最优控制代入 Bellman 方程，整理得Riccati 差分方程：

$$\boxed{P_k=A^{\top }{P}_{k+1}A-A^{\top }{P}_{k+1}B(R+B^{\top }{P}_{k+1}B{)}^{-1}{B}^{\top }{P}_{k+1}A+Q}$$

边界条件：$P_N=P$

---

四、递推算法

4.1 算法步骤

离线计算（逆向递推）：

1. 初始化：$P_N=P$（终端权重）
2. 对于 $k=N-1,N-2,\dots ,0$：
   • 计算增益：$K_k=(R+B^{\top }{P}_{k+1}B{)}^{-1}{B}^{\top }{P}_{k+1}A$
   • 更新 Riccati 矩阵：$P_k=(A-B{K}_k{)}^{\top }{P}_{k+1}(A-B{K}_k)+K_k^{\top }R{K}_k+Q$
3. 存储所有 $K_k$

在线执行（正向应用）：

1. 测量当前状态 $x(k)$
2. 应用控制：$u(k)=-K_{k}x(k)$
3. $k\leftarrow k+1$，重复

4.2 算法复杂度

阶段	计算量	存储量
离线递推	$O(N\cdot n^3)$	$O(N\cdot n^2)$
在线执行	$O(n^2)$ 每步	$O(N\cdot n^2)$

---

五、时变增益的特性

5.1 稳态极限

当 $N\to \infty$ 且剩余时域 $N-k\to \infty$ 时：

$$K_k\to K_{\infty }$$

其中 $K_{\infty }$ 是无限时域 LQR 的稳态增益。

5.2 终端效应

靠近终端时刻 $k\approx N$ 时：

• 剩余时域短，控制更”保守”
• $K_k$ 明显不同于稳态增益

5.3 收敛速度

$K_k$ 收敛到 $K_{\infty }$ 的速度取决于：

• 闭环系统 $A-B{K}_{\infty }$ 的谱半径
• 谱半径越小，收敛越快

---

六、示例：有限时域 LQR 递推

6.1 系统参数

$$A=0.8,B=0.2,Q=1,R=1,N=5,P_5=0$$

6.2 逆向递推结果

$k$	$P_k$	$K_k$
5	0	-
4	1.00	0.138
3	1.75	0.382
2	1.98	0.549
1	2.07	0.602
0	2.09	0.615

6.3 观察

• $P_k$ 从终端向初始单调递增
• $K_k$ 逐渐接近稳态增益 $K_{\infty }\approx 0.618$
• 即使 $N=5$，初始时刻的增益已非常接近稳态值

---

七、与无限时域 DARE 的关系

7.1 极限行为

当 $N\to \infty$ 时，Riccati 差分方程的解收敛到 DARE 的解：

$$\underset{N\to \infty }{\lim }{P}_0=P_{\infty }$$ $$\underset{N\to \infty }{\lim }{K}_0=K_{\infty }$$

7.2 不动点

DARE 方程是 Riccati 差分方程的不动点：

若 $P_{k+1}=P_k=P$，则 Riccati 差分方程退化为 DARE：

$$P=A^{\top }PA-A^{\top }PB(R+B^{\top }PB{)}^{-1}{B}^{\top }PA+Q$$

---

八、总结

概念	公式
Bellman 方程	$V^{\ast }(x(k))={\min }_{u(k)}\{x^{\top }Qx+u^{\top }Ru+V^{\ast }(x(k+1))\}$
Riccati 差分方程	$P_k=A^{\top }{P}_{k+1}A-A^{\top }{P}_{k+1}B(R+B^{\top }{P}_{k+1}B{)}^{-1}{B}^{\top }{P}_{k+1}A+Q$
时变增益	$K_k=(R+B^{\top }{P}_{k+1}B{)}^{-1}{B}^{\top }{P}_{k+1}A$
边界条件	$P_N=P$（终端权重）
稳态极限	$P_k\to P_{\infty }$（DARE 解）

相关内容

• DARE 方程见 02-离散代数 Riccati 方程 DARE 求解
• 终端权重匹配见 03-终端权重 P 与无限时域代价匹配

---

更新记录

日期	内容
2026-04-10	初始版本