强化学习--3.值函数的方法（贝尔曼方程）

1、策略和价值函数

1、策略（确定/不确定）

策略是智能体选择动作的规则，分为两类：

1. 确定性策略：

   • 每个状态下只选择一个动作，例如：在状态$s$时，$\pi (s)=\text{向上}$。
   • 数学表示：$\pi (a|s)=1$（当$a$是策略指定动作），否则为0。
   • 确定性策略 $\pi (s)=a$ 表示在状态 $s$ 下必然选择动作 $a$，即 $\pi (a|s)=1$（其他动作概率为0）。

2. 随机性策略：

   • 每个状态下按概率分布选择动作，例如：在状态$s$时，80%概率向上，10%向左，10%向右。
   • 数学表示：$\pi (\text{向上}|s)=0.8$, $\pi (\text{左}|s)=0.1$, $\pi (\text{右}|s)=0.1$。

---

策略（Policy, π）

1. 定义与公式

策略表示智能体在给定状态下选择动作的规则，分为两种形式：

• 确定性策略（Deterministic Policy）：
  直接输出动作，即 $a=\pi (s)$，表示在状态 $s$ 时必然选择动作 $a$。
  公式：
  $$\pi :\mathcal{S}\to \mathcal{A}$$
• 随机策略（Stochastic Policy）：
  输出动作的概率分布，即 $\pi (a|s)=\mathbb{P}(A=a|S=s)$，表示在状态 $s$ 时选择动作 $a$ 的概率。
  公式：
  $$\pi :\mathcal{S}\times \mathcal{A}\to [0,1],\sum _{a\in \mathcal{A}}\pi (a|s)=1$$

1. 定义与公式
   策略表示智能体在给定状态下选择动作的规则，分为两种类型：

• 确定性策略（Deterministic Policy）：直接输出具体动作，记为 $a=\pi (s)$，即状态 $s$ 下必然选择动作 $a$。
• 随机性策略（Stochastic Policy）：输出动作的概率分布，公式为：
  $$\pi (a|s)=\mathbb{P}(A_t=a\mid S_t=s)$$
  表示在状态 $s$ 时，选择动作 $a$ 的概率。

公式项解析

• $\pi (a|s)$：策略函数，条件概率分布（随机性策略）或确定映射（确定性策略）。
• $A_t$：时刻 $t$ 智能体选择的动作（随机变量）。
• $S_t$：时刻 $t$ 智能体所处的状态（随机变量）。
• $\mathbb{P}(\cdot )$：概率运算符，表示在给定状态 $s$ 下选择动作 $a$ 的概率。

2、价值函数（状态/动作）

价值函数（Value Function）
价值函数衡量“状态”或“状态-动作对”的长期价值，分为状态价值函数 $V^{\pi }(s)$ 和 动作价值函数 $Q^{\pi }(s,a)$。

1. 状态价值函数 $V^{\pi }(s)$

• 定义：从状态 $s$ 出发，遵循策略 $\pi$ 时获得的期望累计折扣回报。

• 公式：
  $$V^{\pi }(s)={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}|S_t=s\right]$$
  其中：

  • $\gamma \in [0,1]$ 是折扣因子（衡量未来奖励的重要性），
  • $R_{t+1}$ 是 $t+1$ 时刻的即时奖励，
  • 期望 ${\mathbb{E}}_{\pi }$ 包含策略 $\pi$ 和环境动态的随机性。

• 贝尔曼方程（递归形式）：
  $$V^{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)\left(R(s,a)+\gamma \sum _{s^{\prime }\in \mathcal{S}}P(s^{\prime }|s,a)V^{\pi }(s^{\prime })\right)$$
  其中 $P(s^{\prime }|s,a)$ 是状态转移概率，$R(s,a)$ 是状态 $s$ 执行动作 $a$ 的即时奖励。

• 定义：从状态 $s$ 出发，遵循策略 $\pi$ 时，未来累计折扣奖励的期望值。

• 公式：
  $$V^{\pi }(s)={\mathbb{E}}_{\pi }\left[R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+\cdots \mid S_t=s\right]$$
  或递归形式（贝尔曼方程）：
  $$V^{\pi }(s)={\mathbb{E}}_{\pi }\left[R_{t+1}+\gamma V^{\pi }(S_{t+1})\mid S_t=s\right]$$

• 公式项解析

  • $R_t$：时刻 $t$ 获得的即时奖励（标量）。
  • $\gamma \in [0,1]$：折扣因子，用于衰减未来奖励的重要性（$\gamma =0$ 只关注即时奖励，$\gamma =1$ 关注所有未来奖励）。
  • ${\mathbb{E}}_{\pi }[\cdot ]$：在策略 $\pi$ 下的期望，包含动作选择和环境状态转移的随机性。
  • $S_{t+1}$：执行动作后转移到的下一个状态（由环境动态决定，记为转移概率 $p(s^{\prime }|s,a)=\mathbb{P}(S_{t+1}=s^{\prime }\mid S_t=s,A_t=a)$）。

• 展开形式（考虑环境动态）：
  $$V^{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)\left[r(s,a)+\gamma V^{\pi }(s^{\prime })\right]$$
  其中 $r(s,a)=\mathbb{E}[R_{t+1}\mid S_t=s,A_t=a]$ 是状态 $s$ 执行动作 $a$ 的期望即时奖励。

2. 动作价值函数 $Q^{\pi }(s,a)$

• 定义：从状态 $s$ 出发，执行动作 $a$ 后遵循策略 $\pi$ 时获得的期望累计折扣回报。

• 公式：
  $$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}|S_t=s,A_t=a\right]$$

• 贝尔曼方程：
  $$Q^{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in \mathcal{S}}P(s^{\prime }|s,a)\sum _{a^{\prime }\in \mathcal{A}}\pi (a^{\prime }|s^{\prime })Q^{\pi }(s^{\prime },a^{\prime })$$
  即当前动作的即时奖励 + 后续状态所有可能动作的价值期望。

• 定义：从状态 $s$ 出发，执行动作 $a$ 后，遵循策略 $\pi$ 时，未来累计折扣奖励的期望值。

• 公式：
  $$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }\left[R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+\cdots \mid S_t=s,A_t=a\right]$$
  递归形式（贝尔曼方程）：
  $$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }\left[R_{t+1}+\gamma Q^{\pi }(S_{t+1},A_{t+1})\mid S_t=s,A_t=a\right]$$

• 公式项解析

  • 与状态价值函数的区别：固定当前动作 $a$，后续动作由策略 $\pi$ 决定。
  • 展开形式（考虑环境动态）：
    $$Q^{\pi }(s,a)=\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)\left[r(s,a)+\gamma \sum _{a^{\prime }\in \mathcal{A}}\pi (a^{\prime }|s^{\prime })Q^{\pi }(s^{\prime },a^{\prime })\right]$$

3. 物理意义

• $V^{\pi }(s)$ 衡量状态 $s$ 的“好坏”，$Q^{\pi }(s,a)$ 衡量动作 $a$ 在状态 $s$ 下的“好坏”。
• 价值函数通过递归关系（贝尔曼方程）将当前价值与未来价值联系起来，是动态规划求解强化学习的核心。

4. 示例：两状态马尔可夫链

假设系统有两个状态 $s_1,s_2$，动作空间 A = { a 1 , a 2 } \mathcal{A} = \{a_1, a_2\} A={a1​,a2​}，状态转移和奖励如下：

• 从 $s_1$ 执行 $a_1$ 以概率1转移到 $s_2$，奖励 $R=0$；
• 从 $s_2$ 执行 $a_2$ 以概率1转移到 $s_1$，奖励 $R=5$；
• 折扣因子 $\gamma =0.9$，策略为确定性策略 $\pi (s_1)=a_1,\pi (s_2)=a_2$。

计算 $V^{\pi }(s_1)$ 和 $V^{\pi }(s_2)$：
根据贝尔曼方程：
$$V^{\pi }(s_1)=\pi (a_1|s_1)\left(R(s_1,a_1)+\gamma V^{\pi }(s_2)\right)=0+0.9V^{\pi }(s_2)$$

$$V^{\pi }(s_2)=\pi (a_2|s_2)\left(R(s_2,a_2)+\gamma V^{\pi }(s_1)\right)=5+0.9V^{\pi }(s_1)$$
联立方程解得：
$$V^{\pi }(s_1)=0.9(5+0.9V^{\pi }(s_1))⟹V^{\pi }(s_1)=\frac{4.5}{1-0.81}=23.68$$

$$V^{\pi }(s_2)=5+0.9\times 23.68=26.31$$
计算 $Q^{\pi }(s_2,a_2)$：
$$Q^{\pi }(s_2,a_2)=R(s_2,a_2)+\gamma V^{\pi }(s_1)=5+0.9\times 23.68=26.31$$
（与 $V^{\pi }(s_2)$ 相等，因为策略下 $s_2$ 只能选 $a_2$，体现 $V^{\pi }(s)={\sum }_a\pi (a|s)Q^{\pi }(s,a)$ 的关系）。

3、确定、随机策略下的不同形式价值函数公式

强化学习：详细举例说明确定性策略和随机策略下的价值函数原公式、递归形式、展开形式（考虑环境动态），以表格形式输出

以下为确定性策略和随机策略下状态价值函数（V）和动作价值函数（Q）的公式对比，包含原公式、递归形式（贝尔曼方程）及展开形式（考虑环境动态）：

策略类型	价值函数	原公式	递归形式（贝尔曼方程）	展开形式（考虑环境动态）
确定性策略	Vπ(s)	$V^{\pi }(s)=\mathbb{E}\left[r+\gamma V^{\pi }(s^{\prime })\mid a=\pi (s)\right]$	$V^{\pi }(s)={\sum }_{s^{\prime },r}p(s^{\prime },r\mid s,\pi (s))\left[r+\gamma V^{\pi }(s^{\prime })\right]$	$V^{\pi }(s)={\sum }_{s^{\prime },r}p(s^{\prime },r\mid s,\pi (s))\left[r+\gamma {\sum }_{s^{\prime \prime },r^{\prime }}p(s^{\prime \prime },r^{\prime }\mid s^{\prime },\pi (s^{\prime }))\left[r^{\prime }+\gamma V^{\pi }(s^{\prime \prime })\right]\right]$（无限展开）
确定性策略	Qπ(s, a)	$Q^{\pi }(s,a)=\mathbb{E}\left[r+\gamma Q^{\pi }(s^{\prime },\pi (s^{\prime }))\mid s,a\right]$	$Q^{\pi }(s,a)={\sum }_{s^{\prime },r}p(s^{\prime },r\mid s,a)\left[r+\gamma Q^{\pi }(s^{\prime },\pi (s^{\prime }))\right]$	$Q^{\pi }(s,a)={\sum }_{s^{\prime },r}p(s^{\prime },r\mid s,a)\left[r+\gamma {\sum }_{s^{\prime \prime },r^{\prime }}p(s^{\prime \prime },r^{\prime }\mid s^{\prime },\pi (s^{\prime }))\left[r^{\prime }+\gamma Q^{\pi }(s^{\prime \prime },\pi (s^{\prime \prime }))\right]\right]$
随机策略	Vπ(s)	$V^{\pi }(s)={\mathbb{E}}_{a\sim \pi (\cdot \mid s)}\left[\mathbb{E}\left[r+\gamma V^{\pi }(s^{\prime })\mid s,a\right]\right]$	$V^{\pi }(s)={\sum }_a\pi (a\mid s){\sum }_{s^{\prime },r}p(s^{\prime },r\mid s,a)\left[r+\gamma V^{\pi }(s^{\prime })\right]$	$V^{\pi }(s)={\sum }_a\pi (a\mid s){\sum }_{s^{\prime },r}p(s^{\prime },r\mid s,a)\left[r+\gamma {\sum }_{a^{\prime }}\pi (a^{\prime }\mid s^{\prime }){\sum }_{s^{\prime \prime },r^{\prime }}p(s^{\prime \prime },r^{\prime }\mid s^{\prime },a^{\prime })\left[r^{\prime }+\gamma V^{\pi }(s^{\prime \prime })\right]\right]$
随机策略	Qπ(s, a)	$Q^{\pi }(s,a)=\mathbb{E}\left[r+\gamma {\mathbb{E}}_{a^{\prime }\sim \pi (\cdot \mid s^{\prime })}{Q}^{\pi }(s^{\prime },a^{\prime })\mid s,a\right]$	$Q^{\pi }(s,a)={\sum }_{s^{\prime },r}p(s^{\prime },r\mid s,a)\left[r+\gamma {\sum }_{a^{\prime }}\pi (a^{\prime }\mid s^{\prime })Q^{\pi }(s^{\prime },a^{\prime })\right]$	$Q^{\pi }(s,a)={\sum }_{s^{\prime },r}p(s^{\prime },r\mid s,a)\left[r+\gamma {\sum }_{a^{\prime }}\pi (a^{\prime }\mid s^{\prime }){\sum }_{s^{\prime \prime },r^{\prime }}p(s^{\prime \prime },r^{\prime }\mid s^{\prime },a^{\prime })\left[r^{\prime }+\gamma {\sum }_{a^{\prime \prime }}\pi (a^{\prime \prime }\mid s^{\prime \prime })Q^{\pi }(s^{\prime \prime },a^{\prime \prime })\right]\right]$

---

公式说明：

1. 原公式：定义式，表示价值函数的期望回报。
2. 递归形式：贝尔曼方程，通过单步展开将价值函数分解为即时奖励与后续状态的折扣价值。
3. 展开形式：通过递归代入贝尔曼方程，显式展开为多步奖励的期望（例如两步展开）。

关键符号：

• $p(s^{\prime },r\mid s,a)$: 环境动态，表示在状态 $s$ 执行动作 $a$ 后转移到 $s^{\prime }$ 并获得奖励 $r$ 的概率。
• $\gamma$: 折扣因子。
• $\pi (s)$: 确定性策略直接输出动作。
• $\pi (a\mid s)$: 随机策略输出动作的概率分布。

---

以下以表格形式详细对比确定性策略和随机策略下的状态价值函数 $V^{\pi }(s)$ 和 动作价值函数 $Q^{\pi }(s,a)$，包含原公式、递归形式、展开形式及具体示例（考虑环境动态）。

一、确定性策略（Deterministic Policy: $\pi (s)=a$）

价值函数	原公式（期望定义）	递归形式（贝尔曼方程）	展开形式（无限级数）	示例（确定性环境动态）
状态价值 $V^{\pi }(s)$	$V^{\pi }(s)={\mathbb{E}}_{\pi }\left[{\sum }_{t=0}^{\infty }{\gamma }^t{R}_{t+1}\mid S_0=s\right]$	$V^{\pi }(s)={\sum }_{s^{\prime }}p(s^{\prime }\mid s,\pi (s))\left[r(s,\pi (s),s^{\prime })+\gamma V^{\pi }(s^{\prime })\right]$	$V^{\pi }(s)=r(s,a,s_1)+\gamma r(s_1,a_1,s_2)+{\gamma }^{2}r(s_2,a_2,s_3)+\dots$ （其中 $a_t=\pi (s_t)$，$s_{t+1}$ 由 $p(s^{\prime }\mid s_t,a_t)$ 确定）	场景：状态 $s$ 执行动作 $a=\pi (s)$ 后，以 $p=1$ 转移到 $s^{\prime }$，奖励 $r=5$ 计算： $V^{\pi }(s)=5+\gamma V^{\pi }(s^{\prime })$ $V^{\pi }(s^{\prime })=0$（终止状态） 结果：$V^{\pi }(s)=5$（若 $\gamma =0$）
动作价值 $Q^{\pi }(s,a)$	$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }\left[{\sum }_{t=0}^{\infty }{\gamma }^t{R}_{t+1}\mid S_0=s,A_0=a\right]$	$Q^{\pi }(s,a)={\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)\left[r(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime })\right]$ （若 $a=\pi (s)$，则 $Q^{\pi }(s,a)=V^{\pi }(s)$）	$Q^{\pi }(s,a)=r(s,a,s_1)+\gamma r(s_1,\pi (s_1),s_2)+{\gamma }^{2}r(s_2,\pi (s_2),s_3)+\dots$	场景：状态 $s$ 执行动作 $a$ 后，以 $p=0.7$ 转移到 $s_1$（奖励 $r=3$），$p=0.3$ 转移到 $s_2$（奖励 $r=-1$） 计算： $Q^{\pi }(s,a)=0.7(3+\gamma V^{\pi }(s_1))+0.3(-1+\gamma V^{\pi }(s_2))$

二、随机策略（Stochastic Policy: $\pi (a\mid s)$）

价值函数	原公式（期望定义）	递归形式（贝尔曼方程）	展开形式（无限级数）	示例（随机环境动态）
状态价值 $V^{\pi }(s)$	$V^{\pi }(s)={\sum }_a\pi (a\mid s){\mathbb{E}}_{\pi }\left[{\sum }_{t=0}^{\infty }{\gamma }^t{R}_{t+1}\mid S_0=s,A_0=a\right]$	$V^{\pi }(s)={\sum }_a\pi (a\mid s){\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)\left[r(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime })\right]$	$V^{\pi }(s)={\sum }_a\pi (a\mid s)\left[r(s,a,s_1^a)p(s_1^a\mid s,a)+\gamma {\sum }_{a^{\prime }}\pi (a^{\prime }\mid s_1^a)\left(r(s_1^a,a^{\prime },s_2^{a^{\prime }})p(s_2^{a^{\prime }}\mid s_1^a,a^{\prime })+\dots \right)\right]$	场景：状态 $s$ 以 $\pi (a_1\mid s)=0.6$、$\pi (a_2\mid s)=0.4$ 选择动作， - $a_1$：以 $p=0.8$ 转移到 $s^{\prime }$（奖励 $r=10$），$p=0.2$ 留 $s$（奖励 $r=0$） - $a_2$：确定转移到 $s^{\prime \prime }$（奖励 $r=5$） 计算： $V^{\pi }(s)=0.6[0.8(10+\gamma V^{\pi }(s^{\prime }))+0.2(0+\gamma V^{\pi }(s))]+0.4[5+\gamma V^{\pi }(s^{\prime \prime })]$
动作价值 $Q^{\pi }(s,a)$	$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }\left[{\sum }_{t=0}^{\infty }{\gamma }^t{R}_{t+1}\mid S_0=s,A_0=a\right]$	$Q^{\pi }(s,a)={\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)\left[r(s,a,s^{\prime })+\gamma {\sum }_{a^{\prime }}\pi (a^{\prime }\mid s^{\prime })Q^{\pi }(s^{\prime },a^{\prime })\right]$	$Q^{\pi }(s,a)={\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)\left[r(s,a,s^{\prime })+\gamma {\sum }_{a^{\prime }}\pi (a^{\prime }\mid s^{\prime })\left(r(s^{\prime },a^{\prime },s^{\prime \prime })p(s^{\prime \prime }\mid s^{\prime },a^{\prime })+\gamma {\sum }_{a^{\prime \prime }}\pi (a^{\prime \prime }\mid s^{\prime \prime })\dots \right)\right]$	场景：固定动作 $a$，状态 $s$ 以 $p=0.5$ 转移到 $s_1$（奖励 $r=2$），$p=0.5$ 转移到 $s_2$（奖励 $r=4$）， 后续状态 $s_1$ 以 $\pi (a_1\mid s_1)=0.3$、$\pi (a_2\mid s_1)=0.7$ 选择动作 计算： $Q^{\pi }(s,a)=0.5[2+\gamma (0.3Q^{\pi }(s_1,a_1)+0.7Q^{\pi }(s_1,a_2))]+0.5[4+\gamma (0.3Q^{\pi }(s_2,a_1)+0.7Q^{\pi }(s_2,a_2))]$

三、核心公式对比（数学符号层面）

对比项	确定性策略	随机策略
策略表示	$\pi (s)=a$（确定动作）	$\pi (a\mid s)$（动作概率分布，${\sum }_a\pi (a\mid s)=1$）
状态价值递归式	$V^{\pi }(s)={\sum }_{s^{\prime }}p(s^{\prime }\mid s,\pi (s))\left[r+\gamma V^{\pi }(s^{\prime })\right]$（无动作求和）	$V^{\pi }(s)={\sum }_a\pi (a\mid s){\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)\left[r+\gamma V^{\pi }(s^{\prime })\right]$（双重求和：动作+转移）
动作价值递归式	$Q^{\pi }(s,a)={\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)\left[r+\gamma V^{\pi }(s^{\prime })\right]$（仅转移求和）	$Q^{\pi }(s,a)={\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)\left[r+\gamma {\sum }_{a^{\prime }}\pi (a^{\prime }\mid s^{\prime })Q^{\pi }(s^{\prime },a^{\prime })\right]$（转移+后续动作概率求和）
展开式核心	动作序列固定，仅环境转移概率累加	每一步需对动作选择概率和环境转移概率同时求和

四、示例总结（环境动态关键作用）

1. 确定性环境 vs. 随机环境：

   • 若环境动态是确定性的（$p(s^{\prime }\mid s,a)=1$），确定性策略的展开式退化为直接递推（如网格世界案例）；
   • 若环境有随机性（如 $p(s^{\prime }\mid s,a)<1$），即使策略是确定性的，价值函数仍需对转移概率加权求和。

2. 策略随机性的影响：

   • 随机策略的价值函数在策略层引入动作选择的随机性（$\pi (a\mid s)$），与环境动态的随机性（$p(s^{\prime }\mid s,a)$）共同决定期望回报。

通过表格可清晰看到，两种策略的价值函数在数学结构上的核心差异在于是否对动作概率进行求和，而环境动态（转移概率 $p$）始终影响价值函数的递归和展开形式。

4、${\mathbb{E}}_{\pi }\left[{\sum }_{t=0}^{\infty }{\gamma }^t{R}_{t+1}|S_t=s\right]$解释

要展开状态价值函数 $V^{\pi }(s)$ 中的期望 ${\mathbb{E}}_{\pi }$，需考虑策略 $\pi$ 和环境动态的联合作用。具体步骤如下：

1. 策略与动作选择：在状态 $s$，策略 $\pi$ 规定选择动作 $a$ 的概率为 $\pi (a|s)$。

2. 环境动态：执行动作 $a$ 后，环境根据转移概率 $P(s^{\prime },r|s,a)$ 转移到状态 $s^{\prime }$，并提供奖励 $r$。

3. 递归期望计算：状态价值是即时奖励与后续状态折扣价值的期望之和：
   $$V^{\pi }(s)=\sum _a\pi (a|s)\sum _{s^{\prime },r}P(s^{\prime },r|s,a)\left[r+\gamma V^{\pi }(s^{\prime })\right]$$
   示例说明：
   假设状态 $s$ 有两个动作 $a_1$ 和 $a_2$，策略为均匀随机（各选概率 0.5）：

• 动作 $a_1$：转移到终止态，奖励 1，后续价值为 0。
• 动作 $a_2$：留在 $s$，奖励 0，后续价值为 $\gamma V^{\pi }(s)$。

代入贝尔曼方程：
$$V^{\pi }(s)=0.5\times (1+0)+0.5\times (0+\gamma V^{\pi }(s))$$
解得 $V^{\pi }(s)=\frac{0.5}{1-0.45}\approx 0.909$。

结论：${\mathbb{E}}_{\pi }$ 的展开综合了策略的动作选择概率和环境的状态转移概率，通过递归计算即时奖励和未来折扣价值的期望，最终收敛到状态价值 $V^{\pi }(s)$。

状态价值函数 $V^{\pi }(s)$ 的公式
$$V^{\pi }(s)={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}|S_t=s\right]$$
表示在策略 $\pi$ 下，从状态 $s$ 出发的长期期望回报。其核心是通过策略 $\pi$ 和环境的动态联合作用，对所有可能的未来奖励进行加权平均，并考虑时间折扣因子 $\gamma$。以下是展开 ${\mathbb{E}}_{\pi }$ 的步骤和示例：

---

展开步骤

1. 策略的动作选择
   在状态 $s$，策略 $\pi$ 以概率 $\pi (a|s)$ 选择动作 $a$。

2. 环境的动态转移
   执行动作 $a$ 后，环境根据转移概率 $P(s^{\prime },r|s,a)$ 转移到状态 $s^{\prime }$，并产生即时奖励 $r$。

3. 递归期望计算
   状态价值是即时奖励与后续状态折扣价值的期望之和，即贝尔曼方程：
   $$V^{\pi }(s)=\sum _a\pi (a|s)\sum _{s^{\prime },r}P(s^{\prime },r|s,a)\left[r+\gamma V^{\pi }(s^{\prime })\right]$$

---

示例说明

假设状态 $s$ 有两个动作 $a_1$ 和 $a_2$，策略为均匀随机（各选概率 $0.5$），折扣因子 $\gamma =0.9$：

1. 动作 $a_1$

   • 转移到终止态，获得即时奖励 $r=1$，后续价值为 $0$。
   • 贡献值：$1+\gamma \cdot 0=1$。

2. 动作 $a_2$

   • 留在状态 $s$，获得即时奖励 $r=0$，后续价值为 $\gamma V^{\pi }(s)$。
   • 贡献值：$0+\gamma V^{\pi }(s)$。

代入贝尔曼方程：
$$V^{\pi }(s)=0.5\times 1+0.5\times \gamma V^{\pi }(s)$$
解得：
$$V^{\pi }(s)=\frac{0.5}{1-0.5\gamma }=\frac{0.5}{1-0.45}\approx 0.909$$

---

结论

• ${\mathbb{E}}_{\pi }$ 的展开分为两部分：
  1. 策略的动作选择概率（$\pi (a|s)$），
  2. 环境的状态转移概率（$P(s^{\prime },r|s,a)$）。
• 通过递归计算即时奖励和未来折扣价值的加权平均，最终收敛到状态价值 $V^{\pi }(s)$。
• 示例表明，即使某些动作导致循环（如动作 $a_2$），贝尔曼方程仍可通过代数求解得到明确解

5、区别与联系

概念	策略（π）	价值函数（V/Q）
作用	决定动作选择	评估状态/动作的长期价值
输入	状态 $s$	状态 $s$ 或 状态-动作对 $(s,a)$
输出	动作（确定性）或概率（随机性）	期望折扣回报
联系	价值函数依赖策略 π，策略优化依赖价值函数

核心公式对比与联系

概念	公式核心	核心变量	递归关系
确定性策略	$a=\pi (s)$	状态 $s$ → 动作 $a$	无（直接映射）
随机性策略	$\pi (a\mid s)=\mathbb{P}(A_t=a\mid S_t=s)$	状态 $s$ → 动作概率分布	无（概率分布独立于后续状态）
状态价值函数	$V^{\pi }(s)=\mathbb{E}[R_t+\gamma V^{\pi }(S_{t+1})\mid s]$	状态 $s$ 的长期价值	依赖下一状态的价值 $V^{\pi }(s^{\prime })$
动作价值函数	$Q^{\pi }(s,a)=\mathbb{E}[R_t+\gamma Q^{\pi }(S_{t+1},A_{t+1})\mid s,a]$	状态 $s$ 执行动作 $a$ 的长期价值	依赖下一状态的动作价值 $Q^{\pi }(s^{\prime },a^{\prime })$

总结

• 策略是智能体的行为模型，直接指导动作选择；
• 价值函数是评估工具，通过累计奖励量化状态/动作的优劣，其核心是贝尔曼方程的递归结构；
• 两者共同构成强化学习的基础：策略优化（如策略梯度）和价值估计（如Q-learning）是两大核心方向。

2、贝尔曼方程推导

https://zhuanlan.zhihu.com/p/690597667
https://zhuanlan.zhihu.com/p/690597667



贝尔曼方程是强化学习中描述状态值函数（或动作值函数）递归关系的核心方程，其推导基于马尔科夫决策过程（MDP）和全期望公式。

贝尔曼方程：
“贝尔曼方程（Bellman Equation）”也被称作“动态规划方程（Dynamic Programming Equation）”，由理查·贝尔曼（Richard Bellman）发现。贝尔曼方程是动态规划（Dynamic Programming）这种数学最佳化方法能够达到最佳化的必要条件。此方程将“决策问题在特定时间点的值”以“来自初始选择的报酬 及 由初始选择衍生的决策问题的值”的形式表示。藉这个方式将动态最佳化问题变成较简单的子问题，而这些子问题遵守由贝尔曼所提出的“最佳化原理”。引自：维基百科-贝尔曼方程。

简单说，贝尔曼方程把函数表示为递归的形式，从而用DP等手段进行求解。

3、网格世界案例

策略（Policy）&价值（Value）函数：确定性策略和随机策略下的贝尔曼方程

详细举例说明：强化学习策略（Policy）&价值（Value）函数的原理及计算过程，并分别说明在确定性策略和随机策略下两者如何计算，选用3x3网格世界

2.1 贝尔曼方程的形式

1. 确定性策略
策略定义：每个状态对应唯一动作，例如在状态S1时固定向右移动（→）。
贝尔曼方程：
• 状态价值函数（V）：
$$V^{\pi }(s)=R(s,\pi (s))+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,\pi (s))V^{\pi }(s^{\prime })$$
其中，$P(s^{\prime }\mid s,a)$ 是确定性转移概率（动作执行成功概率为1）。

• 动作价值函数（Q）：
$$Q^{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)V^{\pi }(s^{\prime })$$

示例计算（以S1为例）：
假设策略在S1选择向右（→），则：
$$V^{\pi }(S1)=-0.04+0.9\cdot V^{\pi }(S2)$$

若S2的策略是向下（↓），则继续递归计算 $V^{\pi }(S2)=-0.04+0.9\cdot V^{\pi }(S5)$，但S5是陷阱（终止状态），故 $V^{\pi }(S5)=-1$。最终：
$$V^{\pi }(S1)=-0.04+0.9\cdot (-0.04+0.9\cdot (-1))\approx -0.92$$

---

2. 随机策略
策略定义：每个状态下动作按概率分布选择。例如在S1时，向右（→）和向下（↓）的概率各为0.5。
贝尔曼方程：
• 状态价值函数（V）：
$$V^{\pi }(s)=\sum _a\pi (a\mid s)\left[R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)V^{\pi }(s^{\prime })\right]$$
• 动作价值函数（Q）：
$$Q^{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)\sum _{a^{\prime }}\pi (a^{\prime }\mid s^{\prime })Q^{\pi }(s^{\prime },a^{\prime })$$
示例计算（以S1为例）：
假设策略在S1选择→和↓各0.5概率：
$$V^{\pi }(S1)=0.5\cdot [-0.04+0.9\cdot V^{\pi }(S2)]+0.5\cdot [-0.04+0.9\cdot V^{\pi }(S4)]$$
若S2和S4的策略均为随机分布（如各方向0.25概率），则需递归计算所有可能路径的期望值。例如，若S2的随机策略导致进入陷阱S5的概率为0.25，则：
$$V^{\pi }(S2)=0.25\cdot (-1)+0.75\cdot (\text{其他状态的价值期望})$$

2.2 2x2网格

以下通过一个具体的 网格世界案例，详细解析强化学习中 策略（Policy） 和 价值函数（Value Function） 的原理及计算过程。

一、案例场景：2x2网格世界

环境设定

• 状态空间：4个状态，分别为 $S=\{(1,1),(1,2),(2,1),(2,2)\}$，其中 $(2,2)$ 是 终止状态（终点），奖励为 $+1$，其他状态转移奖励为 $0$。
• 动作空间：每个状态可选择 右（→） 或 下（↓），但在边界状态只能选择有效动作（如 $(1,2)$ 只能向下，$(2,1)$ 只能向右）。
• 折扣因子：$\gamma =0.9$（假设即时奖励的未来折扣）。

二、策略（Policy）的原理与计算

1. 策略定义

策略 $\pi (a|s)$ 表示在状态 $s$ 下选择动作 $a$ 的概率。分为 确定性策略（选择动作的概率为1）和 随机策略（概率分布）。
例子：假设采用 确定性策略 $\pi$：

• $\pi (\to |(1,1))=1$（状态(1,1)只能向右）
• $\pi (\downarrow |(1,2))=1$（状态(1,2)只能向下）
• $\pi (\to |(2,1))=1$（状态(2,1)只能向右）
• 终止状态 $(2,2)$ 无动作。

2. 策略的作用

策略决定了智能体的行为，进而影响价值函数的计算。例如，在状态 $(1,1)$，策略强制选择“右”，转移至状态 $(1,2)$。

三、价值函数（Value Function）的原理与计算

价值函数评估策略的优劣，分为 状态价值函数 $V^{\pi }(s)$ 和 动作价值函数 $Q^{\pi }(s,a)$。

1. 状态价值函数 $V^{\pi }(s)$

定义：从状态 $s$ 出发，遵循策略 $\pi$ 时的期望累积折扣奖励，即：
$$V^{\pi }(s)={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}\mid S_t=s\right]$$
贝尔曼方程：状态价值等于即时奖励加上后续状态价值的折扣期望。
$$V^{\pi }(s)=\sum _a\pi (a|s)\left(R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }|s,a)V^{\pi }(s^{\prime })\right)$$
其中 $R(s,a)$ 是状态 $s$ 执行动作 $a$ 的即时奖励，$P(s^{\prime }|s,a)$ 是状态转移概率（本例中转移是确定性的，$P=1$）。

计算过程（案例）

1. 终止状态：$V^{\pi }((2,2))=1$（即时奖励为1，无后续状态）。
2. 状态 $(1,2)$：策略要求向下，转移至 $(2,2)$，即时奖励0：
   $$V^{\pi }((1,2))=0+\gamma \cdot V^{\pi }((2,2))=0+0.9\cdot 1=0.9$$
3. 状态 $(2,1)$：策略要求向右，转移至 $(2,2)$，即时奖励0：
   $$V^{\pi }((2,1))=0+\gamma \cdot V^{\pi }((2,2))=0+0.9\cdot 1=0.9$$
4. 状态 $(1,1)$：策略要求向右，转移至 $(1,2)$，即时奖励0：
   $$V^{\pi }((1,1))=0+\gamma \cdot V^{\pi }((1,2))=0+0.9\cdot 0.9=0.81$$
   结果：
   V π = { ( 1 , 1 ) : 0.81 , ( 1 , 2 ) : 0.9 , ( 2 , 1 ) : 0.9 , ( 2 , 2 ) : 1 } V^\pi = \left\{ (1,1): 0.81, \ (1,2): 0.9, \ (2,1): 0.9, \ (2,2): 1 \right\} Vπ={(1,1):0.81, (1,2):0.9, (2,1):0.9, (2,2):1}

2. 动作价值函数 $Q^{\pi }(s,a)$

定义：在状态 $s$ 执行动作 $a$ 后，遵循策略 $\pi$ 时的期望累积折扣奖励，即：
$$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}\mid S_t=s,A_t=a\right]$$
贝尔曼方程：
$$Q^{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }|s,a)\sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })V^{\pi }(s^{\prime })$$

计算过程（案例：假设策略为随机策略）

假设在状态 $(1,1)$ 以 $\pi (\to |(1,1))=0.5$、$\pi (\downarrow |(1,1))=0.5$ 随机选择动作（实际案例中(1,1)向下会到(2,1)，向右到(1,2)）：

1. 计算 $Q^{\pi }((1,1),\to )$：
   执行“右”后转移至 $(1,2)$，后续按策略 $\pi (\downarrow |(1,2))=1$：
   $$Q^{\pi }((1,1),\to )=0+\gamma \cdot V^{\pi }((1,2))=0+0.9\cdot 0.9=0.81$$
2. 计算 $Q^{\pi }((1,1),\downarrow )$：
   执行“下”后转移至 $(2,1)$，后续按策略 $\pi (\to |(2,1))=1$：
   $$Q^{\pi }((1,1),\downarrow )=0+\gamma \cdot V^{\pi }((2,1))=0+0.9\cdot 0.9=0.81$$
   结果：在随机策略下，两个动作的价值相同；在确定性策略下，只有被选择的动作有对应价值，其他动作价值需重新计算（若策略不选择该动作，其价值可能不被当前策略考虑）。

四、核心关系与总结

1. 策略决定价值：价值函数依赖于策略，不同策略下同一状态的价值不同（如确定性策略 vs. 随机策略）。
2. 贝尔曼方程的作用：通过递归关系将当前状态价值与后续状态价值关联，形成方程组求解（如案例中的线性方程）。
3. 迭代求解方法：实际应用中常用 迭代策略评估（Iterative Policy Evaluation），通过反复更新价值直到收敛，而非直接解方程（适用于大规模状态空间）。

案例意义：通过网格世界的简单转移，展示了策略如何引导行为，价值函数如何量化策略的长期收益，以及两者通过贝尔曼方程的数学关联。强化学习的核心目标即通过优化策略，使价值函数最大化（如Q-learning算法直接优化Q函数）。

2.3 3x3网格

强化学习策略（Policy）与价值（Value）函数原理及计算过程详解

以3x3网格世界为例，分确定性策略与随机策略说明

---

1. 环境设定

构建一个3x3网格世界，包含以下元素：

• 起点（S）：左下角（坐标(0,0)）。
• 终点（G）：右上角（坐标(2,2)），到达后奖励+10并终止。
• 陷阱（T）：中心位置（坐标(1,1)），掉入后奖励-5并终止。
• 移动规则：
  • 每移动一步奖励-0.1。
  • 撞墙时保持原位，奖励-0.1。
• 折扣因子：$\gamma =0.9$。

网格布局：

(0,0) S | (0,1)   | (0,2)  
--------|---------|--------  
(1,0)   | (1,1) T | (1,2)  
--------|---------|--------  
(2,0)   | (2,1)   | (2,2) G  

---

2. 策略（Policy）的定义与分类

策略是智能体选择动作的规则，分为两类：

1. 确定性策略：

   • 每个状态下只选择一个动作，例如：在状态$s$时，$\pi (s)=\text{向上}$。
   • 数学表示：$\pi (a|s)=1$（当$a$是策略指定动作），否则为0。

2. 随机性策略：

   • 每个状态下按概率分布选择动作，例如：在状态$s$时，80%概率向上，10%向左，10%向右。
   • 数学表示：$\pi (\text{向上}|s)=0.8$, $\pi (\text{左}|s)=0.1$, $\pi (\text{右}|s)=0.1$。

---

3. 价值函数（Value Function）的定义

价值函数衡量遵循某策略时的长期期望回报：

1. 状态价值函数 $V^{\pi }(s)$：
   • 在状态$s$下，遵循策略$\pi$的期望累计奖励。
   • 贝尔曼方程：
     $$V^{\pi }(s)=\sum _a\pi (a|s)\sum _{s^{\prime }}P(s^{\prime }|s,a)\left[R(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime })\right]$$
2. 动作价值函数 $Q^{\pi }(s,a)$：
   • 在状态$s$执行动作$a$，之后遵循策略$\pi$的期望累计奖励。
   • 贝尔曼方程：
     $$Q^{\pi }(s,a)=\sum _{s^{\prime }}P(s^{\prime }|s,a)\left[R(s,a,s^{\prime })+\gamma \sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })Q^{\pi }(s^{\prime },a^{\prime })\right]$$

---

4. 确定性策略下的计算示例

场景：智能体处于状态$s=(1,0)$，策略$\pi$为“始终向上”。

步骤1：计算动作价值 $Q^{\pi }(s,a)$

• 动作选择：仅向上（确定性策略）。
• 状态转移：
  • 成功向上：到达$s^{\prime }=(0,0)$，奖励$R=-0.1$。
  • 撞墙（若已在顶部）：保持原位，奖励$R=-0.1$。

假设当前状态$s=(1,0)$向上移动不会撞墙：
$$Q^{\pi }((1,0),\text{上})=-0.1+\gamma V^{\pi }((0,0))$$

步骤2：计算状态价值 $V^{\pi }(s)$

由于策略是确定性的，仅需计算选定动作的价值：
$$V^{\pi }((1,0))=Q^{\pi }((1,0),\text{上})=-0.1+\gamma V^{\pi }((0,0))$$
迭代计算示例：
假设终止状态$V^{\pi }(G)=0$，其他状态初始值$V(s)=0$。

1. 第一次迭代：
   • $V^{\pi }((0,0))=-0.1+0.9\times 0=-0.1$
   • $V^{\pi }((1,0))=-0.1+0.9\times (-0.1)=-0.19$
2. 多次迭代后，价值逐渐收敛。

---

5. 随机策略下的计算示例

场景：智能体处于状态$s=(1,0)$，策略$\pi$为：

• 80%概率向上，10%向左，10%向右。

步骤1：计算动作价值 $Q^{\pi }(s,a)$

• 动作：向上（80%）：
  • 成功到达$s^{\prime }=(0,0)$，奖励$R=-0.1$。
  • 撞墙概率0%（假设可移动）：
    $$Q^{\pi }((1,0),\text{上})=-0.1+\gamma V^{\pi }((0,0))$$
• 动作：向左（10%）：
  • 进入状态$s^{\prime }=(1,-1)$（无效，撞墙），保持原位，奖励$R=-0.1$。
    $$Q^{\pi }((1,0),\text{左})=-0.1+\gamma V^{\pi }((1,0))$$
• 动作：向右（10%）：
  • 进入状态$s^{\prime }=(1,1)=T$，奖励$R=-5$，终止。
    $$Q^{\pi }((1,0),\text{右})=-5+\gamma \times 0=-5$$

步骤2：计算状态价值 $V^{\pi }(s)$

根据贝尔曼方程，加权各动作的价值：
$$V^{\pi }((1,0))=0.8\times Q^{\pi }(\text{上})+0.1\times Q^{\pi }(\text{左})+0.1\times Q^{\pi }(\text{右})$$
代入具体数值：
$$V^{\pi }((1,0))=0.8\times [-0.1+0.9V^{\pi }((0,0))]+0.1\times [-0.1+0.9V^{\pi }((1,0))]+0.1\times (-5)$$
迭代计算示例：

1. 初始化：$V^{\pi }(s)=0$（所有状态）。
2. 第一次迭代：
   • $V^{\pi }((0,0))=0.8\times [-0.1+0.9\times 0]+0.1\times [-0.1+0.9\times 0]+0.1\times 0=-0.09$
   • $V^{\pi }((1,0))=0.8\times (-0.1)+0.1\times (-0.1)+0.1\times (-5)=-0.08-0.01-0.5=-0.59$
3. 多次迭代后收敛到稳定值。

---

6. 对比确定性与随机策略下的计算差异

特征	确定性策略	随机策略
动作选择	唯一动作，$\pi(a	s) \in {0,1}$
贝尔曼方程	仅需计算单一动作	需加权所有可能动作
计算复杂度	简单，直接求解	复杂，需处理概率分布和联立方程
探索性	低，可能陷入局部最优	高，能覆盖更多状态-动作对

---

7. 总结与策略优化

• 策略评估：通过贝尔曼方程迭代计算$V^{\pi }(s)$或$Q^{\pi }(s,a)$。
• 策略改进：根据$Q$值优化策略：
  • 确定性策略：选择$\arg {\max }_{a}Q(s,a)$。
  • 随机策略：调整动作概率偏向高$Q$值动作（如Softmax）。
• 最终目标：通过策略迭代或值迭代，找到最优策略${\pi }^{\ast }$和最优价值函数$V^{\ast }$。

示例最优策略：在状态$(1,0)$，若向右导致陷阱，最优策略为始终向上或向左避开陷阱。

---

通过以上分析，可清晰理解策略与价值函数在确定性和随机性下的计算差异，以及如何通过贝尔曼方程迭代求解。

示例2

环境设定

• 状态：网格坐标为（1,1）到（3,3），（3,3）为终止状态。
• 动作：上、下、左、右。若动作导致移出网格，则保持原位。
• 奖励：每移动一步奖励-1，到达（3,3）时奖励+10并终止。
• 折扣因子：γ=0.9。

---

1. 确定性策略下的贝尔曼方程

策略定义

• 优先向右，若无法向右则向下。例如：
  • （1,1）→ 右 →（1,2）
  • （1,3）→ 下 →（2,3）
  • （3,2）→ 下 →（3,3）

贝尔曼方程

对确定性策略π(s)，状态价值函数为：
$$V(s)=R(s,\pi (s))+\gamma V(s^{\prime })$$
其中 $s^{\prime }$ 是执行动作后的状态，$R(s,\pi (s))$ 是即时奖励。

计算示例

1. 终止状态（3,3）：$V(3,3)=0$。
2. 状态（3,2）：向下到（3,3），奖励+10：
   $$V(3,2)=10+0.9\cdot 0=10$$
3. 状态（2,3）：向下到（3,3）：
   $$V(2,3)=10+0.9\cdot 0=10$$
4. 状态（1,3）：向下到（2,3）：
   $$V(1,3)=-1+0.9\cdot 10=8$$
5. 状态（1,2）：向右到（1,3）：
   $$V(1,2)=-1+0.9\cdot 8=6.2$$
6. 状态（1,1）：向右到（1,2）：
   $$V(1,1)=-1+0.9\cdot 6.2=4.58$$

---

2. 随机策略下的贝尔曼方程

策略定义

• 每个动作（上、下、左、右）的概率均为0.25。

贝尔曼方程

对随机策略π(a|s)，状态价值函数为：
$$V^{\pi }(s)=\sum _a\pi (a|s)\left[R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }|s,a)V^{\pi }(s^{\prime })\right]$$
在确定性环境中，$P(s^{\prime }|s,a)=1$，方程简化为：
$$V^{\pi }(s)=\sum _a\pi (a|s)\left[R(s,a)+\gamma V^{\pi }(s^{\prime })\right]$$

计算示例（以状态（1,1）为例）

四个动作的转移：

• 上、左：留在（1,1），奖励-1。
• 右：到（1,2），奖励-1。
• 下：到（2,1），奖励-1。

贝尔曼方程：
$$V(1,1)=0.25\cdot [-1+0.9V(1,1)]+0.25\cdot [-1+0.9V(1,1)]+0.25\cdot [-1+0.9V(1,2)]+0.25\cdot [-1+0.9V(2,1)]$$
化简后：
$$0.55V(1,1)=-1+0.225(V(1,2)+V(2,1))$$
假设 $V(1,2)=6.2$ 和 $V(2,1)=6.2$（来自确定性策略）：
$$V(1,1)=\frac{-1+0.225\cdot (6.2+6.2)}{0.55}\approx 4.58$$
（注：实际中需联立所有状态的方程求解）

---

对比总结

特性	确定性策略	随机策略
贝尔曼方程	单步转移，直接计算。	多动作期望，需联立方程组。
计算复杂度	低（链式递推）。	高（需矩阵求逆或迭代）。
示例结果	$V(1,1)=4.58$（直接计算）。	$V(1,1)\approx 4.58$（假设其他状态已知）。

---

结论

• 确定性策略：价值函数通过单步转移直接计算，适合简单路径规划。
• 随机策略：需考虑所有动作的期望值，通常需解线性方程组，适用于探索性策略。