3-贝尔曼最优公式

Outline

本节将介绍一个核心概念和一个重要工具：

1. 1 core concepts: optimal state value (进而定义 Optimal Policy)
2. 1 fundamental tool: Bellman optimality equation(BOE) (求解 optimal state value)

本节内容将回答如下问题：

1. 什么是 optimal state, optimal policy
2. optimal policy 是否一定存在？若存在长什么样？
3. 怎么求解 optimal state, optimal policy

Optimal state values and optimal policies

Optimal Policy

State value可以衡量一个policy的好坏，因此比较不同的policy需要使用state value. 首先回忆state value的定义：

$$v_{\pi }(s)=\mathbb{E}[G_t|S_t=s]$$

定义 1 (Better policy). 对于两个policy ${\pi }_1,{\pi }_2$，若他们的state value有如下关系：

$$v_{{\pi }_1}(s)⩾v_{{\pi }_2}(s),\forall s\in \mathcal{S}$$

则称policy ${\pi }_1$ 好于 ${\pi }_2$，其中 $\mathcal{S}$ 为state space.

定义 2 (optimal policy & optimal state value). 若policy ${\pi }^{\ast }$ 的state value有：

$$v_{{\pi }^{\ast }}(s)⩾v_{\pi }(s),\forall s\in \mathcal{S},\forall \pi$$

则称policy ${\pi }^{\ast }$ 为optimal policy. 称 ${\pi }^{\ast }$ 的state values为optimal state values.

这就产生了如下问题（都可以用贝尔曼最优公式回答）：

1. Existence & Uniqueness: optimal policy是否存在？若存在，是否唯一？
2. Stochasticity: optimal policy是确定性的(deterministic)还是随机性的(stochastic)？
3. Algorithm: 如何得到optimal policy和optimal state values？

Bellman optimality equation

Bellman optimality equation(BOE)

分析optimal policy和optimal state values的重要工具是Bellman optimality equation (BOE)，与Bellman equation相似，通过求解BOE就可以得到optimal policy和optimal state values.下面先回忆Bellman equation :

$$v_{\pi }(s)=\underset{\text{mean of immediate rewards}}{\underbrace{\sum _{a\in \mathcal{A}}\pi (a|s)\sum _{r\in \mathcal{R}}p(r|s,a)r}}+\gamma \underset{\text{mean of future rewards}}{\underbrace{\sum _{a\in \mathcal{A}}\pi (a|s)\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })}}$$ $$=\sum _{a\in \mathcal{A}}\pi (a|s)\left[\sum _{r\in \mathcal{R}}p(r|s,a)r+\gamma \sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })\right],\forall s\in \mathcal{S}$$

Bellman optimality equation则是将policy $\pi$ 固定为最优的（取max）：

$$v(s)=\underset{\pi }{\max }\sum _{a\in \mathcal{A}}\pi (a|s)\left(\sum _{r\in \mathcal{R}}p(r|s,a)r+\gamma \sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v(s^{\prime })\right),\forall s\in \mathcal{S}$$ $$\triangleq \underset{\pi }{\max }\sum _{a\in \mathcal{A}}\pi (a|s)q(s,a)(1)$$

式(1)是elementwise form的BOE.写成matrix-vector form就是：

$$v=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }v)(2)$$ $$[r_{\pi }{]}_s\triangleq \sum _{a\in \mathcal{A}}\pi (a|s)\sum _{r\in \mathcal{R}}p(r|s,a)r,[P_{\pi }{]}_{s,s^{\prime }}\triangleq p(s^{\prime }|s)\triangleq \sum _{a\in \mathcal{A}}\pi (a|s)\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)(3)$$

其中

$$\underset{{\max }_{\pi }\left[\begin{array}{c}{v}_{\pi }(s_1)\\ v_{\pi }(s_2)\\ .\\ .\\ .\\ v_{\pi }(s_n)\end{array}\right]}{\underbrace{\underset{\pi }{\max }{v}_{\pi }}}=\left[\begin{array}{c}{\max }_{\pi }{v}_{\pi }(s_1)\\ {\max }_{\pi }{v}_{\pi }(s_2)\\ .\\ .\\ .\\ {\max }_{\pi }{v}_{\pi }(s_n)\end{array}\right]$$

Note 1.1.

1. $p(r|s,a),p(s^{\prime }|s,a)$ 作为模型均已知
2. $v(s),v(s^{\prime })$ 均为需求解的未知量
3. Bellman equation中policy固定，但BOE(1)中需要求解出最优policy

同样地，也产生了如下问题：

1. Existence & Uniqueness: BOE是否有解？若有解是否唯一？
2. Algorithm: 如何求解BOE？
3. Optimality: BOE的解与optimal policy有何关系？

Solving an optimal policy from the BOE

How to maximize the right-hand side of BOE

由式(2)可以看出，式中有两个未知量需要求解，即v和π，也就是说一个式子求两个未知量：

$$v=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }v)$$

解决方式是先固定住v，将其看作常量，然后对式子整体求π能让整个式子达到最大的取值，记为$\hat{\pi }$，固定之后得到方程$v=r_{\hat{\pi }}+\gamma P_{\hat{\pi }}v$，即可求解得到v.

Note 2. 下面给出一个简单的例子说明求解过程，例如：

$$x=\underset{a}{\max }(2x-1-a^2)$$

首先固定x，显然当a= 0时整个式子才可能有最大值，那么就得到

$$x=2x-1\Rightarrow x=1$$

在式(1)中，实际上会对$v(s^{\prime })$赋予初始值，这样实际上$q(s,a)$就是已知的，那么只需要确定出$\pi (a|s)$即可. 由于 ${\sum }_{a\in \mathcal{A}}\pi (a|s)=1$，记 ${\max }_{a\in \mathcal{A}(s)}q(s,a)=q(s,a^{\ast })$ 由于

$$q(s,a^{\ast })=\left(\sum _{a\in \mathcal{A}}\pi (a|s)\right)\cdot q(s,a^{\ast })⩾\sum _{a\in \mathcal{A}}\pi (a|s)\cdot q(s,a)$$

那么实际上只需取最大的$q(s,a)$即可：

$$\underset{\pi }{\max }\sum _{a\in \mathcal{A}}\pi (a|s)q(s,a)=\underset{a\in \mathcal{A}(s)}{\max }q(s,a)$$ $$\pi (a|s)=\{\begin{array}{ll}1,& a=a^{\ast }\\ 0,& a\ne a^{\ast }\end{array},a^{\ast }=\arg \underset{a}{\max }q(s,a).$$

此时由于π选择了最大的q值，因此被称为greedy policy.

Solve the BOE

根据我们最大化BOE右端项的思想，我们先固定v不动，再找到能够使整个式子最大的π，最后整个式子只剩下一个变量v，此时我们将其记为

$$f(v)\triangleq \underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }v)(4)$$

这样BOE就变成

$$v=f(v),[f(v){]}_s=\underset{\pi }{\max }\sum _{a\in \mathcal{A}}\pi (a|s)q(s,a),s\in \mathcal{S}$$

根据压缩映射原理(Contraction Mapping Theorem) /不动点定理(Fixed Point Theorem)，对于形如$x=f(x)$的方程，若f是压缩映射（见附录A），那么有如下结论：

1. 存在唯一不动点满足$x^{\ast }=f(x^{\ast })$，即方程的解是存在唯一的
2. 算法$x_{k+1}=f(x_k)$可以不断逼近此不动点，且以指数速率收敛

事实上，BOE中的映射f刚好是一个压缩映射，即定理1(证明见附录B).

Theorem 1 (Contraction property of f(v)). BOE中的映射f(v)是一个压缩映射，$\forall v_1,v_2\in {\mathbb{R}}^{|S|}$，满足

$$\Vert f(v_1)-f(v_2){\Vert }_{\infty }\le \gamma \Vert v_1-v_2{\Vert }_{\infty }$$

其中$\gamma \in (0,1)$为discount rate，$\Vert \cdot {\Vert }_{\infty }$为maximum norm(取绝对值最大者).

那么自然地就可以得到如下重要定理：

Theorem 2 (Existence, Uniqueness, and Algorithm). 对于BOE $v=f(v)={\max }_{\pi }(r_{\pi }+\gamma P_{\pi }v)$，总存在唯一解，且该解可以被如下方式迭代逼近：

$$v_{k+1}=f(v_k)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k)$$

且产生的序列$\{v_k\}$指数收敛至不动点$v^{\ast }$，收敛速率由$\gamma$控制.

Policy optimality

当我们求出了最优policy $v^{\ast }$后，$v^{\ast }$显然满足

$$v^{\ast }=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}^{\ast })$$

注意此时的π都是固定的最优的，不妨将其记为${\pi }^{\ast }$，那么为达到max，其满足

$${\pi }^{\ast }=\arg \underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}^{\ast })$$

这样就将BOE转化为一个特殊的BE：

$$v^{\ast }=r_{{\pi }^{\ast }}+\gamma P_{{\pi }^{\ast }}{v}^{\ast }(5)$$

因此说BOE是特殊情形的BE. 关于BOE解的最优性，有如下结论(证明见附录C)：

Theorem 3. $v^{\ast }$是最优state value，${\pi }^{\ast }$是最优的policy，即

$$v^{\ast }=v_{{\pi }^{\ast }}⩾v_{\pi },\forall \pi ,\forall v$$

Theorem 4 (Greedy Optimal Policy). $\forall s\in \mathcal{S}$，BOE的最优policy (也称为deterministic greedy policy)为：

$${\pi }^{\ast }(a|s)=\{\begin{array}{ll}1& \text{if }a=a^{\ast }(s)\\ 0& \text{if }a\ne a^{\ast }(s)\end{array}(6)$$

其中

$$a^{\ast }(s)=\arg \underset{a}{\max }{q}^{\ast }(a,s)$$ $$q^{\ast }(s,a):=\sum _{r\in \mathcal{R}}p(r|s,a)r+\gamma \sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v^{\ast }(s^{\prime })$$

此外还有两点说明：最优策略的唯一性和最优策略的随机性 Uniqueness of optimal policies: 最优的state value $v^{\ast }$是唯一确定的，但是optimal policy并不一定，有可能出现两个policy均为最优. Stochasticity of optimal policies: 从optimal policy并不一定唯一就可以看出optimal policy既可以是随机的也可以是确定性的，但根据定理4可以确定的是一定存在一个确定性的optimal policy.

Analyzing optimal policies

对于BOE

$$v(s)=\underset{\pi }{\max }\sum _{a\in \mathcal{A}}\pi (a|s)\left(\sum _{r\in \mathcal{R}}p(r|s,a)r+\gamma \sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v(s^{\prime })\right)$$

黑色部分是未知并需求解的量，红色部分为已知量，可能对最终结果造成影响，其中

1. r: 预先设计的reward
2. p(r|s,a), p(s’|s,a): 概率模型/系统模型(system model)
3. γ: discount rate

由于系统的模型一般难以改变，所以下面仅分析r和γ的改变对BOE结果的影响. 根据一些简答的例子（详见textbook）可以发现：

1. 当γ比较大时，agent会比较“远视”，重视未来的reward；较小时，会比较“近视”(short-sighted)，重视较近的reward. (a) 当reward较小时，agent会倾向于避免冒险，更多地选择眼前看起来较好的action. (b) 当reward = 0时，agent甚至不能成功抵达目标，因为此时只选择最大的immediate reward而不是最大的total reward. (c) discount rate的存在使得一些无意义的绕远路(meaningless detour)的策略被pass，因为这样的reward会被延后且“打折”
2. 当对所有的reward作线性变换r→ar+b时，optimal policy并不会改变(定理5，证明见附录D)，因为重要的是不同reward相互间的相对差异(relative value)，而不是绝对差异

Theorem 5 (Optimal Policy Invariance). 考虑一个马尔可夫决策过程，其中 $v^{\ast }\in {\mathbb{R}}^{|S|}$ 是满足 $v^{\ast }={\max }_{\pi \in \Pi }(r_{\pi }+\gamma P_{\pi }{v}^{\ast })$ 的最优状态值。如果每个奖励 $r\in \mathcal{R}$ 都经过一个仿射变换 $\alpha r+\beta$，其中 $\alpha ,\beta \in \mathbb{R}$ 且 $\alpha >0$，那么相应的最优状态值 $v^{\prime }$ 也将是 $v^{\ast }$ 的一个仿射变换：

$$v^{\prime }=\alpha v^{\ast }+\frac{\beta }{1-\gamma }1,$$

其中 $\gamma \in (0,1)$ 是折扣率，且 $1=[1,...,1{]}^T$。因此，从 $v^{\prime }$ 导出的最优策略在奖励的仿射变换下保持不变。

---

A Contraction Mapping Theorem

Contraction Mapping Theorem

定义 3 (fixed point). 对于方程$f(x),f:{\mathbb{R}}^d\to {\mathbb{R}}^d$，点$x^{\ast }$被称为不动点(fixed point)若

$$f(x^{\ast })=x^{\ast }$$

定义 4 (contraction mapping / contractive function). 函数$f:{\mathbb{R}}^d\to {\mathbb{R}}^k$被称为压缩映射(contraction mapping / contractive function)，若$\exists \gamma \in (0,1)$，使得

$$\Vert f(x_1)-f(x_2)\Vert ⩽\gamma \Vert x_1-x_2\Vert$$

Theorem 6 (Contraction mapping theorem). 对于方程$f(x)=x$，若f为压缩映射，那么存在唯一不动点作为解满足$f(x^{\ast })=x^{\ast }$.且可以设计如下算法迭代逼近不动点$x^{\ast }$:

$$x_{k+1}=f(x_k)$$

满足$x_k\stackrel{k\to \infty }{\to }{x}^{\ast }$，且以指数速率收敛.

Proof. 由于在完备赋范线性空间（即Banach空间）中，Cauchy序列必收敛，因此需先证明序列$\{x_k=f(x_{k-1}){\}}_{k=1}^{\infty }$是Cauchy列.即$\forall \epsilon >0,\exists N>0$, s.t. $\forall m,n>N,\Vert x_m-x_n\Vert <\epsilon$.然后再证明该收敛点为唯一不动点.

1. 先证明序列$\{x_k=f(x_{k-1}){\}}_{k=1}^{\infty }$是Cauchy列.根据压缩性，有

   $$\Vert x_{n+1}-x_n\Vert =\Vert f(x_n)-f(x_{n-1})\Vert ⩽\gamma \Vert x_n-x_{n-1}\Vert =\gamma \Vert f(x_{n-1})-f(x_{n-2})\Vert$$ $$⩽{\gamma }^2\Vert x_{n-1}-x_{n-2}\Vert ={\gamma }^2\Vert f(x_{n-2})-f(x_{n-3})\Vert ⩽\cdots ⩽{\gamma }^n\Vert x_1-x_0\Vert$$

   $\forall \epsilon >0$，取$N$足够大，那么$\forall m,n>N$有

   $$\Vert x_m-x_n\Vert ⩽\Vert x_m-x_{m-1}\Vert +\cdots +\Vert x_{n+1}-x_n\Vert ⩽({\gamma }^{m-1}+\cdots +{\gamma }^n)\Vert x_1-x_0\Vert$$ $$=\frac{{\gamma }^n(1-{\gamma }^{m-n})}{1-\gamma }\Vert x_1-x_0\Vert ⩽\frac{{\gamma }^n}{1-\gamma }\Vert x_1-x_0\Vert ⩽\epsilon$$

   因此$\{x_k=f(x_{k-1}){\}}_{k=1}^{\infty }$是Cauchy列.

2. 设Cauchy列$\{x_k=f(x_{k-1}){\}}_{k=1}^{\infty }$收敛至$x^{\ast }$.由于$\Vert f(x_k)-x_k\Vert =\Vert x_{k+1}-x_k\Vert ⩽{\gamma }^k\Vert x_1-x_0\Vert \stackrel{k\to \infty }{\to }0$，因此取极限$k\to \infty$后有$f(x^{\ast })=x^{\ast }$.因此$x^{\ast }$是不动点.

3. 证明不动点的唯一性.使用反证法，若不动点不唯一，设$x_1^{\ast },x_2^{\ast }$均为不动点，那么就有

   $$\Vert x_2^{\ast }-x_1^{\ast }\Vert =\Vert f(x_2^{\ast })-f(x_1^{\ast })\Vert ⩽\gamma \Vert x_2^{\ast }-x_1^{\ast }\Vert <\Vert x_2^{\ast }-x_1^{\ast }\Vert$$

   显然矛盾.

综上所述，方程$f(x)=x$存在唯一解.

---

B Contraction property of f(v)

Contraction property of f(v)

Theorem 7. BOE中的映射f(v)是一个压缩映射，$\forall v_1,v_2\in {\mathbb{R}}^{|S|}$，满足

$$\Vert f(v_1)-f(v_2){\Vert }_{\infty }\le \gamma \Vert v_1-v_2{\Vert }_{\infty }$$

其中$\gamma \in (0,1)$为discount rate，$\Vert \cdot {\Vert }_{\infty }$为maximum norm.

Proof. 根据定义，$f(v)\triangleq {\max }_{\pi }(r_{\pi }+\gamma P_{\pi }v)$. $\forall v_1,v_2\in {\mathbb{R}}^{|S|}$，假设${\pi }_1^{\ast }\triangleq \arg {\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_1)$, ${\pi }_2^{\ast }\triangleq \arg {\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_2)$，那么就有

$$f(v_1)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_1)=r_{{\pi }_1^{\ast }}+\gamma P_{{\pi }_1^{\ast }}{v}_1⩾r_{{\pi }_2^{\ast }}+\gamma P_{{\pi }_2^{\ast }}{v}_1,$$ $$f(v_2)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_2)=r_{{\pi }_2^{\ast }}+\gamma P_{{\pi }_2^{\ast }}{v}_2⩾r_{{\pi }_1^{\ast }}+\gamma P_{{\pi }_1^{\ast }}{v}_2,$$

其中$⩾$为逐元素比较.这样就可以得到

$$f(v_1)-f(v_2)=r_{{\pi }_1^{\ast }}+\gamma P_{{\pi }_1^{\ast }}{v}_1-(r_{{\pi }_2^{\ast }}+\gamma P_{{\pi }_2^{\ast }}{v}_2)\le r_{{\pi }_1^{\ast }}+\gamma P_{{\pi }_1^{\ast }}{v}_1-(r_{{\pi }_1^{\ast }}+\gamma P_{{\pi }_1^{\ast }}{v}_2)=\gamma P_{{\pi }_1^{\ast }}(v_1-v_2).$$

同理可得

$$\gamma P_{{\pi }_2^{\ast }}(v_1-v_2)⩽f(v_1)-f(v_2)⩽\gamma P_{{\pi }_1^{\ast }}(v_1-v_2)$$

对于任意状态$s$，有

$$|[f(v_1)-f(v_2){]}_s|\le \gamma \max \left(\left|\sum _{s^{\prime }}[P_{{\pi }_1^{\ast }}{]}_{s,s^{\prime }}(v_1-v_2{)}_{s^{\prime }}\right|,\left|\sum _{s^{\prime }}[P_{{\pi }_2^{\ast }}{]}_{s,s^{\prime }}(v_1-v_2{)}_{s^{\prime }}\right|\right)$$ $$\le \gamma \max \left(\sum _{s^{\prime }}[P_{{\pi }_1^{\ast }}{]}_{s,s^{\prime }}|(v_1-v_2{)}_{s^{\prime }}|,\sum _{s^{\prime }}[P_{{\pi }_2^{\ast }}{]}_{s,s^{\prime }}|(v_1-v_2{)}_{s^{\prime }}|\right)$$

由于$|(v_1-v_2{)}_{s^{\prime }}|\le \Vert v_1-v_2{\Vert }_{\infty }$ 且 ${\sum }_{s^{\prime }}[P_{\pi }{]}_{s,s^{\prime }}=1$，

$$|[f(v_1)-f(v_2){]}_s|\le \gamma \max \left(\Vert v_1-v_2{\Vert }_{\infty },\Vert v_1-v_2{\Vert }_{\infty }\right)=\gamma \Vert v_1-v_2{\Vert }_{\infty }$$

从而

$$\Vert f(v_1)-f(v_2){\Vert }_{\infty }=\underset{s}{\max }|[f(v_1)-f(v_2){]}_s|\le \gamma \Vert v_1-v_2{\Vert }_{\infty }$$

---

C Optimality

Optimality

Theorem 8. $v^{\ast }$是最优state value，${\pi }^{\ast }$是最优的policy，即

$$v^{\ast }=v_{{\pi }^{\ast }}⩾v_{\pi },\forall \pi ,\forall v$$

Proof. 已知$v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$，根据定义

$$v^{\ast }=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}^{\ast })=r_{{\pi }^{\ast }}+\gamma P_{{\pi }^{\ast }}{v}^{\ast }⩾r_{\pi }+\gamma P_{\pi }{v}^{\ast }$$ $$\Rightarrow v^{\ast }-v_{\pi }⩾(r_{\pi }+\gamma P_{\pi }{v}^{\ast })-(r_{\pi }+\gamma P_{\pi }{v}_{\pi })=\gamma P_{\pi }(v^{\ast }-v_{\pi })$$

迭代该不等式：

$$v^{\ast }-v_{\pi }⩾\gamma P_{\pi }(v^{\ast }-v_{\pi })⩾\gamma P_{\pi }(\gamma P_{\pi }(v^{\ast }-v_{\pi }))={\gamma }^2{P}_{\pi }^2(v^{\ast }-v_{\pi })⩾\cdots ⩾{\gamma }^n{P}_{\pi }^n(v^{\ast }-v_{\pi })$$ $$\Rightarrow v^{\ast }-v_{\pi }⩾\underset{n\to \infty }{\lim }{\gamma }^n{P}_{\pi }^n(v^{\ast }-v_{\pi })=0$$

最后的不等式是由于$\gamma <1$，且$P_{\pi }$是随机矩阵，其幂的范数有界.

---

D Optimal Policy Invariance

Optimal Policy Invariance

$$r^{\prime }=\alpha r+\beta \Rightarrow v^{\prime }=\alpha v^{\ast }+\frac{\beta }{1-\gamma }1$$

Proof. 根据matrix form BOE，令$r_{\pi }=[...,r_{\pi }(s_k),...{]}^{\top }$，其中

$$r_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)\sum _{r\in \mathcal{R}}p(r|s,a)r,s\in \mathcal{S}$$

由于$r^{\prime }=\alpha r+\beta$，那么 $r_{\pi }^{\prime }(s)=\alpha r_{\pi }(s)+\beta \Rightarrow r_{\pi }^{\prime }=\alpha r_{\pi }+\beta 1$，其中$1=[1,...,1{]}^{\top }$.这样得到

$$v^{\prime }=\underset{\pi \in \Pi }{\max }(\alpha r_{\pi }+\beta 1+\gamma P_{\pi }{v}^{\prime })(7)$$

不妨设$v^{\prime }=\alpha v^{\ast }+c1$，带入式(7)中就得到

$$\alpha v^{\ast }+c1=\underset{\pi \in \Pi }{\max }(\alpha r_{\pi }+\beta 1+\gamma P_{\pi }(\alpha v^{\ast }+c1))$$

由于$P_{\pi }1=1$

$$\alpha v^{\ast }+c1=\underset{\pi \in \Pi }{\max }(\alpha r_{\pi }+\beta 1+\alpha \gamma P_{\pi }{v}^{\ast }+c\gamma 1)$$ $$=\underset{\pi \in \Pi }{\max }(\alpha r_{\pi }+\alpha \gamma P_{\pi }{v}^{\ast })+\beta 1+c\gamma 1$$ $$=\alpha \underset{\pi \in \Pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}^{\ast })+(\beta +c\gamma )1$$ $$=\alpha v^{\ast }+(\beta +c\gamma )1$$

进而得到

$$c1=(\beta +c\gamma )1\Rightarrow c=\beta +c\gamma \Rightarrow c(1-\gamma )=\beta \Rightarrow c=\frac{\beta }{1-\gamma }$$

因此得到

$$v^{\prime }=\alpha v^{\ast }+\frac{\beta }{1-\gamma }1$$