ベルマン方程式

時刻 ${\displaystyle t}$ における状態を ${\displaystyle x_{t}}$とする。時刻0から始まる決定問題において、初期状態 ${\displaystyle x_{0}}$ は与えられているものとする。任意の時間において、選択可能なアクションはその時の状態の関数であり、${\displaystyle a_{t}\in \Gamma (x_{t})}$ と表すことができる。${\displaystyle a_{t}}$ は一つ以上の制御変数を表している。アクション ${\displaystyle a}$ が選ばれると、それによって状態は ${\displaystyle x}$ から新しい状態 ${\displaystyle T(x,a)}$ へと変化するものとする。さらに、状態 ${\displaystyle x}$ においてアクション ${\displaystyle a}$ をとった時の損得を ${\displaystyle F(x,a)}$ で表す。最後に、我々は性急さ（せっかちさ）[3]の度合いが、割引率（discount factor）${\displaystyle 0<\beta <1}$ で表されるものとする。

これらの仮定の下で、無限の未来までを考慮した決定問題（無限期間の最適化問題) は次式となる。

${\displaystyle V(x_{0})\;=\;\max _{\left\{a_{t}\right\}_{t=0}^{\infty }}\sum _{t=0}^{\infty }\beta ^{t}F(x_{t},a_{t}),}$

ただし次の条件のもとで：

${\displaystyle a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t=0,1,2,\dots }$

想定された拘束条件のもとで目的関数を最適化した結果としての、最適な値を表現するものとして ${\displaystyle V(x_{0})}$ を定義したことに注意しよう。この関数を価値関数 (value function)と呼ぶ。最適値は初期状態によって変化するから、価値関数 ${\displaystyle V(x_{0})}$ は初期状態 ${\displaystyle x_{0}}$ の関数となる。

動的計画法は、この決定問題をより小さな部分問題に分割する。リチャード・ベルマンの最適性の原理がその方法を示している：

最適性の原理（Principle of Optimality） ： 最適な方策は、初期状態と初期決定がどんなものであれ、その結果得られる次の状態に関して、以降の決定が必ず最適方策になっているという性質をもつ。 (参照：　Bellman, 1957、Chap. III.3.)

[1][2][4]

コンピュータ・サイエンスでは、このように分割できる問題の事を「部分構造最適性（optimal substructure）を持つ」と表現する。 この原理は、動的ゲーム理論における部分ゲーム完全均衡（subgame perfect equilibrium）と相似な概念である。ただし、動的ゲーム理論における最適方策は、相手プレイヤーが同様に最適方策を選択するという前提に立つ。

最適性の原理から示唆されるように、我々は将来の選択（時刻1から新しい状態 ${\displaystyle x_{1}}$ でスタートする）について一旦保留して、最初の決定だけを独立に検討する。将来の決定に関する項を大括弧の中に集めることにより、先の問題は次のように表現される。

${\displaystyle \max _{a_{0}}\left\{F(x_{0},a_{0})+\beta \left[\max _{\left\{a_{t}\right\}_{t=1}^{\infty }}\sum _{t=1}^{\infty }\beta ^{t-1}F(x_{t},a_{t}):a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t\geq 1\right]\right\}}$

ただし次の条件のもとで：

${\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}$

ここで時刻1での状態が ${\displaystyle x_{1}=T(x_{0},a_{0})}$ となることを知りつつ、アクション ${\displaystyle a_{0}}$ を選ぶ。この新しい状態は、時刻1以降すべての決定に影響を与える。 未来全体の決定問題は、右側の角括弧の中に現れている。

これまでのところ、我々は単に現在の決定を未来の決定から分割することによって、単に問題を厄介にしたにすぎないように見える。だが、右側の角括弧の中を状態 ${\displaystyle x_{1}=T(x_{0},a_{0})}$ から始まった時点1における意思決定問題の価値として表せたことで、問題の単純化が可能になっている。

従って、問題を価値関数に関する再帰的な定義式として書き直すことができる。

${\displaystyle V(x_{0})=\max _{a_{0}}\{F(x_{0},a_{0})+\beta V(x_{1})\}}$

ただし次の条件のもとで：

${\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}$

これがベルマン方程式である。時間に関する添え字を省略し、次の状態を代入することにより、式をより単純化できる。

${\displaystyle V(x)=\max _{a\in \Gamma (x)}\{F(x,a)+\beta V(T(x,a))\}.}$

ベルマン方程式を解くことは、未知の関数 ${\displaystyle V(x)}$（価値関数）を見出すことである。ゆえにベルマン方程式は汎関数方程式に属している。価値関数は目的の実現可能な最良値を状態 ${\displaystyle x}$ の関数として表していることを思い出そう。価値関数を計算することによって、同時に我々は最適なアクションを状態の関数 ${\displaystyle a(x)}$ として得ることができる。これを方策関数(policy function)と呼ぶ。

決定論的な条件では、上述の最適制御問題を解くために動的計画法以外の手法を用いることが出来る。ある種の問題に対しては、この手法は便利であるが、確率過程のもつ性質に注意する必要がある。

経済学における具体的な例題として、時刻 ${\displaystyle 0}$ において初期富（初期資産）${\displaystyle a_{0}}$ を持ち、無限の寿命を持つ消費者を考える。彼は、瞬間的効用関数 ${\displaystyle u(c)}$ を持つとする。ただし、${\displaystyle c}$ は消費額を表し、次の時刻における割引率を ${\displaystyle 0<\beta <1}$ とする。時刻 ${\displaystyle t}$ において消費されなかった富は、金利 ${\displaystyle r}$ と共に次の時刻に繰り越される。すると消費者の効用最大化問題は、消費計画 ${\displaystyle \{c_{t}\}}$ を次式によって決定する問題となる。

${\displaystyle \max \sum _{t=0}^{\infty }\beta ^{t}u(c_{t})}$

ただし次の条件のもとで：

${\displaystyle a_{t+1}=(1+r)(a_{t}-c_{t}),\;c_{t}\geq 0,}$

および

${\displaystyle \lim _{t\rightarrow \infty }a_{t}\geq 0.}$

最初の条件は、問題設定に記述された資本の蓄積を示し、二つ目の条件は消費者が人生の終わりに置いて負債を先送りできないという横断性条件を示す。 ベルマン方程式は次式となる。

${\displaystyle V(a)=\max _{0\leq c\leq a}\{u(c)+\beta V((1+r)(a-c))\},}$

この代わりに、同じ問題を例えばハミルトン方程式で扱う事もできる。

今、金利が時間とともに変化するとすれば、消費者は確率的最適化問題に直面する。金利 ${\displaystyle r}$ がマルコフ過程に従い、その推移確率測度を ${\displaystyle Q(r,d\mu _{r})}$、ただし、${\displaystyle d\mu _{r}}$ を現在の金利が ${\displaystyle r}$ の時に次の時刻の金利の変動を決定する確率測度であるとしよう。このモデルでは、現在の金利が示された直後に、消費者が決定を下すものとする。

この場合、単純な消費の系列 ${\displaystyle \{c_{t}\}}$ を選ぶ代わりに、消費者は彼／彼女の全人生にわたる効用の期待値が最大となるように ${\displaystyle \{c_{t}\}}$ を各時点でのあり得る利率 ${\displaystyle \{r_{t}\}}$ に応じて選ばなくてはならない。 　

${\displaystyle \max \mathbb {E} {\bigg (}\sum _{t=0}^{\infty }\beta ^{t}u(c_{t}){\bigg )}.}$

期待値 ${\displaystyle \mathbb {E} }$ は、金利 ${\displaystyle r}$ の系列に関して${\displaystyle Q}$で与えられる確率測度に関して計算される。${\displaystyle r}$ はマルコフ過程なので、問題は動的計画法によって劇的に単純化される。ベルマン方程式は単に以下の形となる。

${\displaystyle V(a,r)=\max _{0\leq c\leq a}\{u(c)+\beta \int V((1+r)(a-c),r')Q(r,d\mu _{r})\}.}$

ある一般的な仮定のもとで、結果として得られる最適な方策関数 ${\displaystyle g(a,r)}$ は可測となる。

マルコフ的なショックを伴い、主体が事後に選択を行うような一般的な確率的時系列の最適化問題に対しては、ベルマン方程式は非常に良く似た形をとる。

${\displaystyle V(x,z)=\max _{c\in \Gamma (x,z)}F(x,c,z)+\beta \int V(T(x,c),z')d\mu _{z}(z').}$