-Policy函数拟合算法-Policy Gradient算法02-1：目标函数/metrics的选取01【average state value】)
RL-赵-(九)-Policy函数拟合算法02：目标函数/Metrics的选取【①average state value；②average one-step reward】、目标函数的梯度∇J(θ)
一、目标函数的选取（Metrics to define optimal policies）【2类】
有两类形式的目标函数/metrics：
- The average state value
- Average one-step reward
1、The average state value
2种常见表达形式：
vˉπ =∑s∈Sd(s)vπ(s)≐E[∑t=0∞γtRt+1]\begin{aligned} \bar{v}_{\pi}\:&=\sum_{s\in\mathcal{S}}d(s)v_{\pi}(s) \\[2ex] &\doteq\mathbb{E}\left[\sum_{t=0}^\infty\gamma^tR_{t+1}\right] \end{aligned}vˉπ=s∈S∑d(s)vπ(s)≐E[t=0∑∞γtRt+1]
第一大类是the average state value, 或者简单地称为 average value。这个metric定义如下：
vˉπ =∑s∈Sd(s)vπ(s) \bar{v}_{\pi}\:=\sum_{s\in\mathcal{S}}d(s)v_{\pi}(s)vˉπ=s∈S∑d(s)vπ(s)
- 其中vˉπ\bar{v}_\mathrm{\pi}vˉπ是state values的加权平均；
- d(s)≥0d(s)≥0d(s)≥0是对于状态sss的权重
- 因为∑s∈Sd(s)=1\sum_{s\in S}d(s)=1∑
