强化学习（Reinforcement Learning)的基本概念
利用网格空间来进行说明
State（状态）：在该例中是机器人在当前空间中所处的位置
我们将该例的位置进行编号，为s1、s2...
State space（状态空间）：所有状态的集合，该例为
Action（行动）：当处于某一状态下，可采取的行为，该例的行动有五种
Action space of a state：一个状态下的行动空间，即为在一定状态下，可采取的行动集合
State transition（状态变换）：一个状态下通过一定行动转换为另一状态
eg.在s1状态下，采取向右走的行动（a2），到达s2状态
数学上，可以使用条件概率来描述这一变化
在s1状态下，采取a2行动到达s2是确定的。
Policy（策略）：规定当下状态下应该采取的行动
图中的绿箭头代表policy
数学上，我们可以使用条件概率来描述一定状态下的policy
该状态下的策略是确定的
也可以描述带有不确定的策略
Reward（奖励）：在进行一个行动后返回的实数
一般的，正数代表鼓励这种行为，负数代表对这种行为进行惩罚。
零代表不惩罚，一定情况下也可理解为鼓励
在该例中，reward可以这样设计
reward可以被认为是人和机器之间的交互，通过reward对机器的行动进行指导
数学上可以使用条件概率表示reward
表示在s1状态下，采取a1所得到的reward是-1的概率为1。
Trajectory and Return
轨迹是state-action-reward chain
return是trajectory上所有reward之和
通过return可以比较policy的好坏
但trajectory可能是无穷的
此时trajectory的return会趋近无穷
为了避免这种情况，我们引入
可以计算discounted return
如果γ接近0，discounted return的值由near future主导（近视）
如果γ接近1，discounted return的值由far future主导（远视）
episode：一个episode通常被认为是一个有限trajectory
一些任务可能没有终止状态，这意味着和环境的交互将不会停止，我们称这种任务为counting tasks
我们一般采用观点2，将目标状态看作普通状态，在到达目标状态后我们仍能离开目标状态，这样的好处是可以扩大我们的搜索空间。
Markov decision process（MDP）
三个基本元素和两个概论分布以及策略
与过去无关
