强化学习五大方面-奖励与策略结构
前言
在本篇文章中将介绍奖励与策略结构相关的知识，这一部分是强化学习的极重要一部分，因此会有较长篇幅介绍。
奖励
奖励是代理不断完善自己，使自己能够自主实现目标的直接经验来源。代理通过接受来自环境奖励判断自己行为地好坏，从而通过更大可能的选择收益高的行为使自己趋于目标状态。好比老师为你的行为打的分数。
策略
前文提到，策略是代理状态空间到动作空间的映射，即策略是一个函数，输入是代理所处的状态，输出是代理的行为，可以看出策略的作用是指示代理在某一个状态做出一个动作，即为代理的行动指示手册，而最优策略则为代理在任意状态，该手册（策略）均可以给出最优的动作使代理获得最大的长期奖励（价值），最初代理是一个白痴，而学习就是通过长期训练使得策略收敛于最佳策略，而在学习的过程中会产生这样一个问题，若代理在一个状态执行动作获得较高的奖励，是否以后在该状态都会执行该行为？例如代理的状态空间为S = {s1,s2,s3,s4}，动作空间A = {a1,a2,a3,a4}，也意味着代理在四个状态均有四种动作可以执行，在初始时代理是一个白痴，不知道在每一个状态执行每一个动作分别会获得怎样的奖励，因此会随机选择一个动作执行，也称之为代理的探索，现在假定代理在s1，执行动作a1后获得+1的奖励，于是代理记住了在s1执行a1会获得好的奖励，因此代理在s1状态都会执行动作a1，这样就产生了一个问题，代理在s1时，执行a2、a3、a4获得的奖励是未知的，也许会存在奖励更大的情况，这样子显然不是一个最佳的学习方法，为了解决这个问题，引入了探索与利用的概念。
探索与利用
探索指的是代理在该状态随机选择一个动作执行，这个动作不一定是获得最大奖励的动作，是完全随机的，用于探索环境中未知的因素；利用指代理总是选取当前状态下获益最大的动作执行。接下来我们分析一下两种极端情况，代理纯粹探索与纯粹利用。
纯探索
纯探索的意思是代理在任意状态下动作的选取都是随机的，不会受到任何因素的干扰，这样导致的后果是代理过度学习，一直在探索、一直在学习，不会利用自己已经学习到的知识，哪怕代理已经直到在某个状态执行某个状态对自己最有利，但是它任然会随机选择行为执行，可见这样的训练毫无价值。
纯利用
纯利用是指代理在每一个状态都选取最有利的动作执行，这样产生的后果便是代理对环境的探索不充分，环境的很多地方都得不到探索，会导致得到的策略并不是最优策略。可以看出纯探索和纯利用都是不利的，最佳的方法是应该在探索与利用间寻求平衡，时代里能够探索完整的环境，又能在一定时间收敛到最佳策略。
利用与探索的平衡
从上文可以看出，纯探索和纯利用都要有极大的缺点，并不是我们想要的训练方式，如果能在探索与利用之间找到平衡，便可较快速的训练出聪明的代理。于是在这里引入一个变量ε，它是一个概率，被称之为贪婪系数，表明在当前状态有ε的概率去探索环境（随机选择动作），（1-ε）的概率利用之前学到的经验（即选择最有利的动作），通常ε很小，类似于0.1之类的值甚至更小，这样既能保证代理有几率探索环境，也能使得代理利用之前学习到的知识。为了使得策略更快的收敛于最佳策略，ε会呈现某种形式衰减，对衰减方式感兴趣的小伙伴儿可以查询资料，这里不做过多阐述。
奖励与价值
强化学习中，需要区别奖励与价值两个概念，前文提到，代理更有可能选择长期奖励较高的行为执行，这里的长期奖励便是价值。即：
奖励：代理在当前状态执行某动作获得的即时奖励
价值：代理从某一状态向后执行一些列动作获得的收益之和
举个简单例子，如下图所示：代理在状态s2，仅仅可以左右移动。考虑代理收取两步内的奖励，如果是一个鼠目寸光的代理，那么它仅仅会注重眼前的利益，于是他会向左移动得到1的奖励到达s0，再向右移动得到0的奖励回到s0，这样两步的总奖励是1；而对于一个有长远目光的代理，他注重当前和以后的回报，于从s0向右移动到达s1，获得-1奖励，再次向右移动到达s4获得+5奖励，两步总奖励+4，比前者更多。而我们当然更喜欢一个具有长远目光、重视未来收益的代理，那么是不是代理越重视未来收益越好呢？显然也不是，好比由于货币贬值，现在你兜里的100元比你一年后兜里的102元更值钱，因此未来的收益变得不在可靠，于是为了降低未来奖励带来的风险，需要对未来的奖励打折扣，离现在越远，折扣越大，引入了折扣因子γ（0<=γ<=1），则总奖励为： m = i-1
$$
\R = \sum_{k=1}^T γ^ m*r_i
$$
可以看出离现在越远，对其奖励越不重视，若γ等于0，则是一个鼠目寸光得代理，只重视眼前利益，若γ等于1，则是一个过度重视未来奖励的代理。
策略表达方式
前文提到，策略实际上是一个以状态为输入，以动作为输出的函数，那么他有哪些表达方式呢，这里主要介绍基于表格和神经网络。
基于表格
如果环境的状态和动作空间离散，且数量少，则可以使用简单表格来表示策略。
表格正是期望的形式：一个数组，其中，输入作为查询地址，输出是表格
中的相应数字。有一种基于表格的函数类型是 Q-table，它将状态和动作
映射到价值。使用 Q-table，策略会在当前状态给定的情况下检查每个可能动作的价值，然后选择具有最高价值的动作。使用 Q-table 训练代理将包括确定表格中每个状态/动作对的正确价值。在表格完全填充正确的值之后，选择将会产生最多长期奖励回报的动作就相当直接
基于神经网络
当状态/动作对的数量变大或变为无穷大时，在表格中表示策略参数就不可行了。这就是所谓的维数灾难。为了直观地理解这一点，让我们考虑一个用于控制倒立摆的策略。倒立摆的状态可能是从 -π 到 π 的任何角度和任何角速率。另外，动作空间是从负极限到正极限的任何电机转矩。试图在表格中捕获每个状态和动作的每一种组合是不可能的。
神经网络是一组节点或人工神经元，采用一种能够使其成为通用函数逼近器的方式连接。这意味着，给出节点和连接的正确组合，您可以设置该网络，模仿任何输入与输出关系。尽管函数可能极其复杂，神经网络的通用性质可以确保有某种神经网络可以实现目标。
所以，与其尝试寻找适合特定环境的完美非线性函数结构，不如使用神经网络，这样就可以在许多不同环境中使用相同的节点和连接组合。唯一的区别在于参数自身。学习过程将包括系统地调节参数，找到最优输入/输出关系。
左边是输入节点，一个节点对应函数的一个输入，右边是输出节点。中间是称为隐藏层的节点列。此网络有 2 个输入、2 个输出和 2 个隐藏层，每层 3 个节点。对于全连接的网络，存在从每个输入节点到下一层中每个节点的加权连接，然后是从这些节点连接到后面一层，直到输出节点为止。关于神经网络的介绍就到这里，感兴趣的小伙伴可以查阅资料。
总结
本篇文章主要介绍了强化学习关于奖励和策略结构的相关知识，梳理的很简略，但这一部分在强化学习中十分重要，尤其在算法的设计方面，不太理解的小伙伴可以查阅资料继续了解。
导航
五大方面之环境: https://blog.csdn.net/weixin_54445841/article/details/112965944.
入门资料: https://download.csdn.net/download/weixin_54445841/14910862.
Python工程：
https://download.csdn.net/download/weixin_54445841/14910913.