传统神经网络与递归神经网络对比

传统神经网络

在这里插入图片描述

递归神经网络

在这里插入图片描述

等价于

在这里插入图片描述

RNN网络细节

在这里插入图片描述
xt表示第t=1,2,3…step的input
st为隐藏层的第t step的state，它是网络的记忆单元
st=f(Uxt+Wst-1)，其中f一般是非线性的激活函数
ot是第t step的output，如下个单词的向量表示softmax(Vst)

RNN的反向传播

在这里插入图片描述

RNN升级LSTM

在这里插入图片描述

C：控制参数

决定什么样的信息会被保留，什么样的会被遗忘。
要通过训练得到。

在这里插入图片描述
门是一种信息选择式通过的方法
sigmoid神经网络层和一乘法操作
在这里插入图片描述
Sigmoid层输入0~1之间的数值，描述每个部分有多少量可以通过。
0代表“不允许任何量通过”，1代表“允许任意量通过”。
在这里插入图片描述

决定丢弃信息


在这里插入图片描述

确定更新的信息


在这里插入图片描述

更新细胞状态

在这里插入图片描述
在这里插入图片描述

输出信息

在这里插入图片描述
利用新的控制参数产生output
在这里插入图片描述

LSTM网络架构

在这里插入图片描述

版权声明：本文为AlexKing007原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/AlexKing007/p/12338214.html