Naive RNN vs LSTM vs GRU
0 Recurrent Neural Network
1 Naive RNN
2 LSTM
peephole
Naive RNN vs LSTM
记忆更新部分的操作，Naive RNN为乘法，LSTM为加法，因此LSTM能记得更久些。
3 GRU
4 为什么LSTM这么设计？
标准形式的LSTM能工作得很好；输入门与遗忘门联动(类似GRU)以及没有peephole也能工作得很好。
输出激活函数、遗忘门很重要。
版权声明：本文为cherrychenlee原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。