从RNN到BERT
一、文本特征编码
1. 标量编码
美国：1 中国：2 印度：3 … 朝鲜：197
标量编码问题：美国 + 中国 = 3 = 印度
2. One-hot编码
美国：[1,0,0,0,…,0]
中国：[0,1,0,0,…,0]
印度：[0,0,1,0,…,0]
美国 + 中国 = [1,1,0,0,…,0]，代表拥有美国和中国双重国籍
3. Embedding编码
二、文本序列化表示
1、Tokenization
2、Build Dictionary
3、One-hot encoding
4、Align Sequences
三、RNN模型
整个RNN只有一个参数矩阵A。RNN 在大规模的数据集上已经过时，不如Transformer模型，但在小规模数据集上，RNN还是很有用的。
3.1 RNN模型结构
3.2 为什么用双曲正切？是否可去掉?
3.3 RNN的模型参数
参数矩阵A的行: shape(h)
参数矩阵A的列: shape(h)+shape(x)
总参数数量: shape(h)× [shape(h)+shape(x)] （未考虑偏移量bias）
输入x 的维度（词嵌入向量）应该通过交叉验证的方式选择 输出状态向量h的维度也应该通过交叉验证的方式选择。
3.4 基于RNN的分类任务
可以使用多个状态向量进行下游任务：
3.4.1 只使用最后一个状态向量
- Training Accuracy: 89.2%
- Validation Accuracy: 84.3%
- Test Accuracy: 84.4%
3.4.2 使用所有状态向量
- Training Accuracy: 96.3%
- Validation Accuracy: 85.4%
- Test Accuracy: 84.7%
3.5 RNN的局限
RNN 在状态向量ht中积累xt及之前的所有信息，ht可以看作整个输入序列中抽取的特征向量
RNN 记忆比较短，会遗忘很久之前的输入x 。
四、LSTM模型
4.1 RNN与LSTM网络结构比较
4.2 LSTM传送带
过去的信息直接流向未来。 LSTM使用“传送带”C 来获得比RNN更长的记忆。
4.3 LSTM 门
4.4 Bi-LSTM
可以使用RNN或LSTM进行更为复杂的任务，例如机器翻译，下面会介绍机器翻译模型Seq2Seq。
五、Seq2Seq模型
Seq2Seq模型用来进行句子翻译，Seq2Seq包括Encoder编码器以及Decoder 解码器 两部分，最早的Seq2Seq模型由两个RNN模型组成，如下图所示。
Attention对Seq2Seq网络的提升十分明显，如下图所示（BLEU：机器翻译评价指标，“双语评估替补”）
5.1 基于Attention的Seq2Seq模型
5.2 基于Attention的Seq2Seq模型参数计算
5.3 Attention的可解释性
无论输入多长，Attention都可以获得所有输入信息，且由于计算每个输出与所有输入的状态向量的相关性，所以会对相关的输入产生较高相关性，也就具备了一定的可解释性
六、Attention模型
6.1 基于RNN的Self-Attention
Attention可以用来做句子翻译。 而Self-Attention可以用来代替RNN。 Self-Attention是Attention的特殊形式。Self-Attention模型其实就是在序列内部做Attention，寻找序列内部的联系。
例如输入一个句子，那么里面的每个词都要和该句子中的所有词进行attention计算。目的是学习句子内部的词依赖关系，捕获句子的内部结构。
Self-Attention和RNN最大的区别是不使用状态向量h，而是采用状态向量c 去更新下一个状态h。
6.2 基于RNN的Self-Attention参数计算
七、Transformer模型
- Transformer完全基于Self- Attention 和Attention Transformer 是一个 Seq2Seq 模型
- 不是 RNN
- 仅包含Self-Attention层 、Attention层 和全连接层
- Transformer完爆最好的RNN+Attention模型
7.1 Transformer中的Attention
Transformer中的Attention剔除了RNN，即没有循环部分。
Attention层接收两个输入序列，分别为输入序列：