概念

统计语言模型是NLP的基础，是描述自然语言内在的规律的数学模型。广泛应用于各种自然语言处理问题，如语音识别、机器翻译、分词、词性标注等。
简单地说，统计语言模型就是给定一个句子W(由多个单词w1,w2,w3…组成)，计算该句子可信(合理)的概率的模型，即\(P(W)=P(w_1,w_2,w_3….w_n)\)。

概率论

联合概率

多个条件同时成立的概率，记为\(P(X=a,Y=b),P(a,b),P(ab),P(a∩b)\)。

边缘概率

根据联合概率，保留某个变量，对其他变量进行求和/积分。

条件概率

在某个事件条件成立下，另一个事件的概率，记为\(P(X=a|Y=b)=P(X=a,Y=b)/P(Y=b)\)。

贝叶斯公式

\(P(A|B)=P(AB)/P(B)=P(B|A)*P(A)/P(B)\)。
其中P(A)叫做先验概率，P(A|B)叫做后验概率。
根据贝叶斯公式，就可以将一个联合概率表示为一连串条件概率的乘积，这大概就是cs224n第二节突然出现的那个公式的来源。

比如\(P(w_1,w_2,w_3)=P(w_1)*P(w_2|w_1)*P(w_3|w_1,w_2)\)，把前t-1项的乘积(\(P(w_1,w_2,…,w_{t-1})\))除过去，其实就是条件概率的表达式。

多变量条件概率的推导

根据不同情况选择不同的分解方式。
\(P(X=a,Y=b|Z=c)=P(X=a,Y=b,Z=c)/P(Z=c)=P(X=a|Y=b,Z=c)*P(Y=b,Z=c)/P(Z=c)\)
\(P(X=a|Y=b,Z=c)=P(X=a,Y=b,Z=c)/P(Y=b,Z=c)=P(X=a,Z=c|Y=b)*P(Y=b)/P(Z=c)\)
例子:

模型

unigram

假设组成句子的词与词之间相互独立，所以\(P(W)=P(w_1)*P(w_2)*…*P(w_n)\)，这种方法简单粗暴，计算简单，但效果显然会很差。

n-gram(马尔科夫假设)

假设每个词出现的概率只与其前面n-1个词有关，也就是将模型简化为

所以问题就是转化为如何去求解\(P(w_t|w_{t-n+1},…,w_{t-1})\)这些参数。
模型中的n一般取2或者3，因为对于每个(n个连续单词组成)这种结构，如果有N个单词，就一共有N^2或者N^3种组合，也就是要求出这么多的参数。

统计方法计算

比如对于n=2，根据大数定律(频率约等于概率?)，\(P(w_i|w_{i-1})=P(w_i,w_{i-1})/P(w_{i-1})=C(w_i,w_{i-1})/C(w_{i-1})\)，其中\(C(w_i,w_{i-1})\)表示前一个词是\(w_{i-1}\)后一个词是\(w_i\)的组合在文本中出现的次数，\(C(w_{i-1})\)表示词\(w_{i-1}\)在文本中出现的次数，用频率来代表概率。
这样子根据数学统计的方式得到各个参数，就能使用该模型来计算一个句子的概率，判断句子是否合理。
这种计算方法会出现零概率的问题，需要进行平滑化处理，简单的平滑化处理有Laplace平滑(Add-One平滑)和Add-k平滑。
假设文本中不同单词个数为V。

• Laplace平滑: 对于每个频率，分子+1，分母+V。
• Add-k平滑: 分子+k，分母+kV，k可以根据效果自行调整。
• backoff: 如果没有对应的n元统计值，比如\(C(w_i,w_{i-1})\)，那就用低阶的n-1元统计值来代替，再乘以一个参数。
• Good-Turing: 略。
• 插值: 略。

参考博客
在计算时，通常会对P(W)取对数，可以防止溢出，且将概率的乘法转化为对数的加法，方便计算。

Python实现

参考博客

'''
    Statistical Language Model
'''

from collections import Counter
import numpy as np
import pandas as pd
from math import log2

# 语料文本
corpus = '''她的菜很好 她的菜很香 她的他很好 他的菜很香 他的她很好
很香的菜 很好的她 很菜的他 她的好 菜的香 他的菜 她很好 他很菜 菜很好'''.split()

cnt=Counter()
for sen in corpus:
    for w in sen:
        cnt[w]+=1
# Counter对象转tuple list
cnt=cnt.most_common()
v=len(cnt)
# 离散化+双向映射
id2word={i:cnt[i][0] for i in range(v)}
word2id={cnt[i][0]:i for i in range(v)}
print(pd.DataFrame(cnt,None,['word','freq']))

# 2-gram模型
ci=np.array([float(c[1]) for c in cnt])
ci/=ci.sum()
cij=np.zeros((v,v))+1e-8
for sen in corpus:
    sen=[word2id[w]  for w in sen]
    for i in range(1,len(sen)):
        cij[sen[i-1]][sen[i]]+=1
for i in range(v):
    cij[i]=(cij[i]+1)/(cij[i].sum()+v)
words=[c[0] for c in cnt]
print(pd.DataFrame(ci.reshape(1,v),['频数'],words))
print(pd.DataFrame(cij,words,words))

# 计算句子概率
def prob(sen):
    s=[word2id[w] for w in sen]
    siz=len(s)
    if siz==1:
        return log2(ci[s[0]])
    p=0
    for i in range(1,siz):
        p+=log2(cij[s[i-1]][s[i]])
    return p

if __name__ == '__main__':
    print('很好的菜', prob('很好的菜'))
    print('菜很好的', prob('菜很好的'))
    print('菜好的很', prob('菜好的很'))
    print('他的菜很好',prob('他的菜很好')

神经网络方法

词向量 word2vec skip-gram …