主要是记录一些我认为比较有代表性的知识点~

1.自然语言处理解决问题的方法经历了从规则（句法分析：主谓宾动名形容词）到统计的转变。

2.N元模型：P(s)=P(w1,w2,…wn)句子s出现的概率由其中的词出现的概率计算，基于马尔科夫假设（任意一个词wi出现的概率只同它前面的词Wi-1有关），该公式简化为

P(s)=P(w1)*P(w2|w1)*P(w3|w2)…P(wn|wn-1),该统计语言模型称为二元模型。

相应的，假设一个词由前面n-1个词决定，称为N元模型。

但是，一般只用到3元模型及以下，因为当N从1到2，再从2到3时，模型的效果上升显著，但从3到4时，效果提示不是很显著，且资源的耗费增加很快。另外，很有可能即便再高阶的语言模型都不能覆盖所有语言现象，这是马尔科夫假设的局限性，此时要采用其他一些长程的依赖性来解决。

另外基于统计计算的概率可能得到概率为0，此时方法一是增加数据量，但是仍然没有办法避免出现0概率，方法二是通过古德-图灵估计计算词出现的概率，或者是其他平滑方法如：卡茨退避法。由于一元组wi出现的次数平均比二元组（wi-1,wi）出现的次数要多很多，根据大数定理，他的相对频度更接近概率分布，类似的，二元组比三元组更接近概率分布，所以用低阶语言模型和高阶模型进行线性插值达到平滑的目的，称为删除差值

版权声明：本文为kjkj原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/kjkj/p/10034548.html