信息论

两个多维高斯分布之间的KL散度推导

　　在深度学习中，我们通常对模型进行抽样并计算与真实样本之间的损失，来估计模型分布与真实分布之间的差异。并且损 […]

关于数据压缩、信源编码、赫夫曼码的一些研究，以及由此引出对决策树模型的信息论本质的思考

1. 关于数据压缩 0x1：什么是数据压缩？为什么要进行数据压缩？从信息论的角度来看数据压缩，本质上就是通过 […]