熵，条件熵，相对熵，互信息的相关定义及公式推导

熵，条件熵，相对熵，互信息的相关定义及公式推导熵是随机变量不确定性的度量，不确定性越大，熵值越大，若随机变量 […]