互信息量的定义，互信息

互信息(Mutual Information, MI)是信息论中的一个重要概念，用于衡量两个随机变量之间的相关性。它定义为两个随机变量X和Y的联合概率分布P(X,Y)与它们的边缘概率分布P(X)和P(Y)乘积的相对熵。互信息的数学表达式为I(X;Y) = H(X,Y) - H(X) - H(Y) + H(X,Y|X)，其中H(X)和H(Y)分别是X和Y的熵，H(X,Y)是X和Y的联合熵，H(X,Y|X)是已知X后Y的条件熵。

互信息具有以下特性：

• 非负性。互信息总是非负的，即I(X;Y) ≥ 0，当且仅当X和Y相互独立时等号成立。

• 对称性。互信息是关于X和Y的对称的，即I(X;Y) = I(Y;X)。
• 独立性。当X和Y相互独立时，它们的互信息为0。

互信息不仅用于度量两个变量之间的相关性，还用于特征选择和分类问题中，其中互信息越大表示特征与分类的关系越密切。