两个离散变量之间的互信息随机变量 
和
定义为
 |
(1)
|
位。其他属性包括
和
 |
(4)
|
哪里
是熵的随机的，随机的变量 
和
是这些变量的联合熵。
另请参见
熵
此条目由贡献埃里克·G。米勒
与Wolfram一起探索| Alpha
工具书类
盖，T.M。和J.A.托马斯。信息论要素。纽约：Wiley，第18-261991页。引用的关于Wolfram | Alpha
相互信息
引用如下：
埃里克·米勒。“相互信息”来自数学世界--Wolfram Web资源，创建人埃里克W·韦斯坦.https://mathworld.wolfram.com/MutualInformation.html
受试者分类
