信息冗余

在信息论中，冗余衡量系综 X 的熵 H(X) 与其xxx可能值 log ⁡ ( | A X | ) {displaystyle log(|{mathcal {A}} _{X}|)} 。通俗地说，它是用于传输某些数据的浪费空间量。

数据压缩是一种减少或消除不需要的冗余的方法，而前向纠错是一种在通过有限容量的嘈杂信道进行通信时添加所需冗余以进行错误检测和纠正的方法。

在描述原始数据的冗余度时，信息源的速率是每个符号的平均熵。对于无记忆源，这只是每个符号的熵

在极限中，随着 n 趋于无穷大，前 n 个符号的联合熵除以 n。在信息论中，谈论一种语言的速率或熵是很常见的。例如，当信息来源是英文散文时，这是合适的。无记忆源的速率只是 H ( M ) {displaystyle H(M)} ，因为根据定义，无记忆源的连续消息之间没有相互依赖性。

消息空间或字母表的基数的对数。这是该字母表可以传输的xxx可能信息速率。如果源是无记忆的并且具有均匀分布，则绝对速率等于实际速率。

xxx利率和利率之间的差异。

被称为相对冗余并给出xxx可能的数据压缩率，当表示为文件大小可以减小的百分比时。具有均匀分布的无记忆源具有零冗余（因此效率为 xxx），并且无法压缩。

两个变量之间的冗余度量是互信息或归一化变量。许多变量之间的冗余度由总相关性给出。

这种冗余的表述是对协同作用概念的补充，协同作用发生在联合互信息大于边际总和时，表明存在仅由联合状态而不是任何更简单的来源集合披露的信息。