自信息

在信息论中，信息内容、自信息、意外信息或香农信息是从随机变量发生特定事件的概率导出的基本量。 它可以被认为是表达概率的另一种方式，很像 或对数 ，但它在信息论的设置中具有特殊的数学优势。

香农信息可以解释为量化特定结果的意外程度。 由于它是这样一个基本量，它也出现在其他几个设置中，例如在给定随机变量的最佳源编码的情况下传输事件所需的消息长度。

香农信息与熵密切相关，熵是随机变量自信息的期望值，量化随机变量平均有多惊奇。 这是观察者在测量随机变量时期望获得的关于随机变量的平均自我信息量。

信息内容可以用各种信息单位来表示，其中最常见的是位（更准确地称为香农），如下所述。

选择克劳德·香农 (Claude Shannon) 的自信息定义来满足几个公理：

• 概率为 xxx 的事件完全不足为奇，不会产生任何信息。
• 事件的可能性越小，它就越令人惊讶，它产生的信息就越多。
• 如果单独测量两个独立事件，则总信息量为各个事件自身信息量之和。

详细推导如下，但可以证明存在xxx满足这三个公理的概率函数，直到乘法比例因子。

基数 b 对应于上面的比例因子。 b的不同选择对应不同的信息单位：当b=2时，单位为shannon（符号Sh），常称为a'bit'； 当b=e时，单位为自然信息单位（符号nat）； 当 b = 10 时，单位为哈特利（符号哈特）。

使用符号 I X ( x ) {\displaystyle I_{X}(x)} 表示上面的自我信息并不普遍。 由于符号 I ( X ; Y ) {\displaystyle I(X;Y)} 也经常用于相关的互信息量，许多作者使用小写的 h X ( x ) {\displaystyle h_{X} (x)} 代替自熵，镜像使用大写 H ( X ) {\displaystyle H(X)} 作为熵。

对于给定的概率空间，与更常见的值相比，对罕见事件的测量在直觉上更令人惊讶，并产生更多的信息内容。 因此，自信息是概率的严格递减单调函数，有时也称为反调函数。

虽然标准概率由区间 [ 0 , 1 ] {\displaystyle [0,1]} 中的实数表示，但自我信息由区间 [ 0 , ∞ ] {\displaystyle [0] 中的扩展实数表示 ,\infty ]} 。 特别是，对于任何对数底的选择，我们有以下内容：

• 如果一个特定事件有 xxx 的发生概率，那么它的自我信息是 − log ⁡ ( 1 ) = 0 {\displaystyle -\log(1)=0} ：它的发生是完全非 令人惊讶并且没有提供任何信息。
• 如果一个特定事件发生的概率为 0%，那么它的自我信息是 − log ⁡ ( 0 ) = ∞ {\displaystyle -\log(0)=\infty } ：它的发生是无限的 令人惊讶。

由此，我们可以得到一些一般性质：

• 直觉上，更多信息是通过观察意外事件获得的——这是令人惊讶的。
  • 例如，如果爱丽丝有百万分之一的机会赢得xxx，那么她的朋友鲍勃在得知她中奖后获得的信息要比她在某一天输掉时获得的信息多得多。
  • 这在随机变量的自信息与其方差之间建立了隐式关系。