费希尔信息

在数理统计中，费希尔信息（有时简称为信息）是一种测量可观察随机变量 X 携带的关于对 X 建模的分布的未知参数 θ 的信息量的方法。形式上，它是方差 分数，或观察到的信息的期望值。

在贝叶斯统计中，后验模态的渐近分布取决于费希尔信息而不是先验（根据伯恩斯坦-冯米塞斯定理，拉普拉斯对指数族进行了预测）。 费希尔信息在最大似然估计的渐近理论中的作用被统计学家罗纳德·费舍尔强调（继弗朗西斯·伊西德罗·埃奇沃斯的一些初步结果之后）。 费希尔信息也用于贝叶斯统计中使用的 Jeffreys 先验的计算。

费希尔信息矩阵用于计算与最大似然估计相关联的协方差矩阵。 它还可以用于检验统计量的制定，例如 Wald 检验。

其似然函数服从移位不变性的科学性质的统计系统（物理、生物等）已被证明服从最大费希尔信息。 最大值的级别取决于系统约束的性质。

费希尔信息是一种测量可观察随机变量 X {dISPlaystyle X} 携带的关于未知参数 θ {diSPlaystyle theta } 的信息量的方法，X {displaystyle X} 取决于。 令 f ( X ; θ ) {displaystyle f(X;theta )} 为 X {displaystyle X} 的概率密度函数（或概率质量函数），以 θ {displaystyle θ}。 它描述了我们观察到 X {displaystyle X} 给定已知值 θ {displaystyle theta } 的给定结果的概率。 如果 f {displaystyle f} 相对于 θ {displaystyle theta } 的变化有尖锐的峰值，很容易从数据中指出 θ {displaystyle theta } 的正确值，或者等价地 ，数据 X {displaystyle X} 提供了大量关于参数 θ {displaystyle theta } 的信息。 如果 f {displaystyle f} 平坦且展开，则需要 X {displaystyle X} 的许多样本来估计 θ {displaystyle theta } 的实际真实值，该值将使用 被抽样的整个人口。 这建议研究关于 θ {displaystyle theta } 的某种方差。

形式上，似然函数的自然对数关于 θ {displaystyle theta } 的偏导数称为分数。 在某些正则条件下，如果 θ {displaystyle theta } 是真实参数（即 X {displaystyle X} 实际上分布为 f ( X ; θ ) {displaystyle f(X;theta ) } ), 可以证明在真实参数值 θ {displaystyle theta } 下评估的分数的期望值（第一时刻）

费希尔信息被定义为分数的方差：

注意 0 ≤ I ( θ ) {displaystyle 0leq {mathcal {I}}(theta )} 。 携带高费希尔信息的随机变量意味着分数的绝对值通常很高。 费希尔信息不是特定观察的函数，因为随机变量 X 已被平均掉。