有噪信道编码定理

在信息论中，噪声信道编码定理（有时称为香农定理或香农极限）确定，对于任何给定的通信信道噪声污染程度，都可以传输离散数据（数字信息） 几乎没有错误，直到通过通道的可计算xxx速率。 该结果由 Claude Shannon 于 1948 年提出，部分基于 Harry Nyquist 和 Ralph Hartley 的早期工作和想法。

通信信道的香农极限或香农容量是指在特定噪声水平下，如果链路出现随机数据传输错误，理论上可以通过信道传输的xxx无差错数据速率。

该定理由克劳德·香农 (Claude Shannon) 于 1948 年提出，它描述了纠错方法的xxx可能效率与噪声干扰和数据损坏水平的关系。 香农定理在通信和数据存储方面都有广泛的应用。 该定理对现代信息论领域具有重要的基础意义。 香农只给出了证明的概要。 离散情况的xxx个严格证明归功于 1954 年的 Amiel Feinstein。

香农定理指出，给定一个信道容量为 C 且信息以速率 R 传输的噪声信道，则如果 R C {displaystyle R<C} 存在允许接收器错误概率任意小的代码。 这意味着，理论上，可以以低于限制速率 C 的任何速率几乎无错误地传输信息。

反过来也很重要。 如果 R > C {displaystyle R>C} ，无法实现任意小的错误概率。 所有代码的错误概率都将大于某个正的最小水平，并且该水平随着速率的增加而增加。 因此，不能保证信息以超出信道容量的速率在信道中可靠地传输。 该定理没有解决速率和容量相等的罕见情况。

通道容量 C {displaystyle C} 可以根据通道的物理属性计算； 对于具有高斯噪声的带限信道，使用香农-哈特利定理。

如果副本不同，发送消息 3 次和使用 3 选 2 最佳投票方案等简单方案是低效的纠错方法，无法渐进地保证数据块可以无错误地传送。 Reed–Solomon 码以及最近的低密度奇偶校验 (LDPC) 码和 Turbo 码等先进技术更接近于达到理论香农极限，但代价是计算复杂度高。 使用这些高效代码和当今数字信号处理器的计算能力，现在有可能达到非常接近香农极限。 事实上，LDPC 代码可以达到香农极限的 0.0045 dB 以内（对于二进制加性高斯白噪声 (AWGN) 通道，具有非常长的块长度）。

使用编码和解码函数通过嘈杂的信道传输消息 W。 编码器将 W 映射到长度为 n 的预定义信道符号序列。

在其最基本的模型中，通道会独立于其他符号扭曲这些符号中的每一个。 通道的输出——接收到的序列——被送入解码器，解码器将序列映射为消息的估计值。