香农，C.E。 传播的数学理论。 （英文） Zbl 1154.94303号 贝尔系统。技术J。 27, 379-423, 623-656 (1948). 引言：各种调制方法的最新发展，如PCM和PPM，将带宽与信噪比交换，增强了人们对通信一般理论的兴趣。这种理论的基础包含在H.奈奎斯特[影响电报速度的某些因素，《贝尔系统技术杂志》第3卷第2期，第324–346页（1924年；doi:10.1002/j.1538-7305.1924.tb01361.x); 电报传输理论的某些主题，A.I.E.E.Trans。47, 617–644 (1928;doi:10.1109/T-AIEE.1928.5055024)]和R.V.L.哈特利信息传输，贝尔系统。《科技期刊》第7卷第3期，535–563页（1928年；doi:10.1002/j.1538-7305.1928.tb01236.x)]关于这个主题。在本文中，我们将扩展该理论，以包括一些新因素，特别是信道中噪声的影响，以及由于原始消息的统计结构和信息最终目的地的性质而可能节省的费用。通信的基本问题是在某一点准确或近似地再现在另一点选择的消息。消息通常有意思; 也就是说，它们是指或根据某种系统与某些物理或概念实体相关联。通信的这些语义方面与工程问题无关。重要的一点是，实际消息是从集合中选择可能的消息。系统必须设计为针对每个可能的选择进行操作，而不仅仅是实际选择的那个，因为在设计时这是未知的。如果集合中的消息数是有限的，那么这个数或这个数的任何单调函数都可以被视为从集合中选择一条消息时所产生信息的度量，所有选择都是同等可能的。正如哈特利所指出的，最自然的选择是对数函数。尽管当我们考虑消息统计数据的影响时，以及当我们有连续的消息范围时，这个定义必须被广泛推广，但在所有情况下，我们都将使用基本上是对数的度量。由于各种原因，对数测量更方便：它实际上更有用。具有工程重要性的参数，如时间、带宽、继电器数量等，往往与可能性数量的对数呈线性变化。例如，将一个继电器添加到一个组中会使继电器的可能状态数增加一倍。它将此数字以2为底的对数加1。将时间加倍大致等于可能的消息数的平方，或将对数加倍，等等。它更接近于我们的直觉，即正确的衡量标准。这与第一点密切相关，因为我们通过与通用标准的线性比较直观地测量实体。例如，人们认为两个穿孔卡的信息存储容量应该是一个穿孔卡容量的两倍，而两个相同的通道的信息传输容量应该是另一个穿孔卡容量的二倍。从数学上讲，它更适合。许多限制操作在对数方面很简单，但在可能性数量方面需要笨拙地重述。对数基数的选择对应于测量信息单位的选择。如果使用基数2，则生成的单位可以称为二进制数字，或者更简单地说是二进制数字位，J.W。图基。具有两个稳定位置的设备，如继电器或触发器电路，可以存储一位信息\（N）这种设备可以存储\（N）位，因为可能的状态总数是\（2^N）和\（log_22^N=N）。如果以10为基数，则这些单位可以称为十进制数字。自\[\log_2 M=\log_{10} M（M）/\日志_{10}2=3.32 \log_{10} M（M）,\]十进制数字大约是（3\frac13）位。台式计算机上的数字轮有十个稳定的位置，因此具有一个十进制数字的存储容量。在涉及积分和微分的分析工作中，基（e）有时是有用的。由此产生的信息单位将被称为自然单位。从基数\（a\）更改为基数\（b\）只需乘以\（\log_ba\）即可。通信系统是指图1所示类型的系统。它基本上由五部分组成：安信息来源产生消息或消息序列以传送给接收终端。电文可以有多种类型：（a）电传电报系统中的字母序列；（b） 时间的单一函数，如在无线电或电话中；（c） 黑白电视中时间和其他变量的函数——这里的信息可以被认为是两个空间坐标和时间的函数（f（x，y，t）），即拾取管板上点（x，y）和时间的光强；（d） 两个或多个时间函数，例如（f（t）、（g（t）和（h（t））-这是“三维”声音传输中的情况，或者如果系统打算在多路复用中服务多个单独的信道；（e） 几个变量的函数-在彩色电视中，信息由三维连续体中定义的三个函数（f（x，y，t），（g（x，y，t）），（h（x，γ，t）组成-我们也可以将这三个函数视为区域中定义的向量场的分量-类似地，几个黑白电视源将产生由三个变量的多个函数组成的“消息”；（f） 各种组合也会发生，例如在带有相关音频频道的电视中。A类发射机其以某种方式对消息进行操作以产生适合于在信道上传输的信号。在电话技术中，这种操作仅仅是将声压改变为成比例的电流。在电报中，我们有一种编码操作，它在与信息对应的信道上产生一系列点、破折号和空格。在多路PCM系统中，必须对不同的语音函数进行采样、压缩、量化和编码，最后进行适当的交织以构建信号。声码器系统、电视和调频是应用于消息以获取信号的复杂操作的其他示例。这个通道只是用于将信号从发射机传输到接收机的介质。它可能是一对电线、同轴电缆、一段无线电频率、一束光束等。接收器通常执行与发送器相反的操作，从信号重建消息。目的地是消息的目标用户（或对象）。我们希望考虑涉及通信系统的某些一般问题。要做到这一点，首先需要将涉及的各种元素表示为数学实体，从它们的物理对应物中适当地理想化。我们可以大致将通信系统分为三大类：离散、连续和混合。我们所说的离散系统是指消息和信号都是离散符号序列的系统。典型的情况是电报，其中信息是一系列字母，信号是一系列点、破折号和空格。连续系统是指信息和信号都被视为连续功能的系统，例如无线电或电视。混合系统是指同时出现离散变量和连续变量的系统，例如PCM语音传输。我们首先考虑离散情况。这个案例不仅在通信理论中有应用，而且在计算机理论、电话交换机设计等领域也有应用。此外，离散情况构成了连续和混合情况的基础，这些情况将在本文的后半部分进行处理。 引用于57评论引用于3713文件 MSC公司： 2002年 与信息与传播理论相关的研究展览（专著、调查文章） 94轴 通信、信息 94A05型 传播学理论 94甲15 信息论（综述） 94甲17 信息的度量，熵 94A24型 编码定理（香农理论） PDF格式BibTeX公司 XML格式引用 \textit{C.E.Shannon}，贝尔系统。《技术期刊》27，379--423，623--656（1948；Zbl 1154.94303） 全文： 内政部 链接 整数序列在线百科全书： a（n）=楼层[（Exp[Prime[n]/n]-1）/Log[n]]。 a（n）=楼层[（Exp[n/PrimePi[n]]-1）/Log[n]]。