×

沟通的数学理论。 (英语) Zbl 1154.94303

导言:近年来各种调制方法的发展,如用带宽交换信噪比的PCM和PPM,使人们对通信的一般理论更加感兴趣。这一理论的基础载于H、 奈奎斯特[影响电报速度的某些因素,贝尔系统技术杂志3,第2期,324–346(1924年;doi:10.1002/j.1538-7305.1924.tb01361.x); 电报传输理论中的某些课题。47617-644年(1928年;doi:10.1109/T-AIEE.1928.5055024)]以及R、 V.L.哈特利信息传输,贝尔系统。《科技期刊》第7卷,第3期,第535–563页(1928年;doi:10.1002/j.1538-7305.1928.tb01236.x)]在这个问题上。在本论文中,我们将扩展该理论,使其包括许多新的因素,特别是信道中噪声的影响,以及由于原始消息的统计结构和信息的最终目的地的性质而可能节省的费用。
通信的基本问题是在一个点上精确或近似地再现在另一个点选择的消息。消息经常有意思; 也就是说,它们是指或根据某种系统与某些物理或概念实体相关联。通信的这些语义方面与工程问题无关。重要的一点是,实际的消息是选自一组可能的消息。该系统必须设计为可对每个可能的选择进行操作,而不仅仅是实际选择的系统,因为在设计时这是未知的。
如果集合中的消息数是有限的,那么这个数或这个数的任何单调函数都可以看作是从集合中选择一条消息时产生的信息的度量,所有选择的可能性都相等。正如Hartley所指出的,最自然的选择是对数函数。虽然当我们考虑消息统计的影响时,以及当我们有连续的消息范围时,这个定义必须被相当广泛地推广,但我们在所有情况下都将使用本质上的对数度量。
由于各种原因,对数测量更方便:
它实际上更有用。具有工程重要性的参数,如时间、带宽、继电器数量等,往往随可能性数量的对数呈线性变化。例如,将一个继电器添加到一个组中会使继电器的可能状态数加倍。它将1加到这个数的以2为底的对数上。将时间加倍大致等于可能的消息数的平方,或者将对数加倍,等等。
它更接近我们的直觉感觉,在适当的措施。这与第一点密切相关,因为我们通过与共同标准的线性比较直观地衡量实体。例如,人们认为,两个穿孔卡片的信息存储容量应该是一个的两倍,两个相同的信道传输信息的容量应该是一个信道容量的两倍。
它在数学上更合适。许多限制操作在对数方面很简单,但在可能性的数量方面需要笨拙的重述。
对数基的选择对应于测量信息的单位的选择。如果使用基数为2,得到的单位可以称为二进制数字,或者更简单位,一个由J.W.Tukey提出的词。具有两个稳定位置的设备,如继电器或触发器电路,可以存储一位信息\(N\)这样的设备可以存储\(N\)位,因为可能的状态总数是\(2^N\)和\(\log2 2^N=N\)。如果使用以10为基数的单位,则这些单位可以称为十进制数字。因为\[\log2m=\log{10}M/\log{10}2=3.32\log{10}M,\]十进制数约为\(3\frac13\)位。台式计算机上的数字轮有十个稳定的位置,因此有一个十进制数字的存储容量。在涉及积分和微分的分析工作中,基函数(e)有时是有用的。由此产生的信息单位称为自然单位。从基\(a\)到基\(b\)的改变只需要乘以\(\log_b a\)。
我们所说的通信系统是指图1所示类型的系统。它基本上由五个部分组成:
信息来源它产生一条消息或一系列消息,并与接收终端进行通信。电文可以有多种类型:(a)电传电报系统中的一系列字母;(b) 时间的单一函数,如在无线电或电话中;(c) 时间和其他变量的函数,如黑白电视中的信息。在这里,信息可以被认为是两个空间坐标和时间的函数(f(x,y,t)),即拾取管板上点(x,y)和时间(t)的光强度;(d) 两个或两个以上的时间函数,例如\(f(t)\),\(g(t)\),\(h(t)\)—这是“三维”声音传输的情况,或者如果系统打算在多路复用中服务多个单独的频道;(e) 几个变量的几个函数-在彩色电视中,信息由三个函数组成\(f(x,y,t)\),\(g(x,y,t)\),\(h(x,y,t)\)组成,我们也可以把这三个函数看作是区域中定义的向量场的组成部分-类似地,几个黑白电视信号源会产生由三个变量的函数组成的“信息”;(f) 各种组合也会发生,例如在具有相关音频频道的电视中。
A发射机它以某种方式对消息进行操作以产生适合通过信道传输的信号。在电话技术中,这种操作仅仅是将声压转换成比例电流。在电报中,我们有一种编码操作,它在与信息相对应的信道上产生一系列的点、破折号和空格。在多路PCM系统中,必须对不同的语音函数进行采样、压缩、量化和编码,最后进行适当的交织来构造信号。声码器系统、电视和频率调制是应用于消息以获得信号的复杂操作的其他示例。
这个通道只是用来把信号从发送器传送到接收器的媒介。它可以是一对电线、一根同轴电缆、一段无线电频率、一束光束等。
接收器通常执行与发送器所做操作相反的操作,从信号中重建信息。
目的地是消息的目的地。
我们希望考虑一些涉及通信系统的一般性问题。要做到这一点,首先需要将所涉及的各种元素表示为数学实体,从它们的物理对应物中适当地理想化。我们可以将通信系统大致分为三大类:离散的、连续的和混合的。我们所说的离散系统是指信息和信号都是离散符号序列的系统。一个典型的例子是电报,电文是一系列字母,信号是一系列的点、破折号和空格。连续系统是指信息和信号都被视为连续功能的系统,例如收音机或电视。混合系统是指同时出现离散变量和连续变量的系统,例如语音的PCM传输。
我们首先考虑离散情况。这个案例不仅在通信理论上有应用,而且在计算机理论、电话交换机设计等领域也有应用。另外,离散案例为本文后半部分讨论的连续和混合案例奠定了基础。

理学硕士:

94-02年 与信息和传播理论有关的研究展览会(专著、调查文章)
94Axx公司 沟通、信息
94A05型 传播学
94A15型 信息论(综合)
94A17型 信息量,熵
94A24型 编码定理(香农理论)
PDF格式 BibTeX公司 XML 引用
全文: 内政部 链接