关于信息理论的论文。一、。（Arbeiten zur Informations理论I.） （德语） Zbl 0083.14302号

事实上，信息论可以被视为现代概率论的新篇章，因此，这一理论的严格数学基础是一个非常重要的问题。众所周知，这个方向的开始是由C.E.香农发表在《贝尔系统技术杂志》27、379–423、623–656（1948；Zbl 1154.94303号)]. 在同一方向上，正在审查的文集提出了五篇具有突出理论特征的文章。
第一篇文章“概率论中的熵概念”（俄语）是由于A.是。钦钦并处理信息论的基本概念。对这篇文章的详细评论[Usp.Mat.Nauk 8，No.3（55），3-20（1953）]已经出现在Zbl 0050.35404号，因此我们参考它以获得补充详细信息。
第二篇文章“关于信息论的基本定理”（俄语）（第26-85页）也是由于A.是。钦钦【Usp.Mat.Nauk 11，No.1（67），17-75（1956年；Zbl 0075.14202号)]它可以被认为是信息论数学发展的基础，是用精确语言处理离散情况的第一种方法。
第一章给出了有限概率场熵的定义，并证明了一些辅助不等式。
第二章涉及遍历源。设\（A\）是一个有限字母表，包含\（A\）个字母，由信息源使用，并用\（A^I\）表示所有序列的集合\（x=（\ldots，x_{-1}，x_0，x_1，\ldot）\），其中\（A_中的x_\alpha\），\（alpha=0，\pm1，\pm2，\ldots\）。源的随机特征由包含所有圆柱集的最小Borel域（F_a）上定义的概率（mu）给出。因此，源用\（[a，\mu]\）表示。因为\（H=\lim_{n\to\infty}n^{-1}氢=\lim_{n\to\infty}M（-n^{-1}\log\mu（C））对于一个稳定源（[a，\mu]\）总是存在的，那么根据定义，（H）是给定源的熵（这里，（H_n）是由（n）-序列生成的概率场的对应熵（C=（x_0，x_1，ldots，x_{n-1}））。此外，还讨论了遍历源的性质以及B.麦克米兰《数学年鉴》第24卷，196-219页（1953年；Zbl 0050.35501号)]严格证明：对于任何平稳信息源，序列\（（f_n（x）=-n ^｛-1｝\log\mu（C））_｛（1\leq n<\infty）｝\）在均值上（因此在概率上）收敛于不变函数\（h（x）\）；此外，如果源是遍历的，则（h（x））等于源熵。这个结果产生了所谓的属性E：对于每个遍历源，无论是任意小的（varepsilon>0）和（delta>0），还是足够大的（n），所有的（a^n）序列（C）都可以分为两类：a）一个包含所有（C）的类，其中的（|n^{-1}\log\mu（C）+H|<varepsilen）和b）一个总概率为（<delta）的类。
第三章涉及渠道和为渠道提供信息的来源。信道的特征是：A）输入字母表（A），b）输出字母表（b）和c）获得（y）（S）的条件概率（nu_x（S），（S）（F_b），给定（x）（A^I）。简而言之，通道用\（[a，\nu_x，B]\）表示。将一个固定信道（[a，\nu_x，B]\）与一个为该信道提供信息的固定信息源相关联，我们考虑了传输速度（R（x，Y）=H（x）+H（Y）-H（x，Y\），其中（H（x。然后讨论了一些性质，特别是遍历情况。
第四章专门讨论范斯坦的基本引理【Inst.Radio Engineers，Trans.Professs.Group Inform.-Theory（IRE Trans.PGIT）4，2-22（1954）】。让我们考虑一个静态信道（[a，\nu_x，B]\），它具有有限的内存（m\），没有远见，由一个静态源（[a、\mu]\）馈电。然后，遍历传输容量被定义为\（R（X，Y）\）在所有可能用作信道输入的遍历源\（[A，\mu]\）上的上确界。这个概念在估计Feinstein引理给出的某类（n）-序列的个数时至关重要。进一步，给出了这一结果的精确证明。
最后一章介绍香农定理。首先，研究了编码问题，因为源字母表（A_0）通常与信道输入字母表（A）不同。根据迄今为止得到的结果，证明了两个Shannon定理，给出了一个具有有限记忆（m）、无先见之明和遍历传输容量（C）的平稳信道（[a，nu_x，B]\）和一个熵（H_0<C）的稳态遍历信息源（[a_0，mu]\）。最后，对于\（H_0>C\），作者声明由于\（C\）的定义（实际解决的问题是I.P.Tsaregradskiĭ参见《美国材料科学杂志》第13卷第6期（84），第49-61页（1958年；Zbl 0088.10602号)].
在第三篇文章中D.K.法德耶夫[美国材料协会第11卷，第1期（67），227–231页（1956年；Zbl 0071.13103号)]简化了定义有限概率方案的熵（H（p_1，ldots，p_n））的公理系统（参见a.Ya.Khinchin(Zbl 0050.35404号)和C.E.Shannon（见上述引文））。假设：
a） （H（p，1-p））对于至少一个点是连续且正的；
b） \（H（p_1，\ldots，p_n）\）在\（p_1，\ldot，p_n\）中是对称的；
c） 对于\（n\geq 2 \），\[H（p_1，\ldots，p_{n-1}，q_1，q_2）=H（p_（1），\ldot，p_（n-1）}，p_n）+p_n H（q_1/p_n，q_2/p_n），\]其中\（p_n=q_1+q_2）。在这些条件下，\（H（p_1，\ldots，p_n）\）由下式给出
\[-\lambda\sum_{j=1}^n p_j\log p_j\squad（\lambda>0）。\]
由于以下原因，本汇编中插入了第四条A.N.科尔莫戈罗夫【Sess.Akad.Nauk.SSSR，Probl.Avtomat.proizvod.，1956年10月15日至20日，66日至99日】，标题为“Nachrichtenübermittlung理论”（第91页至第116页），除新增结果外，还具有解释性。这篇文章分为两章。第一章“理论的起源和目的”首先提到信息量的估计与连续函数的某些制表问题之间的联系（另见A.N.科尔莫戈罗夫[Dokl.Akad.Nauk SSSR 108385–388（1956年；Zbl 0070.11501号)]). 通过简单的例子，讨论了无噪声信道的传输容量和信息生成速率的概念。此外，对于离散情况，引入了熵和信息量的概念。然后考虑噪声信道的传输容量。然后对香农的基本概念进行了简要讨论，最后，将其与通过R.费希尔和V.A.科特尔尼科夫[材料1。弗塞索尤森。材料S“ezd。Vopros。Rekonstrukts公司。斯维亚兹。（1933）]。


第二章，持续沟通的理论基础，分为六节。


§1是关于一个随机对象（xi）中包含的相对于随机对象（eta）的信息量（I（xi，eta））以及这个量的几个属性。（另请参见A.N.科尔莫戈罗夫,A.M.亚格罗姆和I.M.盖尔费德[Trudy tret'ego vsesoyuzn.mat.S“ezda，Moskva，Iyun'-Iyul'1956，3300-320（1958；Zbl 0092.34002号); 多克。阿卡德。Nauk SSSR 111、745–748（1956年；Zbl 0071.34505号)]). 对于两个高斯随机向量，提到了（I（xi，eta））的显式公式（另请参见I.M.盖尔费德和A.M.亚格罗姆【Usp.Mat.Nauk 12，No.1（73），3-52（1957；Zbl 0078.32203号)]).
§2包含对香农信息传输理论原理的简要抽象解释。§3给出了（varepsilon）-熵概念的一般定义以及关于其计算的某些结果，特别是在正常情况下。在§4中，静态过程与信息量和信息生成速率的概念相关。使用随机函数的谱理论计算和估计信息量和信息生成速率见§5M.S.Pinsker先生杜克。阿卡德。Nauk SSSR，n.序列号。99, 213–216 (1954;兹比尔0059.11701)]. 对于平稳高斯过程，引入了单位时间的（varepsilon）-熵的概念，并给出了其以谱密度表示的表达式；特别提到了谱近似有界的过程。这里给出的结果澄清了Shannon（见上文第652页）获得的某个公式在什么限度内可以应用于具有无界光谱的过程。此外，还与Kotel'nikov（loc.cit.）给出的公式建立了联系。最后一节（§6）涉及特定情况下输电容量的计算和估算；此外，还给出了高斯情况下的显式公式。
在目前的德文译文中，删去了俄文原文的第三章。第二章另见A.N.科尔莫戈罗夫[IRE Trans.Inf.Theory 2，No.4，102–108（1956；doi:10.1109/TIT.1956.1056823)].
最后一篇文章，《Entropie Begriff der Un ber den》（第117-134页）是由于A.雷尼和J.巴拉托尼[香港科学院数学研究所出版，第1期，第1-2期，第9-40页（1956年；Zbl 0074.33703号)]分为四个部分。
§1简要讨论了有限格式的通常熵及其性质。在§2中，引入了分布函数的维（d）和维熵的概念。设\（\xi\）是任意有界随机变量，用\（[x]\）表示\（x\）的整数部分。如果以下极限关系成立
\[H_0（[n\xi]/n）=d\log_2n+H+o（1），\标签{*}\]
其中，（H_0）表示离散情况下的惯常熵，根据定义，（d=d（xi））和（H=H_d（xi。不研究当\（\xi\）无界或（*）无效时的情况。对于离散型随机变量（xi），（P（xi=x_i）=P_i），（1leqi<infty），（x_i\neqx_j），（i\neq j），只要这个级数收敛，维数（d（xi；这一事实为下标（0）提供了理由，作者将下标附加到有限格式的通常熵中。此外，如果（xi）的概率密度（f（x））在有限区间内分段连续，并且在该区间外消失，则\[H_1（\xi）=-\int_{-\infty}^{\infty}f（x）\log_2f（x）\，dx.]还证明了对于任何（d）in（0,1）都存在一个维数为（d）且相应熵为（d”的分布函数。
§3是关于维数和熵的特征性质。如果（xi）的分布函数是有限离散分布函数（p_1，ldots，p_n}）和概率密度为（f（x）的绝对连续概率函数的特定权重（p）和（q）的混合物，则称其为初等分布函数\)在有限区间内分段连续，并在该区间外消失。如果假设验证一个适当公理系统的两个数字（d=d（xi）和（H=H_d（xi
\[H_d（\xi）=-p\sum_{k=1}^n p_k\log_2p_k-q\，\int_{-\infty}^{\infty}f（x）\log_2f（x）\，dx-p\log_2p-q\log_2q；\]
此外，（*）是有效的，因此这些数字精确地表示维数（d）和维数熵。类似的公理化处理之前由A.是。钦钦[兹比尔0050.35404)]和D.K.法德耶夫（loc.cit.）表示有限格式的熵，即0维熵。
最后一节（§4）涉及多维概率函数的熵。通过对（*）的类似，引入了维数和（d）维熵的定义。如果随机向量（vec\zeta\）的概率密度\（f（vecx）\），\（vecx=（x_1，\ldots，x_r）\）在球面\（\sqrt{x_1^2+\ldots+x_r^2}\leqR \）内是连续的，并且在球面外消失，那么\（d（\vec\zeta）=r\）和
\[H_r（\vec\zeta）=-\int_{-\infty}^{\infty}\cdots\int_{--\infty-}^{\ infty{f（\vec x）\log_2（\vec-x）\，dx.]
如果\（\xi\）和\（\eta\）是随机变量，并且存在以下量，那么用通常的符号，
\[d（\xi，\eta）=d（\eta（\xi|\eta）}；\]
如果（xi）和（eta）是相互独立的随机变量，那么
\[d（\xi，\eta）=d（\xi）+d（\eta
最后，我们提到原始匈牙利版本中有一节讨论了概率方案的熵概念与统计力学和信息论中使用的熵概念之间的联系，这一节在德语文本中被省略。

审核人：Radu Theodorescu（魁北克省）

页码：24/35−5 −4 −3 −2 −1 ±0 +1 +2 +3 +4 +5 显示扫描页面