×

遍历随机点的通用编码和预测。 (英语) Zbl 1501.94020号

小结:假设我们有一种方法来估计某些未知随机源的条件概率,并用它来猜测将发生的结果。我们希望尽可能经常做出正确的猜测。什么样的估计值适合于此?在这项工作中,我们考虑了由平稳遍历测度的通用编码的熟悉概念给出的估计量,同时在算法随机性的框架中工作,即我们对Martin-Löf随机点的预测特别感兴趣。我们概述了一般理论并展示了一些反例。完成的结果B.里亚布科[IEEE Trans.Inf.Theory 55,No.9,4309–4315(2009;Zbl 1367.62095号)]我们还证明了通用编码意义上的通用概率测度在前一意义上诱导了通用预测器。令人惊讶的是,如果通用度量不将太低的条件概率归因于单个符号,则此含义成立。作为一个例子,我们证明了部分匹配预测(PPM)测度以很大的储备满足了这一要求。

MSC公司:

94年29日 源代码
94年12月 信号理论(表征、重建、滤波等)
62M20型 随机过程推断和预测
03天32分 算法随机性和维数
62G05型 非参数估计
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Algoet,P.H.,不确定性下序列决策的强大数定律。IEEE信息理论汇刊,第40卷(1994年),第3期,第609-633页·Zbl 0827.62077号
[2] Algoet,P.H.和Cover,T.M.,Shannon-McMillan-Breiman定理的三明治证明。《概率年鉴》,第16卷(1988年),第899-909页·Zbl 0653.28013号
[3] Azuma,K.,某些相依随机变量的加权和。东北数学杂志。第二辑,第19卷(1967年),第3期,第357-367页·Zbl 0178.21103号
[4] Bailey,D.H.,分类和预测遍历过程的序列方案,博士论文,斯坦福大学,1976年。
[5] Barron,A.R.,逻辑平滑密度估计,斯坦福大学博士论文,1985年。
[6] Bienvenu,L.、Day,A.R.、Hoyrup,M.、Mezhirov,I.和Shen,A.,Martin-Löf随机点的Birkhoff遍历定理的构造版本。《信息与计算》,第210卷(2012年),第21-30页·Zbl 1257.03067号
[7] Breiman,L.,信息论的个体遍历定理。《数理统计年鉴》,第28卷(1957年),第809-811页·兹伯利0078.31801
[8] Charikar,M.、Lehman,E.、Lehmen,A.、Liu,D.、Panigrahy,R.、Prabhakaran,M.,Sahai,A.和Shelat,A.,最小的语法问题。IEEE信息理论汇刊,第51卷(2005),第2554-2576页·Zbl 1296.68086号
[9] Chung,K.L.,关于信息论遍历定理的注记。《数理统计年鉴》,第32卷(1961年),第612-614页·Zbl 0115.35503号
[10] Cleary,J.和Witten,I.,《使用自适应编码和部分字符串匹配的数据压缩》。IEEE通讯汇刊,第32卷(1984年),第396-402页。
[11] Csiszár,I.和Körner,J.,《信息理论:离散无记忆系统的编码定理》,剑桥大学出版社,剑桥,2011年·Zbl 1256.94002号
[12] Dawid,A.P.和Vovk,V.G.,《序贯概率:原理和性质》。伯努利,第5卷(1999年),第1期,第125-162页·Zbl 0929.60001号
[13] Day,A.D.和Miller,J.S.,非可计算测度的随机性。《美国数学学会学报》,第365卷(2013年),第7期,第3575-3591页·Zbl 1307.03026号
[14] Dębowski,Ł。,基于语法代码的词汇和文本的逻辑一致性。IEEE信息理论汇刊,第57卷(2011年),第4589-4599页·Zbl 1365.68430号
[15] Dębowski,Ł。,自然语言是一个边缘过程吗?重温关于事实和文字的定理。《熵》,第20卷(2018年),第2期,第85页。
[16] Dębowski,Ł。,《信息理论符合幂律:随机过程和语言模型》,威利,纽约,2021年·Zbl 1508.91002号
[17] Devroye,L.、Györfi,L.和Lugosi,G.,《模式识别的概率理论》,Springer,纽约,1996年·Zbl 0853.68150号
[18] Downey,R.G.和Hirschfeldt,D.R.,《算法随机性和复杂性》,施普林格,纽约,2010年·Zbl 1221.68005号
[19] Fano,R.M.,《信息传输》,麻省理工学院出版社,剑桥,1961年·Zbl 1474.94054号
[20] Fortnow,L.和Lutz,J.H.,《预测与维度》。《计算机与系统科学杂志》,第70卷(2005年),第4期,第570-589页·兹比尔1161.68490
[21] Franklin,J.N.Y.,Greenberg,N.,Miller,J.S.和Ng,K.M.,Martin-Löf随机点满足有效闭集的Birkhoff遍历定理。《美国数学学会学报》,第140卷(2012年),第3623-3628页·Zbl 1298.03103号
[22] Franklin,J.N.Y.和Towsner,H.,《随机性和非遍历系统》。《莫斯科数学杂志》,第14卷(2014年),第711-744页·Zbl 1335.03039号
[23] Gács,P.,一般空间上算法随机性的统一检验。《理论计算机科学》,第341卷(2005年),第91-137页·兹比尔1077.68038
[24] Györfi,L.和Lugosi,G.,平稳时间序列序列预测的策略,建模不确定性:其理论、方法和应用的检查(Dror,M.,L'Ecuyer,P.和Szidarovszky,F.,编辑),Kluwer Academic,Dordrecht,2001。
[25] Györfi,L.、Lugosi,G.和Morvai,G.,遍历时间序列一致序列预测的简单随机算法。IEEE信息理论汇刊,第45卷(1999年),第7期,第2642-2650页·Zbl 0951.62080号
[26] Hochman,M.,平稳序列的上交不等式及其应用。《概率年鉴》,第37卷(2009年),第6期,第2135-2149页·Zbl 1196.37014号
[27] Hoyrup,M.,遍历随机序列的维数,第29届计算机科学理论方面国际研讨会,Dagstuhl出版社,Wadern,2012年,第567页·Zbl 1254.03082号
[28] Hoyrup,M.和Rojas,C.,《有效概率理论在Martin-Löf随机性中的应用》,自动化、语言和编程国际学术讨论会,Dagstuhl出版社,Wadern,2009年,第549-561页·Zbl 1248.03066号
[29] Hoyrup,M.和Rojas,C.,度量空间上概率测度的可计算性和Martin-Löf随机性。《信息与计算》,第207卷(2009年),第7期,第830-847页·Zbl 1167.68023号
[30] Kalnishkan,Y.,Vyugin,M.V.和Vovk,V.,语言的广义熵和渐近复杂性。《信息与计算》,第237卷(2014年),第101-104页·Zbl 1360.68527号
[31] Kieffer,J.C.和Yang,E.,《基于语法的代码:一类新的通用无损源代码》。IEEE信息理论汇刊,第46卷(2000年),第737-754页·Zbl 1001.94019号
[32] 莱文,洛杉矶,随机序列的概念。Doklady Akademii Nauk SSSR,第21卷(1973年),第548-550页。
[33] 莱文,洛杉矶,随机性的统一测试。Doklady Akademii Nauk SSSR,第227卷(1976年),第1期,第33-35页。
[34] 莱文,L.A.,《随机性守恒不等式:数学理论中的信息和独立性》。《信息与控制》,第61卷(1984年),第1期,第15-37页·Zbl 0592.03035号
[35] Martin-Löf,P.,《随机序列的定义》。《信息与控制》,第9卷(1966年),第602-619页·Zbl 0244.62008号
[36] Mcmillan,B.,唯一可解性隐含的两个不等式。IRE《信息理论汇刊》,第2卷(1956年),第115-116页·兹伯利0137.13503
[37] Morvai,G.和Weiss,B.,《关于分类和预测平稳过程的通用算法》。《概率调查》,第18卷(2021年),第77-131页·Zbl 1479.60080号
[38] Nakamura,M.,算法随机序列的遍历定理,IEEE ISOC ITW关于编码和复杂性的论文集,电气和电子工程师协会,纽约,2005年,第147-150页。
[39] Nandakumar,S.,《有效遍历定理及其应用》,第40届计算理论年度研讨会论文集,计算机械协会,2008年,第39-44页·Zbl 1231.37064号
[40] 奥恩斯坦,D.S.,猜测平稳过程的下一个输出。以色列数学杂志,第30卷(1978年),第3期,第292-296页·Zbl 0386.60032号
[41] Osherson,D.和Weinstein,S.,《识别强随机实域》。《符号逻辑评论》,第1卷(2008年),第1期,第56-63页·Zbl 1204.03043号
[42] Reimann,J.,有效地闭合了度量集和随机性。《纯粹与应用逻辑年鉴》,第156卷(2008年),第1期,第170-182页·Zbl 1153.03021号
[43] Reimann,J.和Slaman,T.A.,《度量及其随机实域》。《美国数学学会学报》,第367卷(2015年),第5081-5097页·Zbl 1375.03050号
[44] Ryabko,B.,Kolmogorov复杂性和通用代码在时间序列特征非参数估计中的应用。《基础信息》,第83卷(2008年),第1-2期,第177-196页·Zbl 1147.68032号
[45] Ryabko,B.,非参数预测和时间序列某些特征估计的基于压缩的方法。IEEE信息理论汇刊,第55卷(2009年),第9期,第4309-4315页·Zbl 1367.62095号
[46] Ryabko,B.、Astola,J.和Malyutov,M.,基于压缩的时间序列统计分析和预测方法,斯普林格,纽约,2016·Zbl 1360.94001号
[47] Ryabko,B.Y.,《随机序列预测和通用编码》。《信息传输问题》,第24卷(1988年),第2期,第87-96页·Zbl 0666.94009号
[48] Ryabko,D.,关于为任意过程族寻找预测因子。《机器学习研究杂志》,第11卷(2010年),第581-602页·Zbl 1242.62108号
[49] Smorodinsky,M.,遍历理论,熵,数学讲义,第214卷,Springer,纽约,1971年·Zbl 0213.07502号
[50] 所罗门诺夫,R.J.,《归纳推理的形式理论》,第一部分和第二部分。《信息与控制》,第7卷(1964年),第1-22、224-254页·Zbl 0259.68038号
[51] Steifer,T.,《具有零损失的无限二进制序列的可计算预测》,波兰科学院计算机科学研究所博士论文,2020年。
[52] Steifer,T.,关于学习随机性和收敛性理论特征的注释。符号逻辑综述,(2021),第1-16页(第一视图)。
[53] 铃木,J.,《通用预测和通用编码》。《日本的系统和计算机》,第34卷(2003年),第6期,第1-11页。
[54] Takahashi,H.,关于条件概率的随机序列定义。《信息与计算》,第206卷(2008年),第12期,第1375-1382页·Zbl 1208.03046号
[55] V'Yugin,V.V.,个体随机序列的遍历定理。《理论计算机科学》,第207卷(1998年),第2期,第343-361页·Zbl 0915.68092号
[56] Ziv,J.和Lempel,A.,序列数据压缩的通用算法。IEEE信息理论汇刊,第23卷(1977年),第337-343页·Zbl 0379.94010号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。