×

贝叶斯预报器的渐近和有限时间最优性。 (英语) Zbl 1446.62249号

摘要:问题是有限值时间序列的序贯概率预测。数据由所有单向无限序列的空间上的未知概率分布生成。考虑了两种设置:可实现和不可实现。首先假设生成序列的概率测度属于给定的集合(mathcal{C})(可实现的情况),但后者是完全任意的(不可数的无限大,没有任何给定的结构)。证明了最小最大渐近平均损失(可能是正的)总是可以达到的,并且它是由先验离散且集中在(mathcal{C})上的贝叶斯预测器获得的。此外,贝叶斯预测器的有限时间损失在加性项(log n)以内也是最优的(其中,(n)是时间步长)。这个上限被一个下限所补充,这个下限可以达到无穷大,但速度可能会非常慢。
传递到不可实现的设置,让生成数据的概率测度是任意的,并将给定的集(mathcal{C})视为要与之竞争的专家集。目的是尽量减少对专家的遗憾。结果表明,在这种情况下,所有贝叶斯策略都可能是严格次优的,甚至是渐近的。换句话说,次线性后悔是可以实现的,但每个贝叶斯预测值的后悔都是线性的。
根据这些结果,可以对选择模型提出一个非常一般的建议:最好采用一个足够大的模型,以确保它包括生成数据的过程,即使它会导致正的渐近平均损失,否则模型类中的任何预测组合都可能是无用的。

MSC公司:

62M10个 统计学中的时间序列、自相关、回归等(GARCH)
62M20型 随机过程的推断与预测
62升12 序贯估计
62C20个 统计决策理论中的Minimax过程
PDF格式BibTeX公司 XML格式引用
全文: 链接

参考文献:

[1] N.Cesa Bianchi和G.Lugosi。预测、学习和游戏。剑桥大学出版社,2006年·Zbl 1114.91001号
[2] 一、西沙尔。类型的方法。IEEE信息理论汇刊,44(6):2505-25231998·Zbl 0933.94012号
[3] P.Diaconis和D.Freedman。贝叶斯估计的一致性。《统计年鉴》,14(1):1-261986年·Zbl 0595.62022号
[4] 弗格森爵士。数理统计:一种决策理论方法。学术出版社,1967年·兹比尔0153.47602
[5] D.A.弗里德曼。离散情况下贝叶斯估计的渐近行为。《数理统计年鉴》,第1386-1403页,1963年·Zbl 0137.12603号
[6] D.A.弗里德曼。离散情形下Bayes估计的渐近行为II。《数理统计年鉴》,36(2):454-4561965。
[7] R.G.Gallager。附带信息和通用编码的源代码。技术报告LIDS-P-937,M.I.T.,1976-1979。
[8] R.M.格雷。概率、随机过程和遍历特性。Springer Verlag,1988年·兹比尔0644.60001
[9] L.Gyorfi和G.Ottucsak。无界平稳时间序列的序列预测。信息理论,IEEE汇刊,53(5):1866-18722007年5月。doi:10.1109/TIT.2007.894660·Zbl 1314.62215号
[10] A.Gyorgy、T.Linder和G.Lugosi。高效跟踪大批专家。IEEE信息理论汇刊,58(11):6709-67252012·Zbl 1364.62215号
[11] D.豪斯勒。相对熵的一般极小极大结果。IEEE传输。信息理论,43(4):1276-12801997·Zbl 0878.94038号
[12] E.Kalai和E.Lehrer。意见的微弱和强烈融合。《数学经济学杂志》,23:73-861994年·Zbl 0789.90022号
[13] R.克里切夫斯基。通用压缩和回收。Kluwer学术出版社,1993年。
[14] T.Lattimore、M.Hutter和V.Gavane。选定位的通用预测。《算法学习理论》,第262-276页。施普林格,2011年·Zbl 1348.68196号
[15] L.勒卡姆。沃尔德统计决策函数理论的推广。《数理统计年鉴》,26(1):69-811955·Zbl 0064.38702号
[16] G.Morvai、S.J.Yakowitz和P.Algoet。平稳时间序列的弱收敛非参数预测。信息理论,IEEE汇刊,43(2):483-4981997年3月。doi:10.1109/18.556107·Zbl 0871.62082号
[17] 野口勇。与一组概率测度合并:一个特征。理论经济学,10(2):411-4442015·Zbl 1395.60005号
[18] J.J.里萨南。统计调查中的随机复杂性。世界科学出版社。Co.,1989年·Zbl 0800.68508号
[19] B.里亚布科。具有未知但有序概率的信源编码。信息传输问题,15(2):134-1381979·Zbl 0435.94010号
[20] B.里亚布科。预测随机序列和通用编码。信息传输问题,24:87-961988·Zbl 0666.94009号
[21] D.里亚布科。寻找任意过程族的预测因子。《机器学习研究杂志》,11:581-6022010·Zbl 1242.62108号
[22] D.里亚布科。关于序列预测问题的可实现和不可实现情况之间的关系。机器学习研究杂志,12:2161-21802011年·Zbl 1280.60027号
[23] D.里亚布科。贝叶斯做不到的事。第27届国际算法学习理论会议论文集(ALT'16),LNCS第9925卷,253-260页,意大利巴里,2016年。斯普林格·Zbl 1480.62011年
[24] D.里亚布科。贝叶斯混合预测的普遍性。《第28届算法学习理论国际会议论文集》(ALT'17),《公共数学图书馆》第76卷,第57-71页,日本京都,2017年。JMLR公司·Zbl 1407.62044号
[25] D.Ryabko和M.Hutter。预测非平稳过程。《应用数学快报》,21(5):477-4822008·Zbl 1145.60023号
[26] M.Sion先生。关于一般极小极大定理。太平洋数学杂志,8(1):171-1761958年·Zbl 0081.11502号
[27] R.J.所罗门诺夫。基于复杂性的归纳系统:比较和收敛定理。IEEE传输。信息理论,IT-24:422-4321978·Zbl 0382.60003号
[28] J.von Neumann。这是一个理论。《数学年鉴》,100(1):295-3201928年·JFM 54.0543.02型
[29] A.沃尔德。统计决策功能。约翰·威利父子公司,纽约,1950年·Zbl 0040.36402号
[30] F.M.J.威廉姆斯。二进制独立分段同分布源的编码。IEEE信息理论汇刊,42(6):2210-22171996·Zbl 0872.94019号
[31] 答:。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。