约瑟夫·德·维尔马雷斯特;奥利维尔·温滕伯格 使用卡尔曼递归的随机在线优化。 （英语） Zbl 07626738号 J.马赫。学习。物件。 22，第223号论文，55页（2021年）. 总结：我们研究了恒定动力学中的扩展卡尔曼滤波器，提供了随机优化的贝叶斯观点。对于广义线性模型，在假设算法到达局部阶段的情况下，我们获得了无约束环境中累积超额风险的高概率界。为了避免任何投影步骤，我们建议进行两阶段分析。首先，对于线性回归和逻辑回归，我们证明了算法进入局部阶段，其中估计值停留在最优值附近的一个小区域内。我们提供了此收敛时间的高概率显式界，并在逻辑设置中略微修改了扩展卡尔曼滤波器。其次，对于广义线性回归，我们提供了局部阶段超额风险的鞅分析，改进了现有的有界随机优化方法。该算法是一个无参数的在线过程，可以优化地解决一些无约束优化问题。 MSC公司： 68T05型 人工智能中的学习和自适应系统 关键词：扩展卡尔曼滤波器;在线学习;随机优化 PDF格式BibTeX公司 XML格式引用 \textit{J.de Vilmarest}和\textit{O.Wintenberger}，J.Mach。学习。第22号决议，第223号论文，55页（2021；Zbl 07626738） 全文： arXiv公司 链接 参考文献： [1] 自然梯度在学习中有效。神经计算，10（2）：251-2761998。 [2] 弗朗西斯·巴赫。逻辑回归的平均随机梯度下降对局部强凸性的适应性。机器学习研究杂志，15（1）：595-6272014·Zbl 1318.62224号 [3] 弗朗西斯·巴赫和埃里克·穆林斯。收敛速度为o（1/n）的非严格凸光滑随机逼近。《神经信息处理系统进展》，第773-781页，2013年。 [4] Bernard Bercu和Abderrahmen Touati。自规范鞅的指数不等式及其应用。应用概率年鉴，18（5）：1848-18692008·Zbl 1152.60309号 [5] 伯纳德·贝库（Bernard Bercu）、安托万·戈迪肯（Antoine Godichon）和布鲁诺·波特（Bruno Portier）。逻辑回归中参数估计的有效随机牛顿算法。SIAM控制与优化杂志，58（1）：348-3672020·Zbl 1435.62285号 [6] Jock A.Blackard和Denis J.Dean。从制图变量预测森林覆盖类型的人工神经网络和判别分析的比较精度。农业中的计算机和电子，24（3）：131-1511999。 [7] Nicolo Cesa Bianchi和G´abor Lugosi。预测、学习和游戏。剑桥大学出版社，2006年·Zbl 1114.91001号 [8] 乔治·迪德里奇（George T.Diderrich）。从Goldberger-Teil估值器的角度看卡尔曼滤波。美国统计学家，39（3）：193-1981985。 [9] James Durbin和Siem J.Koopman。状态空间法时间序列分析。牛津大学出版社，2012年·Zbl 1270.62120号 [10] 路德维希·法尔梅尔。多元动态广义线性模型的扩展卡尔曼滤波后验模式估计。《美国统计协会杂志》，87（418）：501-5091992年·Zbl 0781.62147号 [11] 大卫·A·弗里德曼。关于鞅的尾部概率，《概率年鉴》，第100-118页，1975年·Zbl 0313.60037号 [12] Elad Hazan、Amit Agarwal和Satyen Kale。在线凸优化的对数后悔算法。机器学习，69（2-3）：169-1922007·Zbl 1471.68327号 [13] Daniel Hsu、Sham M.Kakade和Tong Zhang。岭回归的随机设计分析。2012年第9-1页，学习理论会议·兹比尔1298.62120 [14] Sham M.Kakade和Andrew Y.Ng。贝叶斯算法的在线边界。《神经信息处理系统进展》，第641-648页，2005年。 [15] 鲁道夫·卡尔曼（Rudolph E.Kalman）和理查德·布西（Richard S.Bucy）。线性滤波和预测理论的新结果。基础工程杂志，83（1）：95-1081961。 [16] 罗恩·科哈维。扩大朴素贝叶斯分类器的准确性：决策树混合。《国际知识发现和数据挖掘会议》，第96卷，第202-207页，1996年。 [17] 托默·科伦（Tomer Koren）。开放问题：快速随机扩张优化。学习理论会议，第1073-1075页，2013年。 [18] 迈赫达德·马哈达维（Mehrdad Mahdavi）、张丽君（Lijun Zhang）和金荣（Rong Jin）。随机指数凹优化推广的上下界。学习理论会议，第1305-1320页，2015年。 [19] 彼得·麦库拉（Peter McCullagh）和约翰·内尔德（John A.Nelder）。广义线性模型。伦敦查普曼和霍尔出版社，第二版，1989年·Zbl 0744.62098号 [20] 村田信夫（Noboru Murata）和阿玛里（Shun-ichi Amari）。学习动力的统计分析。信号处理，74（1）：3-281999·Zbl 0922.68094号 [21] 亚恩·奥利维尔（Yann Ollivier）。在线自然梯度作为卡尔曼滤波器。《电子统计杂志》，12（2）：2930-29612018·兹比尔1447.93352 [22] 德米特里·奥斯特罗夫斯基和弗朗西斯·巴赫。使用自一致性对m型估计器进行有限样本分析。《电子统计杂志》，15（1）：326-3912021·Zbl 1490.62068号 [23] Boris T.Polyak和Anatoli B.Juditsky。通过平均加速随机近似。SIAM控制与优化杂志，30（4）：838-8551992·Zbl 0762.62022号 [24] 菲利普·里格利特（Phillippe Rigollet）和詹·克里斯蒂安·H¨utter。高维统计。课程18S9972015的课堂讲稿。 [25] 赫伯特·罗宾斯和萨顿·蒙罗。一种随机近似方法。《数理统计年鉴》，第400-407页，1951年·Zbl 0054.05901号 [26] 大卫·鲁珀特（David Ruppert）。慢收敛robbins-monro过程的有效估计。技术报告，康奈尔大学运营研究与工业工程，1988年。 [27] 乔尔·特罗普（Joel A.Tropp）。随机矩阵和的用户友好尾部界限。计算数学基础，12（4）：389-4342012·Zbl 1259.60008号 [28] 马丁·津科维奇（Martin Zinkevich）。在线凸规划与广义无穷小梯度提升。在2003年国际机器学习会议上，第928-936页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。