沃伊切赫·科特·奥斯基 尺度不变的无约束在线学习。 （英语） Zbl 1436.68309号 西奥。计算。科学。 808, 139-158 (2020). 摘要：我们考虑一个在线监督学习问题，其中实例（输入向量）和比较器（权重向量）都是无约束的。我们在我们的无约束设置中利用了自然尺度不变性对称性：最佳比较器的预测在实例的任何线性变换下都是不变的。我们的目标是设计同样具有这一特性的在线算法，即具有尺度不变性。我们从坐标方向不变性的情况开始，在这种情况下，各个坐标（特征）可以任意缩放。我们给出了一个算法，该算法在这种情况下实现了本质上最优的后悔界，用比较器的坐标向尺度变范数表示。然后我们研究了关于任意线性变换的一般不变性。我们首先给出了一个否定的结果，表明在最坏的情况下，没有任何算法能够根据比较器的尺度变分范数达到有意义的界。接下来，我们用一个积极的结果来补充这个结果，提供了一个“几乎”达到所需边界的算法，就实例的相对大小而言，只产生对数开销。 MSC公司： 68T05型 人工智能中的学习和自适应系统 62H30型 分类和区分；聚类分析（统计方面） 68周27 在线算法；流式算法 90C25型 凸面编程 关键词：在线学习；在线凸优化；尺度不变性；无约束在线学习；线性分类；后悔不已 软件：阿达格拉德 PDF格式BibTeX公司 XML格式引用 \文本{W.Kotłowski}，Theor。计算。科学。808139-158（2020年；Zbl 1436.68309） 全文： 内政部 参考文献： [1] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥大学出版社·Zbl 1058.90049号 [2] 坎贝尔，S.L。；Meyer，C.D.，线性变换的广义逆（2009），SIAM·Zbl 1158.15301号 [3] 塞萨·比安奇，N。；Conconi，A。；Gentile，C.，二阶感知器算法，SIAM J.Compute。，34, 3, 640-668 (2005) ·Zbl 1075.68036号 [4] Cesa Bianchi，北。；Lugosi，G.，《预测、学习与游戏》（2006），剑桥大学出版社·Zbl 1114.91001号 [5] 陈，X。；Ji，J.，通过对称秩一更新计算矩阵的Moore-Penrose逆，Am.J.Comput。数学。，1, 3, 147-151 (2011) [6] Cutkosky，A。；Boahen，K.A.，具有无约束域和损失的在线凸优化，（神经信息处理系统进展，第29卷（2016）），748-756 [7] Cutkosky，A。；Boahen，K.A.，《无事先信息的在线学习》（学习理论会议（COLT）（2017）），643-677 [8] Cutkosky，A。；Orabona，F.，Banach空间无参数在线学习的黑盒减少，CoRR（2018） [9] 杜奇，J.C。；哈赞，E。；Singer，Y.，在线学习和随机优化的自适应次梯度方法，J.Mach。学习。第12号决议，2121-2159（2011年）·Zbl 1280.68164号 [10] 盖拉德，P。；Gerchinovitz，S。；Huard，M。；Stoltz，G.，带平方损失的序列线性回归问题的一致遗憾界（mathbb{R}^d），（第30届算法学习理论国际会议论文集。第30届国际算法学习理论会议论文集，机器学习研究论文集，第98卷（2019）), 404-432 [11] Hazan，E.，《在线凸优化导论》，Found。最佳趋势。，2, 3-4, 157-325 (2015) [12] 哈赞，E。；阿加瓦尔，A。；Kale，S.，在线凸优化的对数遗憾算法，马赫数。学习。，69, 2-3, 169-192 (2007) ·Zbl 1471.68327号 [13] Kivinen，J。；Warmuth，M.K.，线性预测的加性与指数梯度更新，Inf.Compute。，132, 1, 1-64 (1997) [14] Kotłowski，W.，尺度不变无约束在线学习，（第28届算法学习理论国际会议论文集（ALT 2016）。第28届算法学习理论国际会议论文集（ALT 2016），机器学习研究论文集。PMLR，第76卷（2017年），412-433·Zbl 1403.68194号 [15] 罗，H。；阿加瓦尔，A。；塞萨·比安奇，N。；Langford，J.，《通过草图进行有效的二阶在线学习》，（神经信息处理系统的进展。神经信息处理体系的进展，NIPS 29（2016），Curran Associates，Inc.），902-910 [16] McMahan，H.B。；Abernethy，J.，无约束线性优化的Minimax优化算法，（神经信息处理系统进展，神经信息处理体系进展，NIPS 26（2013）），2724-2732 [17] McMahan，H.B。；Orabona，F.，《希尔伯特空间中的无约束在线线性学习：极小极大算法和正规近似》，（第27届学习理论会议（COLT）（2014），1020-1039 [18] 麦克马汉，H.B。；Streeter，M.J.，在线凸优化的自适应界优化，（学习理论会议。学习理论会议，COLT（2010）），244-256 [19] Orabona，F.，无量纲指数梯度，（神经信息处理系统的进展。神经信息处理体系的进展，NIPS 26（2013）），1806-1814 [20] Orabona，F.，通过无参数随机学习同时进行模型选择和优化，（《神经信息处理系统的进展》，《神经信息处理系统的进展》，NIPS 27（2014）），1116-1124 [21] 奥拉博纳，F。；克拉默，K。；Cesa-Bianchi，N.，《分类和回归应用的广义在线镜像下降法》，马赫。学习。，99, 3, 411-435 (2015) ·兹比尔1359.62215 [22] 奥拉博纳，F。；Pál，D.，在线线性优化的无标度算法，（算法学习理论。算法学习理论，ALT（2015）），287-301·Zbl 1388.68254号 [23] 奥拉博纳，F。；Pál，D.，《硬币投注和无参数在线学习》（Neural Information Processing Systems.Neural信息处理系统，NIPS（2016）），577-585 [24] 奥拉博纳，F。；Tommasi，T.，《通过投币训练无学习率的深度网络》，（神经信息处理系统的进展，神经信息处理体系的进展，NIPS 30（2017）），2157-2167 [25] 罗斯，S。；Mineiro，P。；Langford，J.，标准化在线学习，（第29届人工智能不确定性会议纪要，第29届人造智能不确定性大会纪要，UAI（2013）），537-545 [26] Shalev-Shwartz，S.，《在线学习和在线凸优化》，Found。趋势马赫数。学习。，4, 2, 107-194 (2011) ·Zbl 1253.68190号 [27] 斯特里特，M。；McMahan，H.B.，无约束在线凸优化的无回归算法，（神经信息处理系统的进展。神经信息处理体系的进展，NIPS 25（2012）），2402-2410 [28] Zinkevich，M.，在线凸规划和广义无穷小梯度提升，（机器学习国际会议，机器学习国际大会，ICML（2003）），928-936 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。