桑吉夫·阿罗拉;埃拉德·哈赞;萨蒂安·凯尔 乘法权重更新方法：一种元算法及其应用。 （英语） Zbl 1283.68414号 理论计算。 8，第6号论文，121-164（2012）. 摘要：不同领域的算法使用在特定集合上保持分布的思想，并使用乘法更新规则迭代更改这些权重。它们的分析通常非常相似，并且依赖于指数势函数。在本次调查中，我们提出了一种简单的元算法，它统一了许多不同的算法，并将它们作为元算法的简单实例化进行推导。我们认为，由于这种元算法及其分析如此简单，应用如此广泛，它应该成为算法课程的标准部分，如“分而治之”。 引用于1审查引用于97文件 MSC公司： 68瓦40 算法分析 68周05 非数值算法 68T05型 人工智能中的学习和自适应系统 91A80型 博弈论的应用 关键词：算法;博弈论;机器学习 PDF格式BibTeX公司 XML格式引用 \textit{S.Arora}等人，理论计算。8，论文编号6，121--164（2012；Zbl 1283.68414） 全文： 内政部 OA许可证 参考文献： [1] [1] NOGAALON、BARUCHAWERBUCH、YOSSIAZAR、NIVBUCHBINDER、ANDJOSEPH（SEFFI）NAOR：在线集合覆盖问题。SIAM J.计算。，39(2):361–370, 2009. STOC'03中的初步版本。[doi:10.1137/060661946]152 [2] [2] 诺加隆和乔尔。SPENCER：概率方法。约翰·威利，1992年。[doi:10.1002/9780470277331]154 [3] [3] SANJEEVARORA、ELADHAZAN和ANDSATYENKALE：使用乘法权重更新方法的近似半定规划快速算法。程序中。第46届FOCS，第339-348页。IEEE组件。Soc.出版社，2005年。[doi:10.1109/SFCS.2005.35]151个 [4] [4] SANJEEVARORA、ELADHAZAN和ANDSATYENKALE:O（\sqrt{}log n）近似值为O（n2）时间内的SPARSEST CUT。SIAM J.计算。，39:1748–1771, 2010. FOCS’04中的初步版本。[doi:10.1137/080731049]151个 [5] [5] SANJEEVARORA ANDSATYENKALE：半定程序的组合、原对偶方法。程序中。第39届STOC，第227-236页。ACM出版社，2007年。[doi:10.1145/1250790.1250823]151155157 [6] [6] 詹姆斯·桑杰瓦罗拉。安德萨夫纳·李：欧几里德变形和最稀疏切割。J.Amer。数学。Soc.，21:1–212008年。STOC'05的初步版本。[doi:10.1090/S0894-034707-00573-5]152 [7] [7] SANJEEVARORA、SATISHRAO、ANDUMESHVAZIRANI：扩展流、几何嵌入和图分区。J.ACM，56（2）：5:1–5:37，2009年。第36次STOC的初步版本（2004年）。[doi:10.1145/1502793.1502794]151152个 [8] [8] 波扎巴拉克、莫利兹哈特和安萨丁卡勒：通过近似Bregman投影得到的一致硬核引理。程序中。年2月20日ACM-SIAM交响乐团。关于离散算法（SODA'09），第1193-1200页。ACM出版社，2009年。[ACM DL][SIAM PDF].146 [9] [9] 安德烈公司。本茨\'{}UR ANDDAVIR。KARGER：在{}O（n2）时间内近似s-t最小割集。程序中。STOC第28期，第47-55页。ACM出版社，1996年。[doi:10.1145/237814.237827]151《计算理论》，第8卷（2012），第121-164158页《乘法加权更新方法：元算法和应用》 [10] [10] AVRIMBLUM：机器学习中的在线算法。在A.FIAT ANDG中。沃金格，编辑，《在线算法：最新进展》，第306–325页。LNCS 14421998年。[doi:10.1007/BFb0029575]122123 [11] [11] H.BR“{}ONNIMANN ANDM.T.GOODRICH:有限VC-维中的几乎最优集覆盖。离散计算。几何，14:463–4791995。初版于第10年《交响曲》。公司。地理。（SCG’94）。[doi:10.1007/BF02570718]123152·Zbl 0841.68122号 [12] [12] 乔治。布朗：通过虚拟游戏迭代求解游戏。T.C.KOOPMANS，编辑，《生产与分配分析》，第374–376页。威利，1951.123 [13] [13] 乔治。布朗？安德森？冯纳曼：用微分方程求解游戏。数学研究年鉴，24:73–791950.123 [14] [14] NIVBUCHBINDER ANDJOSEPH（SEFFI）NAOR：通过主对偶方法设计竞争性在线算法。理论计算机科学基础与趋势，3（2-3）：93-2632009。[doi:10.1561/0400000024]152 [15] [15] NIVBUCHBINDER ANDJOSEPH（SEFFI）NAOR：用于覆盖和打包的在线原对偶算法。数学。操作。决议，34（2）：270–2862009。[doi:10.1287/moor.1080.0363]152·Zbl 1216.68335号 [16] [16] 尼科尔·“海洋-比安奇和G”｛｝ABORLUGOSI:预测、学习和游戏。剑桥大学出版社，2006年。[doi:10.1017/CBO9780511546921]148 [17] [17] NICOL'OCESA-BIANCHI、YISHAYMANSOUR、ANDGILESSTOLTZ：通过专家建议改进预测的二阶界限。机器学习，66（2-3）：321–3522007。【doi:10.1007/s1994-006-5001-7】126 [18] [18] SUCHICHAWLA，ANUPAMGUPTA，ANDHARALDR“{}ACKE：嵌入负类型度量和改进的广义稀疏切割近似。ACM Trans.Algorithms，4:22:1–22:182008。SODA’05中的初步版本。[doi:10.1145/1361192.1361199]152 [19] [19] BERNARDCHAZELLE：差异方法——随机性和复杂性。剑桥大学出版社，剑桥，2000年。[doi:10.1007/3-540-49381-6 1]151 [20] [20] 肯尼斯。克拉克森：当维数很小时，用于线性规划的拉斯维加斯算法。程序中。第29届FOCS，第452-456页。IEEE组件。Soc.出版社，1988年。[doi:10.1109/SFCS.1988.21961]123152 [21] [21]肯尼迪。克拉克森：当维数较小时，用于线性和整数规划的拉斯维加斯算法。《美国医学杂志》，42:488–4991995年。[doi:10.1145/201019.201036]123152 [22] [22]托马斯。COVER：通用数据压缩和组合选择。程序中。第37届FOCS，第534-538页。IEEE组件。Soc.出版社，1996年。[doi:10.1109/SFCS.1996.548512]123 [23] [23]URIELFEIGE：近似集合覆盖的ln n阈值。J.ACM，45（4）：634-6521998年7月。[doi:10.1145/285055.285059]143《计算理论》，第8卷（2012年），第121-164159页，桑杰瓦罗拉，埃拉达赞·安达萨丁卡勒·Zbl 1065.68573号 [24] [24]利萨克。FLEISCHER：与商品数量无关的近似分数多商品流。SIAM离散数学杂志，13（4）：505–5202000。FOCS’99的初步版本。[doi:10.1137/S0895480199355754]122151 [25] [25]DEANP公司。FOSTER ANDRAKESHVOHRA：对在线决策问题感到遗憾。《游戏与经济行为》，29:7-351999年。[doi:10.1006/游戏.1999.0740]123·兹伯利0984.91025 [26] [26]约弗伦德·安德烈（YOAVFREUND ANDROBERTE）。SCHAPIRE：在线学习的决策理论推广和助推应用。J.计算。系统科学。，55(1):119–139, 1997. [doi:10.1006/jcss.1997.1504]编号：122123128144 [27] [27]安徒生。SCHAPIRE：使用乘法权重的自适应游戏。《游戏与经济行为》，29:79–1031999。[doi:10.1006/游戏.1999.738]124133 [28] [28]NAVEENGARG ANDROHITKHANDEKAR：变量上界的分数覆盖：用负项求解LP。程序中。欧洲Ann.12th。交响乐团。《算法》（ESA’04），第371–382页，2004年。[doi:10.1007/978-3-540-30140-0 34]123 [29] [29]NAVEENGARG ANDJOCHENK\“{}ONEMANN:用于多商品流和其他分式包装问题的更快、更简单的算法。第39届FOCS会议记录，第300–309页。IEEE组件。Soc.出版社，1998年。[doi:10.1109/SFCS.1998.743463]122139151 [30] [30]NAVEENGARG ANDJOCHENK\“{}ONEMANN:多商品流和其他分数包装问题的更快更简单的算法。SIAM J.Compute.，37:630-6522007。[doi:10.1137/S0097539704446232]122139151 [31] [31]米歇尔克斯。戈曼和戴维普。威廉森：使用半定规划改进最大割和可满足性问题的近似算法。J.ACM，42（6）：1115–11451995年。[doi:10.1145/227683.227684]150157 [32] [32]SIDNEYGOLDEN：亥姆霍兹函数的下限。《物理评论》，137:1127-11281965年2月。[doi:10.1103/PhysRev.137.B1127]157 [33] [33]迈克尔。格里戈里亚迪斯·安德利奥尼奇（GRIGORIADIS ANDLEONIDG）。卡奇扬：矩阵对策的次线性时间随机近似算法。《运营研究快报》，18:53–581995年。[编号：10.1016/0167-6377（95）00032-0]123 [34] [34]JAMESHANNAN：重复播放中贝叶斯风险的近似值。在M.DRESHER、A.W.TUCKER和ANDP中。WOLFE，编辑，《对游戏理论的贡献》，第3卷，第97-139页。普林斯顿大学出版社，1957.123133147 [35] [35]ELADHAZAN:在线凸优化的高效算法及其应用。普林斯顿大学博士论文，2006年。技术报告TR-766-06.148149 [36] [36]ELADHAZAN:半定规划的稀疏近似解。程序中。第八拉丁美洲。交响乐团。《理论信息学》（拉丁文'08），第306–316页，2008年。[doi:10.1007/978-3-540-787730 27]151《计算理论》，第8卷（2012），第121-164160页《乘法加权更新方法：元算法和应用》 [37] [37]ELADHAZAN，A.AGARWAL，ANDSATYENKALE：在线凸优化的对数后悔算法。机器学习，69（2-3）：169-1922007。[doi:10.1007/s10994-007-5016-8]149 [38] [38]戴维普。罗伯特·赫尔姆博尔德。安得拉明格·肖皮尔。WARMUTH：使用乘法更新进行在线投资组合选择。《数学金融》，8:325–3471998年。第13届国际机器学习大会（ICML'96）初版。[doi:10.1111/14679965.00058]149 [39] [39]马克赫伯斯特·安德曼弗里克。WARMUTH：追踪最佳专家。机器学习，32（2）：151–1781998。[doi:10.1023/A:1007424614876]131个 [40] [40]RUSSELLIMPAGLIAZZO：有些困难的问题的硬核分布。程序中。第36届FOCS，第538–545页。IEEE组件。Soc.出版社，1995年。[doi:10.1109/SFCS.1995.492584]122145号 [41] [41]拉胡尔贾因（RAHULJAIN）、郑丰基（ZHENGFENGJI）、萨瓦吉奥帕迪（SARVAGYAUPADHYAY）、安德烈·沃特鲁斯（ANDJOHNWATROUS）：QIP=PSPACE。J.ACM，58:30:1–30:272011年。STOC'10中的初步版本。[doi:10.1145/2049697.2049704]155 [42] [42]ADAMKALAI:与曼弗雷德·沃穆特的个人沟通，2009.147 [43] [43]ADAMKALAI ANDSANTOSHVEMPALA:在线决策问题的高效算法。J.计算。系统科学。，2005年第71:291–307页。第16届COLT初版（2003年）。[doi:10.1016/j.jcss.2004.10.016]123147号 [44] [44]SATYENKALE：使用乘法权重更新方法的高效算法。普林斯顿大学博士论文，2006年。技术报告TR-804-07.155157 [45] [45]SATYENKALE：增强和硬核心结构：一种简化方法。技术报告TR07-131，Electron。计算上的协作。复杂性（ECCC），2007年。[ECCC:TR07-131]146号 [46] [46]ROHITKHANDEKAR：凸规划问题的基于拉格朗日松弛的算法。博士论文，印度理工学院，德里，2004.122 [47] [47]菲利普。KLEIN ANDHSUEH-I LU:由MAX CUT和COLORING产生的半定程序的有效近似算法。STOC第28期，第338-347页。ACM出版社，1996年。[doi:10.1145/237814.237980]150·Zbl 0936.68072号 [48] [48]菲律宾。KLEIN ANDNEALYOUNG：关于Dantzig-Wolfe优化和打包覆盖近似算法的迭代次数。程序中。第七届整数规划与组合优化会议（IPCO’99），LNCS 1610，第320–327页。施普林格，1999。[ACM DL]。153 ·Zbl 0954.90004号 [49] [49]阿达姆。克利夫兰-安道克。SERVEDIO：增强和硬核结构。机器学习，51（3）：217–2382003。[doi:10.1023/A:1022949332276]123146 [50] [50]NICKLITTLESTONE：当不相关的属性大量存在时，快速学习：一种新的线性重排算法。机器学习，2（4）：285–3181987。FOCS’87的初步版本。[doi:10.1007/BF00116827]123132《计算理论》，第8卷（2012），第121-164161页，桑杰瓦罗拉，埃拉达赞和萨蒂扬卡勒 [51] [51]NICKLITTLESTONE：错误界限和对数线性阈值学习算法。1989年9月，美国加利福尼亚州圣克鲁斯加利福尼亚大学圣克鲁斯分校博士论文 [52] [52]尼克利特斯通·安德曼弗里克。WARMUTH：加权多数算法。通知。和计算。，108(2):212–261, 1994. [doi:10.1006/inco.1994.1009]123·Zbl 0804.68121号 [53] [53]MICHAELLUBY ANDNOAMNISAN:正线性规划的并行近似算法。过程中。STOC第25期，第448–457页。ACM出版社，1993年。[doi:10.1145/167088.167211]122 [54] [54]JI\check{}RIMATOU\check}SEK ANDJANVONDRAK：概率方法，2008年。查尔斯大学课堂讲稿154 [55] [55]M.MINSKY和。论文：感知器。麻省理工学院出版社，1969.123 [56] [56]塞尔盖亚。戴维·普洛特金。SHMOYS，AND’{}EVATARDOS：分数包装和覆盖问题的快速近似算法。数学。操作。1995年，第20:257–301号决议。FOCS’91的初步版本。[doi:10.1287/moor.20.2.257]122135136 [57] [57]PRABHAKARRAGHAVAN:确定性算法的概率构造：近似打包整数程序。J.计算。系统科学。，37:130–143, 1988. FOCS’86的初步版本。[doi:10.1016/0022-0000（88）90003-7]142 [58] [58]PRABHAKARRAGHAVAN ANDCLARKD（普拉巴卡拉格哈万和克拉克）。汤普森：随机取整：一种用于证明良好算法和算法证明的技术。组合数学，7（4）：365–3741987。[doi:10.1007/BF02579324]142 [59] [59]朱利亚罗宾森：求解游戏的迭代方法。《数学年鉴》，54:296-3011951年。[doi:10.2307/1969530]123 [60] [60]罗伯特。SCHAPIRE：弱可学性的力量。机器学习，5:197–2271990。[doi:10.1007/BF00116037]144 [61] [61]科林。汤普森：不等式在统计力学中的应用。数学杂志。物理。，6(11):1812–1823, 1965. [doi:10.1063/1.1704727]157 [62] [62]KOJITSUDA，GUNNARR“{}ATSCH，ANDMANFREDK.WARMUTH：在线学习和Bregman投影的矩阵指数梯度更新.机器学习研究杂志，6:995–10182005.[JMLR PDF].155 [63] [63]曼弗雷克。WARMUTH ANDDIMAKUZMIN：在线方差最小化。机器学习，87:1–322012。COLT’06中的初步版本。[doi:10.1007/s10994-011-5269-0]155 [64] [64]安德鲁。姚：陷门函数的理论与应用（扩展抽象）。程序中。第23届FOCS，第80-91页。IEEE组件。索契出版社，1982年。[doi:10.1109/SFCS.1982.88]145《计算理论》，第8卷（2012），第121-164162页《乘法加权更新方法：元算法和应用》 [65] [65]内尔。YOUNG：不求解线性规划的随机取整。程序中。年第6届ACM-SIAM交响乐团。《离散算法》（SODA’95），第170–178页。ACM出版社，1995年。[ACM DL]。122,123,124,142 [66] [66]MARTINZINKEVICH：在线凸规划和广义无穷小梯度上升。程序中。第20届国际机器学习大会（ICML'03），第928–936页，2003.148 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。