达斯，阿比曼尤;大卫·坎佩 近似子模及其应用：子集选择、稀疏近似和字典选择。 （英语） Zbl 1437.68200号 J.马赫。学习。物件。 19，论文编号3，34 p.（2018）. 摘要：我们介绍子模比作为集合函数（f）与子模“接近程度”的度量。我们证明了当（f）具有子模比（gamma）时，最大化（f）的贪婪算法提供了（1-e^{-gamma}）-近似。此外，当\（\gamma\）有界远离0时，最小子模覆盖的贪婪算法本质上也为\（n\）元素的宇宙提供了\（O（\logn）\）近似。作为该框架的主要应用，我们研究了从一个大集合中选择（k）个随机变量子集的问题，以获得另一个感兴趣变量的最佳线性预测。我们分析了广泛使用的贪婪启发式算法的性能；特别地，通过证明子模比是由协方差矩阵的最小（2k）稀疏特征值的下限，我们获得了前向回归和正交匹配追踪算法的已知最强近似保证。作为第二个应用程序，我们分析贪婪算法用于字典选择问题，并显著改善了先前已知的保证。我们的理论分析得到了对真实世界和合成数据集的实验的补充；特别是，我们重点分析了各种谱参数和子模比在预测贪婪算法性能方面的紧密程度。 引用于13文件 MSC公司： 68周25 近似算法 62J05型 线性回归；混合模型 68T05年 人工智能中的学习和自适应系统 软件：l1_ls（十一升）;foba公司 PDF格式BibTeX公司 XML格式引用 \textit{A.Das}和\textit{D.Kempe}，J.Mach。学习。第19号决议，第3号论文，34页（2018年；Zbl 1437.68200） 全文： 链接 参考文献： [1] Wenruo Bai和Jeffrey A.Bilmes。贪婪仍然是好的：最大化单调子模+超模函数，2018。https://arxiv.org/pdf/1801.07141.pdf。 [2] Gruia Calinescu、Chandra Chekuri、Martin P´al和Jan Vondr´ak。最大化受拟阵约束的子模集函数。SIAM计算机杂志，40（6）：1740–17662011·Zbl 1234.68459号 [3] 伊曼纽尔·坎迪斯和特伦斯·陶。通过线性规划进行解码。IEEE信息理论汇刊，51（12）：4203-42152005·Zbl 1264.94121号 [4] Emmanuel J.Cand’es、Justin Romberg和Terence Tao。从不完整和不准确的测量中恢复稳定的信号。《纯粹数学与应用数学交流》，59:1207–12232005·邮编1098.94009 [5] Chandra Chekuri、Jan Vondr´ak和Rico Zenklusen。通过多重线性松弛和竞争解决方案实现子模块函数最大化。程序中。第43届ACM研讨会。《计算理论》，第783-792页，2011年。30 ·Zbl 1288.90081号 [6] Flavio Chierichetti、Abhimanyu Das、Anirban Dasgupta和Ravi Kumar。近似模块化。程序中。第56届IEEE Symp。《计算机科学基础》，第1143-1162页，2015年。 [7] Michele Conforti和G´erard Cornu´ejols。子模集函数、拟阵和贪婪算法：紧最坏情况边界和rado-edmonds定理的一些推广。《离散应用数学》，7:251-2741984·Zbl 0533.90062号 [8] Abhimanyu Das和David Kempe。线性回归中子集选择的算法。程序中。第40届ACM交响乐团。《计算理论》，第97–108页，2008年·Zbl 1231.68283号 [9] Abhimanyu Das、Anirban Dasgupta和Ravi Kumar。通过谱正则化选择不同的特征。程序中。第26届神经信息处理系统进展，第1592-1600页，2012年。 [10] 乔治·迪霍夫（George M.Diekhoff）。社会和行为科学统计。Brown&Benchmark，2002年。 [11] 大卫·多诺霍（David L.Donoho）。对于大多数大型欠定线性方程组，最小11范数近似解近似于最稀疏的近似解。《纯粹数学与应用数学通讯》，59:1207–12232005。 [12] Ethan R.Elenberg、Rajiv Khanna、Alexandros G.Dimakis和Sahand Negahban。受限强凸性意味着弱子模。《统计年鉴》，2018年。出现·Zbl 1401.68262号 [13] 安娜·吉尔伯特（Anna Gilbert）、S.Muthu Muthukrishnan和马丁·施特劳斯（Martin Strauss）。使用连贯性对冗余字典上的函数进行近似。程序中。第14届ACM-SIAM交响乐团。《离散算法》，第243-252页，2003年·1094.41500兹罗提 [14] 亚历山大·格拉布（Alexander Grubb）和J.安德鲁·巴涅尔（J.Andrew Bagnell）。Speedboost：具有一致近优性的任何时间预测。程序中。第15名。人工智能与统计会议，第458–466页，2012年。 [15] 里沙布·伊耶（Rishabh K.Iyer）。子模块优化和机器学习：理论结果，统一和可扩展算法，以及应用。华盛顿大学博士论文，2015年。 [16] Rishabh K.Iyer和Jeff A.Bilmes。具有子模覆盖和子模背包约束的子模优化。程序中。第27届神经信息处理系统进展，第2436–2444页，2013年。 [17] Rishabh K.Iyer、Stefanie Jegelka和Jeff A.Bilmes。学习和最小化子模函数的曲率和优化算法。程序中。第27届神经信息处理系统进展，第2742–2750页，2013年。 [18] 理查德·约翰逊（Richard A.Johnson）和迪安·威彻恩（Dean W.Wichern）。应用多元统计分析。普伦蒂斯·霍尔，2002年。31 ·Zbl 1269.62044号 [19] Kwangmoo Koh、Seung-Jean Kim和Stephen Boyd。l1 ls：l1正则最小二乘问题的简单Matlab解算器，2008年。http://www.stanford.edu网站/博伊德/l1 ls。 [20] 安德烈亚斯·克劳斯（Andreas Krause）和沃尔坎·塞弗赫（Volkan Cevher）。稀疏表示的子模块字典选择。程序中。第27届国际机器学习大会，第567–574页，2010年。 [21] 安德烈亚斯·克劳斯和丹尼尔·戈洛文。子模块函数最大化。Lucas Bordeaux、Youssef Hamadi和Pushmet Kohli编辑，《可牵引性：解决难题的实用方法》，第71-104页。剑桥大学出版社，2014年。 [22] 马特·库斯纳（Matt J.Kusner）、陈文林（Wenlin Chen）、周全（Quan Zhou）、徐志祥（Zhixiang Xu）、基连·温伯格（Kilian Q.Weinberger）和陈一新（Yixin Chen）。基于分类器子模块树的特征代价敏感学习。程序中。第28届AAAI人工智能大会，第1949–1945页，2014年。 [23] 奥雷利·C·洛扎诺（Aurelie C.Lozano）、格列戈斯·斯威斯基（Grzegorz Swirszcz）和阿部直树（Naoki Abe）。分组正交匹配追踪用于变量选择和预测。程序中。《神经信息处理系统的第23次进展》，第1150–1158页，2009年。 [24] 艾伦·J·米勒。回归中的子集选择。查普曼和霍尔，第二版，2002年·Zbl 1051.62060号 [25] 巴拉斯·纳塔拉扬。线性系统的稀疏近似解。SIAM计算机期刊，24（2）：227-2341995·Zbl 0827.68054号 [26] 乔治·L·纳姆豪泽（George L.Nemhauser）、劳伦斯·A·沃尔西（Laurence A.Wolsey）和马歇尔·L·费希尔（Marshall L.Fisher）。最大化子模集函数的近似分析。数学规划，14:265–2941978·Zbl 0374.90045号 [27] 赵谦、杨瑜和周志华。通过帕累托优化选择子集。程序中。第29届神经信息处理系统进展，第1774-1782页，2015年。 [28] Mahyar Salek、Shahin Shayandeh和David Kempe。你分享，我分享：P2P文件共享系统中的网络效应和经济激励。程序中。第六届互联网和网络经济研讨会（WINE），第354–365页，2010年。 [29] 马克西姆·斯维里登科。关于背包约束下最大化子模集函数的注记。操作。Res.Lett.公司。，32(1):41–43, 2004. ·Zbl 1056.90124号 [30] 马克西姆·斯维里登科、扬·冯德拉克和贾斯汀·沃德。曲率有界的子模和超模优化的最佳逼近。程序中。第26届ACM-SIAM交响乐团。《离散算法》，第1134–1148页，2015年·Zbl 1371.90143号 [31] 罗伯特·提比拉尼（Robert Tibshirani）。通过套索回归收缩和选择。《皇家统计学会杂志》，58（1）：267–2881996年·Zbl 0850.62538号 [32] 乔尔·特罗普（Joel Tropp）。贪婪是好的：稀疏近似的算法结果。IEEE信息理论汇刊，50:22231-22422004·Zbl 1288.94019号 [33] 乔尔·特罗普（Joel Tropp）。放松：识别稀疏信号的凸编程方法。IEEE信息理论汇刊，51:1030–10512006。32 ·Zbl 1288.94025号 [34] Joel Tropp、Anna Gilbert、S.Muthu Muthukrishnan和Martin Strauss。改进了准非相干字典的稀疏近似。程序中。IEEE-ICIP，第37-40页，2003年。 [35] 阿德里安·维塔。竞争社会中的纳什均衡，应用于设施选址、交通路线和拍卖。程序中。第43届IEEE Symp。《计算机科学基础》，第416–425页，2002年。 [36] 简·冯德拉克。价值预言模型中子模福利问题的最优逼近。程序中。第40届ACM交响乐团。《计算理论》，第67-74页，2008年·Zbl 1231.91094号 [37] 简·冯德拉克。子模块和曲率：最佳算法。RIMS Kokyuroku Bessatsu，B23:253-2662010年·Zbl 1219.68109号 [38] 劳伦斯·A·沃尔西。子模集覆盖问题的贪婪算法分析。Combinatorica，2:385-3931982年·Zbl 0508.68021号 [39] 张彤。线性模型稀疏学习的自适应前向贪婪算法。程序中。第22届神经信息处理系统进展，第1921-1928页，2008年。 [40] 张彤。基于贪婪最小二乘回归的特征选择一致性研究。机器学习研究杂志，10:555–5682009·Zbl 1235.6206号 [41] 彭昭和宾玉。套索的模型选择一致性。机器学习研究杂志，7:2451–24572006·Zbl 1222.62008年 [42] 周淑恒。用于高维变量选择和统计估计的阈值处理程序。程序中。神经信息处理系统的第23个进展，第2304–2312页，2009年。 [43] 附录A：估算λmin（C，k） [44] 我们的几个近似保证是用λmin（C，k）表示的。查找 [45] λmin（C，k）的准确值通常为NP-hard；在这里，我们展示了如何估计更低的 [46] 和上限。设λ1≤λ2≤…≤λn是C和e1、e2…的特征值，英语 [47] 相应的特征向量。可以直接从 [48] 特征值交错定理：λ1≤λmin（C，k）≤λn−k+1。可以获得λmin（C，k）的良好下界的一种情况是 [49] λ的一个小（常数）数很小。下面的引理允许在 [50] 任何λj的项；然而，由于隐含算法的运行时间是指数的 [51] 在j中，界限的性质取决于λj，只有在特殊情况下才有用 [52] λj 0表示小常数j。 [53] 引理26设Vj是特征向量e1，e2，…，所跨越的向量空间，ej，并定义βj=max x·y。y∈Vj，x∈Rn，kyk2=kxk2=1，kxk0≤k [54] 那么，λmin（C，k）≥λj+1·（1−βj）。33 [55] 证明。设x0∈Rn，kx0k2=1，kxk0≤k为λmin（C，k）对应的特征向量。 [56] 设αibe是x0表示的系数，表示为ei:x0=Pni=1αiei。 [57] 因此，Pni=1α2i=1，我们可以写出njλmin（C，k）=x0|Cx0=Xα2iλi≥λj+1（1−Xα2l）。i=1 i=1 [58] 由于ePji=1αi2是x在Vj上的投影长度，我们得到jα2i=max|x0·y|≤max|y·x|，y∈Vj，kyk2=1y∈Vj，x∈Rn，kxk2=kyk2=1，kxk 0≤k i=1 [59] 完成证明。由于所有λj都可以很容易地计算出来，所以使用这个界限的关键是找到一个 [60] βj上的好界。接下来，我们给出了 [61] 近似βj，对于任何常数j。 [62] 引理27对于每>0，计算βj都有一个1−近似值 [63] 时间O（（n）j）。 [64] 证明。kyk2=1的任何向量y∈Vj都可以写成y=Pji=1η，即ηi∈[−1，1] [65] 对于所有i，我们算法的思想是在参数化的情况下，对所有y进行穷尽搜索 [66] 通过它们的ηienties。为了使搜索有限，条目被离散为 [67] δ=·pk/（nj）。要搜索的此类向量的总数为（2/δ）j≤（n/）j。让ˆx，ᮼy在βj的定义中达到最大值，并写下\710,y=Pji=1ηiei。对于 [68] 每个i，设ηibeˆηi，四舍五入为δ的最接近倍数，y=Pji=1ηiei。然后， [69] kˆy−yk2≤kδPji=1ejk2=δ√j。向量x0=argmaxx∈Rn，kxk2=1，kxk≤k|y·x|的形式如下：设I为q [70] k指数i的集合，使得|yi|最大，γ=Pi∈Iy2i。然后，x0i=0 [71] 对于i∈i，i/∈i和x0i=yi/γ。注意，给定y，我们很容易找到x0，因为 [72] |ˆx·y|≤|x0·y|≥|x·y||，我们有√≤≤2k·y−yk2≤δj≤δpjn/k [73] 最后一个不等式如下，因为ˆ√y的k个最大项之和至少是k/n，所以 [74] 通过为每个坐标设置xi=1/k，我们可以获得至少一个内积 [75] ppk/n，带ˆx的内积不能更小。对所有离散值进行穷举搜索输出的值至少为|x√0·y|， [76] 因此在 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。