维塔利·费尔德曼;Guzmán，克里斯托巴尔;桑托什温帕拉 均值向量估计和随机凸优化的统计查询算法。 （英语） Zbl 1477.90046号 数学。操作。物件。 46，编号3，912-945（2021）。 摘要：随机凸优化是一种重要且广泛应用的方法，其目标是随机凸函数的期望值，在机器学习、统计学、运筹学等领域有着广泛的应用。我们研究随机凸优化的复杂性，只给出统计查询（SQ）访问目标功能。我们表明，众所周知的和流行的一阶迭代方法只能使用统计查询来实现。对于许多感兴趣的情况，我们推导了估计（样本）复杂度的近似匹配上下界，包括最一般设置下的线性优化。然后，我们给出了机器学习、差异隐私和证明基于凸优化方法能力的具体下限的几个结果。我们工作的关键部分是SQ算法和估计（R^d）中凸体上支持向量上分布的平均向量的下界。这个自然问题以前没有被研究过，我们的解决方案可以用来获得Perceptron的SQ版本和其他用于学习半空间的在线算法的显著改进。 引用于3文件 MSC公司： 90立方厘米15 随机规划 90C25型 凸面编程 68问题32 计算学习理论 关键词：随机的，随机的;编程;凸面的;非线性;数据;统计学 软件：SuLQ公司 PDF格式BibTeX公司 XML格式引用 \textit{V.Feldman}等人，《数学》。操作。第46号决议，第3号，912--945（2021年；Zbl 1477.90046） 全文： 内政部 arXiv公司 参考文献： [1] [1] Agarwal A，Bartlett P，Ravikumar P，Wainwright M（2012）随机凸优化预言复杂性的信息论下限。IEEE传输。通知。理论58（5）：3235-3249.Crossref，谷歌学者·Zbl 1365.94132号 ·doi:10.1109/TIT.2011.2182178 [2] [2] Balcan M，Blum A（2006），关于相似函数学习理论。ICML，73-80.谷歌学者 [3] [3] Balcan MF，Feldman V（2013）统计主动学习算法。NIPS，1295-1303.谷歌学者 [4] [4] Balcan M、Blum A、Fine S、Mansour Y（2012）《分布式学习、通信复杂性和隐私》。COLT，26.1-26.22，谷歌学者 [5] [5] Ball K，Carlen E，Lieb E（1994）迹范数的Sharp一致凸性和光滑不等式。发明数学115（1）：463-482.谷歌学者·Zbl 0803.47037号 [6] [6] Bassily R，Smith A，Thakurta A（2014）私人经验风险最小化：高效算法和严格误差界限。FOCS，464-473.谷歌学者 [7] [7] Bassily R、Nissim K、Smith AD、Steinke T、Stemmer U、Ullman J（2016）自适应数据分析的算法稳定性。程序。第48届ACM年度交响曲。理论计算。（ACM，纽约），1046-1059.谷歌学者·Zbl 1376.68122号 [8] [8] Belloni A，Liang T，Narayanan H，Rakhlin A（2015）通过模拟退火逃离局部极小值：近似凸函数的优化。Grunwald P、Hazan E、Kale S编辑。机器学习。Res.（巴黎），240-265.谷歌学者 [9] [9] Ben-David S，Dichterman E（1998）《注意力受限的学习》。J.计算。系统科学。56（3）：277-298.Crossref，谷歌学者·Zbl 0945.68531号 ·doi:10.1006/jcss.1998.1569 [10] [10] Ben-Tal A，Nemirovski A（2013）现代凸优化讲座。2016年7月查阅，http://www2.isye.gatech.edu/～nemirovs/。谷歌学者 [11] [11] Bertsimas D，Vempala S（2004）用随机游动求解凸规划。J.ACM公司51（4）:540-556.Crossref，谷歌学者·Zbl 1204.90074号 ·数字对象标识代码：10.1145/1008731.1008733 [12] [12] Blum A，Dwork C，McSherry F，Nissim K（2005）《实用隐私：SuLQ框架》，Li C编辑，Proc。PODS（ACM，纽约），128-138，谷歌学者 [13] [13] Blum A，Frieze A，Kannan R，Vempala S（1997）学习带噪线性阈值函数的多项式时间算法。算法22（1/2）:35-52谷歌学者·Zbl 0910.68169号 [14] [14] Blum A、Furst M、Jackson J、Kearns M、Mansour Y、Rudich S（1994）《弱学习DNF和使用傅里叶分析表征统计查询学习》。程序。STOC，253-262.谷歌学者·Zbl 1345.68186号 [15] [15] Braun G，Guzmán C，Pokutta S（2017）基于信息论的非光滑凸优化的预言复杂性下限。IEEE传输。通知。理论63（7）：4709-4724.谷歌学者·Zbl 1370.94383号 [16] [16] Bresler G、Gamarnik D、Shah D（2014）反铁磁ising模型的结构学习。NIPS，2852-2860.谷歌学者 [17] [17] Bylander T（1994）在分类噪声存在下学习线性阈值函数。程序。COLT，340-347谷歌学者 [18] [18] Cesa-Bianchi N，Conconi A，Gentile C（2004）关于在线学习算法的泛化能力。IEEE传输。通知。理论50（9）：2050-2057.Crossref，谷歌学者·Zbl 1295.68182号 ·doi:10.1109/TIT.2004.833339 [19] [19] Chaudhuri K，Monteleoni C，Sarwate AD（2011），差异私人经验风险最小化。J.机器学习。物件。12:1069-1109.谷歌学者·Zbl 1280.62073号 [20] [20] Chu C、Kim S、Lin Y、Yu Y、Bradski G、Ng A、Olukotun K（2006）多核机器学习地图。程序。NIPS，281-288谷歌学者 [21] [21]Coja-Oghlan A，Cooper C，Frieze A（2010）一个有效的稀疏正则性概念。SIAM J.离散数学。23（4）：2000-2034.Crossref，谷歌学者·Zbl 1207.05195号 ·doi:10.1137/080730160 [22] [22]Dasgupta S，Kalai AT，Monteleoni C（2009）基于感知机的主动学习分析。J.机器学习。物件。10:281-299谷歌学者·Zbl 1235.68143号 [23] [23]d'Aspremont A（2008）使用近似梯度进行平滑优化。SIAM J.Optim公司。19（3）：1171-1183.谷歌学者交叉引用·Zbl 1180.90378号 ·数字对象标识代码：10.1137/060676386 [24] [24]Devolder O，Glineur F，Nesterov Y（2013）不精确预言的一阶方法：强凸情形。鲁汶天主教大学2013016核心讨论文件。2016年7月1日访问，http://EconPapers.repec.org/repec:cor:louvco:2013016.谷歌学者 [25] [25]Devolder O，Glineur F，Nesterov Y（2014）带不精确预言的光滑凸优化的一阶方法。数学。编程146（1-2）：37-75.Crossref，谷歌学者·Zbl 1317.90196号 ·doi:10.1007/s10107-013-0677-5 [26] [26]Dinur I，Nissim K（2003）《披露信息同时保护隐私》。PODS，202-210.谷歌学者 [27] [27]Duchi JC、Jordan MI、Wainwright MJ（2013）《本地隐私和统计最低费率》。FOCS，429-438.谷歌学者 [28] [28]Duchi J，Jordan M，Wainwright M（2014）隐私意识学习。J.ACM公司61(6):1-57. Crossref，谷歌学者·Zbl 1321.68400号 ·doi:10.1145/2666468 [29] [29]Dunagan J，Vempala S（2008）求解线性规划的简单多项式时间缩放算法。数学。编程114（1）：101-114.Crossref，谷歌学者·兹比尔1157.90007 ·doi:10.1007/s10107-007-0095-7 [30] [30]Dwork C，Roth A（2014）《差异隐私的算法基础》。基础趋势理论计算。科学。9（3-4）：211-407.谷歌学者·兹比尔1302.68109 [31] [31]Dwork C，McSherry F，Nissim K，Smith A（2006）私人数据分析中的噪声灵敏度校准。TCC，265-284谷歌学者·Zbl 1112.94027号 [32] [32]Dwork C，Feldman V，Hardt M，Pitassi T，Reingold O，Roth A（2014），在自适应数据分析中保持统计有效性。11月10日提交的预印本，http://arxiv.org/abs/1411.2664.谷歌学者 [33] [33]Dwork C、Feldman V、Hardt M、Pitassi T、Reingold O、Roth A（2015）《自适应数据分析和保持重用中的泛化》。预印本，6月8日提交，http://arxiv.org/abs/1506.02629。谷歌学者 [34] [34]Feige U（2002）平均案例复杂性和近似复杂性之间的关系。STOC公司。（ACM），534-543.谷歌学者·Zbl 1192.68358号 [35] [35]Feldman V（2008）学习算法的进化性。程序。STOC，619-628.谷歌学者·Zbl 1231.68198号 [36] [36]Feldman V（2009）统计查询学习的完整特征及其演化应用。程序。FOCS，375-384.谷歌学者·Zbl 1292.68096号 [37] [37]Feldman V（2016）《通过统计查询处理均值估计中的范围焦虑》。11月20日提交的预印本，http://arxiv.org/abs/1611.06475谷歌学者·Zbl 1407.62106号 [38] [38]Feldman V，Lee H，Servedio R（2011）学习浅单调公式的下限和硬度放大。科尔特。第19卷，273-292。谷歌学者 [39] [39]Feldman V，Perkins W，Vempala S（2013）关于种植解决方案的随机可满足性问题的复杂性。11月19日提交的预印本，http://arxiv.org/abs/1311.4821.谷歌学者 [40] [40]Feldman V，Grigorescu E，Reyzin L，Vempala S，Xiao Y（2012）《统计算法和检测种植集团的下限》。预印本，1月5日提交，http://arxiv.org/abs/201.1214.谷歌学者 [41] [41]Fiorini S，Massar S，Pokutta S，Tiwary H，de Wolf R（2012）线性与半定扩展公式：指数分离和强下界。STOC，95-106。谷歌学者·Zbl 1286.90125号 [42] [42]Forster J（2002）无界错误概率通信复杂性的线性下限。J.计算。系统科学。65（4）:612-625.Crossref，谷歌学者·Zbl 1058.68058号 ·doi:10.1016/S0022-0000（02）00019-3 [43] [43]Freund Y，Schapire R（1998）使用Perceptron算法的大边距分类。COLT，209-217.谷歌学者 [44] [44]Goldreich O（2011）基于膨胀图的候选单向函数。Goldreich O编辑，《复杂性和密码学研究：随机性和计算之间相互作用的杂项》，《计算机科学讲义》，第6650卷（施普林格，柏林，海德堡），76-87页。谷歌学者·Zbl 1306.94056号 [45] [45]Grötschel M，Lovász L，Schrijver A（1988）几何算法与组合优化（柏林施普林格）。Crossref，谷歌学者·兹比尔0634.05001 ·doi:10.1007/978-3-642-97881-4 [46] [46]Grove A，Littlestone N，Schuurmans D（1997）线性判别更新的一般收敛结果。程序。第十届年度会议计算。学习。理论，171-183.谷歌学者 [47] [47]Guzmán C，Nemirovski A（2015）关于大规模光滑凸优化的复杂度下限。J.复杂性31（1）:1-14.Crossref，谷歌学者·Zbl 1304.65155号 ·doi:10.1016/j.jco.2014.08.003 [48] [48]Hardt M，Rothblum G（2010）隐私保护数据分析的乘法权重机制。FOCS，61-70.谷歌学者 [49] [49]Hardt M，Ullman J（2014）在交互式数据分析中防止错误发现是很困难的。FOCS，454-463.谷歌学者 [50] [50]Hedayat A，Wallis WD（1978）Hadamard矩阵及其应用。年鉴统计。6（6）：1184-1238.谷歌学者·兹比尔0401.62061 [51] [51]Hsu D，Sabato S（2013）重尾近似损失最小化。预印本，7月7日提交，http://arxiv.org/abs/1307.1827.谷歌学者 [52] [52]John F（1948）将不等式作为辅助条件的极值问题。向R.Courant（纽约跨学科出版商）提交的研究和论文，187-204年。谷歌学者·Zbl 0034.10503中 [53] [53]Kakade S、Sridharan K、Tewari A（2008）关于线性预测的复杂性：风险边界、边际边界和正则化。NIPS（Curran Associates，Inc.），793-800.谷歌学者 [54] [54]Kalai AT，Vempala S（2006）凸优化的模拟退火。数学。操作。物件。31（2）：253-266.Link，谷歌学者·Zbl 1278.90311号 [55] [55]Kallweit M，Simon H（2011）《利润复杂性和相关参数的研究》。COLT，437-456.谷歌学者 [56] [56]Kashin B（1977）某些有限维集和光滑函数类的宽度。伊兹夫。阿卡德。Nauk SSSR序列。Mat，334-351.谷歌学者 [57] [57]Kasiviswanathan SP、Lee HK、Nissim K、Raskhodnikova S、Smith A（2011）我们可以私下学到什么？SIAM J.计算。40（3）：793-826.Crossref，谷歌学者·Zbl 1235.68093号 ·doi:10.1137/090756090 [58] [58]Kearns M（1998）从统计查询中进行有效的噪声容忍学习。J.ACM公司45（6）：983-1006.Crossref，谷歌学者·Zbl 1065.68605号 ·数字对象标识代码：10.1145/293347.293351 [59] [59]Khachiyan LG（1996）实数计算模型中的多边形四舍五入。数学。操作。物件。21（2）：307-320.链接，谷歌学者·Zbl 0856.68066号 [60] [60]Klivans A，Sherstof A（2007）半空间交点学习的无条件下界。机器学习.69（2-3）：97-114.Crossref，谷歌学者·Zbl 1470.68056号 ·doi:10.1007/s10994-007-5010-1 [61] [61]Lee J，Raghavendra P，Steurer D（2015）半定规划松弛大小的下界。STOC，567-576.谷歌学者·Zbl 1321.90099号 [62] [62]Li J，Nikolov A，Razenshteyn I，Waingarten E（2019）关于具有统计查询的一般规范的平均估计。程序。机器学习。研究，第99卷（PMLR，凤凰城，亚利桑那州），2158-2172.谷歌学者 [63] [63]Littlestone N（1987）当不相关的属性大量存在时快速学习：一种新的线性阈值算法。机器学习.2:285-318.Crossref，谷歌学者·doi:10.1007/BF00116827 [64] [64]Lovász L，Vempala S（2006）对数凹函数的快速算法：采样、舍入、积分和优化。FOCS，57-68.谷歌学者 [65] [65]Lovász L，Vempala S（2006）凸体中的模拟退火和O*（n 4）体积算法。J.计算。系统科学。72（2）:392-417.谷歌学者·Zbl 1090.68112号 [66] [66]Lyubarskii Y，Vershynin R（2010）《不确定性原理与矢量量化》。IEEE传输。通知。理论56（7）：3491-3501.谷歌学者·Zbl 1366.94117号 [67] [67]Meka R，Potechin A，Wigderson A（2015）种植集团的平方和下限。STOC，87-96.谷歌学者·Zbl 1321.05241号 [68] [68]内米洛夫斯基A，尤丁D（1983）优化中的问题复杂性和方法效率（J.Wiley Sons，纽约）。谷歌学者·兹比尔0501.90062 [69] [69]Nesterov Y（1983）求解收敛速度为o（1/k2）的凸规划问题的一种方法。苏联数学。多克拉迪27（2）:372-376谷歌学者·Zbl 0535.90071号 [70] [70]Novikoff A（1962）关于感知器上的收敛证明。程序。交响乐。数学。理论自动机，第十二卷，615-622.谷歌学者 [71] [71]Pisier G（2016）《Banach空间中的鞅》。剑桥高等数学研究（剑桥大学出版社，马萨诸塞州剑桥）。谷歌学者·Zbl 1382.46002号 [72] [72]波尔贾克B（1987）优化简介（优化软件，纽约）。谷歌学者 [73] [73]Raginsky M，Rakhlin A（2011）凸规划中基于信息的复杂性、反馈和动力学。IEEE传输。通知。理论57（10）：7036-7056.Crossref，谷歌学者·Zbl 1365.93191号 ·doi:10.1109/TIT.2011.2154375 [74] [74]Rockafellar R（1974年）共轭对偶与优化。应用数学区域会议系列（工业和应用数学学会，费城）。Crossref，谷歌学者·Zbl 0296.90036号 ·doi:10.1137/1.9781611970524 [75] [75]Rosenblatt F（1958）感知器：大脑中信息存储和组织的概率模型。心理学评论。65（6）：386-407.Crossref，谷歌学者·doi:10.1037/h0042519 [76] [76]Roth A，Roughgarden T（2010）《通过中间机制的交互式隐私》。STOC，765-774.谷歌学者·Zbl 1293.68114号 [77] [77]RothvoßT（2014）匹配多边形具有指数扩展复杂性。STOC，263-272谷歌学者·Zbl 1315.90038号 [78] [78]Roy I，Setty STV，Kilzer A，Shmatikov V，Witchel E（2010）Airavat:MapReduce的安全与隐私。NSDI，297-312.谷歌学者 [79] [79]Schoenebeck G（2008）某些k-csp的线性水平lasserre下界。FOCS，593-602.谷歌学者 [80] [80]Servedio R（1999）关于使用Winnow、Perceptron和类Perceptroni算法的PAC学习。程序。第12届年度会议计算。学习。理论，296-307.谷歌学者 [81] [81]Shalev Shwartz S，Ben David S（2014）理解机器学习：从理论到算法（剑桥大学出版社，马萨诸塞州剑桥）。Crossref，谷歌学者·Zbl 1305.68005号 ·doi:10.1017/CBO9781107298019 [82] [82]Shalev-Shwartz S，Shamir O，Srebro N，Sridharan K（2009）随机凸优化。科尔特。谷歌学者 [83] [83]Shertov AA（2008）半空间矩阵。计算。复杂性17（2）：149-178.Crossref，谷歌学者·Zbl 1147.68027号 ·doi:10.1007/s00037-008-0242-4 [84] [84]肖尔N（2011）不可微优化与多项式问题（柏林施普林格）。谷歌学者 [85] [85]Simon H（2007）统计查询模型中强可学习性的特征。程序。交响乐。理论方面计算。科学。，393-404.谷歌学者·Zbl 1186.68229号 [86] [86]Srebro N，Tewari A（2010）随机优化：ICML 2010教程。2016年7月1日访问，http://www.ttic.edu/icml2010stochopt/谷歌学者 [87] [87]Steinhardt J、Valiant G、Wager S（2016）《记忆、通信和统计查询》。科尔特，1490-1516年。谷歌学者 [88] [88]Steinke T，Ullman J（2015）交互式指纹编码和防止错误发现的难度。COLT，1588-1628年。谷歌学者 [89] [89]Studer C、Goldstein T、Yin W、Baraniuk R（2014）《民主党代表》。1月15日提交的预印本，http://arxiv.org/abs/1401.3420.谷歌学者 [90] [90]Sujeeth AK，Lee H，Brown KJ，Chafi H，Wu M，Atreya AR，Olukotun K，Rompf T，Odersky M（2011）OptiML：一种用于机器学习的隐式并行领域特定语言。程序。第28届国际。Conf.机器学习。（ACM，纽约），609-616.谷歌学者 [91] [91]Ullman J（2015）超越线性查询的私有乘法权重。PODS，303-312.谷歌学者 [92] [92]Valiant LG（2009）《进化性》。J.ACM 56（1）：3.1-3.216.谷歌学者 [93] [93]Valiant P（2014）《实函数的进化性》。ACM事务处理。计算。理论6（3）：12.1-12.19谷歌学者·Zbl 1347.68314号 [94] [94]Wang Z，Gu Q，Liu H（2014）种植模型中的统计计算相变：高维设置。程序。第31届国际。Conf.机器学习。32（2）：244-252.谷歌学者 [95] [95]华纳SL（1965）《随机反应：消除回避回答偏见的调查技术》。J.Amer。统计师。协会。60（309）：63-69 Crossref，谷歌学者·Zbl 1298.62024号 ·doi:10.1080/01621459.1965.10480775 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。