×

兹马思-数学第一资源

随机(近似)近点方法:收敛性、最优性和适应性。(英语) Zbl 07105236
理学硕士:
65K10型 数值优化与变分技术
90摄氏度 数学规划中的大规模问题
PDF格式 BibTeX公司 XML 引用
参考文献:
[1] H、 阿西和杜奇,随机(近似)近点方法:收敛性、最优性和自适应性,预印本,https://arxiv.org/abs/1810.05633,2018年。
[2] F、 巴赫和E.Moulines,机器学习随机逼近算法的非渐近分析,在高级。神经信息过程。系统。25,Curran Associates,Red Hook,NY,2011年,第451-459页,
[3] H、 Bauschke和J.Borwein,凸投影问题求解的可行性算法,暹罗修订版,38(1996),第367-426页。·Zbl 0865.47039
[4] M、 贝尔金、许志达和密特拉,过度合身还是完美合身?风险分类的界和插值规则,在高级。神经系统。信息处理。系统。31,Curran Associates,Red Hook,NY,2018年,第2300-2311页。
[5] M、 贝尔金,拉赫林和齐巴科夫,数据插值是否与统计最优性相矛盾?第22届国际人工智能与统计会议论文集。机器。学习。第89号决议,2019年,第1611-1619页;可在http://progressions.mlr.press/v89/belkin19a.html获取。
[6] D、 伯塞卡斯,非线性规划,雅典娜科学,贝尔蒙特,马萨诸塞州,1999年。
[7] D、 伯塞卡斯,具有不可微费用泛函的随机优化问题,J.擎天柱。理论应用,12(1973),第218-231页。
[8] D、 伯塞卡斯,大规模凸优化问题的增量式近似方法,数学。程序,129(2011年),第163-195页。
[9] P、 比安奇,随机近点算法的遍历收敛性,SIAM J.Optim.,26(2016年),第2235-2260页。·Zbl 1355.90062
[10] 五十、 Bottou和O.Bousquet,大规模学习的权衡,在高级。神经信息过程。系统。20,Curran Associates,Red Hook,NY,2007年,第161-168页。
[11] S、 博伊德和范登伯格,凸优化,剑桥大学出版社,剑桥,2004年。
[12] J、 伯克,复合不可微优化问题的下降法,数学。程序,33(1985年),第260-279页。·Zbl 0581.90084
[13] J、 伯克和M.费里斯,复合高斯-牛顿法,数学。程序,71(1995),第179-194页。·Zbl 0846.90083
[14] K、 克拉默和Y。辛格,多类核向量机的算法实现,J.马赫。学习。第2(2001)号决议,第265-292页。·Zbl 1037.68110号
[15] D、 戴维斯和德鲁斯维亚茨基,基于随机模型的弱凸函数极小化,暹罗J.Optim.,29(2019年),第207-239页。·Zbl 1415.65136
[16] D、 Davis,D.Drusvyatskiy和C.Paquette,相位恢复的非光滑景观,预印本,https://arxiv.org/abs/1711.032472017年。
[17] J、 院长,G.S.Corrado,R.Monga,K.Chen,M.Devin,Q.V.Le,M.Z.Mao,M.Ranzato,A.Senior,P.Tucker,K.Yang,A.Y.Ng,大规模分布式深层网络,在高级。神经信息过程。系统。25,Curran Associates,Red Hook,纽约,2012年,第1223-1231页。
[18] D、 德鲁斯维亚茨基和A.刘易斯,近似方法的误差界、二次增长和线性收敛,数学。操作。第43期(2018年),第919-948页。
[19] J、 C.Duchi和F.Ruan,组合弱凸优化问题的随机方法,SIAM J.Optim.,28(2018年),第3229–3259页。·Zbl 06989166
[20] J、 C.Duchi和F.Ruan,随机优化中的渐近最优性安。统计学家。
[21] S、 加迪米和格兰,强凸随机组合优化的最优随机逼近算法,Ⅰ:一个通用的算法框架,SIAM J.Optim.,22(2012年),第1469-1492页。·Zbl 1301.62077
[22] S、 加迪米和格兰,非凸随机规划的随机一阶和零阶方法,SIAM J.Optim.,23(2013年),第2341-2368页。·Zbl 1295.90026
[23] T、 黑斯蒂、R.蒂比拉尼和J.弗里德曼,统计学习的要素第二版,斯普林格,纽约,2009年。·Zbl 1273.62005
[24] E、 哈桑和甘蓝,随机强凸优化的一种优化算法,预印本,http://arxiv.org/abs/1006.24252011年。
[25] J、 Hiriart Urruty和C.Lemaréchal,凸分析与极小化算法Ⅰ:基本原理,格伦德伦数学。威斯。305,斯普林格,纽约,1993年。·Zbl 0795.49001
[26] J、 Hiriart Urruty和C.Lemaréchal,凸分析与极小化算法Ⅱ:先进理论与束方法,格伦德伦数学。威斯。306,斯普林格,纽约,1993年。·Zbl 0795.49002
[27] A、 霍夫曼,关于线性不等式组的近似解,自然科学杂志。《仪表台》,第49页(1952年),第263-265页。
[28] H、 胡和王Q,关于无限线性不等式组的近似解《线性代数应用》,114-115(1989),第429-438页。
[29] N、 Karampatziakis和J.Langford,在线重要性权重感知更新,第27届人工智能不确定性会议论文集,AUAI出版社,弗吉尼亚州阿灵顿,2011年,第392-399页。
[30] J、 E.凯利,求解凸规划的割平面法,J.Soc。工业。申请。数学,8(1960),第703-712页。·Zbl 0098.12104
[31] B、 Kulis和P.Bartlett,内隐式在线学习,第27届机器学习国际会议论文集,Omnipress,麦迪逊,威斯康星州,2010年,第575-582页。
[32] H、 J.Kushner和G.Yin,随机逼近与递归算法及其应用,第二版,斯普林格,纽约,2003年。
[33] G、 兰,随机组合优化的一种优化方法,数学。计划,133(2012),第365-397页。·Zbl 1273.90136
[34] 五十、 Le Cam和G.L.Yang,统计学中的渐近性:一些基本概念,斯普林格,纽约,2000年。·Zbl 0952.62002
[35] Y、 LeCun,Y.Bengio和G.Hinton,深度学习《自然》,521(2015),第436-444页。
[36] D、 Leventhal和A.S.Lewis,线性约束的随机方法:收敛速度和条件,数学。操作。第35期(2010年),第641-654页。·Zbl 1216.15006
[37] A、 S.刘易斯,D.R.Luke和J.Malick,交替和平均非凸投影的局部线性收敛性,找到。计算机。数学,9(2009),第485-513页。·Zbl 1169.49030
[38] S、 女士,R.巴西利和贝尔金先生,插值的力量:理解SGD在现代超参数学习中的有效性,第35届机器学习国际会议论文集。机器。学习。第80号决议,2018年,第3325-3334页;可查阅http://progressions.mlr.press/v80/。
[39] P、 McCullagh和J.Nelder,广义线性模型,查普曼和霍尔,伦敦,1989年。
[40] S、 门德尔森,不专心学习,J.ACM,62(2015),第21条。
[41] D、 尼德尔和J·特罗普,善意铺就:随机分组Kaczmarz方法分析《线性代数应用》,441(2014),第199-221页。·Zbl 1282.65042
[42] D、 Needell,R.Ward和N.Srebro,随机梯度下降,加权抽样,随机Kaczmarz算法,在高级。神经信息过程。系统。27,Curran Associates,Red Hook,NY,2014年,第1017-1025页。
[43] A、 尼米洛夫斯基、A.朱迪斯基、G.兰和A.夏皮罗,随机规划的鲁棒随机逼近方法,SIAM J.Optim.,19(2009年),第1574-1609页。·Zbl 1189.90109
[44] Y、 内斯特罗夫,凸优化导论,Kluwer学院,诺威尔,马萨诸塞州,2004年。
[45] J、 Nocedal和S.J.Wright,数值优化,斯普林格,纽约,2006年。
[46] A、 帕特拉斯库和I.Necoara,约束凸优化随机近点算法的非协调收敛性,预印本,https://arxiv.org/abs/1706.062972017年。
[47] B、 T.波利亚克,最优化概论优化软件,纽约,1987年。
[48] B、 T.Polyak和A.B.Juditsky,用平均法加速随机逼近,SIAM J.Control Optim.,30(1992年),第838-855页。·Zbl 0762.62022
[49] H、 罗宾斯和S.Monro,随机逼近法安。数学。Statist.,22(1951),第400-407页。·Zbl 0054.05901
[50] H、 罗宾斯和D.西格蒙德,非负几乎上鞅的一个收敛定理及其应用《统计学中的优化方法》,学术出版社,纽约,1971年,第233-257页。
[51] R、 罗卡费拉,单调算子与最近点算法,SIAM J.Control Optim.,14(1976年),第877-898页。·900ZB0353
[52] E、 柳和S.博伊德,随机近端迭代:随机梯度下降的一个非渐近改进,预印本,http://www.math.ucla.edu/eryu/papers/spi.pdf,2014年。
[53] M、 施密特和勒鲁,强增长条件下随机梯度下降的快速收敛性,预印本,https://arxiv.org/abs/1308.63702013年。
[54] S、 Shalev Shwartz,Y.Singer,N.Srebro和A.Cotter,PEGASOS:支持向量机的原始估计次梯度求解器,数学。程序,127(2011),第3-30页。·Zbl 1211.90239
[55] A、 Shapiro,D.Dentcheva和A.Ruszzyński,随机规划讲座:建模与理论,MPS-SIAM Ser。Optim.,暹罗,费城,宾夕法尼亚州,2009年。·Zbl 1183.90005号
[56] T、 斯特罗默和R.Vershynin,指数收敛的随机Kaczmarz算法,J.Fourier Anal。申请书,15(2009年),第262-278页。·Zbl 1169.68052
[57] C、 H.Teo、S.Vishwanthan、A.J.Smola和Q.V.Le,正则化风险最小化的束方法,J.马赫。学习。第11期(2010年),第311-365页。·Zbl 1242.68253
[58] P、 奥德里斯和艾尔图伊,基于随机梯度的估计量的渐近和有限样本性质安。Statist.,45(2017),第1694-1727页。·Zbl 1378.62046
[59] P、 Toulis,D.Tran和E.Airoldi,随机梯度下降的稳定性与最优性第19届国际人工智能与统计会议论文集。机器。学习。可查阅第12951页,第12951页;http://Res.0/2016。
[60] 五十、 N.Trefethen和D.Bau III,数值线性代数,暹罗,费城,宾夕法尼亚州,1997年。
[61] A、 范德法特,渐近统计量,坎布。爵士。统计概率。《数学》,剑桥大学出版社,剑桥,1998年。
[62] R、 维什宁,随机矩阵非渐近分析简介《压缩感知:理论与应用》,剑桥大学出版社,2012年,第210-268页。
[63] B、 韦德罗和M.E.霍夫,自适应开关电路,1960年IRE-WESCON会议记录,第4部分,IRE,纽约,1960年,第96-104页。
[64] C、 Zhang,S.Bengio,M.Hardt,B.Recht和O.Vinyals,理解深度学习需要重新思考泛化,载于2017年第五届学习表征国际会议论文集;可在https://openreview.net/forum上查阅?id=Sy8gdB9xx。
〔65〕 T、 张先生,用随机梯度下降算法求解大规模线性预测问题,第二十一届机器学习国际会议论文集,ACM出版社,纽约,2004年。
[66] M、 津克维奇,在线凸规划与广义无穷小梯度上升《第二十届机器学习》第928页,加利福尼亚州帕隆阿尔托出版社,2003年第928页。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。