×
彼得·奥克斯;勒内·兰夫特;托马斯·布罗克斯;托马斯·波克

非光滑下层问题的基于梯度的双层优化技术。 （英文） Zbl 1352.65155号

数学杂志。成像视觉。 56，第2期，175-194（2016）.
摘要：我们提出了用非光滑下层问题近似两层优化问题的技术，这些问题可以有一个非唯一的解。为此，我们用一个迭代算法替换下层最小化问题的极小值表达式，该迭代算法保证收敛到问题的极小。尽管最小化问题是非光滑的，但使用合适的非线性最近距离函数，这种迭代算法的更新映射可以是可微的。

引用于16文件

MSC公司：

65千5 数值数学规划方法
90立方 非线性规划

关键词：

双层优化;非光滑下层问题;Bregman邻近函数;数值示例;迭代算法

软件：

MatConvNet公司;L-BFGS公司;亚当;iPiano公司
PDF格式BibTeX公司 XML格式引用
\textit{P.Ochs}等人，《数学杂志》。成像视觉。56，第2号，175--194（2016；Zbl 1352.65155）
全文： 内政部 arXiv公司

参考文献：

[1] Al-Baali，M.：不精确线搜索下Fletcher-Reeves方法的下降性质和全局收敛性。IMA J.数字。分析。5(1), 121-124 (1985) ·Zbl 0578.65063号 ·doi:10.1093/imanum/5.1.121
[2] Attouch，H.，Bolt，J.，Svaiter，B.：半代数和驯服问题下降方法的收敛性：近似算法，前向-后向分裂和正则高斯-赛德尔方法。数学。程序。137(1-2), 91-129 (2013) ·兹比尔1260.49048 ·doi:10.1007/s10107-011-0484-9
[3] Beck，A.，Teboulle，M.：凸优化的镜像下降和非线性投影次梯度方法。操作。Res.Lett公司。31(3), 167-175 (2003) ·Zbl 1046.90057号 ·doi:10.1016/S0167-6377（02）00231-6
[4] Bennett，K.，Kunapuli，G.，Hu，J.，Pang，J.S.：双层优化和机器学习。收录：《计算智能：研究前沿》。计算机科学课堂讲稿，第5050卷，第25-47页。柏林施普林格出版社（2008）·Zbl 1046.90057号
[5] Bregman，L.M.：寻找凸集公共点的松弛方法及其在凸规划问题求解中的应用。苏联计算。数学。数学。物理学。7(3), 200-217 (1967) ·Zbl 0186.23807号 ·doi:10.1016/0041-5553（67）90040-7
[6] Calatroni，L.，Reyes，J.，Schönlieb，C.B.：多重非光滑约束下最优噪声学习的动态采样方案。ArXiv电子版（2014）。arXiv:1403.1278·兹比尔1333.94008
[7] Calatroni，L.，Reyes，J.，Schönlieb，C.B.，Valkonen，T.：变分成像模型学习的双层方法。ArXiv电子版（2015）。arXiv公司：1505.02120·Zbl 1374.94065号
[8] Chambolle，A.，Pock，T.：凸问题的一阶原对偶算法及其在成像中的应用。数学杂志。成像视觉。40(1), 120-145 (2011) ·Zbl 1255.68217号 ·doi:10.1007/s10851-010-0251-1
[9] Chambolle，A.，Pock，T.：关于一阶原对偶算法的遍历收敛速度。数学。程序。(2015). doi:10.1007/s10107-015-0957-3·Zbl 1350.49035号
[10] Chen，Y.，Pock，T.，Ranftl，R.，Bischof，H.：回顾基于滤波器的MRF图像恢复的特定损失训练。参加：德国模式识别会议（GCPR）。《计算机科学讲义》，第8142卷，第271-281页。柏林施普林格出版社（2013）
[11] Chen，Y.，Ranftl，R.，Pock，T.：分析运算符学习的见解：从基于补丁的稀疏模型到高阶MRF。IEEE传输。图像处理。23(3), 1060-1072 (2014) ·Zbl 1374.94065号 ·doi:10.1109/TIP.2014.2299065
[12] Deledale，C.A.，Vaiter，S.，Fadili，J.，Peyré，G.：多参数选择的Stein无偏GrAdient风险估计量（SUGAR）。SIAM J.成像科学。7(4), 2448-2487 (2014) ·Zbl 1361.94012号 ·doi:10.1137/140968045
[13] Dempe，S.：关于双层规划和具有平衡约束的数学规划的注释性参考书目。优化52（3），333-359（2003）·Zbl 1140.90493号 ·doi:10.1080/0233193031000149894
[14] Dempe，S.、Kalashnikov，V.、Pérez-ValdéS，G.、Kalashnykova，N.：双层编程问题。能源系统。柏林施普林格出版社（2015）·Zbl 1338.90005号
[15] Dempe，S.，Zemkoho，A.：双层规划的广义Mangasarian-Fromowitz约束限定和最优性条件。J.优化。理论应用。148(1), 46-68 (2010) ·Zbl 1223.90061号 ·doi:10.1007/s10957-010-9744-8
[16] Domke，J.：微扰隐式微分。摘自：《神经信息处理系统进展》，第523-531页（2010年）·Zbl 1255.68217号
[17] Domke，J.：基于优化建模的通用方法。摘自：人工智能与统计国际研讨会，第318-326页（2012年）·Zbl 0428.47039号
[18] Evans，L.C.，Gariepy，R.F.：函数的测度理论和精细特性。CRC出版社，博卡拉顿（1992）·Zbl 0804.28001号
[19] Fletcher，R.，Reeves，C.：共轭梯度函数最小化。计算。J.7（2），149-154（1964）·Zbl 0132.11701号 ·doi:10.1093/comjnl/7.2.149
[20] Gould，S.，Fulton，R.，Koller，D.：将场景分解为几何和语义一致的区域。在：国际计算机视觉会议（ICCV）（2009）·Zbl 0132.11701号
[21] Griewank，A.，Walther，A.：《衍生品评估》，第二版。费城工业和应用数学学会（2008）·Zbl 1159.65026号 ·doi:10.137/1.9780898171761
[22] Kingma，D.P.，Ba，J.：亚当：一种随机优化方法。CoRR abs/1412.6980（2014）·Zbl 1046.90057号
[23] Kunisch，K.，Pock，T.：变分模型中参数学习的双层优化方法。SIAM J.成像科学。6(2), 938-983 (2013) ·Zbl 1280.49053号 ·数字对象标识代码：10.1137/120882706
[24] Lions，P.L.，Mercier，B.：两个非线性算子之和的分裂算法。SIAM J.应用。数学。16（6），964-979（1979）·Zbl 0426.6500号
[25] Liu，D.C.，Nocedal，J.：关于大规模优化的有限内存BFGS方法。数学。程序。45(1), 503-528 (1989) ·Zbl 0696.90048号 ·doi:10.1007/BF01589116
[26] Long，J.，Shelhamer，E.，Darrell，T.：语义分割的完全卷积网络。参加：计算机视觉与模式识别国际会议（2015）
[27] Moore，G.：机器学习模型选择的双层编程算法。特洛伊伦斯勒理工学院博士论文（2010）·Zbl 1140.90493号
[28] Ochs，P.：对象级分组和非光滑优化方法的长期运动分析。阿尔伯特·卢德维希斯·弗赖堡大学博士论文（2015年）·Zbl 0132.11701号
[29] Ochs，P.，Chen，Y.，Brox，T.，Pock，T.：ipiano：非凸优化的惯性近似算法。SIAM J.成像科学。7(2), 1388-1419 (2014) ·Zbl 1296.90094号 ·数字对象标识代码：10.1137/130942954
[30] Ochs，P.，Ranftl，R.，Brox，T.，Pock，T.：具有非光滑下层问题的双层优化。In:计算机视觉中尺度空间和变分方法国际会议（2015）·Zbl 1352.65155号
[31] Passty，G.B.：遍历收敛到Hilbert空间中单调算子和的零。数学杂志。分析。申请。72(2), 383-390 (1979) ·Zbl 0428.47039号 ·doi:10.1016/0022-247X（79）90234-8
[32] Peyré，G.，Fadili，J.：学习分析稀疏性先验。摘自：桑普塔会议录（2011）
[33] Ranftl，R.，Pock，T.：图像分割的深度变化模型。在：德国模式识别会议（GCPR），第107-118页（2014）
[34] Reyes，J.，Schönlieb，C.B.，Valkonen，T.：图像恢复问题的最佳参数结构。ArXiv电子版（2015）。arXiv:11505.01953年·Zbl 1327.49063号
[35] Reyes，J.C.D.L.，Schönlieb，C.B.：图像去噪：通过pde-constrained优化学习噪声分布。反向探测。成像7，1183-1214（2013）·Zbl 1283.49005号 ·doi:10.3934/ipi.2013.7.1183
[36] Rockafellar，R.T.：凸分析。普林斯顿大学出版社，普林斯顿（1970）·Zbl 0193.18401号 ·doi:10.1515/9781400873173
[37] Tappen，M.：利用变分优化学习MRF。摘自：计算机视觉和模式识别国际会议（CVPR），第1-8页（2007年）
[38] Tsochantaridis，I.、Joachims，T.、Hofmann，T.和Altun，Y.：结构化和相互依赖输出变量的大幅度方法。J.马赫。学习。第6号决议，1453-1484（2005）·兹比尔1222.68321
[39] Vedaldi，A.，Lenc，K.：MATLAB的MatConvNet-卷积神经网络。摘自：ACM国际多媒体会议记录（2015）
[40] Zavriev，S.，Kostyuk，F.：非凸优化问题中的重球方法。计算。数学。模型。4(4), 336-341 (1993) ·Zbl 1331.90056号 ·doi:10.1007/BF01128757
[41] Zheng，S.、Jayasumana，S.，Romera--Paredes，B.、Vineet，V.、Su，Z.、Du，D.、Huang，C.、Torr，P.：条件随机场作为递归神经网络。参加：计算机视觉国际会议（2015）·Zbl 1331.90056号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。