×
弗朗西斯·巴赫

子模块函数：从离散域到连续域。 （英语） Zbl 1423.90174号

数学。程序。 175，编号1-2（A），419-459（2019）.
摘要：子模集函数在组合优化中有许多应用，因为它们可以在多项式时间内最小化和近似最大化。在许多算法和分析中，一个关键因素是将子模集函数扩展为凸函数的可能性，这为凸优化开辟了工具。子模超越了集函数，自然地被认为适用于具有多个标签的问题或定义在连续域上的函数，其中它基本上对应于非正的交叉二阶导数。本文证明了关于集函数的子模性和凸性的大多数结果可以推广到所有子模函数。特别地，（a）我们在一组概率测度中自然地定义了一个连续扩张，（b）证明了扩张是凸的当且仅当原始函数是子模的，（c）证明了最小化子模函数的问题等价于一个典型的非光滑凸优化问题，以及（d）提出另一个具有更好计算性能的凸优化问题（如光滑对偶问题）。这些来自集合函数情况的扩展大多是通过与多边际最优运输理论联系起来获得的，这也为集合函数的现有结果提供了新的解释。然后，我们提供了基于函数求值的实用算法，以最小化离散域上的泛型子模函数，并具有相关的收敛速度。

引用于16文件

MSC公司：

90C25型 凸面编程
90C27型 组合优化

关键词：

子模性;最佳运输;连续优化

软件：

PMTK公司
PDF格式BibTeX公司 XML格式引用
\textit｛F.Bach｝，数学。程序。175，编号1--2（A），419--459（2019；Zbl 1423.90174）
全文： 内政部 arXiv公司 哈尔

参考文献：

[1] Bach，F.：《用子模块函数学习：凸优化观点》，《机器学习基础与趋势》第6卷。现在，布雷达（2013）·Zbl 1280.68001号
[2] Bach，F.：次梯度法和条件梯度法之间的对偶性。SIAM J.Optim公司。25(1), 115-129 (2015) ·Zbl 1358.90155号
[3] Bae，E.，Yuan，J.，Tai，X.C.，Boykov，Y.：非凸多标记问题的快速连续最大流方法。摘自：Bruhn，A.，Pock，T.，Tai，X.-C.（编辑）《计算机视觉中全局优化方法的有效算法》，第134-154页。斯普林格（2014）
[4] Best，M.J.，Chakravarti，N.：等渗回归的主动集算法：统一框架。数学。程序。47(1), 425-439 (1990) ·Zbl 0715.90085号
[5] Blumensath，T.，Davies，M.E.：压缩感知的迭代硬阈值。申请。计算。哈蒙。分析。27(3), 265-274 (2009) ·Zbl 1174.94008号
[6] Borwein，J.M.，Lewis，A.S.：凸分析和非线性优化：理论和示例。柏林施普林格出版社（2006）·Zbl 1116.90001号
[7] Boyd，S.P.，Vandenberghe，L.：凸优化。剑桥大学出版社，剑桥（2004）·Zbl 1058.90049号
[8] Boykov，Y.，Veksler，O.，Zabih，R.：通过图切割实现快速近似能量最小化。IEEE传输。模式分析。马赫。智力。23(11), 1222-1239 (2001)
[9] Carlier，G.：关于一类多维最优运输问题。J.凸面分析。10(2), 517-530 (2003) ·Zbl 1084.49037号
[10] Chambolle，A.，Darbon，J.：关于使用参数最大流的总变化最小化和表面演化。国际期刊计算。视觉。84(3), 288-307 (2009) ·Zbl 1371.94073号
[11] Choquet，G.：能力理论。《傅里叶学会年鉴》5，131-295（1954）·兹比尔0064.35101
[12] Djolonga，J.，Krause，A.：从MAP到边缘：贝叶斯子模模型中的变分推理。In:神经信息处理系统（NIPS）进展（2014）
[13] Djolonga，J.，Krause，A.：对数超模模型中的可伸缩变分推理。参加：国际机器学习会议（ICML）（2015）
[14] Edmonds，J.：子模函数、拟阵和某些多面体。In：Jünger，M.，Reinellt，G.，Rinaldi，G.（编辑）组合优化Eureka，你退缩了！第11-26页。斯普林格（2003）·Zbl 1024.90054号
[15] Fan，J.，Li，R.：通过非冲突惩罚似然及其预言属性进行变量选择。《美国统计协会期刊》96（456），1348-1360（2001）·Zbl 1073.62547号
[16] Favati，P.，Tardella，F.：非线性整数规划中的凸性。里克。操作。53, 3-44 (1990)
[17] Feige，U.，Mirrorkni，V.S.，Vondrák，J.：最大化非单调子模函数。SIAM J.计算。40(4), 1133-1153 (2011) ·兹比尔1230.90198
[18] Frank，M.，Wolfe，P.：二次规划的算法。导航。Res.Logist公司。Q.3（1-2），95-110（1956）
[19] Friedland，S.，Gaubert，S.：厄米矩阵的主子矩阵的子模谱函数，扩展和应用。线性代数应用。438(10), 3872-3884 (2013) ·Zbl 1281.15046号
[20] Fujishige，S.：子模块函数与优化。Elsevier，阿姆斯特丹（2005）·Zbl 1119.90044号
[21] Fujishige，S.，Murota，K.：关于l-/m凸函数和分离定理的注释。数学。程序。88(1), 129-146 (2000) ·Zbl 0974.90019号
[22] Groenevelt，H.：在多拟阵可行区域上最大化可分离凹函数的两种算法。欧洲药典。第54（2）号决议，227-236（1991）·Zbl 0745.90059号
[23] Hebiri，M.，Van De Geer，S.：平滑的拉索和其他ℓ1+ℓ2处罚方法。电子。J.Stat.5，1184-1226（2011）·Zbl 1274.62443号
[24] Ishikawa，H.：凸先验马尔可夫随机场的精确优化。IEEE传输。模式分析。马赫。智力。25(10), 1333-1336 (2003)
[25] 岩田，S.，Fleischer，L.，Fujishige，S.：用于最小化子模函数的组合强多项式算法。《美国医学会杂志》48（4），761-777（2001）·Zbl 1127.90402号
[26] Jaggi，M.：重新审视Frank Wolfe：无投影稀疏凸优化。摘自：机器学习国际会议（ICML）会议记录（2013年）
[27] 朱迪茨基，A。；涅米罗夫斯基，A。；Sra，S.（编辑）；Nowozin，S.（编辑）；Wright，SJ（编辑），非光滑凸大规模优化的一阶方法，I：通用方法，121-148（2011），剑桥
[28] Kantorovich，L.V.：关于物质的易位。多克。阿卡德。Nauk SSSR 37，199-201（1942）·Zbl 0061.09705号
[29] Karlin，S.，Rinott，Y.：测度的排序类和相关不等式。一、多变量完全正分布。J.多变量。分析。10(4), 467-498 (1980) ·Zbl 0469.60006号
[30] Kim，S.，Kojima，M.：通过SDP和SOCP松弛，一些非凸二次优化问题的精确解。计算。最佳方案。申请。26(2), 143-154 (2003) ·邮编：1043.90060
[31] Krause，A.，Guestrin，C.：子模块及其在优化信息收集中的应用。智力。系统。Technol公司。2(4), 1-20 (2011)
[32] Lacoste-Julien，S.，Jaggi，M.：关于Frank-Wolfe优化变量的全局线性收敛。In：神经信息处理系统进展（NIPS）（2015）
[33] Lange，K.，Hunter，D.R.，Yang，I.：使用替代目标函数的优化转移。J.计算。Gr.Stat.9（1），1-20（2000）
[34] Lin，H.，Bilmes，J.：文档摘要的一类子模块函数。摘自：计算语言学协会第49届年会会议记录：人类语言技术，第1卷。计算语言学协会（2011）
[35] Lorentz，G.G.：重排不等式。美国数学。周一。60(3), 176-179 (1953) ·Zbl 0050.28201号
[36] Lovász，L.：子模函数与凸性。摘自：Bachem，A.，Korte，B.，Grötschel，M.（编辑）《数学编程：最新进展》，波恩，第235-257页。斯普林格，波恩（1982）·Zbl 0566.90060号
[37] Milgrom，P.，Shannon，C.：单调比较静力学。经济。《经济学杂志》。Soc.62（1），157-180（1994）·Zbl 0789.90010号
[38] Mitter，S.K.：无限维空间中的凸优化。摘自：Blondel，V.D.，Boyd，S.P.，Kimura，H.（编辑）《学习与控制的最新进展》，第161-179页。施普林格（2008）·Zbl 1237.90257号
[39] Monge，G.：梅莫尔（Mémoire sur la théorie des déblais et des remblais）。《科学史》，第666-704页（1781年）
[40] Murphy，K.P.：机器学习：概率观点。麻省理工学院出版社，剑桥（2012）·Zbl 1295.68003号
[41] Nedić，A.，Ozdaglar，A.：对偶次梯度方法的近似原始解和速率分析。SIAM J.Optim公司。19(4), 1757-1780 (2009) ·兹比尔1191.90037
[42] Nemhauser，G.L.，Wolsey，L.A.，Fisher，M.L.：最大化子模集函数的近似分析-I.数学。程序。14(1), 265-294 (1978) ·Zbl 0374.90045号
[43] Orlin，J.B.：用于子模函数最小化的快速强多项式时间算法。数学。程序。118(2), 237-251 (2009) ·Zbl 1179.90290号
[44] Pock，T.、Chambolle，A.、Cremers，D.、Bischof，H.：计算最小分区的凸松弛方法。在：计算机视觉和模式识别会议（CVPR）（2009）·Zbl 1202.49031号
[45] Rachev，S.T.：概率度量和随机模型的稳定性。威利，纽约（1991）·Zbl 0744.60004号
[46] 鲁丁，W.：真实与复杂分析。McGraw-Hill，纽约（1986）·Zbl 0142.01701号
[47] Ruozzi，N.：连续MRF中近似MAP推理的精确性。In:神经信息处理系统（NIPS）进展（2015）
[48] Santambrogio，F.：应用数学家的最佳运输。柏林施普林格出版社（2015）·Zbl 1401.49002号
[49] Schlesinger，D.，Flach，B.：将任意MinSum问题转换为二进制问题。技术报告TUD-FI06-01，德国德累斯顿理工大学（2006）
[50] Schrijver，A.：在强多项式时间内最小化子模函数的组合算法。J.库姆。理论Ser。B 80（2），346-355（2000）·Zbl 1052.90067号
[51] Schrijver，A.：组合优化：多面体和效率，第24卷。柏林施普林格出版社（2003）·Zbl 1041.90001号
[52] Shapley，L.S.：最优分配问题中的补充和替代。导航。Res.Logist公司。问题9（1），45-48（1962）
[53] Shor，N.S.：不可微优化与多项式问题，第24卷。柏林施普林格出版社（2013）·Zbl 0901.49015号
[54] Topkis，D.M.：最小化格上的子模函数。操作。第26（2）号决议，305-321（1978）·Zbl 0379.90089号
[55] Topkis，D.M.：超模块性和互补性。普林斯顿大学出版社，普林斯顿（2011）
[56] 维拉尼，C.：《最佳交通：新旧》，第338卷。柏林施普林格出版社（2008）·Zbl 1156.53003号
[57] Vondrák，J.：价值预言模型中子模块福利问题的最佳近似。摘自：《第四十届ACM计算机理论研讨会论文集》，第67-74页。ACM（2008）·Zbl 1231.91094号
[58] Wald，Y.，Globerson，A.：连续MRF中局部一致性松弛的紧密性结果。收录：《人工智能不确定性研究进展》（UAI）（2014）
[59] Werner，T.：最大和问题的线性规划方法：综述。IEEE传输。模式分析。马赫。智力。29(7), 1165-1179 (2007)
[60] Wolfe，P.：在多面体中寻找最近点。数学。程序。11(1), 128-149 (1976) ·Zbl 0352.90046号
[61] 伊文，S。；沃纳，T。；Průša博士。；Nowozin，S.（编辑）；Gehler，PV（编辑）；Jancsary，J.（编辑）；Lampert，CH（编辑），《lp松弛对地图推断的影响》（2014），剑桥
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。