跳到主要内容
研究论文

提高基于模型的无导数优化求解器的灵活性和鲁棒性

出版:2019年8月8日出版历史
跳过抽象节

摘要

我们提出了两个用于无导数优化(DFO)的软件包:用于非线性最小二乘问题的DFO-LS和用于一般目标的Py BOBYQA,这两个软件包都具有可选的边界约束。受Gauss-Newton方法的启发,DFO-LS为残差构建了简化的线性回归模型,并允许对昂贵的问题进行灵活的初始化,从而可以在至少两次客观评估后开始取得进展。数值结果表明,DFO-LS可以在一些中等规模问题上取得合理的进展,并且比一个梯度评估所需的客观评估更少。DFO-LS提高了对噪声的鲁棒性,允许样本平均、基于回归的模型构建和具有自动检测机制的多重重启策略。我们的大量数值实验表明,当检测到停滞时重新启动解算器是实现鲁棒性的一种廉价而有效的机制,其性能优于采样和回归技术。Py-OBYQA包是BOBYQA(Powell 2009)的Python实现,具有一些新特性,例如实现了对噪声策略的鲁棒性。我们的数值实验表明,对于噪声问题,Py-BOBYQA相当于或优于现有的一般DFO求解器。在我们的比较中,我们为噪声函数的数据剖面引入了一种自适应精度测量,在测量真实和噪声目标改善之间取得了平衡。

工具书类

  1. 查尔斯·奥德特和沃伦·黑尔。2017.无衍生品和黑箱优化。瑞士查姆施普林格。谷歌学者谷歌学者
  2. 弗洛里安·奥古斯丁(Florian Augustin)和尤塞夫·马尔佐克(Youssef M.Marzouk)。2014.NOWPAC:具有路径增强约束的可证明收敛的无导数非线性优化器。arXiv准备。arXiv:1403.1931。谷歌学者谷歌学者
  3. 弗洛里安·奥古斯丁(Florian Augustin)和尤塞夫·马尔佐克(Youssef M.Marzouk)。2017.无导数非线性约束随机优化的信任域方法。arXiv准备。arXiv:1703.04156。谷歌学者谷歌学者
  4. 瓦希德·贝兰万德、沃伦·黑尔和伊夫·卢塞特。2017.比较优化算法的最佳实践。最佳方案。工程18(2017),815-848。谷歌学者谷歌学者交叉引用交叉引用
  5. 斯蒂芬·比卢普斯(Stephen C.Billups)、杰弗里·拉森(Jeffrey W.Larson)和彼得·格拉夫(Peter Graf)。2013.使用加权回归法对具有计算误差的昂贵函数进行无导数优化。SIAM J.优化。23, 1 (2013), 27--53.谷歌学者谷歌学者数字图书馆数字图书馆
  6. C.Cartis、J.Fiala、B.Marteau和L.Roberts。2018.提高基于模型的无导数优化求解器的灵活性和鲁棒性。技术报告。牛津大学数学学院。在Optimization Online上提供。谷歌学者谷歌学者
  7. C.Cartis和L.Roberts。2019.无导数Gauss-Newton方法。数学。掠夺。公司。(2019).谷歌学者谷歌学者
  8. Ruobing Chen、Matt Menickelly和Katya Scheinberg,2018年。使用信任区域方法和随机模型进行随机优化。数学。掠夺。169, 2 (2018), 447--487.谷歌学者谷歌学者数字图书馆数字图书馆
  9. Andrew R.Conn、Nicholas I.M.Gould和Philippe L.Toint。2000.托管区域方法。MPS/SIAM,宾夕法尼亚州费城。谷歌学者谷歌学者数字图书馆数字图书馆
  10. Andrew R.Conn、Katya Scheinberg和Luís N.Vicente。2008.无导数优化中样本集的几何:多项式回归和欠定插值。IMA J.数字。分析。28, 4 (2008), 721--748.谷歌学者谷歌学者交叉引用交叉引用
  11. Andrew R.Conn、Katya Scheinberg和Luís N.Vicente。2009.无导数优化简介。MPS-SIAM优化系列,第8卷。MPS/SIAM,宾夕法尼亚州费城。谷歌学者谷歌学者数字图书馆数字图书馆
  12. A.L.Custódio、J.F.A.Madeira、A.I.F.Vaz和L.N.Vicente。2011.多目标优化的直接多搜索。SIAM J.优化。21, 3 (2011), 1109--1140.谷歌学者谷歌学者交叉引用交叉引用
  13. 安娜·路易斯·库斯托迪奥(Ana Luísa Custódio)、卡蒂亚·舍因贝格(Katya Scheinberg)和路易斯·维森特(Luás N.Vicente)。2017.无导数优化的方法和软件。《工程应用优化进展与趋势》,Tamas Terlaky、Miguel F.Anjos和Shabbir Ahmed(编辑)。宾夕法尼亚州费城SIAM。谷歌学者谷歌学者
  14. 詹姆斯·德梅尔。1997.应用数值线性代数。宾夕法尼亚州费城SIAM。谷歌学者谷歌学者数字图书馆数字图书馆
  15. 耿登和迈克尔·C·费里斯,2006年。UOBYQA算法对噪声函数的自适应。在冬季模拟会议记录中,L.F.Peronne、F.P.Weiland、J.Liu、B.G.Lawson、D.M.Nicol和R.M.Fujimoto(编辑)。312--319.谷歌学者谷歌学者数字图书馆数字图书馆
  16. 耿登和迈克尔·C·费里斯,2009年。变量样本路径优化。数学。程序。117, 1 (2009), 81--109.谷歌学者谷歌学者数字图书馆数字图书馆
  17. E.D.Dolan和J.J.Moré。2002.使用性能档案对优化软件进行基准测试。数学。程序。91 (2002), 201--213.谷歌学者谷歌学者交叉引用交叉引用
  18. 尼古拉斯·古尔德(Nicholas I.M.Gould)、多米尼克·奥尔班(Dominique Orban)和菲利普·托因特(Philippe L.Toint)。2015.CUTEst:一个有约束和无约束的测试环境,具有用于数学优化的安全线程。计算。最佳方案。申请。60,3(2015年4月),545--557。谷歌学者谷歌学者数字图书馆数字图书馆
  19. 杰瓦尼·努斯·格拉吉利亚(Geovani Nunes Grapiglia)、袁金云(Jinyun Yuan)和袁亚香(Ya-xiang Yuang)。2016.用于复合非光滑优化的无导数信任区域算法。计算。申请。数学。35, 2 (2016), 475--499.谷歌学者谷歌学者交叉引用交叉引用
  20. Warren Hare、Jason Loeppky和Shangwei Xie。2018.比较昂贵的随机优化算法与随机重启的方法。J.全球。最佳方案。72 (2018), 781--801.谷歌学者谷歌学者数字图书馆数字图书馆
  21. C.T.凯利。1999.使用充分减少条件检测和修复Nelder--Mead算法中的停滞。SIAM J.优化。10, 1 (1999), 43--55.谷歌学者谷歌学者数字图书馆数字图书馆
  22. Jeffrey W.Larson和Stefan M.Wild。2013.噪声优化的非侵入性终止。最佳方案。方法软件28,5(2013),993--1011。谷歌学者谷歌学者数字图书馆数字图书馆
  23. 马可·罗泰利(Marco Locatelli)和法比奥·肖恩(Fabio Schoen)。2013年,《全局优化:理论、算法和应用》。宾夕法尼亚州费城SIAM。谷歌学者谷歌学者交叉引用交叉引用
  24. L.Lukšan、Ctirad Matonoha和Jan Vlček。2010.稀疏无约束优化的修正CUTE问题。技术报告。捷克共和国科学院。谷歌学者谷歌学者
  25. 豪尔赫·莫雷(Jorge J.Moré)、伯顿·加博(Burton S.Garbow)和肯尼斯·希尔斯特罗姆(Kenneth E.Hillstrom)。1981.测试无约束优化软件。ACM事务处理。数学。软件7,1(1981),17-41。谷歌学者谷歌学者数字图书馆数字图书馆
  26. Jorge J.Moré和Stefan M.Wild。2009年,对无导数优化算法进行基准测试。SIAM J.优化。20,1(2009年1月),172--191。谷歌学者谷歌学者数字图书馆数字图书馆
  27. 豪尔赫·诺塞达尔(Jorge Nocedal)和斯蒂芬·赖特(Stephen J.Wright)。2006.数值优化(第二版)。纽约州施普林格。谷歌学者谷歌学者
  28. 玛格丽塔·波塞利和菲利普·托因特。2017.BFO,用于非线性有界约束优化和平衡计算的可训练无导数蛮力优化器。ACM事务处理。数学。软件44,1(2017),6:1--6:25。谷歌学者谷歌学者数字图书馆数字图书馆
  29. M.J.D.鲍威尔。2003.关于无导数无约束最小化的信赖域方法。数学。程序。97, 3 (2003), 605--623.谷歌学者谷歌学者数字图书馆数字图书馆
  30. M.J.D.鲍威尔。2004.满足插值条件的二次模型的最小Frobenius范数更新。数学。程序。100, 1 (2004), 183--215.谷歌学者谷歌学者交叉引用交叉引用
  31. M.J.D.鲍威尔。2009.无导数有界约束优化的BOBYQA算法。DAMTP 2009/NA06技术报告。剑桥大学。谷歌学者谷歌学者
  32. 隆美尔·里吉斯。2015.单纯形梯度的演算。最佳方案。莱特。9 (2015), 845--865.谷歌学者谷歌学者交叉引用交叉引用
  33. L.Roberts。2016年,数据拟合的无衍生优化。FoMM CDT报告中的技术报告。牛津大学。检索自http://people.maths.ox.ac.uk/robertsl/docs/DFO_MiniprojectReport_updateNov18.pdf。谷歌学者谷歌学者
  34. 卡蒂亚·申伯格(Katya Scheinberg)和菲利普·托因特(Philippe L.Toint)。2010.用于无导数无约束优化的基于模型的算法中的自校正几何。SIAM J.优化。20,6(2010),3512-3532。谷歌学者谷歌学者数字图书馆数字图书馆
  35. 雅罗斯拉夫·谢尔盖耶夫(Yaroslav D.Sergeyev)、德米特里·科瓦索夫(Dmitri E.Kvasov)和马拉特·穆哈梅特扎诺夫(Marat S.Mukhametzhanov)。2017.用于比较元启发式和确定性一维全局优化算法的操作区。数学。计算。模拟。141 (2017), 96--109.谷歌学者谷歌学者交叉引用交叉引用
  36. Sara Shashaani、Fatemeh S.Hashemi和Raghu Pasupathy。2018年,ASTRO-DF:一类用于无导数随机优化的自适应采样信赖域算法。SIAM J.选项。28, 4 (2018), 3145--3176.谷歌学者谷歌学者交叉引用交叉引用
  37. 斯特凡·M·怀尔德。2017.TAO中的POUNDERS:用POUNDES解决无导数非线性最小二乘问题。工程应用优化的进展和趋势。宾夕法尼亚州费城SIAM,第40、529-539章。谷歌学者谷歌学者
  38. 张洪超(Hongchao Zhang)、Andrew R.Conn和Katya Scheinberg,2010年。最小二乘最小化的无导数算法。SIAM J.优化。20, 6 (2010), 3555--3576.谷歌学者谷歌学者数字图书馆数字图书馆
  39. Zaikun Zhang。2017年,M.J.D.Powell教授编写的软件。检索自http://mat.uc.pt网站/zhang/software.html。谷歌学者谷歌学者

索引术语

  1. 提高基于模型的无导数优化求解器的灵活性和鲁棒性

    建议

    评论

    登录选项

    检查您是否可以通过登录凭据或您的机构访问本文。

    登录

    完全访问权限

    • 发布于

      数学软件上的封面图像ACM事务
      ACM数学软件汇刊 第45卷第3期
      2019年9月
      357页
      国际标准编号:0098-3500
      EISSN公司:1557-7295
      内政部:2014年10月14日/3349340
      期刊目录

      版权所有©2019 ACM

      如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许赊账提取。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。从请求权限[电子邮件保护]

      出版商

      计算机协会

      美国纽约州纽约市

      出版历史

      • 出版:2019年8月8日
      • 认可的:2019年5月1日
      • 修订过的:2019年2月1日
      • 收到:2018年5月1日
      发布于汤姆斯第45卷第3期

      权限

      请求有关此文章的权限。

      请求权限

      检查更新

      限定符

      • 研究论文
      • 研究
      • 推荐

    PDF格式

    以PDF文件的形式查看或下载。

    PDF格式

    电子阅读器

    使用eReader联机查看。

    电子阅读器

    HTML格式

    以HTML格式查看本文。

    查看HTML格式