Learn2Hop：学习粗糙景观的优化

Amil Merchant、Luke Metz、Samuel S Schoenholz、Ekin D Cubuk
第38届机器学习国际会议论文集，PMLR 139:7643-76532021年。

摘要

包含多个局部极小值的非凸损失曲面的优化仍然是运筹学、信息学和材料设计等领域中的一个关键问题。然而，当前的技术要么需要极高的迭代次数，要么需要大量的随机重启才能获得良好的性能。在这项工作中，我们建议通过学习各种损失景观的优化算法，使元学习的最新发展适应这些许多极小问题。我们关注原子结构优化问题，发现多原子系统的低能配置，包括广泛研究的模型，如双金属团簇和无序硅。我们发现，我们的优化器学习了一种跳跃行为，从而实现了高效的探索，并提高了低能极小值发现的速度。最后，我们学习过的优化器在以前从未见过的任务（例如新元素或组合）上显示出很有希望的泛化效果和效率提升。代码位于https://learn2hop.page.link/github。

引用本文

BibTeX公司
@在诉讼中{pmlr-v139-merchant21a，title={Learn2Hop:Learned Optimization on Rough Landscapes}，author={Merchant、Amil和Metz、Luke和Schoenholz、Samuel S和Cubuk、Ekin D}，booktitle={第38届机器学习国际会议论文集}，页码={7643--7653}，年份={2021}，editor={Meila，Marina和Zhang，Tong}，体积={139}，series={机器学习研究论文集}，月={7月18日至24日}，publisher={PMLR}，pdf={http://processes.mlr.press/v139/mercat21a/mercat21a.pdf}，url={https://procedures.mlr.press/v139/mercat21a.html}，摘要={包含许多局部极小值的非凸损失曲面的优化在许多领域中仍然是一个关键问题，包括运筹学、信息学和材料设计。然而，当前的技术要么需要极高的迭代次数，要么需要大量的随机重启动才能获得良好的性能。在这项工作中，我们建议自适应通过学习各种损失情况下的优化算法，将元学习的最新发展应用于这些许多极小问题。我们关注原子结构优化问题，发现多原子系统的低能配置，包括广泛研究的模型，如双金属团簇和无序硅。我们发现，我们的优化器学习了一种跳跃行为，从而实现了高效的探索，并提高了低能极小值发现的速度。最后，我们学习过的优化器在以前从未见过的任务（例如新元素或组合）上显示出很有希望的泛化效果和效率提升。代码位于https://learn2hop.page.link/github.}}
尾注
%0会议论文%T Learn2Hop：学习粗糙景观的优化%阿米尔商人%卢克·梅茨%塞缪尔·肖恩霍尔茨%A Ekin D Cubuk（埃金·D·库布）%第38届机器学习国际会议论文集%C机器学习研究进展%2021年4月%E玛丽娜·梅拉%E Tong Zhang先生%F pmlr-v139-mechant21a公司%我PMLR%电话：7643-7653%U型https://proceedings.mlr.press/v139/merchant21a.html%139伏%X包含许多局部极小值的非凸损失表面的优化仍然是各种领域的关键问题，包括运筹学、信息学和材料设计。然而，当前的技术要么需要极高的迭代次数，要么需要大量的随机重启才能获得良好的性能。在这项工作中，我们建议通过学习各种损失景观的优化算法，使元学习的最新发展适应这些许多极小问题。我们关注原子结构优化问题，发现多原子系统的低能配置，包括广泛研究的模型，如双金属团簇和无序硅。我们发现，我们的优化器学习跳跃行为，这使得能够进行有效的探索，并提高低能量最小值发现的速率。最后，我们学习过的优化器在以前从未见过的任务（例如新元素或组合）上显示出很有希望的泛化效果和效率提升。代码位于https://learn2hop.page.link/github。
亚太地区
Merchant，A.、Metz，L.、Schoenholz，S.S.和Cubuk，E.D.（2021年）。学习2小时：学习粗糙景观的优化。第38届国际机器学习大会论文集，英寸机器学习研究进展139:7643-7653可从https://proceedings.mlr.press/v139/merchant21a.html。

相关材料