计算机科学>机器学习
职务: PriorBand:深度学习时代的实用超参数优化
摘要: 深度学习(DL)管道的超参数对其下游性能至关重要。 虽然已经开发了大量的超参数优化(HPO)方法,但它们所产生的成本对于现代DL来说往往是无法承受的。 因此,依靠研究人员的直觉、领域知识和廉价的初步探索,手工实验仍然是优化超参数的最流行方法。 为了解决HPO算法和DL研究人员之间的这种不一致,我们提出了PriorBand,这是一种为DL量身定制的HPO算法,能够利用专家信念和廉价的代理任务。 从经验上讲,我们展示了PriorBand在一系列DL基准测试中的效率,并展示了它在信息丰富的专家输入和对不良专家信念的稳健性方面的收益