计算机科学>机器学习
标题: 基于梯度的自动循环调度离散采样
摘要: 离散分布,特别是在高维深度模型中,由于固有的不连续性,通常是高度多峰的。 虽然基于梯度的离散采样已被证明是有效的,但由于梯度信息,它很容易陷入局部模式。 为了应对这一挑战,我们提出了一种自动循环调度,用于在多模态离散分布中进行高效准确的采样。 我们的方法包含三个关键部分:(1)循环步长调度,其中大步发现新模式,小步利用每个模式; (2) 循环平衡计划,确保给定步长的“平衡”建议和马尔可夫链的高效性;以及(3) 一种自动调优方案,用于调整周期性调度中的超参数,允许以最小的调优来适应不同的数据集。 我们证明了我们的方法在一般离散分布下的非渐近收敛性和推理保证。 大量实验证明了该方法在复杂多模态离散分布采样中的优越性。