正交空间变分梯度下降约束域采样

的一部分神经信息处理系统的进展35（NeurIPS 2022）主要会议轨道

作者

张如琪、刘强、辛彤

摘要

采样方法作为重要的推理和学习技术，通常是为无约束领域设计的。然而，在机器学习问题中，约束是普遍存在的，例如安全性、公平性、鲁棒性以及在实际应用中应用采样结果必须满足的许多其他属性。实施这些约束通常会导致隐式定义的流形，这使得带约束的高效采样非常具有挑战性。在本文中，我们提出了一个新的变分框架，该框架具有设计的正交空间梯度流（O-gradient），用于流形上的采样{G} _0（0）$由一般等式约束定义。O-Gradient将渐变分解为两部分：一部分将距离减少到$\mathcal{G} _0（0）$和另一个减小了正交空间中的KL散度。虽然大多数现有的流形采样方法需要在$\mathcal上初始化{G} _0（0）$，O-Gradient不需要此类事先知识。我们证明了O-Gradient在温和的条件下收敛于速率为$widetilde{O}（1/\text{迭代次数}）$的目标约束分布。我们的证明依赖于条件测度的一个新的Stein特征，这可能会引起独立的兴趣。我们通过Langevin动力学和Stein变分梯度下降实现了O-Gradient，并在各种实验中证明了其有效性，包括贝叶斯深度神经网络。