用稀疏对偶算法缩放凸屏障
亚历山德罗·德·帕尔马（Alessandro De Palma）、哈基拉特·辛格·贝尔（Harkirat Singh Behl）、鲁迪·本内尔（Rudy Bunel）、菲利普·托尔（Philip H.S.Torr）、巴万·库马尔（M.Pawan; 25(61):1−51, 2024.
摘要
紧密有效的神经网络边界对神经网络验证系统的扩展至关重要。最近提出了许多有效的边界算法，但它们往往过于宽松，无法验证更具挑战性的属性。这是由于所采用的弛豫的弱点，弛豫通常是神经元数量线性的线性程序。虽然分段线性激活存在更严格的线性松弛，但它以指数级多个约束为代价，目前缺乏有效的自定义解算器。我们通过提出两种新的对偶算法来缓解这一不足：一种是在对偶变量的小活动集上操作次梯度方法，另一种是利用Frank Wolfe型优化器的稀疏性仅产生线性内存成本。这两种方法都恢复了新松弛的强度：紧密性和线性分离预言。同时，它们也分享了以前用于较弱松弛的双重方法的优点：大规模并行、GPU实现、每次迭代的低成本以及任何时候的有效边界。因此，我们可以在其运行时间的一小部分中获得比离线求解器更好的边界，从而实现显著的形式验证加速。
[腹肌]
[pdf格式][围兜] [代码]
