Sinkhorn自动编码器

乔治·帕特里尼（Giorgio Patrini）、瑞安·范登伯格（Rianne van den Berg）、帕特里克·福雷（Patrick Forré
第35届人工智能不确定性大会论文集，PMLR 115:733-7432020年。

摘要

最优传输为学习生成自动编码模型提供了最大似然的替代方案。我们表明，最小化生成器和真实数据分布之间的$p$-Wasserstein距离相当于在潜在空间中对编码器聚集后验和先验之间的$p$-Waserstein距离进行无约束min-min优化，再加上重构误差。我们还确定了其权衡超参数作为生成器容量的作用：其Lipschitz常数。此外，我们证明了在任何一类通用逼近器（如确定性神经网络）上优化编码器足以任意接近最优值。因此，我们宣传这个框架，它适用于任何度量空间和以前的度量空间，是当前生成性自动编码目标的甜点。然后我们引入了Sinkhorn自动编码器（SAE），该编码器通过Sinkhorm算法的反向积来逼近并最小化潜在空间中的$p$-Wasserstein距离。SAE直接对样本进行处理，即将聚合后验分布建模为隐式分布，而无需对梯度估计进行重新参数化。因此，SAE能够以最小的适应性处理不同的度量空间和先验。我们证明了SAE在具有不同几何形状和先验的潜在空间上的灵活性，并与其他方法在基准数据集上进行了比较。

引用本文

BibTeX公司
@会议记录{pmlr-v115-patrini20a，title={Sinkhorn自动编码器}，作者={Patrini、Giorgio和van den Berg、Rianne和Forr、Patrick和Carioni、Marcello和Bhargav、Samarth和Welling、Max和Genewein、Tim和Nielsen、Frank}，booktitle={第35届人工智能不确定性会议论文集}，页数={733--743}，年份={2020年}，editor={Adams，Ryan P.和Gogate，Vibhav}，体积＝{115}，series={机器学习研究论文集}，月={7月22日--25日}，publisher={PMLR}，pdf={http://proceedings.mlr.press/v115/patrini20a/patrini20a.pdf},url={https://proceedings.mlr.press/v115/patrini20a.html},抽象={最优传输为生成性自动编码模型的学习提供了一种替代最大似然的方法。我们表明，最小化生成器和真实数据分布之间的$p$-Wasserstein距离相当于无约束min-min优化编码器聚合后验和第二个潜在空间中的e先验，加上重建误差。我们还确定了其权衡超参数作为生成器容量的作用：其Lipschitz常数。此外，我们证明了在任何一类通用逼近器（如确定性神经网络）上优化编码器足以任意接近最优值。因此，我们宣传这个框架，它适用于任何度量空间和以前的度量空间，是当前生成性自动编码目标的甜点。然后我们引入了Sinkhorn自动编码器（SAE），该编码器通过Sinkhorm算法的反向积来逼近并最小化潜在空间中的$p$-Wasserstein距离。SAE直接对样本进行处理，即将聚合后验分布建模为隐式分布，而无需对梯度估计进行重新参数化。因此，SAE能够以最小的适应性处理不同的度量空间和先验。我们证明了SAE在具有不同几何形状和先验的潜在空间上的灵活性，并与其他方法在基准数据集上进行了比较。}}
尾注
%0会议论文%T Sinkhorn自动编码器%乔治·帕特里尼%里安娜·范登伯格（Rianne van den Berg）%帕特里克·福雷%马塞洛·卡里奥尼%A Samarth Bhargav公司%最大Welling%蒂姆·吉纳温%弗兰克·尼尔森%第35届人工智能不确定性会议论文集%C机器学习研究进展%D 2020年%E瑞恩·P·亚当斯%E Vibhav戈盖特%F pmlr-v115-patrini20a型%我PMLR%电话733--743%U型https://proceedings.mlr.press/v115/patrini20a.html%115伏%X最优传输为学习生成性自动编码模型提供了最大可能性的替代方案。我们表明，最小化生成器和真实数据分布之间的$p$-Wasserstein距离相当于在潜在空间中对编码器聚集后验和先验之间的$p$-Waserstein距离进行无约束min-min优化，再加上重构误差。我们还确定了其权衡超参数作为生成器容量的作用：其Lipschitz常数。此外，我们证明了在任何一类通用逼近器（如确定性神经网络）上优化编码器足以任意接近最优值。因此，我们宣传这个框架，它适用于任何度量空间和以前的度量空间，是当前生成性自动编码目标的甜点。然后，我们介绍了Sinkhorn自动编码器（SAE），它通过Sinkhorn算法的反向探测来近似并最小化潜在空间中的$p$-Waserstein距离。SAE直接对样本进行处理，即将聚合后验分布建模为隐式分布，而无需对梯度估计进行重新参数化。因此，SAE能够以最小的适应性处理不同的度量空间和先验。我们证明了SAE在具有不同几何形状和先验的潜在空间上的灵活性，并与其他方法在基准数据集上进行了比较。
阿帕
Patrini，G.、van den Berg，R.、Forré，P.、Carioni，M.、Bhargav，S.、Welling，M.，Genewein，T.和Nielsen，F.（2020年）。Sinkhorn自动编码器。第35届人工智能不确定性会议论文集，英寸机器学习研究进展115:733-743可从https://proceedings.mlr.press/v115/patrini20a.html。

相关材料