并行多尺度自回归密度估计

斯科特·里德（Scott Reed）、阿伦·奥尔德（Aäron Oord）、纳尔·卡尔克布伦纳（Nal Kalchbrenner）、塞尔吉奥·戈梅斯·科尔梅纳雷霍（Sergio Gómez Colmenarejo）、王子玉（Ziyu Wang）、陈玉田（Yutian Chen）、丹·贝
第34届国际机器学习会议记录，PMLR 70:2912-29212017年。

摘要

PixelCNN在自然图像密度估计方面取得了最先进的结果。虽然训练速度很快，但推理成本很高，需要每个像素进行一次网络评估；O（N）表示N个像素。这可以通过缓存激活来加快速度，但仍然需要按顺序生成每个像素。在这项工作中，我们提出了一种并行化的PixelCNN，通过将某些像素组建模为条件独立的，从而实现更高效的推理。我们的新PixelCNN模型实现了具有竞争力的密度估计和数量级加速-O（对数N）采样而不是O（N）采样-实现了512x512图像的实际生成。我们在类条件图像生成、文本到图像合成和动作条件视频生成方面对该模型进行了评估，结果表明，在允许有效采样的非像素自回归密度模型中，我们的模型取得了最佳结果。

引用本文

BibTeX公司
@会议记录{pmlr-v70-reed17a，title={并行多尺度自回归密度估计}，作者=｛Scott Reed和A｛\“A”ron van den Oord和Nal Kalchbrenner和Sergio G｛\‘o｝mez Colmenarejo和Ziyu Wang和Yutian Chen和Dan Belov以及Nando de Freitas｝，booktitle={第34届机器学习国际会议论文集}，页码＝{2912-2921}，年份＝{2017}，editor={Precup、Doina和Teh、Yee Whye}，体积={70}，series={机器学习研究论文集}，月={06--8月11日}，publisher={PMLR}，pdf={http://proceedings.mlr.press/v70/reed17a/reed17a.pdf},url={https://proceedings.mlr.press/v70/reed17a.html},abstract={PixelCNN在自然图像密度估计方面取得了最先进的结果。虽然训练速度快，但推理成本高，需要每个像素进行一次网络评估；O（N）N像素。这可以通过缓存激活来加快速度，但仍然需要按顺序生成每个像素。在这项工作中，我们提出了一种并行化的PixelCNN，通过将某些像素组建模为条件独立的，从而实现更高效的推理。我们的新PixelCNN模型实现了具有竞争力的密度估计和数量级加速-O（对数N）采样而不是O（N）采样-实现了512x512图像的实际生成。我们在类条件图像生成、文本到图像合成和动作条件视频生成方面对该模型进行了评估，结果表明，在允许有效采样的非像素自回归密度模型中，我们的模型取得了最佳结果。}}
尾注
%0会议论文%T并行多尺度自回归密度估计%斯科特·里德%Aäron Oord先生%纳尔·卡尔克布伦纳%塞尔吉奥·戈梅斯·科尔梅纳雷霍%王子玉%陈玉田%丹·贝洛夫%南多·弗里塔斯%第34届机器学习国际会议论文集%C机器学习研究进展%D 2017年%E Doina Precup公司%叶惠德%F pmlr-v70-reed17a型%I项目经理%电话2912--2921%U型https://proceedings.mlr.press/v70/reed17a.html%70伏%X PixelCNN在自然图像密度估计方面取得了最先进的结果。虽然训练速度很快，但推理成本很高，需要每个像素进行一次网络评估；O（N）表示N个像素。这可以通过缓存激活来加快速度，但仍然需要按顺序生成每个像素。在这项工作中，我们提出了一种并行化的PixelCNN，通过将某些像素组建模为条件独立的，从而实现更高效的推理。我们的新PixelCNN模型实现了具有竞争力的密度估计和数量级加速-O（对数N）采样而不是O（N）采样-实现了512x512图像的实际生成。我们在类条件图像生成、文本到图像合成和动作条件视频生成方面对模型进行了评估，表明我们的模型在允许有效采样的非像素自回归密度模型中取得了最好的结果。
亚太地区
Reed，S.、Oord，A.、Kalchbrenner，N.、Colmenarejo，S.G.、Wang，Z.、Chen，Y.、Belov，D.和Freitas，N.（2017年）。并行多尺度自回归密度估计。第34届国际机器学习大会论文集，英寸机器学习研究进展70:2912-2921网址：https://proceedings.mlr.press/v70/reed17a.html。

相关材料