RobustFill：噪声I/O下的神经程序学习

Jacob Devlin、Jonathan Uesato、Surya Bhupatiraju、Rishabh Singh、Abdel rahman Mohamed、Pushmet Kohli
第34届国际机器学习大会论文集，PMLR 70:990-9982017年。

摘要

自人工智能早期以来，人们就研究了根据某种规范自动生成计算机程序的问题。最近，“自动程序学习”的两种相互竞争的方法受到了极大的关注：（1）“神经程序合成”，其中神经网络以输入/输出（I/O）为条件示例并学习生成程序，以及（2）“神经程序归纳”，其中神经网络直接使用潜在的程序表示生成新的输出。在这里，我们第一次在大规模的真实世界学习任务中直接比较了这两种方法，并且我们还将其与基于规则的程序合成进行了对比，后者使用手工编写的语义来指导程序生成。我们的神经模型使用一个改进的注意力RNN来允许对可变大小的I/O对集进行编码，与之前最佳神经合成方法的34%准确率相比，在实际测试集上实现了92%的准确率。在这项任务中，综合模型的表现也优于可比较的归纳模型，但我们更重要的是，每种方法的强度都高度依赖于评估指标和最终用户应用程序。最后，我们表明，我们可以训练我们的神经模型，使其对现实数据中预期的噪声类型（例如打字错误）保持非常稳健，而高度工程化的基于规则的系统则完全失败。

引用本文

BibTeX公司
@会议记录{pmlr-v70-devlin17a，标题={{R} 反对{F} 生病：噪声{I}/{O}}下的神经程序学习，作者={雅各布·德夫林（Jacob Devlin）、乔纳森·尤萨托（Jonathan Uesato）、苏里亚·布帕提拉朱（Surya Bhupatiraju）、里沙布·辛格（Rishabh Singh）、阿卜杜勒·拉赫曼·穆罕默德（Abdel-rahman Mo，booktitle={第34届机器学习国际会议论文集}，页数={990--999}，年份={2017年}，editor={Precup、Doina和Teh、Yee Whye}，体积={70}，series={机器学习研究论文集}，月={06--8月11日}，publisher={PMLR}，pdf={http://proceedings.mlr.press/v70/devlin17a/devlin17a.pdf},网址={https://proceedings.mlr.press/v70/devlin17a.html},abstract={自人工智能早期以来，人们就研究了根据某种规范自动生成计算机程序的问题。最近，“自动程序学习”的两种相互竞争的方法受到了极大的关注：（1）“神经程序综合”，其中神经网络以输入/输出（I/O）为条件示例并学习生成程序，以及（2）“神经程序归纳”，其中神经网络直接使用潜在的程序表示生成新的输出。在这里，我们第一次在大规模的真实世界学习任务中直接比较了这两种方法，并且我们还将其与基于规则的程序合成进行了对比，后者使用手工编写的语义来指导程序生成。我们的神经模型使用一个改进的注意力RNN来允许对可变大小的I/O对集进行编码，与之前最佳神经合成方法的34%准确率相比，在实际测试集上实现了92%的准确率。在这项任务中，综合模型的表现也优于可比较的归纳模型，但我们更重要的是，每种方法的强度都高度依赖于评估指标和最终用户应用程序。最后，我们表明，我们可以训练我们的神经模型，使其对现实数据中预期的噪声类型（例如打字错误）保持非常稳健，而高度工程化的基于规则的系统则完全失败。}}
尾注
%0会议论文%T RobustFill：噪声I/O下的神经程序学习%雅各布·德夫林%乔纳森·尤萨托%苏里亚·布帕蒂拉朱%里沙布·辛格%阿卜杜勒·拉赫曼·穆罕默德%Pushmet Kohli公司%第34届机器学习国际会议论文集%C机器学习研究进展%D 2017年%E Doina Precup公司%叶惠德%F pmlr-v70-devlin17a型%我PMLR%第990--998页%U型https://proceedings.mlr.press/v70/devlin17a.html%70伏%自人工智能早期以来，人们就研究了根据某种规范自动生成计算机程序的问题。最近，“自动程序学习”的两种相互竞争的方法受到了极大的关注：（1）“神经程序综合”，其中神经网络以输入/输出（I/O）为条件示例并学习生成程序，以及（2）“神经程序归纳”，其中神经网络直接使用潜在的程序表示生成新的输出。在这里，我们第一次在大规模的真实世界学习任务中直接比较了这两种方法，并且我们还将其与基于规则的程序合成进行了对比，后者使用手工编写的语义来指导程序生成。我们的神经模型使用一个改进的注意力RNN来允许对可变大小的I/O对集进行编码，与之前最佳神经合成方法的34%准确率相比，在实际测试集上实现了92%的准确率。在这项任务中，综合模型的表现也优于可比较的归纳模型，但我们更重要的是，每种方法的强度都高度依赖于评估指标和最终用户应用程序。最后，我们表明，我们可以训练我们的神经模型，使其对现实数据中预期的噪声类型（例如打字错误）保持非常稳健，而高度工程化的基于规则的系统则完全失败。
亚太地区
Devlin，J.、Uesato，J.，Bhupatiraju，S.、Singh，R.、Mohamed，A.和Kohli，P.（2017）。RobustFill：噪声I/O下的神经程序学习。第34届国际机器学习会议记录，英寸机器学习研究进展70:990-998可从https://proceedings.mlr.press/v70/devlin17a.html。

相关材料