先知网

ProphetNet:为序列到序列的预训练预测未来的N-gram。本文提出了一种新的序列对序列的预训练模型ProphetNet,它引入了一种新的自监督目标未来n元预测和提出的n流自注意机制。与传统的序列到序列模型中的一步预测不同,ProphetNet通过n步提前预测进行优化,该预测在每个时间步基于先前的上下文标记同时预测下一个n个令牌。未来n-gram预测明确鼓励模型为未来的代币计划,并防止过度拟合强局部相关性。我们分别使用基本规模数据集(16GB)和大型数据集(160GB)对ProphetNet进行预训练。然后我们在CNN/DailyMail、Gigaword和squad1.1基准测试上进行了抽象总结和问题生成任务的实验。实验结果表明,与使用相同尺度预训练语料库的模型相比,ProphetNet在所有这些数据集上都取得了新的研究成果。

此软件的关键字

这里的任何内容都将在支持canvas元素的浏览器上被替换


zbMATH中的参考文献(参考文献1条)

显示结果1/1。
按年份排序(引用)

  1. 王晓辉,熊颖,杨伟,王明轩,李磊:一个用于序列处理和生成的高性能推理库(2020)阿尔十四