WR-One2设置 swMATH ID: 46360 软件作者： 谢斌；魏祥鹏；杨宝松；林欢；谢军；王晓丽；张敏；苏劲松 描述： WR-ONE2SET：实现良好校准的键盘生成。关键词生成旨在自动生成总结输入文档的简短短语。最近出现的ONE2SET范式（Ye et al.，2021）将关键短语作为一个集合生成，并取得了具有竞争力的性能。然而，我们观察到ONE2SET输出的严重校准错误，尤其是∅令牌的过度估计（表示“没有对应的关键字”）。本文深入分析了这种局限性，并找出了其背后的两个主要原因：1）并行生成必须在训练实例中引入过多的∅作为填充标记；2）将目标分配给每个时隙的训练机制不稳定，进一步加剧了∅令牌的过高估计。为了使模型得到很好的校准，我们提出了WR-ONE2SET，它使用自适应实例级成本加权策略和目标重分配机制扩展了ONE2SET。前者动态惩罚不同实例的过估计时隙，从而平滑不均匀的训练分布。后者细化了原始的不适当分配，并减少了过估计时隙的监督信号。在常用数据集上的实验结果证明了我们提出的范式的有效性和通用性。 主页： https://arxiv.org/abs/2211.06862 源代码： https://github.com/deeplearnxmu/wr-one2set 相关软件： 拨号GPT；牦牛；捷运局；ELECTRA公司；BERT（误码率） 引用于： 1文件 全部的 前5名8位作者引用 1 刘琪 1 米、海涛 1 宋林峰 1 苏劲松 1 涂、赵鹏 1 王安特 1 王龙跃 1 Yu、Dong 连载1篇 1 人工智能 在1个字段中引用 1 计算机科学（68至XX） 按年份列出的引文