COMET:用于自动构建知识图的常识转换器

@正在进行{Bosselut2019COMETCT,title={COMET:用于自动知识图构建的常识变换器},author={安托万·博塞卢特(Antoine Bosselut)、汉娜·拉什金(Hannah Rashkin)、马尔滕·萨普(Maarten Sap)、柴塔尼亚·马拉维耶(Chaitanya Malaviya)、阿斯利·塞利基尔马兹(Asli Celikyilmaz)和叶,booktitle={计算语言学协会年会},年份={2019},网址={https://api.semanticscholar.org/CorpusID:189762527}}
当从深度预训练语言模型中提取的隐式知识被转移到常识知识图中生成显式知识时,这项研究显示出了有希望的结果,并表明使用生成常识模型自动完成常识知识库可能很快成为提取方法的一种可行的替代方法。

询问这篇论文
AI供电

中文自动知识图构建的常识生成模型

提出了一种具有新颖注意机制的常识生成模型,并讨论了预训练语言模型是否能够有效地学习和生成新知识,表明该模型能够生成正确的高分数常识知识。

零击常识问答的动态知识图构建

在零快照环境下对SocialIQa和StoryCommonsense数据集的实证结果表明,使用常识知识模型动态构建知识图并对其进行推理,与预训练语言模型和使用知识模型直接评估答案相比,性能得到了提升。

利用结构和语义上下文完成常识知识库

本文研究了两个关键思想:(1)从局部图结构中学习,使用图卷积网络和自动图加密;(2)将预训练语言模型的学习转化为知识图,以增强知识的上下文表示。

COMET-ATOMIC 2020:符号和神经常识知识图

提出了人工构建的CSKG永远无法实现适用于NLP代理遇到的所有情况所需的覆盖范围,并提出了一个新的评估框架,该框架基于如何有效地从KG中学习隐含知识表示来测试KG的效用。

使用结构和语义上下文完成常识知识库

本文研究了两个关键思想:(1)从局部图结构中学习,使用图卷积网络和自动图加密;(2)将预训练语言模型的学习转化为知识图,以增强知识的上下文表示。

预训练语言模型的常识知识转移

介绍了常识知识转移,该框架将存储在神经常识知识模型中的常识知识转移到通用的预训练语言模型中,该语言模型通过两个自监督目标对语言模型进行细化:常识掩码填充和常识关系预测,将人类语言与潜在的常识联系起来。

缓解知识-语言的不一致:对深层常识知识的研究

研究表明,深层常识知识在常识知识中占有重要地位,而基于预先训练的语言模型的传统方法未能有效地捕捉到它,并提出了一种从正是语言表达的原始文本中挖掘深层常识的新方法,减轻了传统方法对三重表示形式的依赖。

零次常识性问题的动态神经符号知识图构建

本文提出了一种新的方法,该方法使用生成性神经常识知识模型按需生成与上下文相关的符号知识结构,与预处理语言模型和普通知识模型相比,性能显著提高,同时为其预测提供了可解释的推理路径。

连接点:一个常识性问题解答的知识路径生成器

本文通过使用最先进的语言模型对KG中的现有路径进行外推,使用知识丰富的路径生成器来增强通用常识QA框架,该模型学习将文本中的一对实体与动态的、潜在新颖的多跳关系路径连接起来。

DISCOS:弥合话语知识和常识知识之间的差距

实验表明,所提出的常识知识获取框架DISCOS可以成功地将大规模话语知识图ASER中关于事件的话语知识转换为ATOMIC中定义的if-then常识知识,而无需任何额外的注释工作。
...

常识知识库完成

这项工作开发了用于对任意短语的元组进行评分的神经网络模型,并通过其区分真假元组的能力对其进行评估,并通过使用简单的加法结构对短语建模的双线性模型发现了强大的性能。

常识知识库的完成和生成

实验结果表明,联合学习方法提高了完井精度,生成模型生成了合理的知识,这些知识还可以用于补充数据,提高完井精度。

知识库:一种基于网络的概率知识融合方法

知识库是一个网络规模的概率知识库,它将从Web内容中提取的内容(通过分析文本、表格数据、页面结构和人工注释获得)与从现有知识库中获得的先验知识结合在一起,这些知识库计算校准后的事实正确性概率。

ConceptNet 5.5:一个开放的多语言通用知识图

本文提出了一个新版本的链接开放数据资源ConceptNet,它特别适合与现代NLP技术(如单词嵌入)一起使用,在单词相关性的内在评估方面取得了最新的结果,这些结果转化为单词向量应用的改进,包括解决SAT类型的类比。

BERT:用于语言理解的深层双向变形金刚预训练

一种新的语言表示模型BERT,旨在通过联合调节所有层中的左右上下文来预处理未标记文本的深层双向表示,只需一个额外的输出层即可对其进行微调,以创建适用于广泛任务的最先进模型。

Yago:语义知识的核心

YAGO以实体和关系为基础,目前包含100多万个实体和500万个事实,其中包括Is-A层次结构以及实体之间的非轴突关系(如HASONERIZE)。

具有高精度和高召回率的可扩展知识获取

提出了更丰富模式的ngram-itemset的新概念,并基于MaxSat的约束推理用于模式的质量和事实候选的有效性,以用于可扩展的系统中,以获取高质量的知识。

基于阅读理解的零镜头关系提取

研究表明,通过将一个或多个自然语言问题与每个关系槽相关联,可以将关系提取简化为回答简单的阅读理解问题,并且可以在较低的准确度水平上对不可见的关系类型进行零快照泛化。

通过生成预训练提高语言理解能力

一般任务认知模型优于区分训练模型,这些模型使用专门为每项任务设计的架构,在研究的12项任务中,有9项改进了最新技术。

基于统计推断和学习的网络规模知识库构建

本文对远程监控进行了系统研究,以评估输入大小对知识库质量的影响,并提出了两种按数量级放大马尔可夫逻辑的新方法。