×

自动BOT

swMATH ID: 40696
软件作者: Škrlj,布拉日;马提尼克;拉夫拉奇,纳达;塞尼亚·波拉克
描述: autoBOT:进化神经符号表示法,用于可解释的低资源文本分类。从文本中学习已经在工业和科学界广泛采用。虽然最先进的神经语言模型在文本分类方面显示出非常有希望的结果,但它们的(预)训练成本很高,需要大量数据和数亿或更多参数的调整。本文探讨了自动演化的文本表示如何作为可解释的低资源分支模型的基础,这些模型具有竞争性性能,需要进行自动超参数调整。我们提出了autoBOT(automatic Bags-Of-Tokens),这是一种适用于低资源学习场景的autoML方法,在这种场景中,培训所需的硬件和数据量都是有限的。该方法包括一个进化算法,该算法联合优化给定文本的各种稀疏表示(包括单词、子单词、POS标记、基于关键字、基于知识图和关系特征)和两种类型的文档嵌入(非解析表示)。autoBOT的关键思想是,进化不是在学习者级别进行,而是在表示级别进行。与进化集成模型的竞争性autoML方法以及BERT和RoBERTa等最先进的神经语言模型相比,该方法在14个真实世界的分类任务上提供了竞争性的分类性能。此外,该方法是可以解释的,因为输入空间各部分的重要性是所提议的优化过程产生的最终解决方案的一部分,为元传递学习提供了潜力。
主页: https://link.springer.com/article/10.1007%2Fs10994-021-05968-x号
源代码:  https://github.com/SkBlaz/autobot
关键词: 表征学习;自然语言处理;自动ml;神经符号计算
相关软件: NLTK公司;GAMA公司;文本排名;汽车-WEKA;TPOT公司;自动图文集;ML计划;RaKUn公司;开胃-v4;AMC公司;自动sklearn;罗伯塔;XLNet公司;BERT(误码率);变压器;Hyperopt公司;青蒿素;蟒蛇;概念网;DEAP公司
引用于: 1文件

连载1篇

1 机器学习

在1个字段中引用

1 计算机科学(68至XX)

按年份列出的引文