残骸：负责自然语言处理的能效基准平台

周锡友,陈志宇,金晓勇,威廉·杨旺

摘要
计算密集型预处理模型一直领先于许多自然语言处理基准测试，如GLUE。然而，模型训练和推理过程中的能量效率成为一个关键瓶颈。我们介绍了HULK，一个用于负责任的自然语言处理的多任务能效基准测试平台。通过HULK，我们从时间和成本的角度比较了预处理模型的能量效率。提供基准基准测试结果以供进一步分析。不同预处理模型的微调效率在不同任务之间可能存在显著差异，参数数量越少并不一定意味着效率越高。我们分析了这种现象，并演示了比较预处理模型的多任务效率的方法。我们的平台位于https://hulkbenchmark.github.io网址/.
选集ID：
2021.每个演示39
体积：
计算语言学协会欧洲分会第16届会议记录：系统演示
月份：
四月
年份：
2021
地址：
在线的
编辑：
迪米特拉·格卡齐亚,杰梅·塞达
地点：
EACL公司
SIG公司：
出版商：
计算语言学协会
注：
页：
329–336
语言：
网址：
https://aclantology.org/2021.eacl-demos.39
内政部：
10.18653/v1/2021.eacl-demos.39
双钥匙：
引用（ACL）：
周锡友、陈志宇、金晓勇和王威廉。2021HULK：负责自然语言处理的能效基准平台.英寸计算语言学协会欧洲分会第16届会议记录：系统演示，第329–336页，在线。计算语言学协会。
引用（非正式）：
HULK：负责自然语言处理的能效基准平台（Zhou等人，EACL 2021）
复制引文：
PDF格式：
https://aclcollectory.org/2021.eacl-demos.39.pdf
数据
胶水, MultiNLI公司, 小队, 不锈钢, 不锈钢-2, 超级胶水
PDF格式 引用 搜索