我interpre公司T型：解释变形金刚的交互式可视化工具

瓦苏德夫·拉尔，雅顿·马，埃斯特尔·阿夫拉洛，菲利普·霍华德，安娜·西蒙斯，丹尼尔·科拉特，奥伦·佩雷格，加迪·辛格，莫西·瓦瑟布拉特

摘要
随着基于Transformer的模型在NLU/NLP任务中的使用越来越广泛，人们对理解这些模型的内部工作机制、为什么它们在广泛的任务中如此有效以及如何进一步调整和改进这些模型的兴趣与日俱增。为了实现增强可解释性和理解性的目标，我们推出了InterpreT，一种用于解释基于Transformer的模型的交互式可视化工具。除了提供用于研究一般模型行为的各种机制外，InterpreT中做出的新贡献还包括通过Transformer的每一层跟踪和可视化令牌嵌入的能力，通过示意图突出显示某些令牌嵌入之间的距离，并使用新的指标确定注意力主管的任务相关功能。InterpreT是一个与任务无关的工具，它的功能通过对两个不同任务的模型行为的分析来演示：基于方面的情感分析（ABSA）和Winograd模式挑战（WSC）。
选集ID:
2021.每个演示17
体积：
计算语言学协会欧洲分会第16届会议记录：系统演示
月份：
四月
年份：
2021
地址：
在线的
编辑：
迪米特拉·格卡齐亚，杰梅·塞达
地点：
出口许可证
SIG公司：
出版商：
计算语言学协会
注：
页码：
135–142
语言：
网址：
https://aclantology.org/2021.eacl-demos.17
内政部：
10.18653/v1/2021.eacl-demos.17
比比键：
引用（ACL）：
瓦苏迪夫·拉尔（Vasudev Lal）、阿登·马（Arden Ma）、埃斯特尔·阿夫拉罗（Estelle Aflalo）、菲利普·霍华德（Phillip Howard）、安娜·西蒙斯（Ana Simoes）、丹尼尔·科拉特（Daniel Korat）、奥伦·佩雷格（Oren Pereg。2021InterpreT:解释变形金刚的交互式可视化工具.英寸计算语言学协会欧洲分会第16届会议记录：系统演示，第135–142页，在线。计算语言学协会。
引用（非正式）：
InterpreT:解释变形金刚的交互式可视化工具（Lal等人，EACL 2021）
复制引文：
PDF格式：
https://aclantology.org/2021.eacl-demos.17.pdf
PDF格式 引用 搜索