MAUD公司：专家注解的法律自然语言处理合并协议理解数据集

汪叔夜,安托万·斯卡迪格利,莱昂纳德·唐,魏晨,德米特里·列夫金,陈安雅（Anya Chen）,Spencer Ball公司,托马斯·伍德赛德,奥利弗·张,丹·亨德里克斯

摘要
由于法律条款的长度和复杂性以及缺乏专家注释数据集，法律文本的阅读理解可能是一项特别具有挑战性的任务。为了应对这一挑战，我们引入了合并协议理解数据集（MAUD），这是一个基于美国律师协会2021年公共目标交易点研究的专家注释阅读理解数据集，包含39000多个示例和47000多个注释。我们的微调变压器基线显示出良好的结果，模型在大多数问题上的表现远远高于随机性。然而，在很大一部分问题上，仍有很大的改进空间。作为唯一由专家注释的合并协议数据集，MAUD作为法律专业和NLP社区的基准非常有价值。
选集ID：
2023.emnlp-main.1019年
音量：
2023年自然语言处理实证方法会议记录
月份：
十二月
年份：
2023
地址：
新加坡
编辑：
Houda Bouamor公司,胡安·皮诺,卡利卡-巴厘岛
地点：
EMNLP公司
SIG公司：
出版商：
计算语言学协会
注：
页：
16369–16382
语言：
网址：
https://acl选集.org/2023.emnlp-main.1019
内政部：
10.18653/v1/2023.emnlp-main.1019
比比键：
引用（ACL）：
Steven Wang、Antoine Scardigli、Leonard Tang、Wei Chen、Dmitry Levkin、Anya Chen、Spencer Ball、Thomas Woodside、Oliver Zhang和Dan Hendrycks。2023MAUD：用于理解合并协议的专家注释的法律NLP数据集.英寸2023年自然语言处理实证方法会议记录第16369–16382页，新加坡。计算语言学协会。
引用（非正式）：
MAUD：用于理解合并协议的专家注释的法律NLP数据集（Wang等人，EMNLP 2023）
复制引文：
PDF格式：
https://aclantology.org/2023.emnlp-main.1019.pdf
视频：
 https://aclantology.org/2023.emnlp-main.1019.mp4网址
PDF格式 引用 搜索 视频