LREC围绕这些共享LR启动了一项新举措,组织了一项开放挑战。
该倡议坚信共享资源的力量和公众的创造力,鼓励学习资源的可重用性、语言技术(LT)研究/实验的可再现性等,并提倡为了共同利益共享和重用学习资源和技术的“文化”。
我们提出了一个通用的、开放式的LREC挑战,而不是授予给定的、预定义的任务特权,鼓励每个人参与。
我们要求每个人“将共享LR用于他们感兴趣/能够执行的任何用途/任务”从最简单到更复杂。
我们希望促进并奖励对可用LR的创造性和原创性使用。
唯一的条件是参与者至少应该使用他们自己没有创建的工具或资源。
挑战贡献将分为以下类别:
一些(非详尽的)任务/用法示例如下:
- 在第三方共享LR上使用您自己的工具
- 使用他人的共享工具处理自己的数据、提取新信息等。
- 在新语言或语言变体上测试共享工具
- 将一个或多个第三方共享LR/工具集成到新应用程序中
- 合并共享资源,生成新的、更大的或不同的LR
- 将LR转换为RDF和/或集成到(语言)链接的开放数据云
- 部署一个新的LR平台,使用新的服务接口来利用LR,并创建工作流来组合服务
- 比较/评估类似的共享资源(例如,关注情感词典,报告性能最佳/易于使用/记录最佳/易于复制等LR)
- 使用共享语料库训练新模型
- 共享LR/工具的创造性、不可预见的使用
- 查找强调英语以外语言的LR的用法
- 利用共享的LR编译另一个LR,训练一个工具,等等。
- 应用LR/工具以使资源较少的语言受益。
除了描述成功的实验和案例研究外,我们还鼓励报告在重新使用共享LR时遇到的负面结果和问题。
我们的目标是将公开挑战赛与不同LREC研讨会中的其他挑战/黑客马拉松进行协调,以促进它们与这些共享LR之间的协同作用。因此,我们还鼓励使用共享LR来复制/改进已经提交给LREC不同研讨会推动的共享挑战的结果。
无论如何,我们并不意味着取代LREC及其研讨会组织的其他共享任务或与之竞争。虽然欢迎双重提交,但开放挑战赛的广泛定义标准和更集中的共享任务应保持足够的差异,以确保进行独立评估。
我们提供什么?
在LREC,我们将授予奖品基于一系列待宣布的标准(例如,方法的创造性和独创性、涉及的资源数量、语言数量、LR集成的深度和广度等)。
奖品也将颁发给最受剥削的LR!
根据回复和随附报告的质量和数量,我们可能会制作一份特殊的LREC出版物:LREC共享LR挑战程序。
我们还将组织一个或多个特别活动海报会议会议期间
我们还将选择论文邀请提交(扩展版本)给LRE日志。
时间表和报告
参与者应在2014年5月2日前使用以下格式发送一份分两部分的说明,说明他们对第三方共享LR所做的工作:
标题(与用途相关)、作者、隶属关系
摘要
描述:
- 确定使用了哪些共享LR
- 用法/应用程序的类型(请参阅上面的示例或其他)
- 使用/实验动机
- 结果评估
- 使用/集成方面的困难
- 也有消极的经历,有充分的理由
- 如果使用结果是可以共享的新LR,请提供访问信息