第8届WMT 2023： 新加坡
菲利普·科恩 ， 巴里·哈登 ， 汤姆·科米 ， 克里斯托夫·蒙兹 :
第八届机器翻译会议记录，WMT 2023，新加坡，2023年12月6-7日。 计算语言学协会 2023 ，国际标准图书编号 979-8-89176-041-7 前沿事务。 汤姆·科米 ， Eleftherios Avramidis公司 ， 雷切尔·鲍登 ， Ondrej Bojar公司 ， 安东·德沃科维奇 ， 克里斯蒂安·费德曼 ， 马克·费舍尔 ， 马库斯·弗雷塔格 ， 泰姆·戈达 ， 罗曼·格伦德凯维奇 ， 巴里·哈多 ， 菲利普·科恩 ， 本杰明·玛丽 ， 克里斯托夫·蒙兹 ， 森田真本 ， 肯顿·默里 ， 长田真本 ， 中泽俊一（Toshiaki Nakazawa） ， 马丁·波普尔 ， 马贾·波波维奇 ， 玛丽亚·什马托娃 :
2023年机器翻译会议（WMT23）的研究结果：LLM在这里，但还不完全在那里。 1-42 玛丽安娜·L·奈维斯 ， 安东尼奥·吉梅诺·耶佩斯 ， 奥雷利·内维尔 ， 雷切尔·鲍登 ， 乔治·玛丽亚·迪·努齐奥（Giorgio Maria Di Nunzio） ， 罗兰·罗勒 ， 菲利普·托马斯 ， 费德里卡·维萨尼 ， 迈卡·维森特·纳瓦罗 ， 拉娜·叶加诺娃 ， 迪娜·维曼 ， 克里斯蒂安·格罗泽亚 :
WMT 2023生物医学翻译共享任务的发现：ChatGPT 3.5作为比较系统的评估。 43-54 王龙岳 ， 涂兆鹏 ， 阎谷 ， 刘思友 ， 黛玉（Dian Yu） ， 马庆松 ， 陈阳柳 ， 周立亭 ， 刘朝洪 ， 马玉凤 ， 陈伟余 ， 伊维特·格雷厄姆 ， 邦妮·韦伯 ， 菲利普·科恩 ， 安迪·韦 ， 玉林苑 ， 史树明 :
WMT 2023关于语篇级文学翻译的共同任务的发现：LLM宇宙中的一个新鲜球。 55-67 马蒂亚斯·米勒 ， 马利赫·阿利卡尼 ， Eleftherios Avramidis公司 ， 理查德·鲍登 ， 安妮莉斯·布拉福德 ， 内卡蒂·奇汉·卡莫兹 ， 莎拉·埃布林 ， 克里斯蒂娜·埃斯帕尼亚·博内 ， 安妮·哥林 ， 罗曼·格兰基维奇 ， 默特·伊南 ， 姜子凡 ， 奥斯卡·科勒 ， 阿米特·莫吉塞夫 ， 安妮特·里奥斯 ， 迪米塔尔·施特里奥诺夫 ， 桑德拉·西德勒·梅塞雷斯 ， 卡贾·蒂西 ， 戴维·范·兰杜特 :
第二项WMT手语翻译共享任务（WMT-SLT23）的研究结果。 68-94 史蒂夫·斯洛托 ， 布赖恩·汤普森 ， Huda Khayrallah公司 ， 托比亚斯·多姆汉 ， 泰姆·戈达 ， 菲利普·科恩 :
WMT 2023并行数据处理共享任务的发现。 95-102 简·克里斯蒂安·布莱斯·克鲁兹 :
WMT 2023三星菲律宾研发院。 103-109 Hiroyuki Deguchi先生 ， 村村贤治 ， Yuto Nishida公司 ， 酒井裕介 ， 贾斯汀·瓦塞利 ， 渡边芋 :
NAIST-NICT WMT’23通用MT任务提交。 110-118 约瑟夫·乔恩 ， 马丁·波普尔 ， Ondrej Bojar公司 :
WMT23通用翻译任务：机器翻译和遗传算法。 119-127 基托·库多 ， 伊藤拓美 ， 森田真本 ， 铃木骏 :
WMT 2023通用翻译任务中的SKIM。 128-136 本·李 ， 松崎洋子 ， 希瓦姆·卡尔 :
用于WMT23的KYB通用机器翻译系统。 137-142 罗敏 ， 伊辛谭 ， 陈秋林 :
依舒：依舒在WMT2023翻译任务中。 143-149 亚历山大·莫尔恰诺夫 ， 弗拉迪斯拉夫·科瓦连科 :
WMT23共享通用翻译任务的PROMT系统。 150-154 Matiss Rikters公司 ， Makoto Miwa公司 :
AIST AIRC提交给WMT23共享任务。 155-161年 帕维尔·里奇尔（Pavel Rychl） ， 尤利娅·特西莉亚 :
MUNI-NLP提交WMT23捷克-乌克兰翻译任务。 162-165 吴阳剑 ， 胡刚（音译） :
探索使用GPT语言模型进行文档级机器翻译的即时工程：见解和发现。 166-169 吴章林 ， 戴梦伟 ， 李宗耀 ， 俞正哲 ， 李少军 ， 陈晓宇（Xiaoyu Chen） ， 亨朝商 ， 郭嘉欣 ， 谢玉豪 ， 李志磊 ， 郝阳 ， 姜燕飞 :
将通用机器翻译共享任务视为多域适应问题：HW-TSC提交给WMT23通用机器翻译共用任务。 170-174 狄武 ， 少木滩 ， 大卫·斯塔普 ， 阿里·阿拉比 ， 克里斯托夫·蒙兹 :
UvA-MT参与WMT 2023通用翻译共享任务。 175-180 曾慧 :
用最少的数据和参数实现最先进的多语言翻译模型。 181-186 张文波 :
用于WMT23通用机器翻译共享任务的IOL研究机器翻译系统。 187-191 郝宗 :
GTCOM和DLUT的WMT23神经机器翻译系统。 192-197 雷切尔·鲍登 ， 贝诺西翁 :
RoCS-MT：机器翻译的健壮性挑战集。 198-216 陈晓宇（Xiaoyu Chen） ， 戴梦伟 ， 吴章林 ， 朱婷（Ting Zhu） ， 亨朝商 ， 李宗耀 ， 郭嘉欣 ， 谢宁（Ning Xie） ， 李志磊 ， 郝阳 ， 蒋燕飞 :
评估机器翻译性能的多方面挑战集。 217-223 舒申·马纳基莫娃 ， Eleftherios Avramidis公司 ， 费雯·麦肯坦兹（Vivien Macketanz） ， 叶卡捷琳娜·拉普希诺娃-加尔顿斯基 ， 谢尔盖·巴格达萨罗夫 ， 塞巴斯蒂安·莫勒 :
2023年最先进机器翻译的语言动机评估：ChatGPT能超越NMT吗？ 224-245 阿纳亚·穆克吉 ， 曼尼什·什里瓦斯塔瓦 :
IIIT HYD提交的WMT23测试套件任务。 246-251 比阿特丽斯·萨沃迪 ， 马尔科·盖多 ， 马泰奥·内格里 ， 路易斯·本蒂沃格利 :
测试套件任务：使用MuST-SHE和INES评估机器翻译中的性别公平性。 252-262 Sheema Firdous公司 ， 萨达夫·阿卜杜勒·劳夫 :
使用大型语言模型的生物医学并行句子检索。 263-270个 吴章林 ， 戴蒙伟 ， 李宗耀 ， 俞正哲 ， 李少军 ， 陈晓宇（Xiaoyu Chen） ， 亨朝商 ， 郭嘉欣 ， 谢玉浩 ， 李志磊 ， 郝阳 ， 姜燕飞 :
针对WMT23生物医学翻译共享任务，HW-TSC实现持续域适应改进的途径。 271-274 朱立超 ， 玛丽亚·齐米娜 ， 莫德·贝纳德 ， 贝努什·南达尔 ， 尼古拉斯·巴利埃 ， 纪尧姆·维斯涅夫斯基 ， Jean-Baptiste Yunès女士 :
研究通过数据过滤和微调策略加深理解神经机器翻译（NMT）系统的技术。 275至281 李安 ， 金凌浩 ， 马学哲 :
WMT23语篇级文学翻译任务中的MAX-ISI系统。 282-286 法比安·洛佩兹 ， 加布里埃拉·冈萨雷斯 ， 达米安·汉森 ， 玛丽亚姆·纳赫勒 ， 贝努什·南达尔扎德 ， 尼古拉斯·巴利埃 ， 马可·迪纳雷利 ， 埃曼纽尔·埃斯佩兰萨·罗迪埃 ， 隋和 ， 萨达夫·莫赫塞尼 ， 卡罗琳·罗西 ， 迪迪埃·施瓦布 ， 杨军（Jun Yang） ， Jean-Baptiste Yunès女士 ， 朱立超 :
WMT23文学任务的MAKE-NMTVIZ系统描述。 287-295 赵安琪（Anqi Zhao） ， 黄凯宇 ， 郝宇 ， 黄德根（Degen Huang） :
WMT2023语篇级文学翻译的DUTNLP系统。 296-301 谢玉豪 ， 李宗耀 ， 吴章林 ， 戴梦伟 ， 陈晓宇（Xiaoyu Chen） ， 饶志强 ， 李少军 ， 亨朝商 ， 郭嘉欣 ， 李志磊 ， 郝阳 ， 姜燕飞 :
HW-TSC向WMT23语篇级文学翻译共享任务提交的材料。 302-306 朱少林 ， 熊德义 :
TJUNLP：WMT23文学任务汉英翻译方向的系统描述。 307-311 穆萨·杜姆布亚 ， Baba Mamadi Diané ， 索罗·法拉巴多·西塞 ， 贾布里拉·戴安 ， Abdoulaye母猪 ， SéréMoussa Doumbouya女士 ， 达乌达·班古拉 ， 福德·莫里巴·巴约 ， 易卜拉希马·索里2。 康泰 ， 卡洛·莫里·戴安 ， 克里斯·皮奇 ， 克里斯托弗·曼宁 :
Nko的机器翻译：工具、语料库和基线结果。 312-343 马塞洛·桑多瓦尔-卡斯塔涅达 ， 李艳红 ， 史博文 ， 黛安·布伦塔里 ， 凯伦·利维斯库 ， 格雷戈里·沙克纳罗维奇 :
TTIC向WMT-SLT 23提交的文件。 344-350 徐柏轩 ， 郝晨石 ， 郑天师 ， 清宗 ， 王伟奇 ， 王兆伟 ， 杨秋松 :
WMT23手语翻译任务的KnowComp提交。 351-358 阮浩明聪 ， 阮文荣 ， 民乐阮 :
基于并行数据处理的WMT2023共享任务噪声并行数据快速过滤方法。 359-365 斯坦索·斯坦格里姆森 :
一种用于文档对齐的句子对齐方法和用于从网络浏览数据中创建并行句子对的多面过滤。 366-374 弗里斯约夫·彼得里克 ， 克里斯蒂安·赫罗德 ， 帕维尔·佩特鲁什科夫 ， 沙赫拉姆·卡迪维 ， 赫尔曼·奈伊 :
机器翻译的文档级语言模型。 375-391 纳撒尼尔·R·罗宾逊 ， 佩雷斯·奥加约 ， 大卫·R·莫滕森 ， 格雷厄姆·纽比格 :
ChatGPT MT：高（但不是低）资源语言的竞争。 392-418 马尔泽娜·卡宾斯卡 ， 莫希特·伊耶 :
大型语言模型有效地利用文档级上下文进行文学翻译，但关键错误仍然存在。 419年至451年 雷切尔·威克斯 ， 马特·波斯特 :
识别用于生成评估集的上下文相关翻译。 452-467 张宣 ， 纳维德·拉贾比 ， 杜凯文（Kevin Duh） ， 菲利普·科恩 :
大型语言模型的机器翻译：提示、少快照学习和QLoRA微调。 468-481 维维克·伊耶 ， 陈品珍 ， 亚历山大·伯奇 :
使用大型语言模型实现机器翻译的有效消歧。 482至495 张静怡 ， 杰拉尔德·德梅洛 ， 徐洪飞 ， 陈可海 :
多语言翻译中的变压器注意事项。 496-506 费利克斯·施密特 ， 马蒂亚·迪·甘吉 :
弥合神经机器翻译中基于位置和基于内容的自我注意之间的差距。 507-521 平泽东雄 ， 伊曼纽尔·布利亚雷洛 ， 德斯蒙德·埃利奥特 ， 马莫鲁·科马奇 :
视觉预测改进了零炮跨模式机器翻译。 522-535 本杰明·穆勒 ， 贝伦·阿拉斯特鲁伊 ， Prangship Hansanti公司 ， Elahe Kalbassi公司 ， 克里斯托夫·罗珀斯 ， 埃里克·迈克尔·史密斯 ， 阿迪娜·威廉姆斯 ， 卢克·泽特莫耶 ， 皮埃尔·安德鲁斯 ， Marta R.Costa-jussá :
Gender-GAP管道：用于55种语言性别特征描述的Gender-Aware Polyglot管道。 536-550个 爱迪生·玛丽-泰勒 ， 品晨旺 ， 松本裕隆（Yutaka Matsuo） :
更好地评估形式控制的英日机器翻译。 551-560 简·托尔斯滕·彼得 ， 大卫·维拉尔 ， 丹尼尔·多伊奇 ， 玛拉·芬克尔斯坦 ， 尤拉杰·尤拉斯卡 ， 马库斯·弗雷塔格 :
没有比更好的数据更好的数据：使用QE指标进行机器翻译数据过滤。 561-577 马库斯·弗雷塔格 ， 尼提卡·马图尔 ， Chi-kiu Lo公司 ， Eleftherios Avramidis公司 ， 里卡多·雷 ， 布赖恩·汤普森 ， 汤姆·科米 ， 弗雷德里克·布莱恩 ， 丹尼尔·多伊奇 ， 克雷格·斯图尔特 ， 克莱苏拉·泽瓦 ， 希拉·卡斯蒂略 ， 阿隆·拉维 ， 乔治·福斯特 :
WMT23指标共享任务的结果：指标可能是有罪的，但参考并非无辜。 578-628 弗雷德里克·布莱恩 ， 克莱苏拉·泽瓦 ， 里卡多·里贝罗 ， 努诺·米盖尔·格雷罗 ， 迪普特斯·卡诺西亚 ， 何塞·G·C·德·苏扎 ， 比阿特丽斯·席尔瓦 ， 塔尼亚·瓦兹 ， 严敬轩 ， 法特梅赫·阿扎迪 ， 康斯坦丁·奥拉桑 ， 安德烈·马丁斯 :
WMT 2023质量评估共享任务的结果。 629-653 刘乐茂 ， 弗朗西斯科·卡萨库贝塔 ， 乔治·福斯特 ， 黄国平 ， 菲利普·科恩 ， Geza Kovacs公司 ， 史树明 ， 渡边芋 ， 宗成庆 :
WMT 2023中单词级自动完成共享任务的发现。 654-662 基里尔·塞梅诺夫 ， 维勒姆·佐哈尔 ， 汤姆·科米 ， 张东东 ， 王春树周 ， Yuchen Eleanor Jiang女士 :
WMT 2023与术语机器翻译共享任务的发现。 663-671 普什巴克·巴塔查里亚 ， 拉金·查特吉 ， 马库斯·弗雷塔格 ， 迪普特斯·卡诺西亚 ， 马泰奥·内格里 ， 马可·图尔奇 :
WMT 2023自动后期编辑共享任务的发现。 672-681 桑塔努·帕尔 ， Partha Pakray公司 ， 萨希努尔·拉赫曼·拉斯卡尔 ， 列宁·莱顿贾姆 ， Vanlalmuansangi Khenglawt公司 ， 苏尼塔·瓦杰里 ， Pankaj Kundan Dadure公司 ， Sandeep Kumar短跑 :
WMT 2023低资源印度语翻译共享任务的发现。 682-694 Chantal Amrhein公司 ， 尼基塔·莫赫 ， 丽安·吉洛（Liane Guillou） :
ACES：WMT 2023年的翻译准确性挑战。 695-712 Eleftherios Avramidis公司 ， 舒申·马纳基莫娃 ， 费雯·麦肯坦兹（Vivien Macketanz） ， 塞巴斯蒂安·莫勒 :
从语言学角度挑战最先进的机器翻译标准。 713-729 索伦·德雷诺 ， 德里克·莫洛伊 ， 诺埃尔·墨菲 :
Tokengram_F，一种快速准确的基于Token的chrF++衍生物。 730-737 索伦·德雷诺 ， 德里克·莫洛伊 ， 诺埃尔·墨菲 :
Embed_Llama：为度量共享任务使用LLM嵌入。 738-745 穆罕默德·N·埃尔诺克拉希 ， 汤姆·科米 :
eBLEU：使用简单的单词嵌入进行出乎意料的良好机器翻译评估。 746-750 泰姆·戈达 ， 汤姆·科米 ， 马金·朱奇斯·道蒙特 :
Cometoid：将强大的基于引用的机器翻译度量提炼为更强大的质量评估度量。 751-755 尤拉杰·尤拉斯卡 ， 玛拉·芬克尔斯坦 ， 丹尼尔·多伊奇 ， 阿迪蒂亚·西德汉特 ， 梅赫迪·米尔扎扎德 ， 马库斯·弗雷塔格 :
MetricX-23：谷歌提交给WMT 2023度量共享任务。 756-767 汤姆·科米 ， 克里斯蒂安·费德曼 :
GEMBA-MQM：使用GPT-4检测翻译质量错误跨度。 768-775 Chi-kiu Lo公司 ， 塞缪尔·拉金 ， 丽贝卡·诺尔斯 :
度量分数景观挑战（MSLC23）：在更广阔的翻译质量景观中理解度量的表现。 776-799 阿纳亚·穆克吉 ， 曼尼什·什里瓦斯塔瓦 :
MEE4和XLsim:IIIT HYD提交的WMT23指标共享任务。 800-805 苏巴吉特·纳斯卡 ， 丹尼尔·多伊奇 ， 马库斯·弗雷塔格 :
使用最小贝叶斯风险进行质量评估。 806-811 维卡斯·劳纳克 ， 汤姆·科米 ， 马特·波斯特 :
机器翻译中文档内容评价的评价指标。 812-814 瓦西里·维斯科夫 ， 乔治·科库什 ， 丹尼尔·拉里奥诺夫 ， Steffen Eger公司 ， 亚历山大·潘琴科 :
语义信息回归编码器得分。 815-821 吴章林 ， 刘一伦 ， 张敏（音） ， 赵晓峰 ， 朱俊浩 ， 朱铭（Ming Zhu） ， 小宋乔 ， 张静飞 ， 马妙妙 ， 赵延庆 ， 宋鹏 ， 石明涛 ， 郝阳 ， 姜燕飞 :
使用LLM-assisted Named Entity Annotation赋能度量：HW-TSC提交给WMT23度量共享任务。 822-828年 项庚 ， 赖哲健（Zhejian Lai） ， 于章 ， 石明涛 ， 郝阳 ， 陈佳军 ， 黄树健 :
统一单词级和跨度级任务：NJULP参与WMT2023质量评估共享任务。 829-834年 袁丽（音） ， 张素（Chang Su） ， 朱铭（Ming Zhu） ， 梦幻飘飘 ， 杏林柳 ， 张敏（音） ， 郝阳 :
HW-TSC 2023提交质量评估共享任务。 835-840 里卡多·雷 ， 努诺·米盖尔·格雷罗 ， 何塞·蓬巴尔 ， Daan van Stigt公司 ， 马科斯·特雷维索 ， 路易斯·科厄 ， 何塞·G·C·德·苏扎 ， 安德烈·F·T·马丁斯 :
扩大彗星Kiwi:Unbabel-IST 2023提交质量评估共享任务。 841年8月48日 Archchana Sindhujan大主教 ， 迪普特斯·卡诺西亚 ， 康斯坦丁·奥拉桑 ， 塔林杜·拉纳辛格 :
SurreyAI 2023提交质量评估共享任务。 849-855 吴玉龙 ， 维克托·施莱格尔 ， 丹尼尔·贝克 ， 里扎·巴蒂斯塔·纳瓦罗 :
MMT提交的WMT 2023质量评估共享任务。 856-862 泽玉燕 :
IOL Research提交的WMT 2023质量评估共享任务。 863-871 陈兴宇 ， 王瑞（Rui Wang） :
SJTU-MTLAB提交WMT23字级自动完成任务。 872-876 安吉尔·纳瓦罗 ， 米盖尔·多明戈 ， 弗朗西斯科·卡萨库贝塔 :
PRHLT向WLAC 2023提交的文件。 877至881 易武 ， 郝晨石 ， 王伟奇 ， 宋阳秋 :
WMT23字级自动完成任务的KnowComp提交。 882-889 尼古拉·博戈伊切夫 ， 陈品珍 :
带有约束解码和大型语言模型提示的术语感知翻译。 890-896 刘静淑 ， 玛丽亚姆·纳赫勒 ， 加丹·凯洛伊特 ， 拉海尔·卡德尔 :
Lingua Custodia参与WMT 2023术语共享任务。 897-901 亚斯敏穆斯林 ， 吉安弗兰科·罗马尼 ， 马赫迪·莫莱伊 ， 约翰·D·凯勒赫 ， Rejwanul哈克 ， 安迪·韦 :
领域术语集成到机器翻译中：利用大型语言模型。 902-911年 托米·尼米宁 :
WMT23术语共享任务的OPUS-CAT术语系统。 912-918 Geon-Woo公园 ， 李俊华 ， 任美英 ， 艾莉森·辛德尔 ， Yeonsoo Lee公司 :
VARCO-MT：NCSOFT的WMT’23术语共享任务提交。 919-925 余嘉伟 ， 张敏（音） ， 赵延庆 ， 赵晓峰 ， 袁丽（音） ， 张素（Chang Su） ， 李英禄 ， 马妙妙 ， 石明涛 ， 郝阳 :
HW-TSC参与WMT 2023自动后期编辑共享任务。 926-930 古塔姆·阿格拉瓦尔 ， Rituraj Das公司 ， 阿努帕姆·比斯瓦斯 ， 道尔顿·梅特·通诺贾姆（Dalton Meitei Thounaojam） :
英语-曼尼普尔语和英语-阿萨姆语的神经机器翻译。 931-934 马齐达·艾哈迈德 ， 库瓦利塔鲁克达尔 ， 帕尔韦兹·阿齐兹·博鲁阿 ， 希哈尔·库马尔·萨尔马 ， 基肖尔·卡西亚普 :
GUIT-NLP提交共享任务：低资源印度语翻译。 935-940 拉吉·达布雷 ， 杰伊·P·加拉 ， Pranjal A.Chitale公司 :
NICT-AI4B提交给WMT 2023中的印度MT共享任务。 941-949年 普拉纳夫·盖克瓦德 ， 认识Doshi ， Sourabh Dattatray Deoghare公司 ， 普什巴克·巴塔查里亚 :
WMT23中低资源印度语的机器翻译进展：CFILT-IITB为弥合差距所做的努力。 950-953 伊万娜·克瓦皮利科娃 ， Ondrej Bojar公司 :
印度语低资源机器翻译系统。 954-958 埃多亚多·西格诺罗尼 ， 帕维尔·里奇尔（Pavel Rychl） :
低资源索引机器翻译的MUNI-NLP系统。 959-966 Kshetrimayum Boynao Singh公司 ， 阿维钱德拉·辛格·宁图贾姆 ， Loitongbam Sanayai Meetei公司 ， 锡瓦吉·班迪奥帕提亚 ， 托达姆·多伦·辛格 :
NITS-CNLP英语-曼尼普尔语言对低资源神经机器翻译系统。 967-971 Dhairya Suman公司 ， 阿塔努·曼达尔 ， Santanu帕尔 ， 苏迪普·库马尔·纳斯卡 :
IACS-LRILT：低资源印度语的机器翻译。 972-977年 张文波 :
WMT23低资源印度语翻译共享任务的IOL研究机器翻译系统。 978-982 詹妮斯·瓦姆瓦斯 ， 托比亚斯·多姆汉 ， 索尼Trenous ， 里科·森里奇 ， 伊娃·哈斯勒 :
训练有素的机器翻译度量学会处理机器翻译的参考。 983-995 丹尼尔·多伊奇 ， 尤拉杰·尤拉斯卡 ， 玛拉·芬克尔斯坦 ， 马库斯·弗雷塔格 :
段落级的培训和元评估机器翻译评估指标。 996-1013 哈维尔·费兰多 ， 马蒂亚斯·斯珀伯 ， 亨德拉 ， 多米尼克·特拉尔 ， 萨萨·哈桑 :
机器翻译中的行为测试自动化。 1014-1030 Telmo Pires公司 ， 安东尼奥·维拉里尼奥·洛佩斯 ， Yannick Assogba公司 ， 亨德拉 :
一个宽前馈就是你所需要的。 1031-1044 诺米·阿埃普利 ， Chantal Amrhein公司 ， 弗洛里安·肖特曼 ， 里科·森里奇 :
无标准正字法方言机器翻译度量标准评估基准。 1045年-1065年 帕特里克·费尔南德斯 ， 丹尼尔·多伊奇 ， 玛拉·芬克尔斯坦 ， 帕克·莱利 ， 安德烈·马丁斯 ， 格雷厄姆·纽比格 ， Ankush Garg公司 ， 乔纳森·克拉克 ， 马库斯·弗雷塔格 ， 奥汉·菲拉特 :
魔鬼在错误中：利用大型语言模型进行细粒度机器翻译评估。 1066-1083
