×

代码BLEU

swMATH ID: 40139
软件作者: 朔仁、郭大亚、帅路、龙舟、刘淑杰、唐杜宇、内尔·桑德雷森、明舟、安布罗西奥·布兰科、帅马
描述: CodeBLEU:代码合成的自动评估方法。评估指标在一个地区的发展中起着至关重要的作用,因为它定义了区分好模型和坏模型的标准。在代码合成领域,常用的评估指标是BLEU或完全准确度,但它们不足以评估代码,因为BLEU最初是为了评估自然语言而设计的,忽略了代码的重要句法和语义特征,而完美的准确性过于严格,因此它低估了具有相同语义逻辑的不同输出。为了解决这个问题,我们引入了一个新的自动评估指标,称为CodeBLEU。它吸收了BLEU在n元匹配中的优势,并通过抽象语法树(AST)进一步注入代码语法,通过数据流注入代码语义。我们通过评估CodeBLEU与程序员在三个代码合成任务(即文本到代码、代码翻译和代码优化)中分配的质量分数之间的相关系数来进行实验。实验结果表明,与BLEU相比,我们提出的CodeBLEU能够更好地与程序员分配的分数进行关联,并提高准确性。
主页: https://arxiv.org/abs/2009.10297
相关软件: 代码XGLUE;设计;图形代码BERT;BLEU公司;代码搜索网;代码BERT;BERT(误码率);PLBART公司;塔伯特;CoTexT公司;XLNet公司;捷运局;大查询;SciBERT公司;BioBERT公司;GPT-3级;MISIM公司;StaQC公司;CoCoSUM公司;Bugram(错误)
引用于: 0个文档