研究论文

用大型语言模型生成和审查程序代码：一项系统映射研究

作者:

比阿特丽斯·文托里尼·林斯·德阿尔伯克基,

安东尼奥·费尔南多·苏萨达库尼亚,

利奥纳多苏扎,

肖恩·沃尔夫甘德·松井西凯拉、和

罗德里戈·佩雷拉·多斯桑托斯作者信息和声明

SBSI’24：第20届巴西信息系统研讨会会议记录

2024年5月

文章编号：70，页数1-10

https://doi.org/10.1145/3658271.3658342

出版:2024年5月23日出版历史

获取访问权限

摘要

背景：基于大型语言模型（LLM）的技术的激增正在重塑各个领域，也影响到编程代码的创建和审查。问题：在软件开发中采用LLM的决策过程需要了解相关的挑战和各种应用可能性。解决方案：本研究解决了与编程代码过程中LLM使用相关的已确定挑战。它探讨了模型、利用策略、挑战和应对机制，重点关注了软件开发研究人员的观点。IS理论：基于任务技术匹配（TTF）理论，该研究检查了代码生成和评审中的任务特征与LLM技术属性之间的一致性，以识别性能影响和利用模式。方法：采用文献系统映射法，从1257个检索结果中，分析了IEEE数字图书馆、Compendex Engineering Village和Scopus等数字数据库中的19项选定研究。结果总结：该研究揭示了编程代码过程中与LLM相关的23个模型、13个使用策略、15个挑战和14个应对机制，提供了对应用前景的全面理解。对信息系统的贡献：对信息系统领域的贡献，本研究为LLM在编程代码生成和审查中的应用提供了宝贵的见解。确定的模型、战略、挑战和应对机制为LLM技术采用相关的决策过程提供了实际指导。该研究旨在支持IS社区有效地解决将大型语言模型集成到动态软件开发生命周期中的复杂性。

工具书类

[1]

弗朗西斯·亚历山大（Francis Alexander）、埃德温·阿里奥·阿卜迪维亚亚（Edwin Ario Abdiwijaya）、费利克斯·费里（Felix Pherry）、亚历山大·阿贡·桑托索·古纳万（Alexander-Agung-Santoso Gunawan）和。2022.用人工智能（AI）解决竞争性编程问题的系统文献综述。2022年，第一届软件工程和信息技术国际会议（ICoSEIT）。85–90. https://doi.org/10.1109/ICoSEIT55604.2022.0029949

[2]

Aaqib Ahmed R.H。安萨里和迪帕利·R。沃拉。2022.NLI-GSC：生成源代码的自然语言接口。国际高级计算机科学与应用杂志13，1（2022），842-853。http://dx.doi.org/10.14569/IJACSA.2022.0130198

[3]

雷娜塔·门德斯·阿劳霍。2017.信息系统和开放世界的挑战。巴西RS阿雷格里港SBC。

[4]

V.R.公司。Basili、G.Caldiera和H.D。罗姆巴赫。1994.目标问题度量方法。软件工程百科全书1，2（1994）。

[5]

费德里科·卡萨诺（Federico Cassano）、约翰·古瓦尔（John Gouwar）、丹尼尔·阮元庆（Daniel Nguyen）、西德尼·阮元勋（Sydney Nguyeen）、卢娜·菲普斯·科斯汀（Luna Phipps-Costin）、唐纳德·平克尼（Donald Pinckney）、明浩Yee（Ming-Ho Yee）、杨天子（Yangtian Zi）、。2023.MultiPL-E：神经代码生成基准的一种可扩展和多元方法。IEEE软件工程学报49，7（2023），3675–3691。https://doi.org/10.109/TSE.2023.3267446

数字图书馆

[6]

马特奥·西尼塞利（Matteo Ciniselli）、卢卡·帕斯卡雷拉（Luca Pascarella）和加布里埃尔·巴沃塔（Gabriele Bavota）。2022.基于深度学习的代码推荐者通过从训练集中克隆代码来在多大程度上生成预测？。2022年，IEEE/ACM第19届国际采矿软件库会议（MSR）。167–178. https://doi.org/10.1145/3524842.3528440

数字图书馆

[7]

胡安·克鲁斯·贝尼托（Juan Cruz-Benito）、桑杰·维什瓦卡玛（Sanjay Vishwakarmar）、弗朗西斯科·马丁·弗南德斯（Francisco Martin-Fernandez）和伊斯梅尔·法罗（Ismael Faro）。2021.使用深度学习自动生成和自动完成源代码：比较和讨论当前与语言模型相关的方法。AI 2，1（2021），1-16。https://doi.org/10.3390/ai2010001

[8]

阿尔哈瓦·莫拉迪·达赫勒（Arghavan Moradi Dakhel）、瓦希德·马吉迪纳萨布（Vahid Majdinasab）、阿明·尼坎贾姆（Amin Nikanjam）、福泽·科姆（Foutse Khomh）、米歇尔·C。Desmarais和Zhen Ming（Jack）Jiang。GitHub Copilot AI对程序员：资产还是负债？《系统与软件杂志》203（2023），111734。https://doi.org/10.1016/j.jss.2023.111734

数字图书馆

[9]

Enrique Dehaerne、Bappaditya Dey、Sandip Halder、Stefan De Gendt和Wannes Meert。2022.使用机器学习生成代码：系统综述。IEEE接入10（2022），82434–82455。https://doi.org/10.109/ACCESS.2022.3196347

[10]

Yogesh K.Dwivedi等人，2023年。意见书：“那么，如果ChatGPT写了它呢？”关于生成会话人工智能对研究、实践和政策的机遇、挑战和影响的多学科视角。《国际信息管理杂志》71（2023），102642。https://doi.org/10.1016/j.ijinfomgt.2023.102642

数字图书馆

[11]

冯云和（Yunhe Feng）、斯里查兰·瓦南姆（Sreecharan Vanam）、玛娜莎·切鲁库帕利（Manasa Cherukupaly）、郑伟建（Weijian Zheng）、邱美康（Meikang Qiu）和陈海华。2023.使用众包社会数据调查ChatGPT的代码生成性能。2023年IEEE第47届计算机、软件和应用年会（COMPSAC）。876–885. https://doi.org/10.109/COMPSAC57700.2023.00117

[12]

戴尔·L·古德休。1995.了解用户对信息系统的评估。管理科学41，12（1995），1827-1844。

[13]

Dale L Goodhue和Ronald L Thompson。1995.任务-技术匹配和个人绩效。MIS季刊（1995），213-236。

[14]

安扬·卡马卡和罗曼·罗布斯。2021.预训练代码模型对代码了解多少？。2021年，第36届IEEE/ACM国际自动化软件工程会议（ASE）。1332–1336. https://doi.org/10.109/ASE51524.2021.9678927

数字图书馆

[15]

芭芭拉·基奇纳姆（Barbara Kitchenham）和斯图亚特·查特斯（Stuart Charters）。2007年，软件工程系统文献综述指南（2007年）。

[16]

谢尔盖·科瓦尔丘克（Sergey Kovalchuk）、德米特里·费德鲁什科夫（Dmitriy Fedrushkov）、瓦迪姆·洛姆沙科夫（Vadim Lomshakov）和阿特姆·阿利耶夫（Artem Aliev）。2023.基于测试和基于度量的实用问答代码生成模型评估。2023年国际代码质量会议（ICCQ）。73–86. https://doi.org/10.109/ICCQ57276.2023.10114665

[17]

Sila Lertbanjonggam、Bodin Chinthanet、Takashi Ishio、Raula Gaikovina Kula、Pattara Leelaprute、Bundit Manaskasemsak、Arnon Rungsawang和Kenichi Matsumoto。2022.竞争编程AI的实证评估：AlphaCode的案例研究。2022年IEEE第16届软件克隆国际研讨会（IWSC）。10–15. https://doi.org/10.109/IWSC50060.2022.00010

[18]

李宇佳、蔡大伟、钟俊英、内特·库什曼、朱利安·施里特维瑟、雷米·勒布朗德、汤姆·埃克尔斯、詹姆斯·基林、费利克斯·吉梅诺、阿古斯汀·达尔·拉戈、托马斯·休伯特、彼得·蔡、赛普林·德·马森·德奥图姆、伊戈尔·巴布什金、陈新云、黄波森、约翰内斯·韦尔布尔、斯文·戈沃尔、阿列克谢里帕诺夫、詹姆斯·莫洛伊、丹尼尔·J。Mankowitz、Esme Sutherland Robson、Pushmeet Kohli、Nando de Freitas、Koray Kavukcuoglu和Oriol Vinyals。2022.使用AlphaCode生成竞争级代码。《科学》3786624（2022），1092-1097。https://doi.org/10.1126/science.abq1158arXiv:https://www.science.org/doi/pdf/10.1126/science.abq1158

[19]

K·马提诺。2023.什么是生成人工智能？(2023). https://research.ibm.com/blog/what-is-generative-AI

[20]

安东尼奥·马斯特罗保罗（Antonio Mastropaolo）、卢卡·帕斯卡雷拉（Luca Pascarella）、伊曼纽拉·古列尔米（Emanuela Guglielmi）、马特奥·西尼塞利（Matteo Ciniselli）、西蒙·斯卡拉布里诺（Simone Scalabrino）、洛科·奥利维托（Rocco O。2023.代码生成技术的稳健性：GitHub Copilot的实证研究。2023年IEEE/ACM第45届国际软件工程会议（ICSE）。2149–2160. https://doi.org/10.109/ICSE48619.2023.00181

数字图书馆

[21]

Matthew J Page、Joanne E McKenzie、Patrick M Bossuyt、Isabelle Boutron、Tammy C Hoffmann、Cynthia D Murrow、Larissa Shamseer、Jennifer M Tetzlaff、Elie A Akl、Sue E Brennan，2021年。PRISMA 2020声明：报告系统审查的更新指南。系统回顾10，1（2021），1-11。

[22]

哈蒙德·皮尔斯、本杰明·谭、巴利·艾哈迈德、拉梅什·卡里和布伦丹·多兰·加维特。2023.使用大型语言模型检查零快照漏洞修复。2023年IEEE安全与隐私研讨会（SP）。2339–2356. https://doi.org/10.109/SP46215.2023.10179324

[23]

凯·彼得森（Kai Petersen）、塞拉姆·瓦卡拉卡（Sairam Vakkalanka）和路德维克·库兹尼亚茨（Ludwik Kuzniarz）。2015.软件工程中进行系统映射研究的指南：更新。信息和软件技术64（2015），1-18。

数字图书馆

[24]

伊勒姆·卡塞（Ilham Qasse）、谢里什·米什拉（Shailesh Mishra）、比约恩·乔恩松（Björnþr Jónsson）、福泽·科姆（Foutse Khomh）和穆罕默德·哈姆达卡（Mohammad Hamdaqa）。2023.Chat2Code：用于模型规范和代码生成的聊天机器人，智能合约案例。2023年IEEE软件服务工程国际会议（SSE）。50–60. https://doi.org/10.109/SSE60056.2023.00018

[25]

库雷希。R.、D.Shaughnessy、K.A.R.Gill、K.A.Robinson、T.Li和E.Agai。2023.ChatGPT和大型语言模型是使我们更接近系统化审查自动化的“答案”吗？系统综述12，72（2023）。

[26]

J.S.Sichman。2021.综合人工社会：avanços e riscos。Estudos avançados公司。Ediçáo special：人工集成电路。35, 101 (2021). https://doi.org/10.1590/s0103-4014.2021.35101.004

[27]

Mohammed Latif Siddiq，Shafayat H。Majumder，Maisha R。Mim、Sourov Jajodia和Joanna C.S。桑托斯。2022.基于变压器的代码生成技术中的代码嗅觉的实证研究。2022年，IEEE第22届国际源代码分析与操作工作会议（SCAM）。71–82. https://doi.org/10.109/SCAM55253.2022.00014

[28]

Mohammed Latif Siddiq、Abdus Samee、Sk Ruhul Azgor、Md.Asif Haider、Shehabul Islam Sawraz和Joanna C.S。桑托斯。2023.使用GitHub Copilot进行代码复杂度预测的零炮提示。2023年，IEEE/ACM第二届基于自然语言的软件工程国际研讨会（NLBSE）。56–59. https://doi.org/10.109/NLBSE59153.2023.00018

[29]

孙振苏，杜晓宁，傅松，王尚文，倪明泽，李丽。2023。不要完成它！防止生产性和可持续性神经代码完成系统的无用代码完成。2023年，IEEE/ACM第45届国际软件工程会议：相关会议记录（ICSE-Companion）。324–325. https://doi.org/10.109/ICSE-Companion58688.2023.00089

数字图书馆

[30]

Priyan Vaithilingam，Elena L。Glassman、Peter Groenwegen、Sumit Gulwani、Austin Z。亨利（Henley）、罗汉·马尔帕尼（Rohan Malpani）、大卫·普格（David Pugh）、阿琼·拉德哈基里什纳（Arjun Radhakrishna）、古斯塔沃·索尔斯（Gustavo Soares）、乔伊·王（Joey Wang）和亚伦·。2023.实现更有效的AI辅助编程：改进Visual Studio IntelliCode用户体验的系统设计探索。2023年，IEEE/ACM第45届软件工程国际会议：软件工程实践（ICSE-EIP）。185–195. https://doi.org/10.109/ICSE-SEIP58684.2023.00022

数字图书馆

[31]

蒂姆·范·达姆（Tim van Dam）、马利赫·伊扎迪（Maliheh Izadi）和阿里·范·德森（Arie van Deursen）。2023.用代码完成模型的上下文数据丰富源代码：一项实证研究。2023年，IEEE/ACM第20届国际采矿软件库会议（MSR）。170–182. https://doi.org/10.1109/MSR59073.2023.00035

[32]

姚婉、魏钊、张红玉、隋玉磊、徐冠东、海金。2022.他们捕获了什么源代码预训练语言模型的结构分析。2022年，IEEE/ACM第44届国际软件工程会议（ICSE）。2377–2388. https://doi.org/10.1145/3510003.3510050

数字图书馆

[33]

Man-Fai Wong、Shangxin Guo、Ching-Nam Hang、Siu-Wai Ho和Chee-Wei Tan。2023.人工智能辅助编程大代码的自然语言生成和理解：综述。熵25，6（2023）。https://doi.org/10.3390/e25060888

[34]

陈阳、刘艳和尹长清。2021.智能源代码生成的最新进展：基于自然语言的研究综述。熵23，9（2021）。https://doi.org/10.3390/e23091174

[35]

伊尔泽·齐格尔斯和邦妮·巴克兰。1998年。任务/技术匹配和小组支持系统有效性理论。MIS季刊（1998年），313–334。

索引术语

用大型语言模型生成和审查程序代码：一项系统映射研究
1. 信息系统
  1. 信息系统应用
2. 软件及其工程
  1. 软件创建和管理
    1. 软件开发技术

建议

大型语言模型在生成代码时是否像人类程序员一样关注？

大型语言模型（LLM）最近被广泛用于代码生成。由于LLM的复杂性和不透明性，人们对这些模型如何生成代码知之甚少。我们首次尝试通过调查来弥合这一知识差距。。。
阅读更多信息
编程很难——或者至少以前很难——AI代码生成的教育机会和挑战
SIGCSE 2023：第54届ACM计算机科学教育技术研讨会论文集第1版

介绍性编程序列一直是计算教育中许多研究的重点。最近几款可行且免费可用的AI驱动代码生成工具的问世，在这方面带来了一些直接的机遇和挑战。。。
阅读更多信息
迷失在翻译中：大型语言模型在翻译代码时引入的错误研究
ICSE’24：IEEE/ACM第46届软件工程国际会议论文集

代码翻译旨在将源代码从一种编程语言（PL）转换为另一种。鉴于大型语言模型（LLM）在代码合成方面的强大能力，研究人员正在探索其自动化代码翻译的潜力。这个。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM其他会议

SBSI’24：第20届巴西信息系统研讨会会议记录

2024年5月

708页

国际标准图书编号：9798400709968

内政部：10.1145/3658271

版权所有©2024 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2024年5月23日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章
研究
推荐有限公司

资金来源

国家环境保护委员会（Conselho Nacional de Desenvolvimento Científico e Tecnológico）
法珀（FAPERJ）
法珀（FAPERJ）
里约热内卢埃斯塔多联邦大学
CAPES（公共信息传播方案-PADICT e Periódicos da CAPES门户）

会议

SBSI’24

SBSI’24:XX巴西信息系统研讨会

2024年5月20日至23日

巴西Juiz de Fora

接受率

557份提交文件中的总体接受率181份，32%

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
48
下载总量

下载次数（过去12个月）48
下载次数（最近6周）26

其他指标

查看作者指标

引文

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

HTML格式格式

在中查看本文HTML格式格式。

媒体

数字

其他

桌子