摘要
补充材料
【未注明日期】。 GitHub Copilot公司。 https://copilot.github.com/。 访问时间：2021-09-02。 谷歌学者 
【未注明日期】。 GPT-3创意小说。 https://www.gwern.net/GPT-3。 访问时间：2021-03-30。 谷歌学者 【未注明日期】。 OpenAI API：代码完成。 https://beta.openai.com/？app=productive&example=4_4_0。 访问时间：2021-03-30。 谷歌学者 【未注明日期】。 OpenAI API：自然语言外壳。 https://beta.openai.com/？app=productive&example=4_20。 访问时间：2021-03-30。 谷歌学者 【未注明日期】。 OpenAI提示库。 https://openai.com/blog/gpt-3-apps/。 访问时间：2021-03-30。 谷歌学者 【未注明日期】。 推特：“首先使用#GPT3，我要求它绘制图像。 我给了它种子SVG代码，并要求它自己生成SVG代码。 原来它画了一个类似软盘的东西。”。 https://twitter.com/fabinrashed/status/s1284052438392004608。 访问时间：2021-03-30。 谷歌学者 【未注明日期】。 推特：“我只需要写两个样本，就可以为GPT-3提供我想要做的事情的上下文。然后它正确地格式化了所有其他样本。”。 有一些例外，比如表的JSX代码大于512个标记的限制。 https://twitter.com/sharifshadeem/status/1282692481608331265。 访问时间：2021-04-07。 谷歌学者 【未注明日期】。 推特：“认识Marz。 就像@ProjectJupyter，但离地球更近。 无代码数据笔记本，由@OpenAI的GPT3支持，从“自然语言”问题到SQL，再到洞察力。 与@barrnanas@idavidgoldberg@imfanjin一起建造，作为@beondeck建筑周末的一部分。 https://twitter.com/albertgozzi/status/1320526310729539584。 访问时间：2021-03-30。 谷歌学者 Daniel Adivardana、Minh-Thang Luong、David R。 那么，杰米·霍尔、诺亚·菲德尔、罗马尔·托皮兰、紫阳、阿波罗夫·库尔什赫塔、高拉夫·内梅德、陆一峰和奎克五世。 法国。 2020年，打造人性化的开放域聊天机器人。 arxiv:2001.09977[cs.CL]访问时间：2021-08-12。 谷歌学者 Miltiadis Allamanis，Earl T。 Barr、Premkumar Devanbu和Charles Sutton。 2018年，针对大代码和自然性的机器学习调查。 ACM计算。 Surv公司。 第51、4条，第81条（2018年7月），共37页。 https://doi.org/10.1145/3212695 谷歌学者 数字图书馆 
雅各布·奥斯汀（Jacob Austin）、奥古斯塔斯·奥德纳（Augustus Odena）、麦克斯韦尔·奈（Maxwell Nye）、马尔滕·博斯马（Maarten Bosma）、亨利克·米查勒夫斯基（Henryk Michalewski）、大卫·多汉（David Dohan）、江爱伦（Ellen Ji。 2021.大型语言模型程序综合。 arxiv:2108.07732[cs.PL] 谷歌学者 M.Beth Kery和B.A。 迈尔斯。 2017.探索探索性编程。 2017年IEEE视觉语言与以人为本计算研讨会（VL/HCC）。 25–29. https://doi.org/10.109/VLHCC.2017.8103446 谷歌学者 交叉引用 
Drew A.Rishi Bommasani。 哈德森、埃桑·阿德利、罗斯·阿尔特曼、西蒙·阿罗拉、西德尼·冯·阿尔克斯、迈克尔·S·。 伯恩斯坦（Bernstein）、珍妮特·波赫（Jeannette Bohg）、安托万·博塞鲁特（Antoine Bosselut）、艾玛·布伦斯基（Emma Brunskill）、埃里克·布林约夫松（Erik Brynjolfsson）、希亚马尔·布赫（Shyamal Buch）、达拉斯卡德（Dallas Card）、罗德里戈·。 Chen、Kathleen Creel、Jared Quincy Davis、Dorottya Demszky、Chris Donahue、Moussa Doumbouya、Esin Durmus、Stefano Ermon、John Etchemendy、Kawin Ethayarajh、Li Fei-Fei、Chelsea Finn、Trevor Gale、Lauren Gillespie、Karan Goel、Noah D。 古德曼（Goodman）、谢尔比·格罗斯曼（Shelby Grossman）、内尔·古哈（Neel Guha）、桥本达苏诺里（Tatsunori Hashimoto）、彼得·亨德森（Peter Henderson）、约翰·休伊特（John Hewitt）、丹尼尔·E。 Ho、Jenny Hong、Kyle Hsu、Jing Huang、Thomas Icard、Saahil Jain、Dan Jurafsky、Pratyusha Kalluri、Siddharth Karamcheti、Geoff Keeling、Fereshte Khani、Omar Khattab、Pang Wei Koh、Mark S。 Krass、Ranjay Krishna、Rohith Kuditipudi等，2021年。 基础模型的机遇与风险。 CoRR abs/2108.07258（2021）。 arxiv:2108.07258 https://arxiv.org/abs/1208.07258 谷歌学者 Joel Brandt、Mira Dontcheva、Marcos Weskamp和Scott R。 克莱默。 2010.以示例为中心的编程：将Web搜索集成到开发环境中。 计算机械协会，美国纽约州纽约市，513–522。 https://doi.org/10.1145/1753326.1753402 谷歌学者 数字图书馆 汤姆·布朗、本杰明·曼、尼克·莱德、梅兰妮·苏比亚赫、贾里德·卡普兰、普拉福拉·达里瓦尔、阿文德·内拉坎坦、普拉纳夫·希亚姆、吉里什·萨斯特里、阿曼达·阿斯克尔、桑迪尼·阿加瓦尔、阿里尔·赫伯特·沃斯、格雷琴·克鲁格、汤姆·海尼汉、瑞文·查尔德、阿迪蒂亚·拉梅什、丹尼尔·齐格勒、杰弗里·吴、克莱门斯·温特、克里斯·黑塞、马克·陈、埃里克·西格勒、马特乌斯·利特温， 斯科特·格雷（Scott Gray）、本杰明·象棋（Benjamin Chess）、杰克·克拉克（Jack Clark）、克里斯托弗·伯纳（Christopher Berner）、山姆·麦肯德利什（Sam McCandlish）、亚历克·拉德福德（Alec Radford）、伊利亚·萨茨。 2020年。语言模型是少数快速学习者。 《神经信息处理系统进展》，H.Larochelle，M.Ranzato，R.Hadsell，M.F。 Balcan和H.Lin（编辑）。 第33卷。 Curran Associates，Inc.，1877-1901年。 https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-paper.pdf 谷歌学者 Daniel Buschek、Lukas Mecke、Florian Lehmann和Hai Dang。 2021.设计人-人协同创新系统时的九个潜在陷阱。 arXiv预打印arXiv:2104.00358（2021）。 谷歌学者 凯莉·J·。 蔡、萨曼莎·温特、大卫·斯坦纳、劳伦·威尔考克斯和迈克尔·特里。 2019.“Hello AI”：揭示医学从业者的入职需求，实现人与人之间的协作决策。 程序。 ACM休姆-计算。 互动。 3，CSCW，第104条（2019年11月），24页。 https://doi.org/10.1145/3359206 谷歌学者 数字图书馆 Mark Chen、Jerry Tworek、Heewoo Jun、Qiming Yuan、Henrique Ponde de Oliveira Pinto、Jared Kaplan、Harri Edwards、Yuri Burda、Nicholas Joseph、Greg Brockman、Alex Ray、Raul Puri、Gretchen Krueger、Michael Petrov、Heidy Khlaaf、Girish Sastry、Pamela Mishkin、Brooke Chan、Scott Gray、Nick Ryder、Mikhail Pavlov、Alethea Power、Lukasz Kaiser、， 穆罕默德·巴伐利亚（Mohammad Bavarian）、克莱门斯·温特（Clemens Winter）、菲利普·蒂莱特（Philippe Tillet）、菲利佩·彼得斯基（Felipe Petroski Soke）、戴夫·卡明斯（Dave Cummings）、马蒂亚斯·普拉佩特（Matthias Plappert）、福蒂奥斯·钱茨（Fotios Chantzis）、伊丽莎白·巴恩斯（Elizabeth Barnes）、阿里尔·赫伯特·沃斯（Ariel Herbert-Voss）、威廉·赫布根·格斯（Wil。 卡尔、扬·雷克、乔什·阿齐姆、维丹特·米斯拉、埃文·莫里卡瓦、亚历克·拉德福德、马修·奈特、迈尔斯·布伦达奇、米拉·穆拉蒂、凯蒂·梅尔、彼得·韦林德、鲍勃·麦克格雷、达里奥·阿莫迪、山姆·麦肯德利、伊利亚·萨茨克弗和沃伊西奇·扎伦巴。 2021.评估基于代码培训的大型语言模型。 arxiv:2107.03374[cs.LG] 谷歌学者 陈巧初、王新余、西耶、格雷格·杜雷特和伊西尔·迪利格。 2020年，正则表达式的多模合成。 第41届ACM SIGPLAN编程语言设计与实现会议记录（英国伦敦）（PLDI 2020）。 美国纽约州纽约市计算机协会，487–502。 https://doi.org/10.1145/3385412.3385988 谷歌学者 数字图书馆 Eli Collins和Zoubin Ghahramani。 2021.LaMDA：我们突破性的对话技术。 https://blog.google/technology/ai/lamda/ 访问时间：2021-07-14。 谷歌学者 Prem Devanbu、Matthew Dwyer、Sebastian Elbaum、Michael Lowry、Kevin Moran、Denys Poshyvanyk、Baishaki Ray、Rishabh Singh和Xiangyu Zhang。 2020.深度学习与软件工程：研究现状和未来方向。 arxiv:2009.08525[cs.SE] 谷歌学者 卡斯拉·费尔多西法德（Kasra Ferdowsifard）、阿伦·奥多坎尼亚（Allen Ordokhanians）、希拉·佩莱格（Hila Peleg）、索林·勒纳（Sorin Lerner）和纳迪娅·波利卡波娃（Nadia Polikarpova）。 2020.小步骤现场编程示例。 计算机械协会，美国纽约州纽约市，614-626。 https://doi.org/10.1145/3379337.3415869 谷歌学者 数字图书馆 G.W.公司。 Furnas，T.K。 兰道尔，L.M。 戈麦斯和S.T。 杜马。 1987年，人类系统沟通中的词汇问题。 Commun公司。 ACM 30,11（1987年11月），964-971。 https://doi.org/10.1145/32206.32212 谷歌学者 数字图书馆 巴尼·G。 Glaser和Anselm L。 施特劳斯。 1967年，《扎根理论的发现：定性研究的策略》。 Aldine de Gruyter，纽约州纽约市。 谷歌学者 苏米特·古尔瓦尼。 2011.使用输入输出示例在电子表格中自动处理字符串。 第38届ACM SIGPLAN-SIGACT编程语言原理研讨会会议记录（美国德克萨斯州奥斯汀）（POPL'11）。 美国纽约州纽约市计算机协会，317-330。 https://doi.org/10.1145/1926385.1926423 谷歌学者 数字图书馆 Sumit Gulwani和Mark Marron。 2014.NLyze：用于电子表格数据分析和操作的自然语言交互式编程。 2014年ACM SIGMOD国际数据管理会议记录（美国犹他州雪鸟）（SIGMOD'14）。 计算机械协会，美国纽约州纽约市，803–814。 https://doi.org/10.1145/2588555.2612177 谷歌学者 数字图书馆 马蒂A。 赫斯特。 2009.搜索用户界面（第1版）。 美国剑桥大学出版社。 谷歌学者 数字图书馆 Cheng-Zhi Anna Huang、Ashish Vaswani、Jakob Uszkoreit、Ian Simon、Curtis Hawthorne、Noam Shazeer、Andrew M。 戴，马修·D·。 霍夫曼、莫妮卡·丁库列斯库和道格拉斯·埃克。 2019.音乐变形金刚。 在学习代表国际会议上。 https://openreview.net/forum？id=rJe4ShAcF7 谷歌学者 Sandeep Kaur Kuttal、Bali Ong、Kate Kwasny和Peter Robe。 2021.在结对编程环境中用代理替换人的权衡：好、坏和丑。 在2021年CHI计算机系统人为因素会议记录中（日本横滨）（CHI’21）。 美国纽约州纽约市计算机协会，第243条，20页。 https://doi.org/10.1145/3411764.3445659 谷歌学者 数字图书馆 Toby Jia Jun Li、Jinya Chen、Haijun Xia、Tom M。 Mitchell和Brad A。 迈尔斯。 2020年，任务导向型对话中对话障碍的多模式修复。 第33届ACM用户界面软件与技术年度研讨会（美国虚拟活动）（UIST’20）会议记录。 计算机械协会，美国纽约州纽约市，1094-1107。 https://doi.org/10.1145/3379337.3415820 谷歌学者 数字图书馆 西维多莉亚·林（Xi Victoria Lin），2017年。 基于递归神经网络的自然语言程序合成。 http://victorialin.net/pubs/tellina_tr_2017.pdf 访问时间：2021-04-06。 谷歌学者 西维多莉亚·林（Xi Victoria Lin）、王成龙（Chenglong Wang）、卢克·泽特莫耶（Luke Zettlemoyer）和迈克尔·D·。 恩斯特。 2018年，NL2Bus:Linux操作系统自然语言接口的语料库和语义分析器。 《第十一届国际语言资源与评估会议论文集》（LREC 2018）。 欧洲语言资源协会（ELRA），日本宫崎骏。 https://www.aclweb.org/antology/L18-1491 谷歌学者 Ryan Louie、Andy Coenen、Cheng Zhi Huang、Michael Terry和Carrie J。 蔡。 2020年，通过AI指导工具为深度生成模型共同创作新AI音乐。 《2020年CHI计算机系统人为因素会议论文集》（美国夏威夷州火奴鲁鲁）（CHI'20）。 美国纽约州纽约市计算机协会，1-13。 https://doi.org/10.1145/3313831.3376739 谷歌学者 数字图书馆 A.Narechania、A.Srinivasan和J.Stasko。 2021.NL4DV：从自然语言查询生成数据可视化分析规范的工具包。 IEEE可视化和计算机图形汇刊27，2（2021），369–379。 https://doi.org/10.109/TVCG.2020.3030378 谷歌学者 交叉引用 唐纳德A。 诺曼。 2002年，《日常事物的设计》。 美国Basic Books，Inc。 谷歌学者 数字图书馆 阿纳·马里亚·波佩斯库（Ana-Maria Popescu）、奥伦·埃齐奥尼（Oren Etzioni）和亨利·考茨（Henry Kautz）。 2003.数据库自然语言接口理论。 第八届智能用户界面国际会议论文集（美国佛罗里达州迈阿密）（IUI'03）。 美国纽约州纽约市计算机协会，149-157。 https://doi.org/10.1145/604045.604070 谷歌学者 数字图书馆 Kia Rahmani、Mohammad Raza、Sumit Gulwani、Vu Le、Dan Morris、Arjun Radhakrishna、Gustavo Soares和Ashish Tiwari。2021。 多模程序推理：预训练语言模型和基于组件的合成的结合。 在OOPSLA中。 https://www.microsoft.com/en-us/research/publication/multi-modal-program-inference-a-mariage-of-pre-trained-language-models-andcomponent-based-synthesis（https://www.microsoft.com/en-us/research/publication/multi-modal-program-inference-a-mariage-of-pre-trained-language-models-andcomponent-based-synthesis）/ 谷歌学者 伊恩·坦尼（Ian Tenney）、詹姆斯·韦克斯勒（James Wexler）、贾斯米恩·巴斯廷斯（Jasmijn Bastings）、托尔加·博鲁巴西（Tolga Bolukbasi）、安迪·科宁（Andy Coenen）、塞巴斯蒂安·盖尔曼（Sebastian Gehrmann）、江爱伦（Ellen Jiang）、马。 2020年。语言可解释性工具：NLP模型的可扩展交互式可视化和分析。 arxiv:2008.05122[cs.CL] 谷歌学者 《阵风》（Gust Verbrugen）、《武乐》（Vu Le）和《苏米特·古尔瓦尼》（Sumit Gulwani）。 2021.通过示例使用预训练模型进行语义编程。 在OOPSLA中。 ACM公司。 https://www.microsoft.com/en-us/research/publication/semantic-programming-by-example-with-pre-trained-models/ 谷歌学者 贾斯汀·D·。 Weisz、Michael Muller、Stephanie Houde、John Richards、Steven I。 罗斯、费尔南多·马丁内斯、马扬克·阿加瓦尔和卡尔蒂克·塔拉马杜普拉。 2021.不需要完善？ 代码翻译中的人机合作。 第26届智能用户界面国际会议（2021年4月）。 https://doi.org/10.1145/3397481.3450656 谷歌学者 数字图书馆 弗兰克·F·。 Xu、Bogdan Vasilescu和Graham Neubig。 2021.从自然语言生成In-IDE代码：承诺与挑战。 arxiv:2101.11149[cs.SE] 谷歌学者 Tianyi Zhang、London Lowmanstone、Xinyu Wang和Elena L。 格拉斯曼。 2020.通过增强示例进行交互式程序合成。 计算机械协会，美国纽约州纽约市，627-648。 https://doi.org/10.1145/3379337.3415900 谷歌学者 数字图书馆
建议
GenLine和GenForm：代码编辑器中与生成语言模型交互的两种工具 UIST’21副刊：第34届ACM用户界面软件与技术年度研讨会副刊 一个大型的生成性语言模型的输出可能会受到精心设计的提示或基于文本的输入的影响，这些输入可以建立模型在输出中复制的文本模式[6]。 这些能力为创新创造了新的机会。。。 使用SugarHaskell实现对布局敏感的语言扩展 哈斯克尔12：2012年哈斯克尔研讨会会议记录 程序员需要方便的语法来编写优雅简洁的程序。 因此，Haskell标准为某些场景提供了语法糖（例如，为一元代码做标记），Haskel编译器的作者为更多。。。
