{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{-“日期-部件”：[[2024,6,28]]，“日期-时间”：“2024-06-28T07:14:33Z”，“时间戳”：1719558873469}，“参考-计数”：31，“出版商”：“牛津大学出版社（OUP）”，“问题”：“4”，“许可证”：[{“开始”：{-date-parts“：[2024,1,22]]，”日期-时间me“：”2024-01-22T00:00:00Z“，”时间戳“：1705881600000}，“content-version”：“vor”，“delay-in-days”：0，“URL”：“https://ademicial.oup.com/pages\/standard-publication-resue-rights”}]，“资助者”：[{“DOI”：“10.13039\/100000002”，“名称”：“国立卫生研究院”，“DOI-asserted-by”：“publisher”，“奖项”：[“R01GM114355”，“R01LM013486”]}，{“名称”:“伍兹基金会”}]，“内容域”：{“域”：[]，“crossmark-restriction”：false}，“short-container-title”：[]，“published-print”：{“date-parts”：[[2024,4,3]]}，”抽象“：”摘要<\/jats:title>\n\n个目标<\/jats:title>\n大型语言模型（LLM）在生物医学问题回答方面表现出了令人印象深刻的能力，但尚未针对更具体的生物医学应用进行充分的研究。本研究调查了ChatGPT模型家族（GPT-3.5，GPT-4）在生物医学任务中的问题回答\n个材料和方法我们使用1122个样本对生物医学领域的两项基本任务进行了模型性能评估，这两项任务分别是：生物医学领域分类（n\u2009=u20098676）和推理（n\u 2009=u2009 2446）。第一项任务是对科学文献中的健康建议进行分类，而第二项任务是检测生物医学文献中的因果关系。我们使用了20%的数据集进行快速开发，包括使用和不使用思想链（CoT）的零快照和少快照设置。然后，我们在剩余数据集上评估了每个设置的最佳提示，并将其与使用简单特征（BoW带逻辑回归）和微调BioBERT模型的模型进行比较<\/jats:p>\n<\/jats:sec>\n\n个结果<\/jats:title>\n微调BioBERT产生了最佳的分类（F1:0.0800-0.902）和推理（F1:0.851）结果。在LLM方法中，少镜头CoT获得了最好的分类（F1:0.671-0.770）和推理（F1:0.682）结果，与BoW模型（分类和推理分别为F1:0.602-0.753和0.675）相当。与最佳BioBERT和BoW模型分别为0.078和0.008小时相比，获得最佳LLM结果需要78小时<\/jats:p>\n<\/jats:sec>\n\n个讨论<\/jats:title>\n简单的BoW模型的表现与最复杂的LLM提示类似。快速工程需要大量投资<\/jats:p>\n<\/jats:sec>\n\n个结论<\/jats:title>\n尽管病毒性ChatGPT令人兴奋，但对两个基本生物医学自然语言处理任务进行微调仍是最佳策略<\/jats:p>\n“，”DOI“：”10.1093\/jamia\/ocad256“，”type“：”journal-article“，”created“：{”date-parts“：[2024,1,23]]，”date-time“：”2024-01-23T16:51:16Z“，”timestamp“：1706028676000}“评估ChatGPT生物医学推理和分类模型系列“]，”前缀“：”10.1093“，”卷“：”31“，”作者“：[{”ORCID“：”http://\/ORCID.org\/00000-0001-7999-7410“，”authenticated-ORCID“：false，”给定“：”Shan“，”系列“：”Chen“，“sequence”：“first”，“affiliation”：[{”name“：”医学中的人工智能（AIM）Program，Mass General Brigham，Harvard Medical School，Boston，MA 02115，United States“}，{“name”：“美国马萨诸塞州波士顿市Brigham and Women\u2019s Hospital\/Dana-Farber癌症研究所放射肿瘤学系”}]}，}“given”：“Yingya”，“family”：“Li”，“sequence”：“additional”，“affiliation”：[{“name”：“计算健康信息学项目，波士顿儿童医院和哈佛医学院，波士顿，马萨诸塞州02115，美国“}]}，{”给定“：”生“，”家庭“：”卢“，”序列“：”附加“，”隶属“：[{”名称“：”德国达姆施塔特科技大学普适知识处理实验室（UKP Lab），达姆施塔特64289“}]{”给出“：”Hoang“，”family“：”Van“，”sequence“：”additional“，”affiliation“：[{”name“：”计算健康信息学计划，波士顿儿童医院和哈佛医学院，美国马萨诸塞州波士顿02115“}]}，{”given“：”Hugo J W L“，”family”：“Aerts”，“sequence”：“additional”，“affiliance”：[{“name”：“医学中的人工智能（AIM）项目，马萨诸塞州波士顿哈佛医学院马萨诸塞总百翰分校，邮编02115“}，{“name”：“百翰妇女医院放射肿瘤学系\u2019s Hospital\/Dana-Farber Cancer Institute，Boston，MA 02115，United States”}，简称“name”，“放射学与核医学，GROW&CARIM，Maastricht University，Maasticht 6211 LK，Netherlands”}]}，{“given”：“Guergana K”，“family”：“Savova”，“sequence”：“additional”，“affiliation”：[{“name”：“计算健康信息学程序，波士顿儿童医院和哈佛医学院，美国马萨诸塞州波士顿02115”}]}，{：“医学中的人工智能（AIM）项目，马萨诸塞州波士顿哈佛医学院马萨诸塞总医院，Brigham”}，{“name”：“美国马萨诸塞州立大学波士顿Brigham and Women医院放射肿瘤学系\u2019s Hospital\/Dana-Farber Cancer Institute，Boston，MA 02115”}]]，“member”：“286”，“published-online”：{“date-parts”：[2024,1,22]}，“reference”：[{“key”：“2024040320031163400_ocad256-B1”，“author”：“Vaswani”，“year”：“2017”}，{“密钥”：“2020 404032001163400_ocad26-B2”，“volume-title”：“强化学习：简介”，“作者”：“Sutton”，“年份”：“2018”，“版本”：“2nd ed”}{“键”：“2024040320031163400_ocad256-B4”，“author”：“Ouyang”，“year”：“2022”}，{“issue”：“13”，“key”：“20024040320031163400_ocad256-B5”，“doi-asserted-by”：“crossref”，“first-page”：“1233”，“doi”：“10.1056\/NEJMsr2214184”，“article-title”：“GPT-4作为医学AI Chatbot的益处、局限性和风险”，“volume”：title“：”N Engl J Med“}，{“密钥”：“2024040320031163400_ocad256-B6”，“author”：“Reardon”}，{“key”：“2024.04032003113400_ocad256-B7”，“doi-asserted-by”：“crossref”，“first-page”：“e45312”，“doi”：“10.2196\/45312”，“article-title”：“ChatGPT在美国医疗许可考试中的表现如何？大型语言模型对医学教育和知识评估的影响”，“卷”：“9”，“作者”：“Gilson”，“年份”：“2023年”，“新闻标题”：“JMIR Med education”}，{“关键”：“2020 4040320031163400_ocad256-B8”，“作家”：“Li\u00e9vin”，“年”：“2042”}：“10”，“键”：“2024040320031163400_ocad256-B10“，”doi-asserted-by“：”crossref“，”first page“：”1459“，”doi“：”10.1001\/jamanocl.2023.2954“，”article-title“：”人工智能Chatbots用于癌症治疗信息的使用“，”volume“：“9”，”author“：”Chen“，”year“：”2023“，”journal-title”：“JAMA Oncol”}，{“key”：“2024040120031163400_ocad256-B11”，“author”：“Lyu”，“年份”：2023“}，{“key”：“2024040320031163400_ocad256-B12”，“author”：“Singhal”，“year”：“2042”}，}“key:”2024040120031163400_ocad256-B13“，”author“：”Lehman“，”year“：”2023“{“key”：作者“：”OpenAI API[Internet]“}，{“key”：“2024040320031163400_ocad256-B16”，“首页“：”6018“，”author“：”Li“，”year“：”2021“}，”{“key”：“2024040320031163400_ocad256-B17”，”first page“：”4664“，”user“：“Yu”，”year:“2019”}，{“key”：”202404022031163400_ocad256-B18“，“author”：“Devlin”，“year”：“2018”}、{“issue”：“4”，”key“：serted-by“：”crossref“，”首页“：”1234“，”doi“：”10.1093\/生物信息学\/btz682“，”article-title“：”BioBERT:用于生物医学文本挖掘的预处理生物医学语言表示模型“，”volume“：”36“，”author“：”Lee“，”year“：”2020“，”journal-title”：“生物信息学”}，{“key”：“202404032003163400_ocad256-B20”，“author”：“Wei”，“year”：“2020”}、{“key”：”20240404200320031163400_ocad256-B21“，”“author:”Taylor“，”年份：“2022”}，{“key”：“2024040320031163400_ocad256-B22”，“author”：“Brown”，“year”：“2020”}5“，”author“：”Shi“，”year“：”2023“}，”{“key”：“2024040320031163400_ocad256-B26”，“author“：”Wang“，”year“：”2022“}，{“issue”：“21”，“key”：“2024040320031163400_ocad256-B27”，“doi-asserted-by”：“crossref”，“first page”：”5463“，”doi“：”10.1158\/0008-5472.CAN-19-0579“，”article-title“：”使用自然语言处理从电子病历中提取临床癌症表型“，”volume“：”79“，“author”：“Savova”，”year:“2019”，“journal-title“：”Cancer Res“}，{”issue“：”9“，”key“：”2024040320031163400_ocad256-B28“，”doi-asserted-by“：”crossref“，”first page“：“977”，”doi“：”10.1001\/jamapediatrics.2023.2373“，”article-title”：“大型语言模型在新生儿委员会考试练习题上的表现”，“volume”：“177”，“author”：“Beam”，“year”：“2023”，“journal-title”JAMA Pediatr“}，{”issue“：”8“，”key“：”2024040320031163400_ocad256-B29“，”doi-asserted-by“：”crossref“，”first page“：“e233105”，”doi“：”10.1001\/jamanetworkopen.2023.31205“，”article-title“：”来自人工智能语音助手的外行CPR指令的质量“，”volume“:”6“，”author“：”Murk“，“year”：“2023”，“journal-title”：“JAMA Netw Open”}，}“”key“：“2024040320031163400_ocad256-B30”，“author”：“Nori”，“year”：“2023”}，{“key”：“2044032003113400_ocad256-B31”，“author”:“Guevara”，“年份”：“2020”}]，“container-title”：[“Journal of the American Medical Informatics Association”]，“原始标题”：[]，“language”：“en”，“link”：[{“URL”：“https:\/\/actical.oup.com/jamia\/advance-article-pdf\/doi\/10.1093\/jamia\\ocad256\/57148492\/ocad256.pdf“，”content-type“：”application\/pdf“、”content-version“：”vor“、”intended-application“：”syndication“}，{”URL“：”https:\//advance-aarticle-pfdf\/doi\/10.1093\/jamia \/ocad256\/57148492 \/ocad256.pdf“，”内容类型“：”unspecified“，”content-version“：”vor“，”intended-application“：”similarity-checking“}]，”deposed“：{”date-parts“：[2024,4,3]]，”date-time“：”2024-04-03T20:03:40Z“，”timestamp“：171217462000}，”score“：1，”resource“：”{“primary”：{“URL”：“https:\/\/cademicial.oup.com/jamia\/article\/31\/440\/7585396”}}，“subtittle”：[]，“短标题”：[]，”已发布“：{”date-parts“：[[2024,1,22]]}，“references-count”：31，“journal-issue”：{“issue”：“4”，“published-on-line”：{“date-part”：[[2024,1,222]}，”published-print“：{”date-part斯“：[2024,4,3]}、“URL”：“http://\/dx.doi.org\/101093\/jamia\/ocad256”，“relationship”：{}；“ISSN”：[“1067-5027”，“1527-974X”]，“ISSN-type”：[{“value”：“1067-5027”，“type”:“print”}，{“value”：“1527-94X”，“键入“：”电子“}]，“主题”：[]，“published-other”：{“date-parts”：[[2024,4,1]]}，“publish”：{“date-parts”：[[2024,1,22]]}}