跳到主要内容

原创研究文章

前面。神经信息。2023年7月24日
本文是研究主题的一部分 浏览公平数据共享和重用的前景:存储库、标准和资源 查看全部13篇文章

NeuroBridge本体:可计算的起源元数据,为神经成像数据的长尾提供公平的二次使用机会

  • 1美国俄亥俄州克利夫兰凯斯西储大学
  • 2美国俄亥俄州哥伦布俄亥俄州立大学韦克斯纳医学中心精神病学和行为健康系
  • 美国加利福尼亚州洛杉矶南加州大学
  • 4印度班加罗尔BMS工程学院
  • 5美国北卡罗来纳大学教堂山分校

背景:尽管神经科学界做出了努力,但仍有许多已发表的神经影像学研究的数据尚未公布可找到的可接近的。用户在以下方面面临重大挑战重复使用由于缺乏来源元数据,如实验方案、研究工具和研究参与者的详细信息,因此需要神经影像数据,这也是互操作性。为了实现神经成像数据的FAIR准则,我们开发了一个迭代本体工程过程,并使用它创建NeuroBridge本体。NeuroBridge本体是一个源项的可计算模型,用于实现FAIR原则,并且与国际上使用本体术语注释全文文章的努力一起,该本体使用户能够定位相关的神经成像数据集。

方法:基于我们之前在元数据建模方面的工作,并结合代表性语料库的初始注释,我们对诊断术语(例如精神分裂症、酒精使用障碍)、磁共振成像(MRI)扫描类型(T1加权、任务型等)、临床症状评估(PANSS、AUDIT)、,以及各种其他评估。我们使用注释团队的反馈来识别缺失的元数据术语,这些术语被添加到NeuroBridge本体中,我们重新构建了本体,以支持第二组独立注释器对神经影像文章语料库的最终注释,以及神经影像数据集的NeuroBridge搜索门户的功能。

结果:NeuroBridge本体包含660个类,49个属性,3200个公理。本体包括到现有本体的映射,使NeuroBridge本体能够与其他特定领域的术语系统互操作。使用本体论,我们注释了186篇神经成像全文文章,描述了参与者类型、扫描、临床和认知评估。

结论:NeuroBridge本体是第一个可计算的元数据模型,它代表了精神分裂症和药物使用障碍研究中最近的神经成像研究中可用的数据类型;它可以根据需要进行扩展,以包含更细粒度的术语。该元数据本体有望形成计算基础,以帮助两位研究者使其数据符合公平原则,并支持用户进行可重复的神经成像研究。

1.简介

利用meta分析和mega分析涉及复制和再现的可再现科学对神经影像研究的进展至关重要(Dinov等人,2010年;Poldrack等人,2017年;Kennedy等人,2019年). 如果原始数据和相关的来源元数据可供其他研究人员使用,则通过对原始实验的交替分析或符合数据的新分析对研究进行重新分析相对容易(Sahoo等人,2019年;Huber等人,2020年). 精心设计的大型和荟萃分析需要确定使用与原始研究相似或等效的实验方法和受试者的研究;因此,描述这种上下文信息的出处元数据对于识别和利用现有研究中的数据进行严格复制至关重要。2014年采用的可查找、可访问、可互操作和可重用(FAIR)指导原则旨在促进有用数据集的可发现性和可访问性(Wilkinson等人,2016年). 然而,具体实施公平原则一直是一项关键挑战(Musen等人,2022年)尤其是神经影像数据库和存储库[国家心理健康数据档案研究所(NDA),2023年]通常储存在筒仓中,对公平原则的支持有限。

例如,美国国立卫生研究院(NIH)不同部门支持的神经影像数据存储库缺乏描述数据集的元数据信息的通用术语和表示格式[国家心理健康数据档案研究所(NDA),2023年]. 同样,每年在世界各地数百个实验室收集的大量神经影像数据集仅在期刊出版物中描述,无法通过有组织的数据管理系统访问(Sejnowski等人,2014年). 这些未充分利用的数据形成了“科学的长尾”(Ferguson等人,2014年;2017年,法国)要找到这些数据集,需要通过手动审查论文来提取研究的来源元数据,对相关神经影像学研究的已发表文献进行冗长的搜索。元数据术语描述了研究中使用的结构和方法,例如研究招募的参与者的概况(例如精神分裂症患者、可卡因使用者及其家庭成员),收集的神经影像数据类型[例如T1加权成像、任务型功能磁共振成像(fMRI)],以及研究中使用的临床和认知评估工具(如SAPS/SANS、RAVLT、AUDIT)。

PubMed和谷歌学者搜索功能允许用户查找与感兴趣的神经成像问题相关的论文;然而,结果并没有分析实验设计、收集数据的形式和数据共享状态等研究元数据。这些现有的搜索引擎是使用复杂的人工智能方法进行穷举搜索以找到相关结果的强大工具;然而,由于缺乏对公平原则的支持,用户很难找到具有可访问研究数据的相关论文。为了解决这一局限性,我们正在开发NeuroBridge数据发现平台,作为NIH资助的计算神经科学合作研究(CRCNS)项目的一部分,作为神经成像研究人员与文献中发表的相关数据之间的桥梁。NeuroBridge平台旨在识别、索引和分析PubMed Central存储库中可用的神经成像文章中的来源元数据信息,并将特定研究映射到与研究假设相关的用户查询。NeuroBridge平台及其多组件和源在本研究主题的配套论文中进行了更详细的描述(Wang等人,正在审查中). 为了支持数据搜索平台的可计算元数据建模,我们基于神经成像领域的FAIR准则开发了NeuroBridge本体。

1.1. 实施FAIR原则的标准化来源

公平原则得到了包括NIH、个人研究人员和数据管理员在内的资助机构的广泛支持,以促进开放科学并最大限度地提高现有资源的可重用性。然而,最近的研究指出,缺乏标准化的元数据模型,这些元数据模型可供特定领域的用户用于实现FAIR原则并使其数据集与FAIR兼容(Musen等人,2022年). 研究人员很难:(1)列举理解生成数据集的实验细节所必需的相关元数据术语,这将确保数据集可以作为元分析或新研究的一部分重用;以及(2)以机器可解释的标准格式编码相关元数据项。在我们早期在癫痫和睡眠障碍等神经疾病数据共享领域的工作中,我们开发了一个元数据框架,将与研究研究相关的来源元数据分为以下三类:学习仪器,研究数据、和研究方法(称为S3模型)作为临床和健康研究起源(ProvCaRe)项目的一部分(Sahoo等人,2019). S3模型建立在许多现有的以再现性为重点的元数据指南之上,如报告试验综合标准(CONSORT)指南(Schulz等人,2010年)《研究中的动物:报告》在体内实验(ARRIVE)指南(Kilkenny等人,2010年)以及问题/人口、干预、比较、结果和时间(PICOT)模型(Richardson等人,1995年)除其他指南外。

S3模型被形式化为一种可计算、机器可解释的格式,称为ProvCaRe本体,它扩展了万维网联盟(W3C)PROV规范,以表示生物医学领域的起源元数据。PROV规范是作为跨域互操作性的标准源模型开发的,广泛用于支持各种应用中的FAIR指南(Richardson等人,1995年;Poldrack和Gorgolewski,2014年). PROV本体使用基于描述逻辑的Web本体语言(OWL)将PROV术语形式化,该语言具有内置的可扩展性特征,用于为广泛的生物医学领域创建ProvCaRe本体。NeuroBridge本体建立在相同的PROV规范之上,它专注于神经成像领域,以支持实验数据的共享和二次使用。

1.2. 相关工作和NeuroBridge项目

长期以来,人们一直认识到数据共享在神经影像学研究中的重要性,并多次努力将描述神经影像数据集的术语标准化(Poldrack和Gorgolewski,2014年). 我们参与或开发了多个项目,以规范这些术语的各个方面,例如神经科学信息框架(NIF)项目中的神经解剖概念(Imam等人,2012年)认知过程和测量(CogAtlas)项目(Turner等人,2011年),功能神经成像中使用的行为实验的细节(认知范式本体)(Turner和Laird,2012年)和神经影像数据分析(NIDM本体)(Maumet等人,2016年). 尽管这些先前的项目包括与神经成像研究所涉及的各个方面相关的模型术语,但它们缺乏适当粒度的出处元数据术语来描述所使用的临床或认知仪器、收集的神经成像数据类型以及有关研究参与者组的信息。NeuroBridge本体论解决了神经成像研究的这一空白。

NeuroBridge平台总体上建立在我们在SchizConnect项目中所做工作的基础上,该项目旨在访问多个机构的神经成像数据库(Wang等人,2016年). SchizConnect项目允许研究人员查询与他们关于精神分裂症的研究假设相关的数据集,例如,查询数据集,包括诊断为精神分裂症、男性、35岁以上、在3T扫描仪上进行静息状态fMRI扫描的个人。为了响应此用户查询,SchizConnect平台将与平台索引的不同研究中的查询条件匹配的数据返回给用户,以供下载和分析。SchizConnect平台的开发包括创建一个术语,这是描述神经成像数据集的一个可用术语子集,用户和人脑映射组织(OHBM)数据分析和共享最佳实践委员会(COBIDAS)分别向其报告fMRI研究数据库(Turner等人,2015年). SchizConnect术语包括描述可用研究中所包含的不同类型精神分裂症组的术语、成像类型、扫描仪信息以及SchizConnect数据库中的其他伴随临床、认知或行为数据。

NeuroBridge项目旨在推广和扩展SchizConnect平台,以开发一个数据发现系统,该系统可以在神经成像研究人员的需求和科学文献中的相关数据之间架起桥梁。已发表的描述神经影像学研究的文章和这些研究产生的数据集是研究人员的重要资源。NeuroBridge平台旨在从这些文章中自动提取出处元数据术语,并使用这些术语识别与用户研究问题高度相关的数据集。在本文中,我们描述了一个新的迭代本体工程过程,该过程是为了创建NeuroBridge本体而开发和实现的,该本体支持:(1)描述神经成像研究的全文文章的细粒度注释;(2) 描述神经影像学研究的实验设计细节的术语的自动解析和索引;和(3)交互式用户查询,以定位与研究术语匹配的实验研究(图1). 研究论文的自动解析和索引以及交互式用户查询需要开发机器学习算法和web应用资源以及NeuroBridge本体,因此,它们不在本文的范围内,将在配套论文中进行描述(Wang等人,正在审查中). 本文其余部分的结构如下:在“2”部分。材料和方法”,我们描述了用于文本注释的NeuroBridge本体开发过程的核心组件;在“3。结果:“我们描述了由此产生的神经影像元数据本体及其在已发表文献注释中的使用;以及第“4节。讨论和结论:“我们讨论了NeuroBridge本体工程过程的更广泛影响、本体的术语及其在神经成像研究中的应用。

图1
网址:www.frontiersin.org

图1。概述在NeuroBridge项目中开发的新本体工程工作流,以创建用于神经成像实验的FAIR起源本体。NeuroBridge本体基于ProvCaRe S3元数据框架,以支持FAIR原则,并用于对从PubMed Central存储库检索到的全文文章进行注释。

2.材料和方法

本体工程过程的第一阶段涉及定义本体的范围,以支持神经成像领域的FAIR指南。鉴于缺乏现有的神经影像元数据建模社区标准,我们借鉴了SchizConnect项目中数据集共享工作的经验(例如,课题组、神经影像模式、认知和临床评估),并将其扩展到使用神经成像研究描述药物滥用障碍研究的当前文献。

在第二阶段,元数据术语被分为研究数据、工具和方法的三个ProvCaRe S3模型类别。这些元数据术语在NeuroBridge本体中进行了协作建模,随后用于注释描述神经成像实验的全文文章,作为本体工程过程第三阶段的一部分。在最后阶段,元数据注释阶段的反馈用于评估NeuroBridge本体,然后进行广泛的重组和扩展,以满足神经成像数据集的FAIR指南。图1是对本项目中开发的新本体工程过程的概述,该过程用于为神经成像实验建模可计算源元数据。

2.1. 描述神经成像实验的文档语料库

我们通过使用以下短语查询PubMed Central存储库中2017年至2020年间发表的论文,创建了一个文档语料库,其中包含描述精神分裂症相关研究产生的潜在fMRI数据集的文章:

问题1:(“功能性神经影像学”[mh])(“精神分裂症”[mh])NOT(荟萃分析[pt]或综述[pt])NON(荟萃研究[ti]或综述[ti])

同样,以下查询对上述查询进行了扩展,重点关注药物滥用方面:

问题2:(“功能性神经影像学”[mh])(“物质相关疾病”[mh])NOT(荟萃分析[pt]或综述[pt])NON(荟萃研究[ti]或综述[ti])

第一个查询表达式生成了一个包含255篇文章的语料库,而第二个查询表达式则生成了200篇文章。我们从每个查询结果中选择了100篇文章来手动处理并使用源元数据术语对其进行注释。在注释阶段,我们删除了与神经成像领域相关的综述、荟萃分析或定位论文,最终在文档语料库中统计出186篇文章。该语料库包括通过SchizConnect提供的精神病数据集上发表的一些论文,但所有药物滥用论文,以及大多数精神分裂症论文都不属于SchizConnect项目的一部分。

2.2. 在NeuroBridge本体中建模神经影像元数据术语

W3C PROV规范支持多个应用程序的源元数据建模,包括如何生成数据集以实现其有意义的使用(二次使用)、再现性和确保数据质量的描述(Lebo等人,2013年). 为了实现这些目标,PROV模型包括prov:实体,可以是物理的或数字的(例如,fMRI图像),prov:活动对实体(例如成像协议)的创建或修改过程进行建模,以及prov:代理,负责某项活动(例如,研究参与者)。除了这些术语外,PROV规范还包括可用于表示详细出处元数据的关系,例如实验研究prov:已使用语言功能的神经认知测试[我们参考PROV规范了解更多细节(莫罗和米西耶,2013年)]. PROV本体使用OWL表达式标准化了这些源元数据术语和关系。PROV本体在ProvCaRe本体中进行了扩展,以标准化S3模型(Sahoo等人,2019年).

尽管ProvCaRe本体对与生物医学健康领域相关的核心来源元数据术语进行了建模,但本体并没有在神经成像实验所需的粒度级别上对术语进行建模。因此,NeuroBridge本体重构并扩展了ProvCaRe本体,重点关注神经成像实验和广泛的神经科学研究。我们的方法基于本体工程最佳实践,以重用和扩展特定领域应用的现有本体(博登瑞德和史蒂文斯,2006年). 在本体工程过程的初始阶段,我们回顾了许多现有的神经成像术语,以确定适合包含在NeuroBridge本体中的术语。首先,我们回顾了SchizConnect术语表,其中描述了:(1)人口统计学(例如,爱丁堡库存量表中的社会经济地位和惯用手量表问题等);(2) 精神病理学症状(如卡尔加里抑郁量表和青年躁狂评定量表);(3) 锥体外系症状(如异常非自愿运动量表);(4) 功能能力(例如运动技能史);和(5)医疗状况(例如,精神障碍诊断统计手册SCID的结构化临床访谈)(斯皮策等人,1990年). 这五类SchizConnect术语被建模为NeuroBridge本体中不同等级量表的子类型(图2显示了表示这些术语的本体类层次结构的屏幕截图)。

图2
网址:www.frontiersin.org

图2。NeuroBridge本体论对之前SchizConnect项目中收集的各种术语进行建模,以描述与精神分裂症相关的研究。

下一步,我们回顾了神经成像数据模型实验(NIDM-E)本体,该本体旨在描述神经科学数据集的不同模式,包括来自医学数字成像与通信(DICOM)和脑成像数据结构(BIDS)规范的术语(Gorgolewski等人,2016年). 我们专注于映射NIDM-E本体术语,描述用于生成神经成像数据的方法及其在NeuroBridge本体中的应用。这一过程通过与NIDM-E团队成员的协作会议来促进,以协调两个本体之间的术语重用和映射。除了NIDM-E本体,我们还使用国家生物医学本体中心(NCBO)BioPortal资源在NeuroBridge本体和现有本体之间创建映射,如放射词典(RadLex)、医学临床术语系统命名法(SNOMED CT)、,以及国家药物滥用研究所共同数据要素。NIDA临床试验网络(CTN)推荐的CDE是国家癌症研究所数据标准库(caDSR)的一部分,该数据库是使用元数据注册标准(ISO/IEC 11179)创建的(国立卫生研究院,2023年).

在本体工程过程的第一阶段结束时,NeuroBridge本体具有描述神经成像研究的起源元数据术语的广泛表示。为了评估NeuroBridge本体的覆盖率,我们将其用于文档语料库中全文文章的手动注释。

2.3. 使用源元数据术语进行文本注释的两步过程

在下一阶段,我们实现了一个两步文本注释过程,该过程旨在可重复的,可用于在论文中标注新的元数据特征,以及可扩展的它可以定制为更广泛的神经科学文章中描述的实验研究的注释。第一次“草案扩展”通过的标志是文本注释成员和本体工程团队之间的广泛合作。这一过程的目标是识别论文注释所需的元数据术语,但它们在本体的第一个版本中缺失。

这一阶段是使用各种在线工具实现的,包括电子表格和使用Google Drive分发的文档语料库中已发表文章的共享副本。有两个主要的工作区:第一个工作区作为电子表格实现,列出了注释团队成员对特定文档的分配(每个文档两个注释器),其中记录了引文、文档链接、基本书目数据以及与注释过程相关的注释,例如注释器之间关于元数据注释的协议。由于冠状病毒大流行,注释小组成员通过电话会议进行远程培训。最初的注释员团队由合著者JAT培训,以找到需要注释的论文的相关部分。

在这个培训阶段完成后,注释团队(至少有两名成员)被分配注释文章。第二个工作区包含注释团队成员所做的注释,该电子表格的每一行对应于已审阅的文章,元数据注释列在列中。这两个工作区都是由注释团队所有成员修改的活动文档。

注释团队成员专注于论文的标题、摘要和方法部分。他们的目标是通过四类来源元数据来确定每一篇文章的可用或需要标签:

1受试者群体:这包括疾病类型(例如精神分裂症、药物滥用)以及对照组(确定为“未知疾病”)(如果文章中存在)。

2研究中使用的成像方法:例如,静息状态或基于任务的功能成像,以及T1加权成像。

三。研究中收集的行为数据例如,症状严重程度标准化量表、认知电池、个性评估。此外,还确定并注释了独特的非标准量表以及诸如药物状态或特定认知实验数据等测量。

4.数据和资源共享.标记项目是否有正式的数据共享声明。

第二个工作区用于记录与本文中特定文本部分相关联的上述四类起源元数据注释。此工作区中的其他列用于记录注释团队成员之间关于元数据术语类别的协议。注释器还使用此工作区记录无法映射到适当本体术语的元数据术语。本体中的这些缺失术语以及与本体类结构相关的反馈被本体工程团队用作反馈,以修订NeuroBridge本体。

2.4. 使用文本注释反馈修改NeuroBridge本体

作为本体工程和文本注释紧密耦合循环的一部分,本体工程团队同意不删除现有的本体术语,以保持与已用于注释文章的元数据术语的向后兼容性。然而,在本体的扩展版本最终确定后,可以修改注释。来自注释阶段的反馈识别了所有四类出处元数据中的缺失术语,主题群,成像方法,行为评估、和数据共享策略描述。

在受试者组类别中,本体工程团队(合著者、SSS、JAT和LW)审查了建模方法,以表示患有特定疾病的受试者的未受影响家庭成员样本与“健康对照”之间的差异。我们已经确定“健康对照组”在任何给定的研究中,可能以一致的方式对研究进行定义,也可能不一致;因此,这些术语被注释为一组“无已知障碍”(对应的本体术语神经桥:未知障碍被建模为的子类神经桥:临床发现). 这种建模方法使我们能够表示这些参与者没有相同研究中其他样本所特有的特定障碍的信息,但不能保证他们没有其他障碍。值得注意的是,在具有遗传风险的疾病中,受影响个体的亲属具有特殊的利益。然而,我们将此起源信息的建模推迟到下一版本的本体,因为它需要对一组新的文章进行注释,以描述受试者的家庭成员是否包括在“未知障碍”组中,以及家谱的复杂性(兄弟姐妹、父母和多代人,以及其他术语)。如果家庭成员没有被报告被诊断出患有任何疾病,注释指出,该研究收集了“未知疾病”的受试群体。

在用主题组元数据术语注释文章时,一个特殊的挑战是需要对NeuroBridge本体中描述符的修改属性进行建模。例如,诊断标签是不够的,因为越来越多的论文明确包括第一次精神病发作的受试者与慢性精神分裂症受试者,以及研究受试者的未服药或未服药状态。此外,物质使用研究中的一个重要区别不仅是所使用物质的类型,而且是“当前使用状态”;例如,区分“当前戒断的用户”、“当前依赖的用户”和“成瘾者的孩子”是很重要的。在NeuroBridge本体论中,我们通过标签的连词表示这些,“未用药和精神分裂症”、“目前戒断”和“当前正在使用”(图3).

图3
网址:www.frontiersin.org

图3。根据注释阶段的反馈,在扩展的NeuroBridge本体中添加了额外的神经成像元数据术语。

类似地,我们向NeuroBridge本体添加了新类,以区分成像协议和成像协议收集的数据的成像模式。在本体类的模态和协议分支中,有描述结构和功能成像类型的通用术语,包括基于任务和静止状态的fMRI。注释团队在文章语料库中确定了30个独特的术语来描述fMRI任务。其中九个术语已在CogPO中建模,并已包含在NeuroBridge本体中。图4A显示了描述成像协议的本体类,这些协议与成像模式分开建模。此外,NeuroBridge本体论被扩展为描述临床症状评估、诊断访谈和神经心理学(认知)测试的模型术语。然而,在物质使用障碍文献中,有一项研究工作侧重于冲动与成瘾行为的关系,以及情绪调节或开放性或其他人格特征的测量。我们在人格评估本体中创建了一个初始分支,以捕获这些度量。评级量表的子集如所示图4B显示(从左上角开始)AUDIT量表,作为酒精使用量表的一个示例,酒精使用量卡是一种物质使用量表;物质渴求量表是一个单独的分支。在这种观点中,神经认知量表并没有扩大,但包括了各种认知电池。Barratt冲量标度(未显示在图4)将是一个冲动量表类,作为人格评估的一个子类(顶部)。抑郁症严重程度的临床评级(最右侧)是精神状态评估的示例,与主要用于诊断的量表(建模为精神健康诊断量表类别的子类)不同。

图4
网址:www.frontiersin.org

图4。扩展的NeuroBridge本体类结构(A)成像协议,以及(B)用于描述神经影像学实验研究的评分量表元数据术语。

2.5. 文档语料库的最终注释阶段

在第一次注释通过语料库以及对本体的扩展(如上所述)之后,第二次注释有两个目标:(a)生成描述神经成像实验的高质量手动注释文本,随后用于训练来自变形金刚(BERT)深度学习模型的双向编码器表示(Devlin等人,2019年;Wang等人,2022年); 和(b)验证NeuroBridge本体的元数据术语覆盖率。

为了实现这两个目标,一组独立的注释器使用开端文本注释工具,用于确认电子表格中最初标记的注释可以用于注释文本(Klie等人,2018年). Inception工具允许用户选择文本跨度(单个单词或短语),然后将这些跨度连接到本体中的术语。我们在本次注释过程中使用了NeuroBridge本体的修订版本(我们注意到本体的结构在本次注释过程中保持不变)。注释团队成员由训练有素的注释人员和一名策展人组成。馆长在注释过程中起着监督作用,特别是有权在注释过程中行使单方面决定。馆长审查了注释员的工作,解决了联合注释中的差异,并审查了所有注释,在确保语料库中术语用法和应用的一致性方面发挥了重要作用。

注释者和策展人的角色被分开,第一次注释传递中的一个注释者现在担任策展人,并为此注释传递招募了新的注释团队成员。注释过程通过以下步骤实现:在步骤1中,一对注释者被分配给一篇文章。注释者从第一次通过时就可以访问电子表格中的注释,这提醒他们每一篇文章中是否存在预期的元数据标签。在第2步中,每个注释器分别审查分配的文章,并使用第一阶段的注释作为指导应用最终的元数据注释。主管审查了本阶段发现的任何问题。注释者选择了表示描述神经成像实验的元数据术语的文本跨度,并将其标记为与本体术语的适当链接(图5).

图5
网址:www.frontiersin.org

图5。注释团队成员在审查期间确定了文章中的文本跨度,并将术语映射到NeuroBridge本体类。

在每两位解说员将他们的作品标记为完成后,论文由馆长审阅。Inception软件有一个每个文档的管理员视图,可以直接比较每个指定注释器的工作。当注解者完全同意时,馆长可以简单地将注解标记为正确或不正确。当注释者不同意时,馆长可以决定如何解决最终文件中的任何分歧。最初,馆长是注释主管。然而,在这一点上,一些来自前一关的资深解说员已经掌握了足够的技能;因此,他们被指定为这一阶段的馆长。这使得志愿者注释员能够从事不同类别的注释任务,他们在源元数据方面获得了丰富的经验和知识。

对《盗梦空间》中所做的注释计算了编者间协议;最初使用在线电子表格的工作要求注释器成对工作,以确定本体扩展所需的术语,因此协议没有意义。《盗梦空间》将科恩的kappa计算为注释者之间的成对一致性度量,范围为0.75-1.0(平均值0.92)。我们将Inception工具中带注释的文本语料库导出为WebAnno TSV 3.x版文件(此NeuroBridge资源1).

3.结果

本文实现的新迭代本体工程过程产生了NeuroBridge本体的第一个发布版本,由660多个类和3200个公理组成,代表了各种神经成像实验相关的起源元数据。本体类表达式利用40多个OWL对象属性和类级限制来表示本研究注释阶段使用的四类元数据信息。使用Protégé内置FaCT++推理器对本体进行评估,该推理器使用包含推理和可满足性对概念进行分类,以识别不正确的包含(Tsarkov和Horrocks,2006年). 推理器跨类、对象属性和数据属性层次结构以及类和对象属性断言计算的标准推理结果没有发现本体中的任何错误。NeuroBridge本体在国家生物医学本体研究中心(NCBO)生物门户网站上提供https://bioportal.bioontology.org/ontologies/NEUROBRG(生物门户网站).

3.1. 用于注释文档语料库的起源元数据术语

文档语料库中的186篇文章包含带有153个唯一元数据术语的注释。注释团队使用元数据术语来标记研究方法文本、主题组、成像技术和其他数据。注释过程确保了前三个类别中的每一个类别都至少有一个来源元数据术语,这使得每篇文章的概念数量最少为三个,前提是没有关于招聘的其他认知或行为数据或信息,使用遗留数据时可能会发生这种情况。表1显示了每篇论文的元数据注释(包括在不同文本块上重复相同注释)和每篇论文不同元数据术语的数量。考虑到多种成像数据类型、多种可能的课题组和广泛的评估,研究描述中注释的概念数量可能会有显著差异,如表1.

表1
网址:www.frontiersin.org

表1。纸张注释的描述性统计信息。

相反,引用每个概念的论文数量在1篇到整个语料库之间;中位数和平均数每个概念的论文分别为3篇和12.54篇,代表了概念论文的偏态分布。该语料库中最常见的概念如下所示表2正如预期的那样,除了一些使用遗留数据且未给出详细信息的论文外,几乎所有研究都包含了后研究方法和招募方案,这是最常见的课题组(神经桥:未知障碍)以及最常见的成像技术(神经桥:功能磁共振成像神经桥:T1加权成像). 这些论文中描述的疾病包括神经桥:精神分裂症,说明其通用性;但物质使用障碍更为多样化神经桥:酒精滥用神经桥:CocaineBuse是最常见的元数据术语。

表2
网址:www.frontiersin.org

表2。至少10篇论文中提到的概念,以及它们的一般超类和引用它们的论文数量。

令人惊讶的是,在我们最近发表的186篇论文的语料库中,只有22%的文章有明确的数据共享和访问声明,尽管人们越来越关注生物医学研究不同领域的数据共享。这一统计数据清楚地突显了使神经成像数据可查找和可访问的挑战。

3.2. 在NeuroBridge用户门户中使用本体

除了用于全文文章的注释外,NeuroBridge本体也被纳入NeuroBridge平台中使用。NeuroBridge平台允许用户使用本体术语和逻辑连接词(如AND、OR)组合搜索查询。使用OWL推理自动扩展查询表达式,以包括所选本体术语的相关子类,并且此扩展查询表达式用于搜索与查询约束匹配的神经成像实验研究(Hitzler等人,2009年). 有关平台的更多详细信息,请参阅本期研究主题中的NeuroBridge论文(Wang等人,《审查中》).

4.讨论和结论

NeuroBridge本体将从SchizConnect、NI-DM、CogPO和CogAtlas等神经影像数据共享项目中获得的经验与ProvCaRe项目的S3框架相结合。这种组合扩展了ProvCaRe和以前的术语,以捕捉生物医学研究多个领域的重要特征。这使NeuroBridge成为注释神经成像文献时互操作性的支柱。通过将物质使用障碍论文纳入本研究的语料库,我们确认S3框架和SchizConnect基本术语足以捕获精神健康不同子领域中神经成像研究的元数据信息。然而,本体中建模的每种不同类别的元数据术语都可以进一步扩展,以建模描述其主题招募和数据收集方法的其他研究元数据。

描述MRI技术的元数据术语在心理健康研究和186篇功能成像论文中相似,其中84篇使用基于任务的成像,其余102篇(55%)使用静息状态方法。在基于任务的神经成像中,这些论文中的任务数量惊人地有限。文本中并不总是指定任务名称:例如,在15篇论文中使用了气球模拟风险任务(BART)或货币激励延迟任务,在另外9篇论文中采用了线索反应范式的变体,在另外7篇论文中则使用了停止信号任务。在两篇论文中使用了自然主义观点,另外还有24个任务,如现实监控、节奏连续添加或视觉透视,在语料库中各使用一次。十几篇论文没有在文本中包含明确命名或可识别的成像范式。该语料库的未来扩展计划扩展任务范式的表示,并在文本中注释任务的描述。这将允许文本挖掘的自动化方法基于类似的任务描述对论文进行分组,并识别将添加到本体中的潜在任务标签。

本语料库研究中使用的评分量表和问卷涵盖了广泛的主题。我们没有为注释过程中确定的每个比例创建标签。在本体论中,我们根据更高层次的使用对量表进行分类,如症状严重程度分级、人格量表、社会功能量表和渴求量表等。这并不是神经影像学研究元数据独有的挑战性问题,因为每个领域都有自己的临床和认知工具,并且不断开发新的评估和量表。NIH CDE通过用标准术语表示通用变量,代表了使数据更具互操作性的努力。NIMH国家数据档案(NDA)包含来自NIMH资助的多个实验研究设计和受试群体的高度多样性研究的数据,所有这些研究都标有CDE术语。我们探索了使用NDA的CDE,并将其与论文中确定的术语进行匹配,并将它们纳入本体,因为数据档案是最新研究技术的代表。但这种方法有几个显著的挑战,例如CDE没有标准化的结构,可以建模为可计算的元数据项。CDE术语描述了基于提交研究的具体问题。这可能导致特异性效应,例如,阳性症状评估量表(SAPS)的术语仅定义为SAPS的正式思维障碍症状严重程度部分,与帕金森病的精神结果相关,而不是定义为量表本身。这些标准化方面的局限性和缺乏结构使得NIH CDE无法在本体中建模。

我们注意到,这项研究成功地证明了国际协调的元数据注释过程的实施,以及跨多个幼稚团队的神经成像论文的在线注释工作。团队是从美国和印度的几个本科生项目招募来的,学生们为研究学分或在某些情况下为暑期津贴工作。使用当前的分布式访问工具,可以跨团队、专业水平和时区进行交互。

4.1. 基于本体的数据访问及NeuroBridge本体的应用

在大型语料库中搜索相关信息是一项挑战,如果目标是查询文章中描述的信息,则此任务将更加困难。在这种情况下,查询词和文本中的词很难精确匹配;因此,在知识表示和语义Web社区中,以本体形式表示的深层域知识被认为是处理非结构化文本的有效方法。我们方法的主要贡献是在NeuroBridge对已发表文章的搜索中使用了NeuroBridge本体。NeuroBridge搜索功能旨在使用机器学习技术和本体来支持查询,而不仅仅是简单的语法和基于语法的术语匹配;它被设计为使用多面本体结构来执行特定领域的搜索。这捕获了数据引用的细微差别,而不受任何特定语法结构的约束。

NeuroBridge本体和NeuroBridge平台不同于传统系统,例如基于本体的数据访问(OBDA)(也称为本体中介或基于本体的查询应答)(OMQA/OBQA)(Kock-Schoppenhauer等人,2017年;Xiao等人,2018;Corcho等人,2020年;Franco等人,2020年;潘科夫斯基,2021年),主要基于关系数据库,可以跨单个数据库,也可以跨具有相关模式的联邦数据库。NeuroBridge模型可以被视为与OBDA系统倡导的映射相反。在我们的方法中,我们将本体视为在数据库模式中提供实体,并将这些本体结构映射到已发表文章中的句子或句子组。这种反向映射允许我们在文章中找到对感兴趣的数据集的引用。通过对相关句子结构进行识别的人工注释阶段,促进了从文章到本体的反向映射。这些手动注释的示例用于训练机器学习(ML)模型,以识别类似的映射[在我们的配套文件中描述(Wang等人,正在审查中)].

4.2. 限制

这项研究的一个关键限制是使用了时间密集型本体工程过程,这使得将NeuroBridge本体扩展到包括心脏或脊柱成像研究,甚至脑肿瘤扫描等其他领域具有挑战性。这将需要实现新的扩展方法来在本体中添加新的术语。如上所述,我们并没有明确地对所有已发布的评估进行建模,目前实施的主题组模型也没有涵盖所有可能性。我们还没有为神经成像研究的所有可能细节建模,例如成像协议参数、质量保证步骤、数据处理和分析阶段及其许多参数,以及统计结果或其解释。例如,此版本的本体不支持使用特定MRI平台机器搜索特定样本大小的数据集,也不支持用户根据其结论进行查询(例如,搜索用于支持特定假设的数据集)。

本体论中神经成像行为任务的表示不包括认知范式本体论(CogPO)方法,该方法侧重于描述刺激的选择、给受试者的指示以及受试者到目前为止预期做出的反应(Turner和Laird,2012年). CogPO方法将更加详细,例如,在要求相同类型任务但使用不同刺激的研究之间,或在对同一任务使用不同名称的研究之间可以消除歧义。这种详细程度被认为超出了本体论第一个版本的范围;因此,它将成为本体论未来扩展的一部分。

5.结论

本项目的目标是将元数据注释应用于已发表的人类神经成像研究的文献中,尽管这些研究本身可能没有通过符合FAIR的方法共享其数据集。本研究的目标是满足通过NeuroBridge本体使神经影像元数据可计算的重要要求,这将使神经影像数据符合FAIR指南。在NeuroBridge门户中使用本体进行文本注释和支持用户查询,将使我们能够识别并向用户展示相关的神经成像论文,并在必要时请求研究作者访问,以便重复使用实验数据。为了找到使用类似方法并可聚合用于新分析的神经成像数据集,NeuroBridge本体论解决了当前领域中缺少的本体论,即描述了神经成像研究用于收集数据的方法。NeuroBridge本体可在网址:https://neurobridges.org/和在BioPortal中(Musen等人,2012年). 语料库将在NeuroBridge网站上提供,供社区重新使用(见文本脚注1)。NeuroBridge平台已提交给rrids.org网站用于考虑研究资源标识符。

数据可用性声明

本研究中提供的原始资料可公开获取。NeuroBridge本体数据可通过NCBO Bioportal获取https://bioportal.bioontology.org/ontologies/NEUROBRG(生物门户网站)注释文本将通过https://github.com/NeuroBridge/Annotation-Project/releases.

作者贡献

SS、LW、MT和JT对研究进行了概念化和设计。JT、MT、AA和YW开发了注释过程,涉及元数据术语的识别及其在神经成像文章注释中的使用,并由HL输入。SS、LW和JT使用JA、AA、HL、AR、MT和YW的输入修改和开发了本体。JT、MT和SS共同撰写了手稿的初稿。所有作者都参与了手稿的修订,阅读并批准了提交的手稿版本。

基金

本手稿中所述的工作由NIDA拨款R01 DA053028“CRCNS:NeuroBridge:Connecting big data for replicable clinical neuroscience”、NSF网络基础设施办公室OCI-1247652、OCI-1247702和OCI-124663拨款资助,“BIGDATA:中等规模:ESCE:DCM:协作研究:DataBridge–长尾科学数据收集的社会计量系统”,由NSF IIS信息和智能系统部授予编号#1649397“EAGER:DBfN:神经科学数据桥:神经科学数据发现的新方式”,NIMH授予U01 MH097435,“SchizConnect:大型精神分裂症神经影像数据调解和联合”,NSF拨款1636893 SP0037646,“BD轮辐:SPOKE:MIDWEST:协作:高级计算神经科学网络(ACNN)。”

致谢

我们要感谢来自乔治亚州立大学的以下学生在初始注释方面所做的工作,以及来自印度BMS工程学院的以下学生对最终注释过程所做的贡献:来自GSU、Jordan Guffie、Caroline Soares Iizuka、Inara Jawed、Shrusti Joshi、Akhila Madichetty、Grace Marcus、Sumeet Singh、,和毗湿那维·韦兰斯基;来自BMS工程学院的Ananya Markande、Ojasvi Bhasin、Shiraksha M、Swarna Kedia和Vaishnavi Haritwal。

利益冲突

作者声明,该研究是在没有任何可能被解释为潜在利益冲突的商业或金融关系的情况下进行的。

出版商的笔记

本文中表达的所有主张仅为作者的主张,不一定代表其附属组织的主张,也不一定代表出版商、编辑和审稿人的主张。任何可能在本文中进行评估的产品,或制造商可能提出的索赔,都不受出版商的保证或认可。

脚注

  1. ^ https://github.com/NeuroBridge/Annotation-Project/releases网站

工具书类

Bodenreider,O.和Stevens,R.(2006年)。生物ontologies:当前趋势和未来方向。简介。生物信息。7, 256–274. doi:10.1093/bib/bbl027

PubMed摘要|CrossRef全文|谷歌学者

Corcho,O.、Priyatna,F.和Chaves-Fraga,D.(2020年)。面向新一代基于本体的数据访问。塞芒。网状物11, 153–160. doi:10.3233/SW-190384

CrossRef全文|谷歌学者

Devlin,J.、Chang,M.W.、Lee,K.和Toutanova,K.(2019年)。伯特:深度双向变形金刚的语言理解预训练。arXiv公司[预印本]arXiv:181004805。

谷歌学者

Dinov,I.、Lozev,K.、Petrosyan,P.、Liu,Z.、Eggert,P.和Pierce,J.等人(2010年)。使用LONI管道的神经影像研究设计、计算分析和数据来源。公共科学图书馆一号5:e13070。doi:10.1371/journal.pone.0013070

PubMed摘要|CrossRef全文|谷歌学者

Ferguson,A.R.、Nielson,J.L.、Cragin,M.H.、Bandrowski,A.E.和Marton,M.E.(2014)。小数据中的大数据:神经科学“长尾巴”中的数据共享。自然神经科学。17:1442. doi:10.1038/nn.3838

PubMed摘要|CrossRef全文|谷歌学者

Franco,W.、Avila,C.V.A.O.S.、Maia,G.、Brayner,A.、Vidal,V.M.P.、Carvalho,F.等人(2020年)。《基于本体的知识库问答系统:一项调查》第22届企业信息系统国际会议论文集,(Setübal:SCITEPRESS数字图书馆)。doi:10.5220/0009392205320539

CrossRef全文|谷歌学者

Frégnac,Y.(2017)。大数据与神经科学产业化:理解大脑的安全路线图?科学类358, 470–477. doi:10.1126/science.aan8866

PubMed摘要|CrossRef全文|谷歌学者

Gorgolewski,K.J.、Auer,T.、Calhoun,V.D.、Craddock,R.C.、Das,S.、Duff,E.P.等人(2016年)。脑成像数据结构,一种用于组织和描述神经成像实验输出的格式。科学。数据3, 1–9. doi:10.1038/sdata.2016.44

PubMed摘要|CrossRef全文|谷歌学者

Hitzler,P.、Krötzsch,M.、Parsia,B.、Patel Schneider,P.F.和Rudolph,S.(2009年)。OWL2网络本体语言入门。马萨诸塞州剑桥:万维网联盟W3C。

谷歌学者

Huber,S.P.、Zoupanos,S.、Uhrin,M.、Talirz,L.、Kahle,L.和Häuselmann,R.等人(2020年)。AiiDA 1.0是一个可扩展的计算基础设施,用于自动化可复制工作流和数据来源。科学。数据7:300. doi:10.1038/s41597-020-00638-4

PubMed摘要|CrossRef全文|谷歌学者

Imam,F.T.、Larson,S.D.、Bandrowski,A.、Grethe,J.S.、Gupta,A.和Marton,M.E.(2012年)。神经科学信息框架内本体的开发和使用:一种实用方法。前面。基因。3:111. doi:10.3389/fgene.2012.0111

PubMed摘要|CrossRef全文|谷歌学者

Kennedy,D.N.,Abraham,S.A.,Bates,J.F.,Crowley,A.,Ghosh,S.,Gillespie,T.等人(2019年)。一切都很重要:ReproNim对可再生神经成像的观点。前面。神经信息。13:1. doi:10.3389/fninf.2019.00001

PubMed摘要|CrossRef全文|谷歌学者

Kilkenny,C.、Browne,W.J.、Cuthill,I.C.、Emerson,M.和Altman,D.G.(2010年)。改进生物科学研究报告:ARRIVE动物研究报告指南。《公共科学图书馆·生物》。8:e1000412。doi:10.1371/journal.pbio.1000412

PubMed摘要|CrossRef全文|谷歌学者

Klie,J.C.、Bugert,M.、Boulosa,B.、de Castilho,R.E.和Gurevych,I.(2018年)。《inception平台:机器辅助和面向知识的交互式注释》第27届计算语言学国际会议论文集:系统演示(新墨西哥州圣菲:计算语言学协会)。

谷歌学者

Kock-Schoppenhauer,A.K.、Kamann,C.、Ulrich,H.、Duhm-Harbeck,P.和Ingenerf,J.(2017)。通过临床研究中基于本体的数据访问链接数据应用程序。健康技术研究。通知。235, 131–135.

谷歌学者

Lebo,T.、Sahoo,S.S.和McGuinness,D.(2013年)。PROV-O:PROV本体论。马萨诸塞州剑桥:万维网联盟。

谷歌学者

Maumet,C.、Auer,T.、Bowring,A.、Chen,G.、Das,S.、Flandin,G.等人(2016年)。与神经成像数据模型共享大脑映射统计结果。科学。数据3:160102. doi:10.1038/sdata.2016.102

PubMed摘要|CrossRef全文|谷歌学者

Moreau,L.和Missier,P.(2013)。PROV数据模型(PROV-DM)。马萨诸塞州剑桥:万维网联盟W3C。

谷歌学者

Musen,M.A.、Noy,N.F.、Shah,N.H.、Whetzel,P.L.、Chute,C.G.、Story,M.A等人(2012年)。国家生物医学本体中心。《美国医学杂志》。协会。19, 190–195. doi:10.1136/amijnl-2011-000523

PubMed摘要|CrossRef全文|谷歌学者

Musen,M.A.、O'Connor,M.J.、Schultes,E.、Martínez-Romero,M.、Hardi,J.和Graybeal,J.(2022)。将元数据的社区标准建模为模板可以使数据公平。科学。数据9:696. doi:10.1038/s41597-022-01815-3

PubMed摘要|CrossRef全文|谷歌学者

美国国立卫生研究院(2023)。NIH CDE存储库。网址:https://cde.nlm.nih.gov/home网站(2023年6月30日访问)。

谷歌学者

Pankowski,T.(2021)。在基于本体的数据访问系统中建模和查询数据。Procedia计算。科学。192, 497–506. doi:10.1016/j.procs.2021.08.051

CrossRef全文|谷歌学者

Poldrack,R.A.和Gorgolewski,K.J.(2014)。开放大数据:神经成像中的数据共享。自然神经科学。17, 1510–1517. doi:10.1038/nn.3818

PubMed摘要|CrossRef全文|谷歌学者

Poldrack,R.A.、Baker,C.I.、Durnez,J.、Gorgolewski,K.J.、Matthews,P.M.、Munafó,M.R.等人(2017年)。扫视地平线:走向透明和可复制的神经成像研究。Nat Rev.神经科学。18, 115–126. doi:10.1038/nrn.2016.67

PubMed摘要|CrossRef全文|谷歌学者

Richardson,W.S.、Wilson,M.C.、Nishikawa,J.和Hayward,R.S.(1995)。构建良好的临床问题:循证决策的关键。ACP J.俱乐部123,A12–A13。doi:10.7326/ACPJC-1995-123-3-A12

CrossRef全文|谷歌学者

Sahoo,S.S.、Valdez,J.、Kim,M.、Rueschman,M.和Redline,S.(2019年)。ProvCaRe:使用语义来源元数据表征生物医学研究的科学再现性。国际医学杂志。121, 10–18. doi:10.1016/j.ijmedinf.2018.10.009

PubMed摘要|CrossRef全文|谷歌学者

Schulz,K.F.、Altman,D.G.、Moher,D.和Consort Group(2010年)。CONSORT 2010声明:更新了平行组随机试验报告指南。临床杂志。流行病。63, 834–840. doi:10.1016/j.clinepi.2010.02.005

PubMed摘要|CrossRef全文|谷歌学者

Sejnowski,T.J.、Churchland,P.S.和Movshon,J.A.(2014)。在神经科学中充分利用大数据。自然神经科学。17, 1440–1441. doi:10.1038/nn.3839

PubMed摘要|CrossRef全文|谷歌学者

Spitzer,R.L.、Williams,J.B.、Gibbon,M.和First,M.B.(1990年)。DSM-III-R:SCID结构化临床访谈用户指南。华盛顿特区:美国精神病学协会。

谷歌学者

国家心理健康数据档案研究所(NDA)(2023年)。在线获取地址:https://data-archive.nimh.nih.gov/(2023年6月30日访问)。

谷歌学者

Tsarkov,D.和Horrocks,I.(2006年)。FaCT++描述逻辑推理器:系统描述。自动推理。柏林:施普林格-柏林-海德堡。

谷歌学者

Turner,J.A.和Laird,A.R.(2012年)。认知范式本体论:设计与应用。神经信息学10, 57–66. doi:10.1007/s12021-011-9126-x

PubMed摘要|CrossRef全文|谷歌学者

Turner,J.A.、Frishkoff,G.和Laird,A.R.(2011)。“fMRI和ERP之间的本体协调:CogPO和NEMO”,in神经科学学会第41届年会论文集华盛顿特区。

谷歌学者

特纳,J.A.、帕斯克雷洛,D.、特纳,M.D.、基托,D.B.、阿尔伯特,K.、金,M.等人(2015)。协调多个临床神经成像研究库的术语开发。数据集成。生命科学。9162, 104–117. doi:10.1007/978-3-319-21843-48

PubMed摘要|CrossRef全文|谷歌学者

Wang,L.,Alpert,K.I.,Calhoun,V.D.,Cobia,D.J.,Keator,D.B.,King,M.D.等人(2016年)。SchizConnect:调解精神分裂症和相关疾病的神经影像数据库以实现大规模整合。神经成像124(第B部分),1155-1167。doi:10.1016/j.neuroimage.2015.06.065

PubMed摘要|CrossRef全文|谷歌学者

Wang,L.、Ambite,J.L.、Appaji,A.M.、Bijsterbosch,J.、Dockès,J.和Herrick,R.等人(审查中)。NeuroBridge:一个发现长尾神经成像数据的原型平台。前面。神经信息。

谷歌学者

Wang,X.,Wang,Y.,Ambite,J.-L.,Appaji,A.,Lander,H.,Moore,S.等人(2022年)。“通过FAIR数据管理实现科学再现性:NeuroBridge项目中的本体论驱动的深度学习方法”AMIA年度研讨会论文集,华盛顿特区。

PubMed摘要|谷歌学者

Wilkinson,M.D.、Dumonier,M.、Aalbersberg,I.J.、Appleton,G.、Axton,M.和Baak,A.等人(2016年)。科学数据管理和管理的公平指导原则。科学。数据3:160018.

谷歌学者

Xiao,G.、Calvanee,D.、Kontchakov,R.、Lembo,D.、Poggi,A.、Rosati,R.等人(2018年)。“基于本体的数据访问:一项调查”,in27次国际人工智能联合会议记录斯德哥尔摩,5511-5519。doi:10.24963/ijcai.2018/777

CrossRef全文|谷歌学者

关键词:FAIR神经成像数据、可计算源元数据、NeuroBridge本体、本体文本注释、W3C PROV本体

引用:Sahoo SS、Turner医学博士、Wang L、Ambite JL、Appaji A、Rajasekar A、Lander HM、Wang Y和Turner JA(2023)《神经桥本体论:可计算起源元数据》,为神经成像数据的长尾提供了公平的二次使用机会。前面。神经信息。17:1216443. doi:10.3389/fninf.2023.1216443

收到:2023年5月3日;认可的:2023年7月5日;
出版:2023年7月24日。

编辑:

Maaike M.H.Van Swieten先生荷兰综合癌症中心

审核人:

拉斐尔·马丁内斯·托马斯西班牙国立远程教育大学
安妮塔·班德罗斯基美国加州大学圣地亚哥分校

版权©2023 Sahoo、Turner、Wang、Ambite、Appaji、Rajasekar、Lander、WangandTurner。这是一篇根据知识共享署名许可证(CC BY)。允许在其他论坛上使用、分发或复制,前提是原创作者和版权所有人得到了认可,并且根据公认的学术惯例引用了本期刊的原始出版物。不允许使用、分发或复制不符合这些条款的内容。

*通信:杰西卡·特纳,jessica.turner@osumc.edu

免责声明:本文中表达的所有主张仅为作者和不一定代表其附属组织,或出版商、编辑和审稿人的意见。任何符合以下条件的产品可以在本文中进行评估,也可以由其出版商不保证或认可制造商。