作者
Liberty A.Walton、Brandie K.Taylor、Larry S.Solomon、Stuart Z.Shapiro和Angela Malaspina
摘要
美国国立卫生研究院的国家过敏症和传染病研究所（NIAID）使用多种方法支持科学研究。NIAID最近部署的一种方法是大规模、高资源的“大科学”方法。这种方法允许政府资助和管理需要多个学科投入的大型复杂问题的研究。NIAID使用该方法支持HIV/AIDS疫苗免疫学和免疫原发现中心（CHAVI-ID）。CHAVI-ID的资金将于2019财年结束，届时NIAID将支持CHAVI项目的第三次迭代。为此，NIAID支持进行全面的项目评估，以评估CHAVI相关的结果，并确定项目改进的领域。这项评估还旨在了解CHAVI的“大科学”方法在艾滋病毒疫苗研究的更大领域中的价值。这张海报说明了过程和结果评估方法、关键研究结果以及优势和局限性。
评估目的
- 评估项目成果
- 确定改进计划实施和设计的领域
- 了解这一大规模项目在更大的艾滋病毒疫苗研究领域的影响
感兴趣的领域
- 计划改进领域
- 迄今为止该计划的科学成果
- 该项目对艾滋病毒疫苗领域的影响
- 未来计划倡议的重点
- 大型项目对推进项目目标的作用
- 发展基础设施和知识库，以帮助维持或扩大疫苗领域
- 项目科学家与疫苗领域其他研究人员的合作
程序逻辑模型
逻辑模型的活动部分强调了CHAVI/CHAVI-ID的关键活动，包括三个主要重点领域（https://www.niaid.nih.gov/about/assessment-chavi-id)
学分：
NIAID公司
方法
- 投资组合分析
- 包括文献计量分析、网络分析、其他成果数据分析（例如专利、后续NIH资助、初级人员的成就）和内容分析
- 数据来源包括NIH内部数据库（如IMPAC II）、iCite、NIH ExPORTER&RePORTER、PubMed、SPIRES、USPTO数据库、Web of Science和CrossRef
- 访谈
- 8名美国国立卫生研究院项目工作人员参与CHAVI/CHAVI-ID拨款监督
- 8名目前或之前隶属于CHAVI/CHAVI-ID的非联邦雇员
- 3名HIV疫苗主题专家
- 平均54分钟的采访
比较组
比较组的赠款选择依据：赠款活动代码、初始项目资助年份、支持NIAID分支机构、赠款和子项目数量、早期研究者和新研究者主要研究者的赠款百分比，以及产品开发路径中每个类别的资金百分比。此外，如果研究人员与CHAVI/CHAVI-ID相关，则将其排除在对照组之外。
- R01 HIV疫苗：收集与艾滋病毒疫苗相关的NIH R01赠款资金，这些资金不是合作的、共同设立的或共同资助的。
- 传统R01资助与大科学资助的比较
- 确定大科学对结果度量的影响（例如生产力）
- P01 HIV疫苗：由NIH P01赠款资助的艾滋病毒疫苗相关研究的联合、组织或综合项目（即，不由大型科学机制资助）。
- 考虑到大科学方法之外的共存和自然协作
- 确定大科学机制的独特效应（例如合作）
- 疟疾疫苗：美国国家卫生研究院（NIH）在非HIV疫苗相关领域的拨款（如R、P、U）集合，该领域尚未获得大量科学资助。
- 两个不同疫苗研究领域大科学方法与传统资助的比较
- 确定大科学方法对疫苗研究更大领域的独特影响
出版生产力
| 组 |
CHAVI/CHAVI-ID |
R01 HIV疫苗 |
P01艾滋病疫苗 |
疟疾疫苗 |
| #独特出版物 |
817 |
300 |
149 |
150 |
| 平均出版成本 |
$539,373 |
$235,597 |
$417,974 |
$239,266 |
| 每1000万美元的出版物 |
18.5 |
42.4 |
23.9 |
41.8 |
| 每份出版物的影响系数（平均值） |
10.1 |
8.9 |
8.8 |
5.5 |
| 每份出版物的影响系数（中位数） |
5.2 |
4.6 |
4.9 |
3.5 |
| 相对引用率（RCR-平均值） |
3.20 |
2.07 |
2.23 |
1.61 |
| RCR（中位数） |
1.70 |
0.92 |
0.94 |
1.23 |
热门HIV疫苗研究文章
该图表显示了2005年至2016年100篇HIV疫苗研究文章的发布趋势。（完整标题https://www.niaid.nih.gov/about/assessment-chavi-id网址)
学分：
NIAID公司
初级调查员的成功
| 公制 |
CHAVI/CHAVI-ID |
R01 HIV疫苗 |
P01 HIV疫苗 |
疟疾疫苗 |
| 初级人员 |
481 |
187 |
162 |
86 |
| 任何授权特定出版物 |
269 (56%) |
104 (56%) |
57 (35%) |
43 (50%) |
| 首次发布的平均时间 |
3.4年 |
2.7年 |
2.8年 |
3.3年 |
| 人均出版物（在有出版物的人群中）（中位数） |
4 |
2 |
2 |
2 |
| 获得后续NIH资助的初级研究员 |
31 (6.4%) |
6 (3.2%) |
10 (6.2%) |
3 (3.5%) |
限制
- 各组之间的资金水平差异
- 指标仅占NIAID资金
- 小组之间的重叠（即在其他拨款上合作）
- 文献计量学方法用于评估出版质量，但存在局限性。例如，影响因子可能不一定表示期刊中单个文章的影响。
- 面试结果可能无法概括
- 访谈参与者由NIAID选定，大多数目前或之前隶属于CHAVI/CHAVI-ID
未来考虑因素
- 继续提供灵活的融资机制
- 保持当前的项目结构；考虑微小的变化
- 与CHAVI/CHAVI-ID以外的HIV疫苗研究人员接触
- 保持当前项目重点的平衡，但转向发展活动，超越广泛中和抗体
- 继续与艾滋病毒疫苗研究领域共享资源
- 为制造挑战做好准备
- 维持初级调查员的参与；关注合作机会
联系信息
niaid评估2@niaid.nih.gov
致谢
DAIDS员工；Ripple Effect通信公司。
根据合同HHSN272201600016I，这项工作全部或部分由NIAID的联邦资金资助。
2018年美国评估协会年会海报
- Walton，L.、Taylor，B.、Solomon，L.，Shapiro，S.和Malaspina，A.（2018年10月）。国家过敏和传染病研究所HIV/AIDS疫苗免疫学和免疫原设计中心的评估。在AEA年会俄亥俄州克利夫兰。
