Sprints、Hackathons和Codefests的计算生物学社区驱动开发

摘要

背景

计算生物学包含广泛的技术和方法。如果贡献数据或提供解释工具的个人能够找到相互理解和共识，那么可以将多种技术结合起来，创建更强大的工作流。为了确定和实施最佳方法，需要进行大量对话和联合调查。

传统上，科学会议以展示新技术或见解的讲座为特色，随后在咖啡休息时间进行非正式讨论。在多机构合作中，为了就实施细节达成一致，或者为了在技术和实践技能方面传递更深入的见解，一个团队的代表通常会访问另一个团队。然而，当技术或研究小组数量很大时，这并不能很好地扩展。

针对这一问题，会议推出了“羽毛鸟”（BoF）会议，为具有共同利益的个人提供了加强互动的机会。然而，平行的BoF会议往往使参与者很难加入多个BoF并在不同的技术之间找到共同点，而且BoF通常太短，无法让参与者有时间一起编程。

结果

本报告总结了我们在计算生物学Codefests、黑客马拉松和Sprints方面的经验，这些都是交互式开发人员会议。它们的结构旨在通过加强同行之间的互动，并让参与者决定日程和主题，来减少上述传统科学会议的局限性。这些会议通常在至少两天内以松散安排的“不一致意见”（自组织确定与会者和会议主题）的形式进行，提前进行介绍性会谈，欢迎和组织贡献者，然后是密集的协作编码会议。我们总结了这些会议的一些突出成就，并描述了这些会议在组织方式、受众定位以及与各自社区的联系方面的差异。

结论

黑客马拉松、Codefests和Sprints共享一种刺激的氛围，鼓励参与者在自我驱动的积极主动的环境中共同集思广益，解决共同感兴趣的问题，并为新参与者参与合作项目提供机会。

背景

Sprints、Hackathons和Codefests都是非正式软件开发人员会议的名称，在开源社区中尤其流行。这些会议通常与更传统的会议松散地结合在一起，是从事生物信息学和计算生物学的软件开发人员之间国际交互网络的重要组成部分，并补充了纯粹的在线交互，如项目邮件列表、在线聊天、网络论坛、，语音和视频通话。

20多年来，软件的协作开发在生物信息学中占有重要地位。利用和构建现有的开源软件是一种将新思想和方法快速实现到可靠工作代码中的强大方法。在一个科学团体面临越来越大的压力，要比以往任何时候都更快、更便宜地取得成果，这对这个世界都有帮助。每个人面临的挑战是了解特定所需功能的现有实现及其与本地基础设施的兼容性。从战略上讲，了解外部维护库的其他贡献者是有益的，并确保贡献者以最佳的未来兼容方式和尽可能少的冗余与其余代码集成。

本文总结了三种相关类型会议的活动和背景：冲刺、黑客马拉松和Codefests。这些共享的目标是促进协作交互和信任，以允许计算生物学和生物信息学开发人员之间的相互依赖。尽管这些会议有着共同的特点，但每一项活动都有其独特的倾向和社区特色。

方法

黑客马拉松

专注于将密切相关项目的现有开发人员聚集在一起，以加快开发，同时鼓励项目间的凝聚力.

已经举办了一系列生物黑客马拉松（BioHackathons）（“生物激励代码黑客马拉松”的缩写）。生物黑客马拉松[1–三]被组织为邀请活动，旨在鼓励参与者就特定主题进行合作。这种灵活性认识到，事后来看，最有成效的结果/想法并非总是事先可预测的，而是在BioHackathons期间自组织的协作工作中产生的，当时来自不同领域的开发人员花了一周时间在一起讨论和编码。

2002年和2003年最初的BioHackathons主要致力于处理Bio*项目中的序列数据的互操作性。BioPerl、BioJava、Biopython和BioRuby小组共同开发了通用序列对象模型、BioSQL数据库和Web服务的API。这确保了基本的生物信息功能在这四个编程工具包之间是兼容的。第一次BioHackathon导致了BioPerl的出版[4].

代码测试

将广泛的开发人员聚集在一起，寻找新的协作点，鼓励集成并衍生新项目.

生物信息学开放源代码会议（BOSC）由开放生物信息学基金会生物*项目成员于2000年成立，是展示新项目和进展的国际场所，也是全球开发者亲自会面的国际场所。从那时起，在最受欢迎的生物信息学会议之一的年度分子生物学智能系统会议（ISMB）之前，BOSC每年都会作为一个特别利益集团（SIG）会议举行。自2010年以来，BOSC年度会议还包括为期两天的非正式BOSC Codefest，通常吸引了25至50名参与者。面对面会议是对传统在线分布式团队合作的宝贵补充，可以进行更深入的讨论，并在BOSC会议中建立社会联系。

30多名开发商参加了由柏林洪堡大学主办的BOSC 2013 Codefest。与会者完成的项目包括扩展几个现有的开源工具，开发起源跟踪标准，集成基础设施管理、可视化和并行化框架[5]. 一个关键成果是提高了工具之间的互操作性，这是在快速发展的研究领域进行大规模科学研究的基本要求[6]. BOSC 2013 Codefest的具体成就包括Biopython和Cloud Bio-Linux项目的小更新，以及将HPC作业管理器SLURM集成到iPython群集的工作。Scala是在同一JVM环境中运行的Java的替代语言。在2013年的Codefest中，Scala SCABIO代码被集成到了BioJava中，开发人员共同努力，以确保结果得到干净、无冗余的实现。

BioRuby小组开发了一个新项目，使程序员能够为BaseSpace开发Web应用程序[http://basespace.illumina.com]Illumina提供的云解决方案，用户可以将各种分析工具应用于下一代测序（NGS）数据。在2013年Codefest期间，对BaseSpace SDK的Ruby版本进行了测试、记录并完成，以作为开放源代码包发布。最近，在Illumina的一位参与者的帮助下，BaseSpace Ruby SDK与Python、Java和R版本一起作为官方工具包之一贡献给了Illuminia。

莫比尔[5]修改为使用W3C PROV-O提供产地数据[6]并与EDAM本体集成[7]用于描述其服务。合成生物学开放语言视觉标准[8]已被正式化为本体，2013年的Codefest汇集了语义Web工程师，他们就如何在本体中建模概念的可视化表示进行了咨询。

有时，在Codefest上，现有技术被淘汰，取而代之的是新技术。在过去的八年里，RNAmmer一直是预测基因组中核糖体RNA特征的标准工具。它的缺点是依赖于小而旧的数据库；需要过时版本的HMMER；并且有限制性的许可条款，阻止作者以外的任何人发布改进的代码。为了解决原核生物的这些问题，实现了一种新的rRNA预测器，该预测器使用HMMER 3.1中的新“nhmmer”工具来搜索DNA序列的DNA图谱。这导致了Barrnap的发展[http://www.vicbioinformatics.com/software.barrnap.shtml]，将封装在Bio-Linux中，并在Prokka细菌注释系统中替换RNAmmer[9]. 问题的识别、技术解决方案及其在更大工作流中的直接应用需要几个人共同合作，以就方法达成一致，并开始所需的编码——这是Codefest和类似事件促成的一种交互。

冲刺

专注于单个总体项目或技术挑战，为现有开发人员提供会议，以及让新项目成员参与和指导的方式.

当Linux作为一个自由操作系统浮出水面时，它很快被包括许多生物信息学开发人员在内的研究社区所采用。这一点，以及主要国际生物数据库中开放数据的精神[10]，导致了为Linux开发的大量软件，并以自由/开放许可证发布。例如，开源Bio*项目，最突出的是BioPerl[4]、生物爪哇[11]、生物蟒蛇[12]和BioRuby[13,14]，起源于14年前，是一个社区项目，提供广泛使用的图书馆，用于构建生物信息学工具、管道和一次性分析脚本。这种情况也导致了生物信息学软件开发人员和他们使用的社区支持的Linux发行版之间的天然联盟。

为了帮助促进软件的再分配、通用性和相互兼容性，Debian Linux项目启动了Debcamp事件，这是Debian会议之前的一次黑客会议。Debcamp是一种“非一致性”，即人们单独或团队就特定主题进行会面和工作的会议。同样，Debian Med倡议成立于2001年[15]自2011年以来，Debian Sprint作为年度会议举行。

Debian Med公司[16]和生物Linux[17]为向更广泛的社区分发软件工具及其更新提供必要的基础设施。这是通过在这些较大的工具存储库中打包和分发工具来实现的。云生物Linux社区反过来进一步增强了分发，为云基础设施上的生物信息学量身定制[18]. Sprint有助于整合这些工作。

2013年Debian Sprint邀请投稿人加入BOINC[19]Debian是一个分布式计算项目，我们发现Debian的二进制文件可以直接在跨Linux发行版的BOINC项目中使用，这些二进制文件是为多个不同的体系结构自动编译的。再加上为BOINC服务器端提供软件包的持续努力，这将有助于增加生物组的计算时间可用性，例如对于具有新型受体寻址蛋白质对接的生化学家[20]. 这是Sprints和类似活动中跨学科协作活动产生积极成果的一个很好的例子。

单个软件包的集成可以触发多个其他软件工具的集合打包在一起，以完成该领域的通用工作流。例如，GenomeTools软件套件的移植[21]2012年，Debian Med Sprint不仅将大量已发布和建立的序列分析工具集成到Debian中，还为将来包含依赖于相关GenomeTools库的软件包铺平了道路，例如ParsEval[22]或LTRsift[23]或者PredictProtein的财富[24]. 这强调了Sprints作为社区内协同效应的有力推动者的作用。

结果

让20多名才华横溢、积极进取、志同道合的个人一起工作两天或更长时间，可能会产生极大的成效，并对发展社区产生重大影响。参加这些合作会议的每个人都会带来自己的技术、科学和社会优势。这些开发人员会议允许不同专业知识库之间的技能交叉授粉。这些活动可以围绕任何具有足够大用户群的主题组织。它们结合了个性化培训、社交网络和技术贡献，为新的科学发现铺平了道路。结果包括真实的软件解决方案、文档和未来开发里程碑的联合通信。

本文中描述的每一个事件都有自己的文化和组织。日本生物黑客马拉松比赛是最长的，每次为期一周，而这一系列也是运行时间最长、资金最多的，支持国际参与者的旅行。它已经出版了几本期刊。值得注意的是，Debian Med Sprints将“上游”开发人员（直接从事科学自由软件项目）、“下游”科学用户和开发人员（从事Debian Med衍生发行版）以及核心和潜在的Debian Med成员聚集在一起。这个异构的小组允许更有效的技能交流和更广泛的主题。每个人都可以用自己独特的优势进行权衡，同时让团队中的其他人关注自己的特殊兴趣和优势。

讨论

由于遍布全球的开放源码软件开发人员已经通过分布式源代码存储库、邮件列表、聊天和其他方式进行在线交流，因此亲自会面的时间和费用似乎是一种浪费。然而，物理会议为生产力带来了优势，包括暂时避免日常工作职责，以及有机会从本地需求之外看到软件和基础设施问题。此外，亲自会面可以暂时解决跨时区协作的问题。这对澳大拉西亚的投稿人与欧洲人或美国人进行沟通尤其重要，因为在那里，像电话会议这样的实时互动必须经常安排在正常办公时间之外，任何通过电子邮件进行的对话都可能需要几天的时间。亲自会面也有助于建立人际关系，并可以激励与会者跟进他们可能无法解决的问题。大多数人对与自己共事过的人比对那些从未见过的人更有联系感和承诺感。它支持的项目实际上取决于参与者的地球物理分布，例如OpenDataDay[http://opendataday.org]网络也有职业优势[25].

还有其他框架鼓励互动，例如代码夏季的概念（例如由谷歌或欧洲航天局运行），将远程协作与最后的峰会相结合。我们在这里讨论的活动的许多贡献者（如果不是大多数的话）也是谷歌代码之夏的导师，并发现它是对自我组织的活动的补充——就像为研究人员的利益提供额外资源一样，如果参加峰会，这是一个深入研究个人专业领域以外的机会[26]. 这里描述的事件集中于科学和更容易获得技术，以一种对每个人都开放的激烈方式（图1). 这突出了Sprints对项目活动的直接影响，无论是在提交的补丁数量方面，还是在社交方面，在邮件列表上分发的电子邮件数量方面（图2).

图1

学术交流形式.科学家最常见的会面机会是由他们对创新和发展的驱动力（Y轴）和持续时间（X轴）分开的，前者是作者之间的主观共识。Sprint、Codefests和Hackathons主要关注联合新开发、新科学问题的专业知识转让、基础设施的分配以及贡献者之间的信任网络。较长的课程，如《代码之夏》（Summer of Code），长期以来结合了多种类型的互动，不同的是，参与者可能被分配不同的特定角色，比如作为导师和学习者.

图2

每个人上传到Debian Med的次数.图来自 http://blends.debian.net/liststats网站/指示具有上传权限的团队成员的活动。人们清楚地看到，自2011年初第一次Sprint以来，其广度有所增加。.

随着合成生物学的出现，可以观察到的一个重大变化是，工程师和计算机科学家正在构建和使用工具来完成过去由生物学家手动执行的任务，例如克隆实验的规划。我们需要学会解决并吸引这些邻近社区共同开发和共享开放源代码基础设施，以避免被封闭源代码解决方案排挤。合成生物学领域的软件解决方案和用户数量尚未达到临界值，开源与商业实体之间的相互作用尚未建立。2013年BOSC Codefest[27]帮助建立了生物信息学和合成生物学社区之间的第一次联系，并有望促成各领域之间的有益交流。

不仅学术或研究机构使用开源工具或框架。开源工具广泛用于商业研究和商业服务提供商，他们围绕开源组件构建产品和服务。这两类公司都有兴趣提高他们使用的开源软件的质量。黑客马拉松和Codefests为这些改进提供了一个机会，同时与原始开发人员会面，向他们学习，并为他们提供关于未来需求的指导。

BOSC Codefest和Debian Med Sprint作为为期两天的会议比为期一周的黑客马拉松更受限制。因此，参与者在小组内接受培训或自我教育的时间更少，或者在会议本身中从事更大的项目的时间更少。在这里，谷歌代码夏令营（GoogleSummerofCode）有一个优势，它有长达数月的个性化培训。更大、更长期的合作项目可以持续下去，参与者可以在可用性方面做出重大承诺，也可以从外部资金和同行激励中受益。本文中描述的小型活动需要较小的前期承诺，以便大多数潜在参与者都能抽出时间参加，并且也需要少量预算，因此不需要富有的赞助商。

小公司参与开源黑客马拉松或Codefest的动机通常基于这样的期望，即参与将对公司产品的认知产生积极影响，并预期会有更多销售-无论他们是积极参与还是仅仅赞助活动。在内部使用开放源码产品的大型研究公司可能只想参与活动，前提是活动将开发功能并修复缺陷，从而提高公司的内部生产力，从而节省运营成本。使用开放源代码工具的服务或产品提供商可能只想参与，前提是结果是改进了工具或功能集，然后他们可以围绕这些工具或功能为自己的客户构建商业产品，或者使用它们来改进自己的内部流程并减少开销。为了吸引商业合作伙伴的更多参与，黑客马拉松和Codefests必须包括由这些合作伙伴的要求驱动的一定数量的应用研究，并愿意将其开发工作引导到能够产生商业价值的方向。这可能不会引起纯粹学术研究背景的参与者的共鸣，因为商业要求的优先级要低得多，但获得外部赞助至关重要。对于计算生物学，由于序列数据的历史自由性，底层基础设施大多是开源的。然而，在应用程序方面，例如，为了组装和优化工作流[28]可以是代表性的，也可以是以用户为中心的设计[29]，广泛分布的工具的许可不受关注。

结论

参加黑客马拉松、Codefest或Sprint对参与者和更大的社区来说都是一次非常有益的体验。这些非正式、互动的会议在开源技术的发展中发挥了重要的历史作用，现在正使生物信息学界受益。在这些活动中，不同年龄和经验水平的开发人员相互交流。除了联合解决问题的工作外，这些活动还可以鼓励新的贡献者浮出水面。亲身训练和经验交流，无论是主动还是被动，都是赛事的核心特征。

最后，我们可以举出在所描述的开发人员会议期间进行的软件开发和错误修复的具体示例，在某些情况下，还可以举出这些会议产生的出版物。然而，它们的真正价值在社区本身、新的和加强的协作以及思想和最佳实践的传播（无论是科学的还是软件开发的）形式上都不那么直接可见。