一个模型来统治所有人:为科学创建机器学习基础模型

Flatiron Institute计算数学家鲁本·奥哈纳(Ruben Ohana)正在Polymathic AI团队中工作,以创建基础模型,帮助科学家解决从气候预测到天体物理学的一系列问题。

计算数学家Ruben Ohana。

在这个人工智能时代,机器学习常常被视为解决我们技术难题的灵丹妙药。机器学习程序可以帮助我们导航,找到一个有趣的电视节目来观看,甚至完成我们的作业。在科学领域,机器学习长期以来发挥着关键作用,它可以完成从星系分类到识别遗传疾病到合成新材料的所有工作。但现在,科学家们正在寻求将机器学习应用提高到另一个水平。

在Flatiron Institute,Ruben Ohana是Polymathic AI团队的一员,该团队旨在创建可用于从流体动力学到太阳系演化等广泛科学问题的超大机器学习模型。这项工作可以使分析一开始几乎没有数据的重大科学问题变得更加容易。

在以研究员身份加入Flatiron Institute’s Center for Computational Mathematics(CCM)之前,Ohana在巴黎高等师范学院获得了机器学习博士学位。在此之前,他在巴黎ESPCI获得了物理工程学位,埃科尔标准高等学院凝聚态物质硕士学位,索邦大学统计学硕士学位。

奥哈纳最近向西蒙斯基金会讲述了他的工作及其应用。为了篇幅和清晰度,对对话进行了编辑。

你能告诉我你的工作以及你目前关注的是什么吗?

我的工作是应用机器学习。我在这个广阔的领域研究了许多不同的主题,但我主要专注于优化,这就是我们如何训练机器学习模型以更快地学习。我是熨斗研究所一项名为Polymathic AI的倡议的一部分,我们正在那里建立大型模型,有点类似于ChatGPT等机器学习模型,但目的是帮助解决科学中的问题。通常,机器学习模型很小,只能解决他们所训练的特定问题。希望通过放大模型使其变得越来越大,这是现代机器学习的当前趋势,我们可以制作一个超大规模的模型,能够解决来自不同来源的许多任务。

你希望用这个模型解决什么样的问题?

目前,我们主要关注天体物理学和流体动力学方面的问题。其目标是能够预测流体(无论是水射流还是太阳耀斑的预测)将如何及时演化。

最终,我们希望有一个能够在所谓的低数据制度中很好地工作的模型。这是一个科学家可能没有太多数据可供开始研究的领域或问题。我们的想法是,我们将从特定的问题开始,然后一旦模型在这些问题上得到训练,它将能够推断并适用于最初可能没有那么多数据的不同情况。

这个模型可以帮助解决什么样的现实世界问题?

我们希望该模型对任何基于物理的时间序列数据都有用,这些数据显示了系统的演化。这可以是天体物理学、流体动力学或任何其他基于物理定律的动力学。一些具体的例子是气候建模或重建太阳系的演化。例如,我们有关于行星围绕恒星的大小和运动的数据集,希望这个模型可以用来计算系统是如何随时间演变的,并计算出行星在给定时间的质量和位置。

这项工作每天对你来说是什么样的?

在这项倡议中,我与Flatiron Institute的其他15人合作,每个人都关注不同的途径。目前,我正在与一名博士生密切合作,他们正在与我们一起实习。现在,我们将重点放在编码变压器上,这些变压器是模型中帮助它学习相关性的部件。例如,在ChatGPT这样的语言模型中,变形金刚帮助模型理解“黑猫在桌子上跳”这样的句子,并知道“black”指的是猫,而不是桌子。在我们的案例中,变形金刚帮助我们了解不同的时间尺度是如何关联的。因此,如果你有一个行星系统随时间变化的模拟,它们将有助于将第1天与第1000天联系起来。

你是否与科学家密切合作来创建这些模型?

事实上,该计划中的大多数人,包括我自己,都是物理学家,所以我们已经具备了这些基础知识和广泛的专业知识。这有助于我们掌握在许多不同物理方面训练模型的背景。

扁铁研究所是进行这项工作的最佳场所,因为我们拥有所有内部知识。如果明天我们想开始生物学模型的一个组成部分,我们可以,因为我们已经有专家了。这个项目非常令人兴奋,我想我没有地方愿意做它。

最近的文章