主机名:page-component-848d4c4894-wg55d总加载时间:0渲染日期:2024-06-12T15:03:37.801Z有数据问题:falsehasContentIssue为false

流体动力学深度学习

剑桥大学出版社在线出版:2017年1月31日

J.内森·库茨*
附属:
美国华盛顿大学应用数学系,西雅图,WA 98195
*
通信电子邮件地址:kutz@uw.edu

摘要

深度神经网络(DNN)——深度学习——在湍流建模中,或者更广泛地说,在高维复杂动力系统的一般领域中取得成功只是时间问题。在过去十年中,DNN已成为大数据应用程序的主要数据挖掘工具。虽然神经网络之前已经应用于复杂流体流动,但本文的特色是(Ling等。,J.流体力学。(第807卷,2016年,第155-166页)是第一个应用真正的DNN架构,特别是雷诺平均Navier-Stokes湍流模型。正如人们经常期望的那样,现代DNN的性能比竞争性的最先进方法更高,这表明DNN可能在未来复杂流建模中发挥关键的支持作用。

类型
关注液体
问询处
流体力学杂志 ,第814卷 2017年3月10日 ,第1-4页
版权
©2017剑桥大学出版社

1介绍

神经网络的灵感来源于Hubel和Wiesel关于猫初级视觉皮层的诺贝尔奖获奖作品(Hubel&Wiesel参考Hubel和Wiesel1962)。他们的开创性实验表明,神经元网络组织在细胞的分层中,用于处理视觉刺激。1980年,第一个神经网络数学模型被称为Neocognitron(福岛参考福岛1980)具有当今深度神经网络(DNN)的许多特征,通常在7-10层之间,但最近已扩展到数百层,用于某些应用。DNN最近的成功得益于两个关键组件:(i)计算能力的持续增长和(ii)利用多层(深层)体系结构能力的超大标记数据集。事实上,尽管DNN的理论诞生已有近四十年的历史,但使用2012年的ImageNet数据集对DNN进行分析和培训(Krizhevsky等。 参考Krizhevsky、Sutskever和Hinton2012)为深度学习提供了一个分水岭时刻(乐村等。 参考LeCun、Bengio和Hinton2015)。自那时以来,DNN通过在几乎所有有意义的用于分类和识别的计算机视觉任务中控制性能指标,改变了计算机视觉领域。值得注意的是,DNN甚至没有被列为2008年十大数据挖掘算法之一(Wu等。 证明人Wu、Kumar、Quinlan、Ghosh、Yang、Motoda、McLachlan、Ng、Liu、Philip和Zhou2008)。但在2016年,它在挑战性数据集方面取得了越来越多的成功,这使得它可能成为我们新一代科学家和工程师最重要的数据挖掘工具。

数据方法在流体领域肯定不是什么新鲜事。计算流体动力学利用机器学习的降维技术,如适当的正交分解或动态模式分解,计算可解释的低秩模式和表征时空流数据的子空间(Holmes等。 参考Holmes、Lumley和Berkooz1998; 库茨等。 参考Kutz、Brunton、Brunto和Proctor2016)。POD和DMD基于奇异值分解,奇异值分解在物理系统降维中普遍存在。当与伽辽金投影相结合时,POD约简形成了降阶建模的数学基础,这为计算复杂流的高维离散化提供了一种可行的策略(Benner等。 参考Benner、Gugercin和Willcox2015).

流体降维的成功取决于(i)计算速度和内存方面的显著性能提高,以及(ii)物理上可解释的支配物理的空间和/或时空模式的生成。因此,可以进行计算,并获得关键的物理直觉。这种成功受到基于POD/DMD的减少的两个众所周知的失败的影响:(i)在没有重大调整的情况下,无法捕捉瞬态、间歇和/或多尺度现象,以及(ii)无法捕捉平移、旋转和/或缩放导致的不变性。DNN的利弊几乎截然相反。具体地说,DNN非常适合提取多尺度特征,因为DNN分解与小波分解有许多相似之处,小波分解是多分辨率分析的计算工作量。此外,在DNN体系结构中,平移、旋转和其他不变性都很容易处理。这些性能提升受到从大型训练集构建DNN的巨大计算成本以及DNN无法生成易于解释的物理模式和/或特征的影响。

2湍流应用中的DNN概述

湍流通常表现出高维的多尺度(空间和时间)物理特性,也存在旋转和平移间歇结构。这些数据为DNN在湍流流场建模和分析中发挥作用提供了机会。Ling、Kurzawski和Templeton(参考Ling、Kurzawski和Templeton2016)提出将DNN用于雷诺平均Navier-Stokes(RANS)模型,该模型因其在模拟湍流诱导的丰富动力学集时的计算灵活性而被广泛使用。在这一重点工作中,具体目标是使用DNN从高保真模拟数据中构建雷诺应力各向异性张量的改进表示。值得注意的是,尽管DNN在复杂问题中提供高质量预测方面取得了广泛成功,但将深度学习技术应用于湍流的尝试有限。到目前为止,这些尝试仅限于几个隐藏层(Zhang和Duraisamy推荐人张和杜蕾西2015)。等。(参考Ling、Kurzawski和Templeton2016)通过构建8-10个隐藏层来转移到DNN,使其真正成为一个深度网络。但这项突出的工作所做的远不止是简单地构建一个DNN。事实上,作者构建了一个专门的神经网络架构,该架构将伽利略不变性直接嵌入到神经网络预测中。该神经网络不仅能够预测各向异性特征值,而且能够预测完全各向异性张量,同时保持伽利略不变性。这种保持不变性的DNN对于尊重物理特性至关重要,以便在预测中提供显著的性能增益。DNN在RANS和高保真数据都可用的流数据库上进行训练和评估。

作者使用的特定DNN结构称为张量基神经网络。该网络结构能够通过强制将预测的各向异性张量建立在各向同性张量的基础上来嵌入旋转不变性。旋转不变性表示流体流动的物理性质不依赖于观察者坐标系的方向。这是一个基本的物理原理,任何湍流闭合都必须遵守这一原则。否则,在具有不同方向定义的轴的相同流上评估的机器学习模型可能会产生不同的预测。该DNN中旋转不变性的实施表明,与不嵌入伽利略不变性的更通用前馈多层感知器相比,该感知器有了实质性的改进。在可获得高保真度和RANS结果的流量数据库上对他们的DNN进行培训。流量数据库表示各种流量配置,因此DNN并不是简单地插值或匹配相似的流量。相反,DNN以原则性的方式提取有关底层流的信息。

作者证明,在两个不同的测试案例中,他们的DNN配置比两个传统RANS模型中的任何一个都要精确得多。此外,在与任何训练案例具有不同几何形状的波浪壁测试案例中,他们的DNN能够提供改进的预测,这表明该方法所做的不仅仅是简单地对训练数据进行插值。此外,在管道流量测试中,尽管测试集的雷诺数显著不同,但DNN能够改进预测。最终,结果表明,基于嵌入的伽利略不变性训练的DNN物理性能可以优于其他RANS湍流模型,通常是显著的。

流体建模DNN的未来

DNN几乎肯定会对建模高维复杂系统(如湍流)产生变革性影响。许多复杂数据集的成功将迫使研究人员利用这种快速出现的数据分析工具来提高预测能力。DNN代表着社区的范式转变。尽管许多创新通常都是从专家的直觉和物理可解释模型中获得灵感,但DNN通过构建简单地优于竞争方法的预测引擎来挑战这些传统概念,而没有提供明确的证据证明为什么要这样做。在某种程度上,DNN在湍流中的应用将使流体界认识到统计学和数据科学这两种文化(布雷曼参考Breiman2001)。这两种观点都围绕着机器学习和统计学习的概念。前者侧重于预测(DNN),而后者则涉及从数据推断可解释模型(POD/DMD约简)。尽管这两种方法在大数据分析的许多领域都取得了巨大成功,但物理和工程科学主要关注可解释方法。

尽管取得了成功,但DNN仍面临重大挑战。简单的问题仍然悬而未决:(i)给定的数据集需要多少层?(ii)每层需要多少节点?(iii)我的数据集必须有多大才能正确训练网络?(iv)数学结构能产生良好的数据预测值的保证是什么?(v) 我对DNN输出的不确定性和/或统计置信度是多少?(vi)我真的可以预测培训数据之外的数据吗?(vii)我能保证我的数据不会在这么大的网络上过满吗?清单还在继续。这些问题仍然是解决DNN长期可行性的核心。好消息是,目前学术研究人员和业界(谷歌、脸书等)都在对此类主题进行深入调查。毫无疑问,下一个十年将在解决这些问题方面取得重大进展。从实践的角度来看,凌的工作等。(参考Ling、Kurzawski和Templeton2016)根据预测成功率确定层和节点的数量,即更多层和更多节点不会提高性能。此外,交叉验证对于抑制过拟合至关重要。一般来说,除非进行了严格的交叉验证,否则不应相信DNN的结果。交叉验证与数值格式的收敛性研究具有相同的关键作用。

考虑到DNN的计算成熟度以及它们的可用性(请参阅谷歌的开源软件TensorFlow:TensorFlow.org),现在或许是湍流建模社区采用机器学习文化中一个重要且非常成功的部分:挑战数据集的时候了。多诺霍争辩(多诺霍参考Donoho2015)我完全同意,挑战数据集允许研究人员在训练数据(所有人都可以公开获得)和测试数据(不公开获得,但可以通过您的算法访问)上公平比较DNN创新。重要的是,这将为流体社区提供自己的ImageNet数据集,以帮助为复杂流上的应用程序生成可重复且经验证的DNN性能增益。也许Ling、Kurzawski和Templeton能够以这种方式帮助推动社区向前发展。

工具书类

本纳,第页。,古格霉素,美国。 &威尔科克斯,英国。 2015 参数动力系统基于投影的模型降阶方法综述.SIAM版本。 57,483——531.谷歌学者
布雷曼,L。 2001 统计建模:两种文化(附有作者的评论和反驳).统计科学。 16(),199——231.谷歌学者
多诺霍,D.L.公司。 2015 数据科学50年.Tukey百年研讨会.谷歌学者
福岛核电站,F、。 1980 不受位置变化影响的模式识别机制的自组织神经网络模型.生物、网络。 36,193——202.交叉参考谷歌学者公共医学
福尔摩斯,第页。,勒姆利,J。 &伯克奥斯,G.公司。 1998 湍流、相干结构、动力系统和对称性.剑桥大学出版社.谷歌学者
胡贝尔,D.H.博士。 &威塞尔,电话号码。 1962 猫视觉皮层的感受野、双眼交互作用和功能结构.《生理学杂志》。 160,106——154.交叉参考谷歌学者公共医学
克里舍夫斯基,答:。,Sutskever公司,一、。 &辛顿,G.公司。 2012 基于深度卷积神经网络的Imagenet分类.高级神经信息。程序。系统。 1097——1105.谷歌学者
库茨,J.N。,布伦顿,美国。,布伦顿,B。 &普罗克托,J。 2016 动态模式分解:复杂系统的数据驱动建模.暹罗.交叉参考谷歌学者
乐村,年。,本吉奥,年。 &辛顿,G.公司。 2015 深度学习.自然 521(7553),436——444.谷歌学者
,J。,库扎夫斯基,答:。 &坦普尔顿,J。 2016 嵌入不变性的深度神经网络雷诺平均湍流模型.J.流体力学 807,155——166.交叉参考谷歌学者
,十、。,古玛,五、。,昆兰牌手表,J。,高希,J。,,问:。,摩托罗拉,H。,麦克拉克伦,G.公司。,Ng公司,答:。,线路接口单元,B。,菲利普,美国。 &,Z.公司。 2008 数据挖掘中的十大算法.知道。信息系统。 14(1),1——37.交叉参考谷歌学者
,Z.公司。 &杜赖萨米,英国。 2015 数据驱动湍流建模的机器学习方法.AIAA航空 2015——2460.谷歌学者