×
李继超;张梦琪

基于强化学习的受限圆柱尾迹控制及稳定性分析。 （英语） Zbl 1511.76023号

J.流体力学。 932，论文编号A44，35 p.（2022）.
小结：本文研究了基于强化学习（RL）的流量控制策略在两壁之间的圆柱绕流中的应用，以抑制涡流脱落。控制动作是吹吸气缸上的两个合成射流。本研究的主题是研究如何在基于RL的控制中使用和嵌入流的物理信息。首先，在一定的阻塞比和雷诺数范围内，基于时间平均流量和稳定流量（Navier-Stokes方程的解）进行全局线性稳定性和灵敏度分析。我们发现，当任一参数在我们研究的参数范围内增加时，尾流中最敏感的区域会自行扩展。然后，我们使用这些物理结果来帮助设计基于RL的控制策略。我们发现，受控尾迹收敛于不稳定的定常基流，可以成功地抑制涡脱落。为了保持这种不稳定状态，持续振荡控制似乎是必要的。从长远来看，RL算法的性能优于基于梯度的优化方法（在一定时间内进行优化）。此外，当将流稳定性信息嵌入到奖励函数中以惩罚不稳定性时，受控流可能会变得更稳定。最后，根据灵敏度分析，当探头置于最敏感区域时，控制最有效。即使很少探针以这种方式正确放置，控制也可以成功。

引用于5文件

MSC公司：

76D55型 不可压缩粘性流体的流动控制与优化
76D05型 不可压缩粘性流体的Navier-Stokes方程
76M99型 流体力学的基本方法
68T05型 人工智能中的学习和自适应系统

关键词：

机器学习;流量控制;旋涡脱落;全局线性稳定性分析;Navier-Stokes方程;基于梯度的优化

软件：

pyOptSparse;耐克5000;张力
PDF格式BibTeX公司 XML格式引用
\textit{J.Li}和textit{M.Zhang}，J.流体力学。932，论文编号A44，35页（2022；Zbl 1511.76023）
全文： 内政部 arXiv公司

参考文献：

[1] Akervik，E.，Brandt，L.，Henningson，D.S.，Hoepffner，J.，Marxen，O.&Schlater，P.2006通过选择频率阻尼的Navier-Stokes方程的稳态解。物理学。流体18（6），068102。
[2] Anagnostopoulos，P.，Iliadis，G.和Richardson，S.1996阻塞对通过圆柱体的粘性流影响的数值研究。国际期刊数字。方法。流体22（11），1061-1074·Zbl 0871.76039号
[3] Arnoldi，W.E.1951矩阵特征值问题求解中的最小迭代原则。问：申请。数学9（1），17-29·Zbl 0042.12801号
[4] Barkley，D.2006汽缸尾流平均流量的线性分析。欧罗普提斯。莱特。（EPL）75（5），750-756。
[5] Barkley，D.、Blackburn，H.M.和Sherwin，S.J.2008时间步长的直接最优增长分析。国际期刊数字。方法。流体57（9），1435-1458·Zbl 1144.76044号
[6] Beintema，G.，Corbetta，A.，Biferale，L.&Toschi，F.2020通过强化学习控制Rayleigh-Bénard对流。J.Turbul.21（9-10），585-605。
[7] Belus，V.，Rabault，J.，Viquerat，J..，Che，Z.，Hachem，E.&Reglade，U.2019利用局部性和平移不变性设计一维不稳定降液膜的有效深度强化学习控制。AIP Adv.9（12），125014。
[8] Boujo，E.&Gallaire，F.2014分离流中的受控再附着：减少再循环长度的变分方法。《流体力学杂志》742、618-635。
[9] Brandt，L.、Sipp，D.、Pralits，J.O.和Marquet，O.2011噪声放大器中基流变化的影响：平板边界层。《流体力学杂志》687、503-528·Zbl 1241.76340号
[10] Brunton，S.L.、Noack，B.R.和Koumoutsakos，P.2020流体力学机器学习。每年。《流体力学评论》52（1），477-508·Zbl 1439.76138号
[11] Brunton，S.L.，Proctor，J.L.&Kutz，J.N.2016通过非线性动力系统的稀疏识别从数据中发现控制方程。程序。美国国家科学院。科学113（15），3932-3937·Zbl 1355.94013号
[12] Budanur，N.B.&Cvitanović，P.2017 Kuramoto-Sivashinsky系统对称约化状态空间中相对周期轨道的不稳定流形。《统计物理杂志》167（3），636-655·Zbl 1372.37057号
[13] Chen，J.-H.，Pritchard，W.G.&Tadere，S.J.1995平行平面之间流经圆柱体的流量。《流体力学杂志》284，23-41·Zbl 0842.76015号
[14] Corbett，P.&Bottaro，A.2001边界层非模态扰动的最优控制。理论。计算。流体动力学15（2），65-81·Zbl 0999.76047号
[15] Coutanceau，M.&Bouard，R.1977均匀平移圆柱体尾流粘性流主要特征的实验测定。第1部分：。稳定的流量。《流体力学杂志》79（2），231-256。
[16] Delaunay，Y.和Kaiktsis，L.1999气缸尾迹的主动控制：使用底部抽吸和吹气。ESAIM:Proc.7，104-119·Zbl 0934.76018号
[17] Duraisamy，K.、Iacarino，G.和Xiao，H.2019数据时代的湍流建模。每年。修订版流体机械51（1），357-377·Zbl 1412.76040号
[18] Eriksson，L.E.&Rizzi，A.1985欧拉方程离散近似收敛到稳态的计算机辅助分析。J.计算。《物理学》57（1），90-128·Zbl 0624.76078号
[19] Fan，D.，Yang，L.，Wang，Z.，Triantafylou，M.S.&Karniadakis，G.E.2020实验和模拟中钝体主动流控制的强化学习。程序。美国国家科学院。科学117（42），26091-26098。
[20] Fischer，P.F.，Lottes，J.W.&Kerkemeier，S.G.2017 Nek5000版本17.0。伊利诺伊州阿贡国家实验室。网址：https://nek5000.mcs.anl.gov。
[21] Flinois，T.L.B.和Colonius，T.2015使用长控制范围对圆柱尾迹进行优化控制。物理学。流体27（8），087105。
[22] Gao，C.，Zhang，W.，Kou，J.，Liu，Y.&Ye，Z.2017跨声速自助餐流的主动控制。《流体力学杂志》824、312-351·Zbl 1374.76197号
[23] Garnier，P.、Viquerat，J.、Rabault，J..、Larcher，A.、Kuhnle，A.和Hachem，E.2021A流体力学深层强化学习综述。计算。液体225104973·Zbl 1521.76029号
[24] Giannetti，F.&Luchini，P.2007圆柱尾迹第一次不稳定性的结构敏感性。《流体力学杂志》58116-197·Zbl 1115.76028号
[25] Glezer，A.2011使用合成射流驱动的气动流量控制的一些方面。菲尔翻译。R.Soc.A：数学。物理学。《工程科学》369（1940），1476-1494。
[26] Hervé，A.，Sipp，D.，Schmid，P.J.&Samuelides，M.2012A使用系统识别的基于物理的流量控制方法。《流体力学杂志》702，26-58·Zbl 1248.76052号
[27] Hill，D.1992分析尾流再稳定的理论方法。第30届航空航天科学会议和展览，AIAA论文1992-67。
[28] Huerre，P.&Monkewitz，P.A.1990空间发展流中的局部和全局不稳定性。每年。《流体力学评论》22，473-537·Zbl 0734.76021号
[29] Jackson，C.P.1987A对流经不同形状物体时涡流脱落开始的有限元研究。《流体力学杂志》182（-1），23·Zbl 0639.76041号
[30] Jameson，A.1988通过控制理论进行空气动力学设计。科学杂志。计算3（3），233-260·Zbl 0676.76055号
[31] Jonsson，E.、Riso，C.、Lupp，C.A.、Cesnik，C.E.、Martins，J.R.和Epurenu，B.I.2019飞机设计优化中的颤振和颤振后约束。掠夺。Aerosp公司。科学109100537。
[32] Kanaris，N.、Grigoriadis，D.和Kassinos，S.2011受限于平面通道中的圆柱体周围的三维流动。物理学。流体23（6），064106。
[33] Kim，J.&Bewley，T.R.2007A流量控制的线性系统方法。每年。《流体力学评论》39（1），383-417·Zbl 1296.76074号
[34] Kuhnle，A.、Schaarschmidt，M.和Fricke，K.2017 Tensorforce：应用强化学习的张量流库。网页。
[35] Leontini，J.S.、Thompson，M.C.和Hourigan，K.2010A，圆柱时均尾迹中整体频率选择的数值研究。《流体力学杂志》645、435-446·Zbl 1189.76153号
[36] Ling，J.、Kurzawski，A.和Templeton，J.2016Reynolds使用嵌入不变性的深度神经网络进行平均湍流建模。《流体力学杂志》807155-166·Zbl 1383.76175号
[37] Loiseau，J.-C.，Noack，B.R.&Brunton，S.L.2018稀疏降阶建模：基于传感器的动力学到全状态估计。《流体力学杂志》844、459-490·Zbl 1461.76369号
[38] Luchini，P.&Bottaro，A.2014稳定性分析中的伴随方程。每年。《流体力学评论》46（1），493-517·Zbl 1297.76068号
[39] Maceda，G.Y.C.，Li，Y.，Lusseyran，F.，Morzyñski，M.&Noack，B.R.2021利用梯度强化机器学习控制稳定射流弹球。《流体力学杂志》917，A42·Zbl 1494.76052号
[40] Marquet，O.，Sipp，D.&Jacquin，L.2008气缸流量的灵敏度分析和被动控制。《流体力学杂志》615，221-252·Zbl 1165.76012号
[41] Maurel，A.、Pagneux，V.和Wesfreid，J.E.1995作为非线性饱和机制的平均流量校正。欧罗普提斯。莱特。（EPL）32（3），217-222。
[42] Noack，B.R.，Afanasiev，K.，Morzyñski，M.，Tadmor，G.&Thiele，F.2003A瞬态和瞬态后圆柱尾迹低维模型层次。《流体力学杂志》497、335-363·Zbl 1067.76033号
[43] Noack，B.R.&Eckelmann，H.1994A稳态和周期圆柱尾迹的全局稳定性分析。《流体力学杂志》270297-330·Zbl 0813.76025号
[44] Paris，R.、Beneddine，S.和Dandois，J.2021利用深度强化学习实现气流控制和传感器优化布置。《流体力学杂志》913，A25·兹比尔1461.76373
[45] Pastoor，M.、Henning，L.、Noack，B.R.、King，R.和Tadmor，G.2008用于钝体减阻的反馈剪切层控制。《流体力学杂志》608161-196·Zbl 1145.76306号
[46] Peplinski，A.、Schlater，P.、Fischer，P.F.和Henningson，D.S.2014光谱元素代码NEK5000的稳定性工具：在喷射横流中的应用。偏微分方程的谱和高阶方法——ICOSAHOM 2012（编辑：M.Azaíez、H.El Fekih和J.S.Hesthaven），第349-359页。施普林格国际出版公司·Zbl 1426.76511号
[47] Perez，R.E.、Jansen，P.W.和Martins，J.R.R.A.2012pyOpt:一种用于非线性约束优化的基于Python的面向对象框架。结构。多学科。最佳45（1），101-118·Zbl 1274.90008号
[48] Pier，B.2002关于圆柱尾迹中有限振幅涡旋脱落的频率选择。《流体力学杂志》458，407-417·Zbl 1060.76031号
[49] Pier，B.&Huerre，P.2001空间发展尾流中的非线性自持结构和前沿。《流体力学杂志》435145-174·Zbl 0987.76032号
[50] Provansal，M.、Mathis，C.和Boyer，L.1987Bénard-von Kármánán不稳定性：瞬态和强制政体。《流体力学杂志》182，1-22·Zbl 0641.76046号
[51] Rabault，J.、Kuchta，M.、Jensen，A.、Réglade，U.和Cerardi，N.2019通过深度强化学习训练的人工神经网络发现主动流控制策略。《流体力学杂志》865，281-302·Zbl 1415.76222号
[52] Rabault，J.&Kuhnle，A.2019通过多环境方法加速流控制的深度强化学习策略。物理学。流体31（9），094105。
[53] Rabault，J.，Ren，F.，Zhang，W.，Tang，H.&Xu，H.2020流体力学中的深度强化学习：一种很有前途的主动流动控制和形状优化方法。《水力学杂志》32（2），234-246。
[54] Raissi，M.，Babaee，H.&Givi，P.2019a湍流标量混合的深度学习。物理学。修订流体4124501。
[55] Raissi，M.，Perdikaris，P.&Karniadakis，G.2019b基于物理的神经网络：用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架。J.计算。物理378、686-707·Zbl 1415.68175号
[56] Raissi，M.，Wang，Z.，Triantafylou，M.S.&Karniadakis，G.E.2018涡激振动的深度学习。《流体力学杂志》86119-137·Zbl 1415.76177号
[57] Ren，F.，Rabault，J.&Tang，H.2021将深度强化学习应用于弱湍流条件下的主动流量控制。物理学。流体33（3），037121。
[58] Rowley，C.W.，Mezić，I.，Bagheri，S.，Schlater，P.&Henningson，D.S.2009非线性流的谱分析。《流体力学杂志》641、115-127·Zbl 1183.76833号
[59] Von Rueden，L.等人，2021信息机器学习-一种将先验知识集成到学习系统中的分类和调查。IEEE传输。知识数据工程。https://doi.org/10.109/TKDE.2021.3079836
[60] Saad，Y.1980计算大型非对称矩阵特征元的arnoldi方法的变化。线性代数应用34，269-295·Zbl 0456.65017号
[61] Sahin，M.和Owens，R.G.2004高堵塞率下壁面效应对通过受限圆柱体的二维流动的数值研究。物理学。流体16（5），1305-1320·Zbl 1186.76455号
[62] Schäfer，M.，Turek，S.，Durst，F.，Krause，E.&Rannacher，R.1996圆柱周围层流的基准计算。《数值流体力学注释》，第547-566页。Vieweg+Teubner Verlag·Zbl 0874.76070号
[63] Schmid，P.J.2010数值和实验数据的动态模式分解。《流体力学杂志》656，5-28·Zbl 1197.76091号
[64] Schulman，J.、Wolski，F.、Dhariwal，P.、Radford，A.和Klimov，O.2017近似策略优化算法。预印本。arXiv:1707.06347。
[65] Silver，D.，Lever，G.，Heess，N.，Degres，T.，Wierstra，D.&Riedmiller，M.2014确定性策略梯度算法。在机器学习国际会议上，第387-395页。PMLR公司。
[66] Sipp，D.&Lebedev，A.2007基流和平均流的全局稳定性：圆柱流和空腔流的一般方法及其应用。《流体力学杂志》593、333-358·Zbl 1172.76318号
[67] Sreenivasan，K.，Strykowski，P.&Olinger，D.1987霍普夫分岔，朗道方程，圆柱后的涡旋脱落。《非定常流分离论坛》，第1卷，第1-13页。美国机械工程师协会。
[68] Strykowski，P.J.&Sreenivasan，K.R.1990关于低雷诺数下涡旋“脱落”的形成和抑制。《流体力学杂志》218、71-107。
[69] Tang，H.，Rabault，J.，Kuhnle，A.，Wang，Y.和Wang，T.2020使用通过深度强化学习训练的人工神经网络对一系列雷诺数进行鲁棒主动流量控制。物理学。流体32（5），053605。
[70] Tartakovsky，A.M.、Marrero，C.O.、Perdikaris，P.、Tartakovsky，G.D.和Barajas Solano，D.2020用于学习地下流动问题中的参数和本构关系的物理-信息深度神经网络。水资源。第56（5）号决议，e2019WR026731。
[71] Tezuka，A.和Suzuki，K.2006球体周围流动的三维全局线性稳定性分析。美国汽车协会J.44（8），1697-1708。
[72] Theofilis，V.2011全球线性不稳定性。每年。《流体力学评论》43（1），319-352·Zbl 1299.76074号
[73] Turton，S.E.、Tuckerman，L.S.和Barkley，D.2015根据平均流量预测热溶液对流的频率。物理学。修订版E91（4），043009。
[74] Verma，S.、Novati，G.和Koumoutsakos，P.2018通过深度强化学习利用漩涡实现高效集体游泳。程序。美国国家科学院。科学.115（23），5849-5854。
[75] Viquerat，J.、Meliga，P.和Hachem，E.2021流体力学深层强化学习综述：更新。arXiv:2107.12206v2。
[76] 威廉姆森，C.H.K.1996圆柱尾迹中的旋涡动力学。每年。《流体力学评论》28（1），477-539。
[77] Wu，N.，Kenway，G.，Mader，C.A.，Jasa，J.和Martins，J.R.R.A.2020pyoptspare:一个用于稀疏系统的大规模约束非线性优化的Python框架。J.开源软件5（54），2564。
[78] Xu，H.，Zhang，W.，Deng，J.&Rabault，J.2020通过深度强化学习训练的人工神经网络对旋转气缸进行主动流量控制。《水力学杂志》32（2），254-258。
[79] Yang，X.和Zebib，A.1989圆柱尾迹的绝对和对流不稳定性。物理学。流体A：流体动力学1（4），689-696。
[80] Zeng，K.&Graham，M.D.2021深度强化学习混沌时空动力学主动控制的对称还原。物理学。版次E104014210。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。