×
优素福·纳西尔;路易斯·杜洛夫斯基。

在地质不确定的地下系统中用于优化井控的深度强化学习。 （英语） Zbl 07652827号

J.计算。物理学。 477，文章ID 111945，25 p.（2023）.
摘要：介绍了一种基于深度强化学习（DRL）的通用控制策略框架，用于地下水流环境下的闭环决策。在这种情况下，传统的闭环建模工作流涉及重复应用数据同化/历史匹配和稳健的优化步骤。在地质样式（场景）和单个模型实现都不确定的情况下，数据同化可能特别困难。闭环水库管理（CLRM）问题在这里表示为部分可观测马尔可夫决策过程（POMDP），相关优化问题使用近似策略优化算法求解。这提供了一种控制策略，可以即时将在油井中观察到的流量数据（在实践中可用）映射到最佳井压设置。该策略由时间卷积和选通变压器块表示。训练是在预处理步骤中进行的，其中包括可以从多个地质场景中提取的预先地质模型集合。文中给出了利用二维和三维地质模型进行注水采油的实例。基于DRL的方法显示，相对于先前模型的稳健优化，NPV增加了15%（2D情况）和33%（3D情况），相对于传统CLRM，NPV提高了2-7%。控制策略的解决方案与确定性优化的解决方案相当，即使在考虑多个地质场景的情况下，地质模型也被假设为已知的。与传统的CLRM相比，控制策略方法在考虑了算法和参数设置的情况下，计算成本降低了76%。

引用于1文件

理学硕士：

86轴 地球物理学
90立方厘米 数学编程
68泰克 人工智能

关键词：

深度强化学习;闭环建模;随机最优控制;油藏模拟;变压器;近端策略优化

软件：

亚当;作为136;张紧器2传感器;SNOPT公司;RLlib（RL库）
PDF格式BibTeX公司 XML格式引用
\textit{Y.Nasir}和\textit{L.J.Durlowsky}，J.Comput。物理学。477，文章ID 111945，25 p.（2023；Zbl 07652827）
全文： 内政部 arXiv公司

参考文献：

[1] 范多伦，J.F。；马尔科维诺维奇，R。；Jansen，J.-D.，采用适当正交分解的水驱降阶最优控制，计算。地质科学。，10, 1, 137-158 (2006) ·Zbl 1161.86304号
[2] He，J。；Strom，J。；Durlowsky，L.J.，《地下水流模拟的增强线性化降阶模型》，J.Compute。物理。，230, 23, 8313-8341 (2011) ·Zbl 1337.76064号
[3] 扎拉瓦迪亚，H。；Gildin，E.，在井位选择期间使用机器学习技术进行自适应基选择的参数模型降阶，（ECMOR XVI-第16届欧洲采油数学会议（2018年），欧洲地质科学家与工程师协会）
[4] Zhu，Y。；Zabaras，N.，《替代建模和不确定性量化的贝叶斯深度卷积编解码网络》，J.Compute。物理。，366, 415-447 (2018) ·Zbl 1407.62091号
[5] 唐，M。；刘，Y。；Durlofsky，L.J.，动态地下流问题中基于深度学习的数据同化代理模型，J.Comput。物理。，413，第109456条pp.（2020）·Zbl 1436.76058号
[6] Wang，N。；Chang，H。；Zhang，D.，通过理论指导的卷积神经网络进行有效的不确定性量化和数据同化，SPE J.，26，06，4128-4156（2021）
[7] Kim，Y.D。；Durlowsky，L.J.，基于递归神经网络的非线性输出约束井控优化代理模型，SPE J.（2021），26，04，1837-1857
[8] Wang，N。；Chang，H。；Zhang，D.，Theory-guided auto-encoder for surrate construction and reverse modeling，计算机。方法应用。机械。工程，385，第114037条pp.（2021）·Zbl 1502.65291号
[9] Nwachukwu，A。；郑，H。；Pyrcz，M。；Lake，L.W.，《使用机器学习快速评估非均质油藏模型中的油井布置》，J.Pet。科学。工程，163463-475（2018）
[10] Nasir，Y。；于伟（Yu，W.）。；Sepehrnoori，K.，《非线性约束油井布置和生产优化的混合无导数技术和有效机器学习替代品》，J.Pet。科学。工程，186，第106726条pp.（2020）
[11] Tang，H。；Durlowsky，L.J.，《带机器学习误差校正的低维模型在布井优化中的应用》，计算。地质科学。，26, 1189-1206 (2022) ·Zbl 1496.86021号
[12] Kim，Y.D。；Durlowsky，L.J.，卷积-稳健优化和闭环油藏管理的递归神经网络代理（2022），预印本
[13] Addiego-Guevara，E。；医学博士Jackson。；Giddins，M.A.，智能井技术对储层不确定性的保险价值，（SPE提高石油采收率研讨会（2008），石油工程师学会）
[14] Hanssen，K.G。；Codas，A。；Foss，B.，《不确定性下油藏管理的闭环预测》，SPE J.，22，05，1585-1595（2017）
[15] Mnih，V。；Kavukcuoglu，K。；西尔弗·D。；Rusu，A.A。；Veness，J。；Bellemare，M.G。；格雷夫斯，A。；里德米勒，M。；菲杰兰，A.K。；Ostrovski，G.，《通过深度强化学习实现人类层面的控制》，《自然》，518，7540，529-533（2015）
[16] 西尔弗·D。；Schrittwieser，J。；Simonyan，K。；安东尼奥卢，I。；黄，A。；A.盖兹。；休伯特，T。；贝克，L。；赖，M。；博尔顿，A.，《在没有人类知识的情况下掌握围棋游戏》，《自然》，5507676354-359（2017）
[17] 风扇，D。；Yang，L。；Wang，Z。；Triantafyllou，M.S。；Karniadakis，G.E.，实验和模拟中钝体主动流控制的强化学习，Proc。国家。阿卡德。科学。，117, 42, 26091-26098 (2020)
[18] Hachem，E。；Ghraieb，H。；维奎拉特，J。；Larcher，A。；Meliga，P.，共轭传热控制的深度强化学习，J.Compute。物理。，436，第110317条pp.（2021）·Zbl 07513859号
[19] 维奎拉特，J。；Rabault，J。；Kuhnle，A。；Ghraieb，H。；Larcher，A。；Hachem，E.，通过深度强化学习进行直接形状优化，J.Compute。物理。，428，第110080条，pp.（2021）·Zbl 07511434号
[20] 马，H。；Yu，G。；她，Y。；Gu，Y.，利用深度强化学习算法优化地质不确定性下的注水，（SPE年度技术会议和展览（2019年），石油工程师学会）
[21] 米夫塔霍夫，R。；Al-Qasim，A。；Efremov，I.，《深层强化学习：基于像素的油藏优化》（国际石油技术会议（2020），石油工程师学会）
[22] He，J。；唐，M。；胡，C。；田中，S。；王凯。；温，X.-H。；Nasir，Y.，《针对可推广油田开发优化的深度强化学习》，SPE J.，27，01，226-245（2022）
[23] Nasir，Y。；He，J。；胡，C。；田中，S。；王凯。；Wen，X.，地下两相流约束油田开发优化的深度强化学习，Front。申请。数学。统计，7，54（2021）
[24] 张凯。；Wang，Z。；陈，G。；张，L。；Yang，Y。；姚，C。；Wang，J。；Yao，J.，为实时生命周期生产优化培训有效的深度强化学习代理，J.Pet。科学。工程，208，第109766条pp.（2022）
[25] 帕里索托，E。；宋，F。；Rae，J。；帕斯卡努，R。；古尔塞，C。；贾库马尔，S。；Jaderberg，M。；考夫曼，R.L。；A.克拉克。；Noury，S.，用于强化学习的稳定变压器，（机器学习国际会议，PMLR（2020）），7487-7498
[26] 舒尔曼，J。；沃尔斯基，F。；Dhariwal，P。；Radford，A。；Klimov，O.，《近端策略优化算法》（2017），预印本
[27] Peaceman，D.W.，非正方形网格块体和各向异性渗透率油藏数值模拟中井块压力的解释，SPE J.，23，03，531-543（1983）
[28] Shirangi，M.G。；Durlowsky，L.J.，《利用样本验证优化方法在不确定性条件下进行闭环油田开发》，SPE J.著，20，05，908-922（2015）
[29] Jahandeh，A。；Jafarpour，B.，针对地质、开发和操作不确定性进行对冲的闭环随机油田优化，计算。地质科学。，24, 1, 129-148 (2020) ·Zbl 1434.86039号
[30] Brouwer，D。；Nvdal，G。；Jansen，J。；Vefrin，E.H。；Van Kruijsdijk，C.，《通过优化控制和持续模型更新改进油藏管理》（SPE年度技术会议和展览（2004），石油工程师学会）
[31] 艾托克霍伊，I。；Durlowsky，L.J.，《使用不断更新的地质模型优化复杂油藏中智能井的性能》，J.Pet。科学。工程师，48，3-4，254-264（2005）
[32] Jansen，J.-D。；Brouwer，R。；Douma，S.G.，《闭环油藏管理》（SPE油藏模拟研讨会（2009），石油工程师学会）
[33] Kitanidis，P.K.，反演的准线性地质统计学理论，水资源。研究，31，10，2411-2419（1995）
[34] 陈，Y。；Zhang，D.，通过集合卡尔曼滤波器对地质构造中瞬态流动进行数据同化，水资源高级研究所。，29, 8, 1107-1122 (2006)
[35] 埃默里克，A.A。；Reynolds，A.C.，利用多重数据同化实现更平滑的集成，计算。地质科学。，55, 3-15 (2013)
[36] Nasir，Y。；沃尔科夫，O。；Durlowsky，L.J.，《大型油田开发的两阶段优化策略》，Optim。工程，1-35（2021）
[37] 库鲁尼斯，D。；杜洛夫斯基，L.J。；Jansen，J.D。；Aziz，K.，基于梯度的组合水库流量优化的伴随公式和约束处理，计算。地质科学。，18, 2, 117-137 (2014) ·Zbl 1393.76122号
[38] Hochreiter，S。；Schmidhuber，J.，长短期记忆，神经计算。，9, 8, 1735-1780 (1997)
[39] 瓦斯瓦尼，A。；北沙泽尔。；北卡罗来纳州帕尔马。；Uszkoreit，J。；Jones，L。；A.N.戈麦斯。；凯撒，Ł。；Polosukhin，I.，注意力就是你所需要的，（《神经信息处理系统进展》（2017）），5998-6008
[40] 舒尔曼，J。；莫里茨，P。；莱文，S。；乔丹，M。；Abbeel，P.，使用广义优势估计的高维连续控制（2015），预印本
[41] Shirangi，M.G。；Durlowsky，L.J.，选择不确定性决策和优化的代表性模型的通用方法，计算。地质科学。，96, 109-123 (2016)
[42] Hartigan，J.A。；Wong，M.A.，《算法AS 136:k均值聚类算法》，J.R.Stat.Soc.，28，1，100-108（1979）·Zbl 0447.62062号
[43] 詹姆斯·G。；维滕，D。；哈斯蒂，T。；Tibshirani，R.，《统计学习导论》，第112卷（2013年），施普林格出版社·兹比尔1281.62147
[44] A.戈登。；Vichi，M.，分区，J.Classif。，15, 2, 265-285 (1998) ·Zbl 0912.62072号
[45] Ba，J.L。；基罗斯·J·R。；Hinton，G.E.，层规范化（2016），预印本
[46] 钟，J。；古尔塞，C。；Cho，K。；Bengio，Y.，门控递归神经网络对序列建模的实证评估（2014），预印本
[47] 梁，E。；Liaw，R。；Nishihara，R。；莫里茨，P。；福克斯·R。；Goldberg，K。；冈萨雷斯，J。；乔丹，M。；Stoica，I.，RLlib:分布式强化学习的抽象，（机器学习国际会议（2018）），3053-3062
[48] Kingma，D.P。；Ba Adam，J.，《随机优化方法》（2014），预印本
[49] 刘，Y。；Sun，W。；Durlowsky，L.J.，《历史匹配复杂模型的基于深度学习的地质参数化》，数学。地质科学。，51, 6, 725-766 (2019) ·Zbl 1421.86004号
[50] Strebelle，S.，《使用多点统计对复杂地质结构进行条件模拟》，数学。地质。，34，1，1-21（2002年）·兹比尔1036.86013
[51] O.J.Isebor。；杜洛夫斯基，L.J。；Echeverría Ciaurri，D.，一种无导数方法，具有局部和全局搜索，用于井位置和控制的约束联合优化，计算。地质科学。，18, 3-4, 463-482 (2014)
[52] 吉尔，体育。；默里，W。；Saunders，M.A.，SNOPT:大规模约束优化的SQP算法，SIAM Rev.，47，1，99-131（2005）·Zbl 1210.90176号
[53] Vo、H.X。；Durlowsky，L.J.，基于主成分分析的复杂地质模型低维表示的新可微参数化，数学。地质科学。，46, 7, 775-813 (2014) ·Zbl 1323.86048号
[54] Vo、H.X。；Durlowsky，L.J.，使用新的基于PCA的参数化的复杂地质模型的数据同化和不确定性评估，计算。地质科学。，19, 4, 747-767 (2015) ·Zbl 1392.86057号
[55] Castro，S.A.，《联合集成3D/4D地震、生产数据和地质信息以构建储层模型的概率方法》（2007年），斯坦福大学博士论文
[56] Ren，G。；He，J。；Wang，Z。；尤尼斯，R.M。；Wen，X.-H.，《利用商业模拟器实现基于物理的数据驱动模型》（SPE油藏模拟会议（2019），石油工程师学会）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。