×

分层深度学习神经网络(HiDeNN):用于计算科学和工程的人工智能(AI)框架。 (英语) Zbl 1506.68110号

摘要:在这项工作中,提出了一个统一的人工智能框架,称为层次化深度学习神经网络(HiDeNN),以解决具有挑战性的计算科学和工程问题,很少或没有可用的物理以及极端的计算需求。本文介绍并讨论了HiDeNN的详细结构和数学元素,以显示该框架对于不同领域的各种问题的灵活性。解决了三个示例问题,以证明框架的准确性、效率和通用性。第一个示例的设计表明,HiDeNN通过学习最佳节点位置和用粗网格捕捉应力集中,能够获得比传统有限元方法更好的精度。第二个示例使用HiDeNN在宏观尺度的每个物质点上使用子神经网络进行多尺度分析。最后一个示例演示了HiDeNN如何从实验数据中发现控制无量纲参数,从而可以使用减少的输入集来提高学习效率。我们进一步讨论和演示了高级工程问题的解决方案,这些问题需要最先进的人工智能方法,以及如何应用通用和灵活的系统,如HiDeNN-AI框架来解决这些问题。

MSC公司:

68T07型 人工神经网络与深度学习
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Staff,M.-W.,《Merriam-Webster大学词典》,第2卷(2004年),《Merriam-Webster》
[2] Rich,E。;K.奈特,《人工智能》(1990),麦克·格劳·希尔
[3] 图灵,A.M.,《计算机械与智能》(Parsing the Turing Test(2009),斯普林格出版社),23-65
[4] 卡普兰,A。;汉莱恩,M.,西丽,西丽在我手中:谁是这片土地上最美丽的人?关于人工智能的解释、插图和含义,Bus。Horiz公司。,62, 1, 15-25 (2019)
[5] Silver博士。;Schrittwieser,J。;Simonyan,K。;安东尼奥卢,I。;黄,A。;A.盖兹。;休伯特,T。;贝克,L。;赖,M。;博尔顿,A.,《在没有人类知识的情况下掌握围棋游戏》,《自然》,5507676354-359(2017)
[6] 戈泽尔,B。;Wang,P.,《人工通用智能的基础架构》,高级Artif。发电机智能:概念架构师。算法,6,36(2007)
[7] 皮克,N。;Combi,C。;马林,R。;Bellazzi,R.,《医学人工智能三十年会议:研究主题综述》,Artif。智力。医学,65,1,61-73(2015)
[8] 邓,L。;Yu,D.,《深度学习:方法和应用》,Found。趋势信号处理。,7, 3-4, 197-387 (2014) ·Zbl 1315.68208号
[9] 古德费罗,I。;本吉奥,Y。;A.Courville,《深度学习》(2016),麻省理工学院出版社·Zbl 1373.68009号
[10] Kirchdoerfer,T。;Ortiz,M.,数据驱动计算力学,计算。方法应用。机械。工程,304,81-101(2016)·Zbl 1425.74503号
[11] Ibañez,R。;Borzacchielo,D。;阿瓜多,J.V。;Abisset-Chavanne,E。;库托,E。;拉德维泽,P。;Chinesta,F.,数据驱动非线性弹性:本构流形构造和问题离散化,计算。机械。,60, 5, 813-826 (2017) ·Zbl 1387.74015号
[12] 刘伟凯。;卡尼亚基斯,G。;唐,S。;Yvonnet,J.,《计算力学专题:数据驱动建模与仿真理论、方法和应用》(2019年),施普林格出版社·Zbl 1476.00073号
[13] 塔尔卡,A.L。;凯里·V·J。;陈晓伟。;罗梅罗,R。;Drághici,S.,《机器学习及其在生物学中的应用》,《公共科学图书馆·计算》。生物,3,6(2007)
[14] 加西亚·卡诺,E。;科西奥,F.A。;Duong,L。;Bellefleur,C。;罗伊·布杜里,M。;Joncas,J。;父母,S。;Labele,H.,使用随机森林回归预测青少年特发性脊柱侧凸的脊柱曲线进展,计算机。生物医学,103,34-43(2018)
[15] 哈拉比,S.S。;Prevedello,L.M。;Kalpathy-Cramer,J。;Mamonov,A.B。;Bilbily,A。;西塞罗,M。;潘,I。;佩雷拉,洛杉矶。;Sousa,R.T。;Abdala,N.,《rsna儿科骨龄机器学习挑战》,放射学,290,2498-503(2019)
[16] 瓦格纳,N。;Rondinelli,J.M.,《材料科学中的理论指导机器学习》,Front。材料。,3, 28 (2016)
[17] 施密特,J。;马尔克斯,M.R。;博蒂,S。;Marques,M.A.,《固态材料科学中机器学习的最新进展和应用》,npj Compute。材料。,5, 1, 1-36 (2019)
[18] Ushizima,D。;Noack,M。;Hexemer,A.,《聚合物薄膜及其以外的数据科学和机器学习》,Bull。阿默尔。物理学。Soc.(2020年)
[19] Drouillet,C。;Karandikar,J。;Nath,C。;Journeaux,A.-C。;El Mansori,M。;Kurfess,T.,使用神经网络技术的主轴功率铣削中的刀具寿命预测,J.制造过程。,22, 161-168 (2016)
[20] 张,B。;刘,S。;Shin,Y.C.,《激光添加剂制造过程中孔隙度的过程监测》,Addit。制造,28497-505(2019)
[21] 甘,Z。;李,H。;沃尔夫·S·J。;Bennett,J.L。;凯悦集团。;瓦格纳,G.J。;曹,J。;Liu,W.K.,使用自组织图进行添加剂制造中的数据驱动微观结构和显微硬度设计,工程,5,4,730-735(2019)
[22] Yu,Y。;Hur,T。;Jung,J。;Jang,I.G.,无需任何迭代即可确定近最优拓扑设计的深度学习,Struct。多磁盘。最佳。,59, 3, 787-799 (2019)
[23] 雷,X。;刘,C。;杜,Z。;张伟。;Guo,X.,移动可变形组件框架下机器学习驱动的实时拓扑优化,J.Appl。机械。,86, 1 (2019)
[24] 索斯诺维克,I。;Oseledets,I.,拓扑优化的神经网络,Russ.J.Numer。分析。数学。建模,34,4,215-223(2019)·Zbl 1420.68178号
[25] 贝萨,M。;博斯塔纳巴德,R。;刘,Z。;胡,A。;阿普利,D.W。;布林森,C。;Chen,W。;Liu,W.K.,《不确定性下材料的数据驱动分析框架:对抗维度诅咒》,计算。方法应用。机械。工程,320,633-667(2017)·Zbl 1439.74014号
[26] Tabar,Y.R。;Halici,U.,《一种新的脑运动图像信号分类深度学习方法》,J.Neural Eng,,14,1,Article 016003 pp.(2016)
[27] 风扇,C。;孙,Y。;Zhao,Y。;宋,M。;Wang,J.,用于改进建筑能量预测的基于深度学习的特征工程方法,应用。能源,240,35-45(2019)
[28] del Rio Chanona,美国东部。;Wagner,J.L。;阿里·H。;菲奥雷利,F。;张,D。;Hellgardt,K.,基于深度学习的微藻生物燃料生产和光生物反应器设计替代建模与优化,AIChE J.,65,3,915-923(2019)
[29] Rudy,S.H。;Brunton,S.L。;Proctor,J.L。;Kutz,J.N.,偏微分方程的数据驱动发现,科学。高级,3,4,文章e1602614 pp.(2017)
[30] Brunton,S.L。;Proctor,J.L。;Kutz,J.N.,通过非线性动力系统的稀疏识别从数据中发现控制方程,Proc。国家。阿卡德。科学。,113, 15, 3932-3937 (2016) ·Zbl 1355.94013号
[31] 冠军K。;Lusch,B。;库茨,J.N。;Brunton,S.L.,数据驱动的坐标和控制方程发现,Proc。国家。阿卡德。科学。,116, 45, 22445-22451 (2019) ·Zbl 1433.68396号
[32] 李,H。;卡夫卡,O.L。;高杰。;Yu,C。;聂,Y。;张,L。;Tajdari,M。;唐,S。;郭,X。;李·G。;唐,S。;Cheng,G。;Liu,W.K.,机器学习和设计优化中生成材料性能数据库的聚类离散化方法,计算。机械。,64, 2, 281-305 (2019) ·Zbl 1470.74073号
[33] Fritzen,F。;费尔南德斯,M。;Larsson,F.,《使用人工神经网络和降阶建模进行非线性双尺度仿真的实时自适应性》,Front。材料。,6, 75 (2019)
[34] 肖,S。;胡,R。;李,Z。;Attarian,S。;比约克,K.-M。;Lendasse,A.,一种机器学习增强的层次多尺度方法,用于从分子动力学到连续统的桥接,神经计算。申请。,1-15 (2019)
[35] Chan,H。;Narayanan,B。;Cherukara,M.J。;森,F.G。;Sasikumar,K。;格雷,S.K。;Chan,M.K。;桑卡拉纳拉亚南,S.K.,《从第一原理训练数据中学习分子动力学的经典原子间势》,J.Phys。化学。C、 123、12、6941-6957(2019)
[36] Yan,W。;Lin,S。;卡夫卡,O.L。;Lian,Y。;Yu,C。;刘,Z。;严,J。;沃尔夫,S。;Wu,H。;Ndip-Agbor,E.,数据驱动的多尺度多物理模型,用于推导加法制造的过程-结构-性能关系,计算。机械。,61, 5, 521-541 (2018) ·Zbl 1471.74081号
[37] 李,X。;Zhang,Y。;赵,H。;伯克哈特,C。;布林森,L.C。;Chen,W.,《微观结构重建和结构性能预测的转移学习方法》,科学。代表,8,1,1-13(2018)
[38] 高杰。;Shakoor,M。;金奈,H。;Kadowaki,H。;塞塔,E。;Liu,W.K.,预测填充橡胶性能的逆向建模方法,计算机。方法应用。机械。工程,357,第112567条pp.(2019)·Zbl 1442.65141号
[39] Bessa,医学硕士。;格洛瓦基,P。;Houlder,M.,《超材料设计中的贝叶斯机器学习:易碎变为超压缩》,马特少校。,第31、48条,第1904845页(2019年)
[40] 刘,Y。;Zhao,T。;Ju,W。;Shi,S.,使用机器学习进行材料发现和设计,J.Mater。,3, 3, 159-177 (2017)
[41] 戈麦斯,C.P。;塞尔曼,B。;Gregoire,J.M.,材料发现人工智能,MRS Bull。,44, 7, 538-544 (2019)
[42] 莫扎法尔,M。;博斯塔纳巴德,R。;Chen,W。;Ehmann,K。;曹,J。;Bessa,M.,深度学习预测路径依赖性可塑性,Proc。国家。阿卡德。科学。,116, 52, 26414-26420 (2019)
[43] Yang,H。;郭,X。;唐,S。;Liu,W.K.,通过数据驱动的主成分展开推导异质材料定律,计算机。机械。,64, 2, 365-379 (2019) ·Zbl 1467.74013号
[44] 唐,S。;张,G。;Yang,H。;李毅。;刘伟凯。;Guo,X.,Map123:使用一维数据进行三维非线性弹性材料建模的数据驱动方法,计算。方法应用。机械。工程,357,第112587条pp.(2019)·Zbl 1442.65417号
[45] 唐,S。;李毅。;邱,H。;Yang,H。;萨哈,S。;Mojumder,S。;刘伟凯。;Guo,X.,Map123-ep:基于力学的数据驱动的数值弹塑性分析方法,计算。方法应用。机械。工程,364,第112955条pp.(2020)·Zbl 1442.74044号
[46] Brunton,S.L。;Kutz,J.N.,《数据驱动科学与工程:机器学习、动态系统和控制》(2019),剑桥大学出版社·Zbl 1407.68002号
[47] 刘,Z。;贝萨,M。;Liu,W.K.,自洽聚类分析:非弹性非均匀材料的有效多尺度方案,计算。方法应用。机械。工程,306319-341(2016)·Zbl 1436.74070号
[48] Yu,C。;卡夫卡,O.L。;Liu,W.K.,有限应变下多尺度建模的自洽聚类分析,计算。方法应用。机械。工程,349,339-359(2019)·Zbl 1441.74309号
[49] Tajdari,M。;Pawar,A。;李,H。;Tajdari,F。;Maqsood,A。;克利里,E。;萨哈,S。;张义杰。;Sarwark,J.F。;Liu,W.K.,青少年特发性脊柱侧凸的基于图像的建模:机械机器学习分析和预测,计算机。方法应用。机械。工程(2020),提交出版,同一期特刊
[50] 张,L。;Cheng,L。;李,H。;高杰。;Yu,C。;Domel,R。;Yang,Y。;唐,S。;Liu,W.K.,分层深度学习神经网络:有限元及其以外,计算。机械。(2020年),(出版中)
[51] Paszke,A。;毛重,S。;钦塔拉,S。;Chanan,G。;杨,E。;德维托,Z。;林,Z。;Desmaison,A。;安提瓜,L。;Lerer,A.,《pytorch中的自动区分》(2017)
[52] Kingma,D.P。;Ba,J.,Adam:随机优化方法(2014),arXiv预印本arXiv:1412.6980
[53] ABAQUS/标准用户手册
[54] 休斯,T。;科特雷尔,J。;Bazilevs,Y.,等几何分析:Cad,有限元,nurbs,精确几何和网格细化,计算。方法应用。机械。工程,194,39,4135-4195(2005)·Zbl 1151.74419号
[55] Yang,S。;Tewari,A。;Gokhale,A.M.,陶瓷基复合材料中纤维非均匀空间排列的建模,材料学报。,45, 7, 3059-3069 (1997)
[56] 费耶尔,F。;Chaboche,J.-L.,长纤维sic/ti复合材料弹粘塑性行为建模的Fe2多尺度方法,计算。方法应用。机械。工程,183,3-4,309-330(2000)·Zbl 0993.74062号
[57] 刘,Z。;弗莱明,M。;Liu,W.K.,弹塑性应变软化材料自洽聚类分析的微观结构材料数据库,计算。方法应用。机械。工程,330,547-577(2018)·兹比尔1439.74063
[58] 奥特曼,N。;Krzywinski,M.,《维度的诅咒》,《自然方法》,第15期,第399-400页(2018年)
[59] Lin,H.W。;Tegmark,M。;Rolnick,D.,为什么深度学习和廉价学习效果如此好?,《统计物理学杂志》。,168, 6, 1223-1247 (2017) ·Zbl 1373.82061号
[60] 雷诺兹,O.,Xxix。Phil.Trans,对决定水的运动是直接还是曲折的环境以及平行河道中阻力定律的实验研究。英国皇家学会。,174, 935-982 (1883) ·JFM 16.0845.02号
[61] Nikuradse,J.,《粗糙管道中的流动定律》(1950),华盛顿国家航空咨询委员会
[62] Logan Jr,E。;Jones,J.,《表面粗糙度突然增加后管道中的流动》(1963)
[63] 震惊,M。;艾伦,J。;Smits,A.,湍流管流中的粗糙度效应,J.流体力学。,564, 267-285 (2006) ·Zbl 1178.76049号
[64] 霍尼克,K。;Stinchcombe先生。;White,H.,使用多层前馈网络对未知映射及其导数的通用近似,神经网络。,3, 5, 551-560 (1990)
[65] 普里斯特利,M.B.,《谱分析和时间序列:概率和数理统计》(1981),04;QA280,第7页·Zbl 0537.62075号
[66] Tan,Q.-M.,《量纲分析:力学案例研究》(2011),施普林格科学与商业媒体·Zbl 1233.76001号
[67] Kline,S.J.,《相似性与近似理论》(2012),施普林格科学与商业媒体
[68] 巴伦布拉特,G.I。;巴伦布拉特,G.I。;Isaakovich,B.G.,《尺度、自相似性和中间渐近:量纲分析和中间渐近》,第14卷(1996年),剑桥大学出版社·Zbl 0907.76002号
[69] 甘,Z。;卡夫卡,O.L。;Parab,N。;赵,C。;O.海诺宁。;Sun,T。;Liu,W.,《金属三维打印中的通用低维缩放定律》(2020),arXiv预印arXiv:2005.00117
[70] Bennett,J.L。;卡夫卡,O.L。;廖,H。;沃尔夫·S·J。;Yu,C。;程,P。;凯悦集团。;Ehmann,K。;Cao,J.,冷却速度对激光沉积铬镍铁合金718抗拉强度的影响,Procedia Manuf.,26,912-919(2018)
[71] Breiman,L.,《随机森林》,马赫。学习。,45, 1, 5-32 (2001) ·Zbl 1007.68152号
[72] McGinty,R.D.,多晶非弹性的多尺度表示,1-449(2001),乔治亚理工大学(博士论文)
[73] 刘,Z。;卡夫卡,O.L。;Yu,C。;Liu,W.K.,具有晶体塑性的异质材料的数据驱动自洽聚类分析,应用科学中的计算方法,第46卷,221-242(2018),施普林格国际出版公司·Zbl 1493.74017号
[74] 谢诺伊,M。;张杰。;McDowell,D.,使用计算方法估计多晶镍基高温合金微观结构的疲劳敏感性,疲劳分数。工程硕士。结构。,30, 10, 889-904 (2007)
[75] O.卡夫卡。;Yu,C。;Shakoor,M。;刘,Z。;瓦格纳,G。;Liu,W.,微观结构对镍钛高周疲劳寿命影响的数据驱动机制建模,JOM,70,7,1154-1158(2018)
[76] Shakoor,M。;O.卡夫卡。;Yu,C。;刘伟凯,延性材料有限应变力学的数据科学,计算。机械。,64, 1, 33-45 (2018) ·Zbl 1467.74017号
[77] 托里,L。;Shavlik,J.,转移学习,(机器学习应用和趋势研究手册:算法、方法和技术(2010),IGI global),242-264
[78] 甘,Z。;Lian,Y。;林,S.E。;Jones,K.K。;刘伟凯。;Wagner,G.J.,《inconel 625选择性激光熔化中热行为、表面形貌和枝晶微观结构的基准研究》,Integr。马特。制造商Innov。,8, 2, 178-193 (2019)
[79] 甘,Z。;琼斯,K。;卢,Y。;Liu,W.K.,空军研究实验室,增材制造(AM)建模挑战系列(2020)
[80] 黄,J。;格雷顿,A。;Borgwardt,K。;Schölkopf,B。;Smola,A.J.,用未标记数据校正样本选择偏差,(神经信息处理系统进展(2007)),601-608
[81] 高杰。;Shakoor,M。;Domel,G。;默兹柯奇,M。;周,G。;曾博士。;苏,X。;Liu,W.K.,单向碳纤维增强聚合物的预测多尺度建模,Compos。科学。技术。,186,第107922条pp.(2020)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。