×

强迫机器学习输出物理上精确的结果。 (英语) Zbl 1453.68164号

摘要:许多机器/深度学习人工神经网络被训练成简单的插值函数,将输入变量映射为以线性/非线性方式从训练数据插值的输出值。即使训练数据的输入/输出对在物理上是准确的(例如,实验或数值模拟的结果),插值量也可能偏离物理上的准确度很远。虽然可以将网络的输出投影到物理上可行的区域,但这样的后处理不会被训练网络时最小化的能量函数捕获;因此,最终的预测结果可能会错误地偏离训练数据很远。我们建议将任何此类投影或后处理直接折叠到网络中,以便通过能量函数将最终结果与训练数据进行正确比较。虽然我们提出了一种通用方法,但我们证明了它在特定卷积神经网络上的有效性,该网络采用人体姿势参数(关节旋转),并输出表示三角网格的顶点位置预测。虽然原始网络以错误的高拉伸和压缩能量输出顶点位置,但使用我们的物理“先验”训练的新网络解决了这些问题,产生了高度改进的结果。

MSC公司:

68T07型 人工神经网络与深度学习
00A79号 物理
65D18天 计算机图形、图像分析和计算几何的数值方面
68单位05 计算机图形;计算几何(数字和算法方面)

关键词:

机器学习物理模拟
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Ling,J。;Jones,R。;Templeton,J.,《具有不变性系统的机器学习策略》,J.Compute。物理。,318,22-35(2016)·Zbl 1349.76124号
[2] E.J.帕里什。;Duraisamy,K.,使用场反演和机器学习的数据驱动预测建模的范例,J.Comput。物理。,305, 758-774 (2016) ·Zbl 1349.76006号
[3] 莱斯,M。;佩尔迪卡里斯,P。;Karniadakis,G.E.,使用高斯过程的线性微分方程机器学习,J.Compute。物理。,348, 683-693 (2017) ·Zbl 1380.68339号
[4] 莱斯,M。;Karniadakis,G.E.,《隐藏的物理模型:非线性偏微分方程的机器学习》,J.Comput。物理。,357, 125-141 (2018) ·Zbl 1381.68248号
[5] Tripathy,R.K。;Bilionis,I.,Deep uq:学习深度神经网络替代模型,用于高维不确定性量化,J.Compute。物理。,375, 565-588 (2018) ·Zbl 1419.68084号
[6] 西里尼亚诺,J。;Spiliopoulos,K.,Dgm:解偏微分方程的深度学习算法,J.Compute。物理。,375, 1339-1364 (2018) ·Zbl 1416.65394号
[7] 齐,Y。;卢,J。;斯卡多维利,R。;Zaleski,S。;Tryggvason,G.,《使用机器学习计算流体体积法的曲率》,J.Compute。物理。,377, 155-161 (2019)
[8] Chang,H。;张,D.,通过数据驱动和数据相似相结合的方法识别物理过程,J.Compute。物理。,393, 337-350 (2019) ·Zbl 1453.62797号
[9] 莱斯,M。;佩尔迪卡里斯,P。;Karniadakis,G.E.,《基于物理的神经网络:用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》,J.Compute。物理。,378, 686-707 (2019) ·Zbl 1415.68175号
[10] Yeo,K。;Melnyk,I.,噪声动力系统数据驱动模拟的深度学习算法,J.Compute。物理。,376, 1212-1231 (2019) ·Zbl 1416.62552号
[11] Zhu,Y。;北卡罗来纳州扎巴拉斯。;Koutsourelakis,P.-S。;Perdikaris,P.,无标记数据的高维代理建模和不确定性量化的物理约束深度学习,J.Comput。物理。,394, 56-81 (2019) ·Zbl 1452.68172号
[12] Gibou,F。;海德,D。;Fedkiw,R.,《多相流的夏普接口方法和深度学习技术》,J.Compute。物理。,380, 442-463 (2019) ·Zbl 1451.76131号
[13] 施蒂尼斯,P。;哈格,T。;塔塔科夫斯基,A.M。;Yeung,E.,《生成性对抗网络中内插和外推的强制约束》,J.Compute。物理。,397,第108844条pp.(2019)·兹比尔1453.68159
[14] 古德费罗,I。;Y.本吉奥。;A.Courville,《深度学习》(2016),麻省理工学院出版社·Zbl 1373.68009号
[15] 哈斯蒂,T。;Tibshirani,R。;弗里德曼,J。;Franklin,J.,《统计学习的要素:数据挖掘、推理和预测》,数学。智力。,27, 83-85 (2005)
[16] Ng,A.,Cs229学习理论讲稿(2019年)
[17] 李,F.-F。;约翰逊,J。;Yeung,S.,Cs231n关于训练神经网络的讲义(2019)
[18] Broyden,C.G.,一类双秩最小化算法的收敛性1。一般考虑,IMA J.Appl。数学。,6, 76-90 (1970) ·Zbl 0223.65023号
[19] 刘博士。;Nocedal,J.,《关于大规模优化的有限内存bfgs方法》,数学。程序。,45, 503-528 (1989) ·Zbl 0696.90048号
[20] 迪安·J。;Corrado,G.S。;蒙加,R。;Chen,K。;德文,M。;Le,Q.V。;毛泽东。;兰扎托,M。;高级,A。;塔克,P。;Yang,K。;Ng,A.Y.,《大规模分布式深层网络》(第25届神经信息处理系统国际会议论文集,第1卷)。第25届神经信息处理系统国际会议记录-第1卷,NIPS’12(2012),Curran Associates Inc.:Curran associatess Inc.USA),1223-1231
[21] 罗宾斯,H。;Monro,S.,《随机近似方法》,《数学年鉴》。统计,400-407(1951)·Zbl 0054.05901号
[22] Wright,S.J.,坐标下降算法,数学。程序。,151, 3-34 (2015) ·Zbl 1317.49038号
[23] Bao,M。;华,X。;Fedkiw,R.,确定面部表情的改进搜索策略(2018),arXiv预印本
[24] Polyak,B.T.,《加速迭代法收敛的一些方法》,苏联计算机出版社。数学。数学。物理。,4, 1-17 (1964) ·Zbl 0147.35301号
[25] Nesterov,Y.E.,一种求解具有收敛速度的凸规划问题的方法\(o(1/k^2)\),Dokl。阿卡德。诺克SSSR,269,543-547(1983)
[26] 杜奇,J。;哈赞,E。;Singer,Y.,在线学习和随机优化的自适应次梯度方法,J.Mach。学习。第12号决议,2121-2159(2011年)·兹比尔1280.68164
[27] Zeiler,M.D.,Adadelta:一种自适应学习率方法(2012),arXiv预印本
[28] Tieleman,T。;Hinton,G.,讲座6.5-rmsprop:将梯度除以最近大小的运行平均值,(课程:机器学习的神经网络,第4卷(2012)),26-31
[29] Kingma,D.P。;Ba Adam,J.,《随机优化方法》(2014),arXiv预印本
[30] Dozat,T.,将Nesterov Momentum纳入Adam(2016)
[31] 邓,J。;Dong,W。;Socher,R。;李,L。;李凯;Fei-Fei,Li,Imagenet:大型分层图像数据库,(2009 IEEE计算机视觉和模式识别会议(2009)),248-255
[32] Jin,N。;Zhu,Y。;耿,Z。;Fedkiw,R.,基于像素的数据驱动服装框架(2018),arXiv预印本
[33] 阿莫斯,B。;Kolter,J.Z.,Optnet:可微优化作为神经网络中的一个层,(第34届国际机器学习大会论文集。第34届国际机器学习大会论文集,JMLR,第70卷(2017)),136-145
[34] 博伊德,S。;Vandenberghe,L.,《凸优化》(2004),剑桥大学出版社·Zbl 1058.90049号
[35] 阿格拉瓦尔。;Barratt,S。;博伊德,S。;Busseti,E。;Moursi,W.,通过圆锥程序进行微分,J.Appl。数字。最佳。,1, 107-115 (2019)
[36] Teran,J.等人。;Blemker,S。;兴,V。;Fedkiw,R.,《模拟骨骼肌的有限体积方法》(2003年ACM SIGGRAPH/欧洲制图学会计算机动画研讨会论文集,欧洲制图协会(2003)),68-74
[37] 欧文,G。;Teran,J.等人。;Fedkiw,R.,用于大变形稳健模拟的可逆有限元,(2004年ACM SIGGRAPH/Eurographics计算机动画研讨会论文集,Goslar德国),131-140
[38] Sifakis,E。;Neverov,I。;Fedkiw,R.,从稀疏运动捕捉标记数据自动确定面部肌肉激活,ACM Trans。图表。,24, 417-425 (2005)
[39] 丛,M。;Bhat,K.S。;Fedkiw,R.,高端面部动画的艺术定向肌肉模拟,(ACM SIGGRAPH/Eurographics计算机动画研讨会论文集。ACM SIG GRAPH/Eurographics计算机动画会议论文集,SCA’16(2016),欧洲图形学会,德国戈斯拉:欧洲图形协会,德国戈斯拉),119-127
[40] M.Bao,M.Cong,S.Grabli,R.Fedkiw,使用解剖肌肉进行高质量面部捕捉,收录于《IEEE计算机视觉和模式识别会议论文集》,第10802-10811页。
[41] Magnenat-Thalmann,N。;拉佩里埃,R。;Thalmann,D.,手动画和物体抓取的关节相关局部变形,(88年《图形界面学报》(1988),加拿大信息处理学会:加拿大安大略省多伦多市加拿大信息处理协会),26-33
[42] Blemker,S.S。;Delp,S.L.,《复杂肌肉结构和几何的三维表示》,《生物年鉴》。工程师,33,661-673(2005)
[43] 卡万,L。;柯林斯,S。;J·哈拉。;O'Sullivan,C.,《双四元数皮肤》,(2007年交互式3D图形和游戏研讨会论文集。2007年交互式三维图形和游戏会议论文集,I3D’07(2007),ACM:美国纽约州纽约市ACM),39-46
[44] Stavness,I。;哥伦比亚特区桑切斯。;劳埃德·J。;Ho,A。;Wang,J。;费尔斯,S。;Huang,D.,解剖模拟刚性和可变形模型的统一蒙皮,(SIGGRAPH Asia 2014技术简报。SIGGRAP Asia 2014 Technical Briefs,SA’14(2014),ACM:ACM New York,NY,USA),第9页。
[45] Le,B.H。;Hodgins,J.K.,具有优化旋转中心的实时骨骼蒙皮,ACM Trans。图表。,35,第37条pp.(2016)
[46] Lee,S。;帕克,M。;Lee,K。;Lee,J.,可伸缩肌肉驱动人体模拟和控制,ACM Trans。图表。,第38条,第73页(2019年)
[47] Le,B.H。;Lewis,J.P.,《直接德尔塔糊状物蒙皮和变体》,ACM Trans。图表。,38,第113条pp.(2019)
[48] Osher,S。;Fedkiw,R.,《水平集方法和动态隐式曲面》,第153卷(2006),施普林格科学与商业媒体
[49] Bridson,R。;圣马力诺。;Fedkiw,R.,《褶皱和褶皱服装的模拟》,(2003年ACM SIGGRAPH/欧洲图形计算机动画研讨会论文集。2003年ACM-SIGGRACH/欧洲图像计算机动画研讨会会议论文集,SCA'03(2003),欧洲图形协会,瑞士Aire-la-Ville:Eurographics Association,Aire-lo-Ville,瑞士瑞士),28-36
[50] Bridson,R。;Fedkiw,R。;Anderson,J.,布动画中碰撞、接触和摩擦的稳健处理,(第29届计算机图形和交互技术年会论文集。第29届电脑图形和交互技巧年会论文集中,SIGGRAPH’02(2002),ACM:美国纽约州纽约市ACM),594-603
[51] Selle,A。;苏,J。;欧文,G。;Fedkiw,R.,《使用并行、基于历史的碰撞和精确摩擦的鲁棒高分辨率布料》,IEEE Trans。视觉。计算。图表。,15, 339-350 (2009)
[52] Jin,N。;卢·W。;耿,Z。;Fedkiw,R.,Inequality cloth,(ACM SIGGRAPH/欧洲制图计算机动画研讨会论文集。ACM SIG GRAPH/Eurographics计算机动画研讨会文献集,SCA’17(2017),ACM:美国纽约州纽约市ACM),第16条,pp。
[53] 休斯·T。;泰勒,R。;Kanoknukulchai,W.,一种简单有效的板弯曲有限元,国际期刊Numer。方法工程,11529-1543(1977)·Zbl 0363.73067号
[54] 多马希迪,A。;朱,E。;Boyd,S.,ECOS:嵌入式系统的SOCP求解器,(2013年欧洲控制会议(ECC)(2013),IEEE),3071-3076
[55] Selle,A。;Lentine,M。;Fedkiw,R.,头发模拟的质量弹簧模型,ACM Trans。图表。,27,第64条pp.(2008)
[56] Teran,J.等人。;Sifakis,E。;欧文,G。;Fedkiw,R.,稳健准静态有限元和肉体模拟,(2005年ACM SIGGRAPH/欧洲制图计算机动画研讨会论文集。2005年ACM-SIGGRACH/欧洲绘图计算机动画研讨会文献集,SCA’05(2005),ACM:ACM纽约,美国纽约州),181-190
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。