德苏巴扬;库尔特·莫特;Alireza Doostan 不确定性结构优化的双精度随机梯度下降法。 （英语） Zbl 1465.74137号 计算。机械。 66，第4期，745-771（2020年）. 摘要：结构的材料属性和几何结构中普遍存在不确定性。因此，稳健工程结构的设计需要在优化过程中考虑不确定性。随机梯度下降（SGD）方法可以降低不确定性条件下的优化成本，其中包括目标和约束中感兴趣量的统计矩。然而，在优化过程的初始迭代期间，设计可能会发生很大变化，这会阻碍传统SGD方法及其变体的收敛。在本文中，我们提出了两种基于SGD的算法，其中通过使用低脂优化过程中的模型。在第一种算法中，大多数随机梯度计算都是在低维模型上进行的，只有少数梯度来自高保真度每次迭代都使用该模型，从而改进了收敛性。在第二种算法中，我们使用低脂用作的模型控制变量方差减少技术，用于减少搜索方向上的方差。这两种双精度算法首先通过一个概念示例进行了说明。然后，通过形状和拓扑优化的两个数值例子研究了所提出的双精度算法的收敛性，并与不使用低保真度模型。结果表明，在SGD方法中使用双精度方法可以提高收敛性。本文还提供了两个分析证明，证明了这两个算法在适当假设下的线性收敛性。 引用于6文件 MSC公司： 第74页第15页 固体力学优化问题的拓扑方法 74S60系列 应用于固体力学问题的随机和其他概率方法 65N12号 偏微分方程边值问题数值方法的稳定性和收敛性 关键词：双精度法;拓扑优化;控制变量;随机平均梯度;随机方差缩减梯度;汇聚 软件：前88.m;亚当;顶部。米;阿达格拉德;FEniCS公司;阿达德尔塔;Matlab公司 PDF格式BibTeX公司 XML格式引用 \textit｛S.De｝等人，计算。机械。66，第4号，745--771（2020；Zbl 1465.74137） 全文： 内政部 arXiv公司 参考文献： [1] Allaire D、Willcox K、Toupet O（2010）基于贝叶斯的多元多学科设计优化方法。In:第13届AIAA/ISSMO多学科分析优化会议，p9183 [2] Alns，MS；布莱希塔，J。；Hake，J。；Johansson，A。；Kehlet，B。；Logg，A。；Richardson，C。；Ring，J。；罗杰斯，ME；Wells，GN，FENiCS项目1.5版，Arch Numer Softw，3，100，9-23（2015） [3] 安德烈森，E。；克劳森，A。；Schevenels，M。；拉扎罗夫，理学学士；Sigmund，O.，《使用88行代码在Matlab中进行高效拓扑优化》，Struct Multidisip Optim，43，1，1-16（2011）·Zbl 1274.74310号 ·doi:10.1007/s00158-010-0594-7 [4] 巴布什卡，I。；Nobile，F。；Tempone，R.，带随机输入数据的椭圆偏微分方程的随机配置方法，SIAM J Numer Ana，45，3，1005-1034（2007）·Zbl 1151.65008号 ·doi:10.1137/050645142 [5] 巴克尔，MH；Bandler，JW；Madsen，K。；Söndergaard，J.，《工程优化和建模的空间映射方法综述》，Optim Eng，1，3，241-276（2000）·Zbl 0992.90088号 ·doi:10.1023/A:10100000106286 [6] 巴克尔，MH；Bandler，JW；Madsen，K。；Söndergaard，J.，《空间制图技术简介》，Optim Eng，2，4，369-384（2001）·Zbl 1035.90082号 ·doi:10.1023/A：1016086220943 [7] 班德勒，JW；比尔纳奇，RM；陈，SH；宾夕法尼亚州Grobelny；Hemmers，RH，用于电磁优化的空间映射技术，IEEE Trans-Microw理论技术，42，12，2536-2544（1994）·数字对象标识代码：10.1109/22.339794 [8] Bendöse M，Sigmund O（2003）《拓扑优化：理论、方法和应用》。国际标准图书编号：3-540-42992-1 [9] Bendsöe，MP，作为材料分配问题的最佳形状设计，结构优化，1,4193-202（1989）·doi:10.1007/BF01650949 [10] 布拉特曼，G。；Sudret，B.，建立随机有限元分析稀疏多项式混沌展开的自适应算法，Probab Eng Mech，25，2，183-197（2010）·doi:10.1016/j.probengmech.2009.10.003 [11] AJ·布克；JE丹尼斯；PD Frank；塞拉菲尼，DB；托克森，V。；Trosset，MW，通过代理优化昂贵函数的严格框架，Struct Optim，17，1，1-13（1999）·doi:10.1007/BF01197708 [12] Bottou L（2010）随机梯度下降的大规模机器学习。摘自：2010年COMPSTAT会议记录。施普林格，第177-186页·Zbl 1436.68293号 [13] 博图，L。；FE柯蒂斯；Nocedal，J.，《大规模机器学习的优化方法》，SIAM Rev，60，2，223-311（2018）·Zbl 1397.65085号 ·doi:10.1137/16M1080173 [14] Bourdin，B.，拓扑优化中的滤波器，Int J Numer Methods Eng，50，9，2143-2158（2001）·Zbl 0971.74062号 ·doi:10.1002/nme.116 [15] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥：剑桥大学出版社，剑桥·Zbl 1058.90049号 [16] Bruns，TE；托托雷利，DA，非线性弹性结构和柔顺机构的拓扑优化，计算方法应用机械工程，190，26-27，3443-3459（2001）·Zbl 1014.74057号 ·doi:10.1016/S0045-7825（00）00278-4 [17] Bulleit，WM，《结构工程中的不确定性》，《施工阶段结构设计》，13，1，24-30（2008）·doi:10.1061/（ASCE）1084-0680（2008）13:1（24） [18] 卡拉菲尔，GC；Dabbene，F.，不确定条件下的优化及其在桁架结构设计中的应用，Struct Multiscip Optim，35，3189-200（2008）·兹比尔1273.74374 ·doi:10.1007/s00158-007-0145-z [19] 陈，SH；杨，XW；Wu，BS，使用摄动和pade近似法对结构进行静态位移再分析，《通用数值方法工程》，16，2，75-82（2000）·Zbl 0987.74080号 ·doi:10.1002/（SICI）1099-0887（200002）16:2<75:：AID-CNM308>3.0.CO；2倍 [20] Choi，S。；阿隆索，JJ；克鲁，IM；Wintzer，M.，低吊杆超音速喷气机的多保真设计优化，J Aircr，45，1，106-118（2008）·数字对象标识代码：10.2514/1.28948 [21] Christensen DE（2012）不确定性下多学科设计的多保真度方法。麻省理工学院硕士论文 [22] De S，Hampton J，Maute K，Doostan A（2020），使用基于随机梯度的方法进行不确定性下的拓扑优化。结构多磁盘Optim（已接受） [23] 德·S。；沃伊特基维茨，旧金山；Johnson，EA，《斜拉桥被动控制装置的有效优化设计和不确定性设计》，结构控制健康监测，24，2，e1846（2017）·doi:10.1002/stc.1846 [24] Defazio A，Bottou L（2018）关于方差减少优化对深度学习的无效性。ArXiv预打印ArXiv:1812.04529 [25] Diwekar U（2008）《不确定性下的优化》。内容：应用优化简介。施普林格，第1-54页·Zbl 1159.90001号 [26] Diwekar，UM；Kalagnanam，JR，不确定性下优化的有效抽样技术，AIChE J，43，2，440-447（1997）·doi:10.1002/aic.690430217 [27] Doostan A、Geraci G、Iacarino G（2016）矩形肋通道中传热不确定性量化的双精度方法。参加：2016年ASME涡轮博览会：涡轮机械技术会议和展览会。美国机械工程师学会，p V02CT45A031 [28] Doostan，A。；Owhadi，H.，具有随机输入的PDE的非自适应稀疏近似，《计算物理杂志》，230，8，3015-3034（2011）·Zbl 1218.65008号 ·doi:10.1016/j.jcp.2011.01.002 [29] Doostan A，Owhadi H，Lashgari A，Iacarino G（2009）随机输入PDE的非自适应稀疏近似。斯坦福大学湍流研究中心技术报告年度研究简报 [30] 杜奇，J。；哈赞，E。；Singer，Y.，在线学习和随机优化的自适应次梯度方法，J Mach Learn Res，12，71221-2159（2011）·兹比尔1280.68164 [31] Eldred M，Dunlavy D（2006）《利用数据拟合、多重性和降阶模型进行基于代理优化的公式》。In:第11届AIAA/ISSMO多学科分析和优化会议，7117页 [32] Eldred MS，Elman HC（2011）《采用随机展开法的不确定性设计》。国际J不确定数量1（2）：119-146·Zbl 1225.65064号 [33] 人力资源部费尔班克斯；Doostan，A。；凯特尔森，C。；Iacarino，G.，高维不确定系统多级蒙特卡罗模拟的低阶控制变量，计算物理杂志，34121-139（2017）·Zbl 1378.65021号 ·doi:10.1016/j.jcp.2017.03.060 [34] Fairbanks HR、Jofre L、Geraci G、Iacarino G、Doostan A（2018）辐照颗粒湍流不确定性量化和灵敏度分析的双精度近似。ArXiv预打印ArXiv:1808.05742 [35] Fernández-Godino MG，Park C，Kim N-H，Haftka RT（2016）《多保真模型评论》。ArXiv预打印ArXiv:1609.07196 [36] Fischer CC、Grandhi RV、Beran PS（2017），多保真航空航天设计的贝叶斯低维修正方法。收录：第58届AIAA/ASCE/AHS/ASC结构、结构动力学和材料会议，第0133页 [37] 福雷斯特，AI；Sóbester，A。；AJ Keane，《通过代理建模实现多精度优化》，Proc R Soc Lond A Math Phys Eng Sci，463，2088，3251-3269（2007）·兹比尔1142.90489 [38] 加尼姆，RG；Spanos，PD，《随机有限元：谱方法》（2003），纽约：多佛出版社，纽约 [39] Gorodetsky，AA；Geraci，G。；Eldred，理学硕士；Jakeman，JD，《多元不确定性量化的广义近似控制变量框架》，《计算物理杂志》，408109257（2020）·兹伯利07505605 ·doi:10.1016/j.jcp.2020.109257 [40] Hammersley，J.，Monte Carlo方法（2013），柏林：施普林格，柏林·Zbl 0111.12405号 [41] Hampton J，Doostan A（2016）稀疏多项式混沌展开的压缩采样方法。不确定度量化手册，第1-29页 [42] J.汉普顿。；Doostan，A.，基自适应采样有效多项式混沌（BASE-PC），《计算物理杂志》，371，20-49（2018）·Zbl 1415.65028号 ·doi:10.1016/j.jcp.2018.03.035 [43] J.汉普顿。；费尔班克斯，人力资源部；纳拉扬，A。；Doostan，A.，参数/随机模型简化的非侵入双精度方法的实际误差界，《计算物理杂志》，368315-332（2018）·Zbl 1392.62352号 ·doi:10.1016/j.jcp.2018.04.015 [44] Hasselman，T.，《结构动力学模型中不确定性的量化》，J Aerosp Eng，14，4，158-165（2001）·doi:10.1061/（ASCE）0893-1321（2001）14:4（158） [45] VE亨森；布里格斯，WL；McCormick，SF，《多重网格教程》（2000），费城：工业和应用数学学会，费城·Zbl 0958.65128号 [46] Holmberg，E。；托尔斯滕费尔，B。；Klarbring，A.，应力约束拓扑优化，Struct Multidisip Optim，48，1，33-47（2013）·Zbl 1274.74341号 ·doi:10.1007/s00158-012-0880-7 [47] 黄，D。；艾伦，TT；威斯康星州诺茨；Miller，RA，使用多精度评估的顺序克里金优化，结构多磁盘优化，32，5，369-382（2006）·doi:10.1007/s00158-005-0587-0 [48] Hurtado，JE，使用迭代Shanks变换重新分析线性和非线性结构，计算方法应用机械工程，191，37-38，4215-4229（2002）·Zbl 1083.74608号 ·doi:10.1016/S0045-7825（02）00373-0 [49] 金·R。；杜，X。；Chen，W.，《在不确定性下使用元建模技术进行优化》，结构多磁盘优化，25，2，99-116（2003）·doi:10.1007/s00158-002-0277-0 [50] Johnson R，Zhang T（2013）使用预测方差减少加速随机梯度下降。主题：神经信息处理系统的进展，第315-323页 [51] Keane，A.，使用实验设计、响应面和数据融合方法进行机翼优化，J Aircr，40，4，741-750（2003）·doi:10.2514/2.3153 [52] Keane，AJ，Cokriging for robust design optimization，AIAA J，50，11，2351-2364（2012）·doi:10.2514/1.J051391 [53] MC肯尼迪；O'Hagan，A.，计算机模型的贝叶斯校准，J R Stat Soc Ser B Stat Methodol，63，3，425-464（2001）·Zbl 1007.62021号 ·数字标识代码：10.1111/1467-9868.00294 [54] Kingma D，Ba J（2014）Adam：一种随机优化方法。ArXiv预打印ArXiv:1412.6980 [55] Kirsch，U.，《组合近似——结构优化的一般再分析方法》，结构多盘优化，20，2，97-106（2000）·doi:10.1007/s001580050141 [56] Koutsourlakis，P-S，使用不准确的计算模型进行精确的不确定性量化，SIAM J Sci Comput，31，53274-3300（2009）·Zbl 1200.65002号 ·doi:10.1137/080733565 [57] Koziel S、Tesfahuegn Y、Amrit A、Leifsson LT（2016）使用协同克里金法和空间映射进行快速多目标空气动力学设计。收录：第57届AIAA/ASCE/AHS/ASC结构、结构动力学和材料会议，第0418页·Zbl 1471.74062号 [58] Kroo I、Willcox K、March A、Haas A、Rajnarayan D、Kays C（2010），超音速设计的多保真分析与优化。技术报告CR-2010-216874，NASA [59] Logg，A。；马尔达尔，K-A；Wells，GN，《用有限元法自动求解微分方程》（2012），柏林：施普林格出版社，柏林·Zbl 1247.65105号 [60] Luenberger，DG；Ye，Y.，线性和非线性规划（1984），柏林：施普林格出版社，柏林·Zbl 0571.90051号 [61] A.三月。；Willcox，K.，《使用模型校准进行约束多重优化》，《结构多圆盘优化》，46，1，93-109（2012）·Zbl 1274.74286号 ·doi:10.1007/s00158-011-0749-1 [62] A.三月。；Willcox，K.，《不需要高保真导数的可证明收敛多重优化算法》，AIAA J，50，5，1079-1089（2012）·doi:10.2514/1.J051125 [63] A.三月。；Willcox，K。；Wang，Q.，使用贝叶斯模型校准进行飞机设计的基于梯度的多重优化，Aeronaut J，115，1174，729-738（2011）·doi:10.1017/S0001924000006473 [64] 马丁，JD；TW Simpson，《使用克里金模型近似确定性计算机模型》，AIAA J，43，4，853-863（2005）·doi:10.2514/1.8650 [65] Maute，K。；Pettit，CL，《航空航天系统不确定性下的不确定性量化和设计》，结构基础设施工程，2，3-4，159-159（2006） [66] Myers，DE，协同克立格矩阵公式，《国际数学协会地理杂志》，14，3，249-257（1982）·doi:10.1007/BF01032887 [67] 纳拉扬，A。；Gittelson，C。；Xiu，D.，一种具有多重性模型的随机配置算法，SIAM科学计算杂志，36，2，A495-A521（2014）·Zbl 1296.65013号 ·数字对象标识代码：10.1137/130929461 [68] 内米洛夫斯基，A。；朱迪茨基，A。；兰·G。；Shapiro，A.，随机规划的稳健随机近似方法，SIAM J Optim，19，4，1574-1609（2009）·Zbl 1189.90109号 ·doi:10.1137/070704277 [69] Ng、LW；Willcox，KE，不确定条件下优化的高保真度方法，Int J Numer Methods Eng，100，10，746-772（2014）·兹比尔1352.74230 ·doi:10.1002/nme.4761 [70] Ng LW-T，Eldred M（2012）使用非侵入多项式混沌和随机配置进行多保真不确定性量化。收录：第53届AIAA/ASME/ASCE/AHS/ASC结构、结构动力学和材料会议第20届AIAA/ASME/AHS自适应结构会议第14届AIAA，第1852页 [71] Nobile，F。；丹蓬，R。；Webster，CG，带随机输入数据的偏微分方程的稀疏网格随机配置方法，SIAM J Numer Ana，46，5，2309-2345（2008）·Zbl 1176.65137号 ·doi:10.1137/060663660 [72] Nocedal，J。；Wright，S.，《数值优化》（2006），柏林：施普林格出版社，柏林·Zbl 1104.65059号 [73] Padron AS、Alonso JJ、Eldred MS（2016）气动鲁棒优化中的多精度方法。In:第18届AIAA非确定性方法会议，0680页 [74] 帕克，C。；哈夫特卡，RT；Kim，NH，《关于多保真代理的评论》，Struct Multidisip Optim，55，3，1029-1050（2017）·doi:10.1007/s00158-016-1550-y [75] 帕鲁西尼。；文丘里，D。；佩迪卡里斯，P。；Karniadakis，GE，预测随机场的多精度高斯过程回归，计算物理杂志，336，36-50（2017）·Zbl 1419.62272号 ·doi:10.1016/j.jcp.2017.01.047 [76] Pasupathy，R。；施梅瑟，BW；Taaffe，MR；Wang，J.，使用估计控制均值进行控制变量估计，IIE Trans，44，5，381-385（2012）·doi:10.1080/0740817X.2011.610430 [77] 佩赫斯托弗，B。；崔，T。；马尔祖克，Y。；Willcox，K.，《多保真重要性抽样》，《计算方法应用机械工程》，300，490-509（2016）·Zbl 1426.62087号 ·doi:10.1016/j.cma.2015.12.002 [78] 佩赫斯托弗，B。；Willcox，K。；Gunzburger，M.，《不确定性传播、推理和优化中的多重性方法综述》，SIAM Rev，60，3，550-591（2018）·Zbl 1458.65003号 ·doi:10.1137/16M1082469 [79] 佩迪卡里斯，P。；文丘里，D。；罗伊塞特，JO；Karniadakis，GE，通过递归协克里金和Gaussian-Markov随机场的多精度建模，Proc R Soc A数学物理工程科学，471，2179，20150018（2015） [80] 钱，PZ；Wu，CJ，用于集成低精度和高精度实验的贝叶斯分层建模，Technometrics，50，2192-204（2008）·doi:10.1198/00401700800000082 [81] 罗宾斯，H。；Monro，S.，《随机近似法》，《数学统计年鉴》，22400-407（1951）·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586 [82] 罗宾逊，T。；埃尔德雷德，M。；Willcox，K。；Haimes，R.，使用具有变量参数化和校正空间映射的多义性模型的基于代理的优化，AIAA J，46，11，2814-2822（2008）·数字对象标识代码：10.2514/1.36043 [83] Ross，SM，《模拟》（2013），剑桥：学术出版社，剑桥 [84] Roux NL，Schmidt M，Bach FR（2012）有限训练集指数收敛率的随机梯度方法。主题：神经信息处理系统的进展，第2663-2671页 [85] 鲁宾斯坦，RY；Kroese，DP，《模拟与蒙特卡罗方法》（2016），纽约：威利·Zbl 1352.68002号 [86] Ruder S（2016）梯度下降优化算法概述。ArXiv预打印ArXiv:1609.04747 [87] 内华达州萨希尼迪斯，《不确定性下的优化：最新技术和机遇》，《计算化学工程》，28，6-7，971-983（2004）·doi:10.1016/j.compchemeng.2003.09.017 [88] 桑格伦，E。；Cameron，TM，《通过考虑变化对结构进行稳健设计优化》，《计算结构》，80，20-21，1605-1613（2002）·doi:10.1016/S0045-7949（02）00160-8 [89] 加利福尼亚州桑德里奇；Haftka，RT，降阶结构模型特征值导数的准确性，J Guid Control Dyn，12，6，822-829（1989）·doi:10.2514/3.20487 [90] 施密特，M。；Le Roux，N。；Bach，F.，用随机平均梯度最小化有限和，数学程序，162，1-2，83-112（2017）·Zbl 1358.90073号 ·doi:10.1007/s10107-016-1030-6 [91] Senior A，Heigold G，Ranzato M，Yang K（2013），语音识别深层神经网络学习率的实证研究。2013年IEEE声学、语音和信号处理国际会议。IEEE，第6724-6728页 [92] Sigmund，O.，用Matlab编写的99行拓扑优化代码，Struct-Multidisip Optim，21，2，120-127（2001）·doi:10.1007/s001580050176 [93] Sigmund，O.，《用于拓扑优化的基于形态学的黑白滤波器》，Struct Multidisip Optim，33，4-5，401-424（2007）·doi:10.1007/s00158-006-0087-x [94] 西格蒙德，O。；Maute，K.，拓扑优化方法：比较综述，Struct Multiscip Optim，48，61031-1055（2013）·文件编号：10.1007/s00158-013-0978-6 [95] 斯金纳，RW；Doostan，A。；彼得斯，EL；JA埃文斯；Jansen，KE，NACA翼型有效参数研究的简化基多重性方法，AIAA J，57，1481-1491（2019）·doi:10.2514/1.J057452 [96] 喷水器，WR；MacBain，KM，《结构优化》（2009），柏林：施普林格出版社，柏林·Zbl 1175.90447号 [97] Wang C，Chen X，Smola AJ，Xing EP（2013）《随机梯度优化的方差缩减》。主题：神经信息处理系统的进展，第181-189页 [98] Weickum G、Eldred M、Maute K（2006）设计优化和不确定性分析的多点扩展降阶建模。摘自：第47届AIAA/ASME/ASCE/AHS/ASC结构、结构动力学和材料会议第14届AIAA/ASME/AHS自适应结构会议第7届，第2145页 [99] 秀，D。；Karniadakis，GE，随机微分方程的Wiener-Askey多项式混沌，SIAM科学计算杂志，24，2，619-644（2002）·Zbl 1014.65004号 ·doi:10.1137/S1064827501387826 [100] Yamazaki W、Rumpfkeil M、Mavrilis D（2010）利用梯度/黑森增强替代模型进行设计优化。In:第28届AIAA应用空气动力学会议，p4363 [101] 臧，C。；弗里斯韦尔，M。；Mottershead，J.，《稳健优化设计及其在动力学中的应用综述》，《计算结构》，83，4-5，315-326（2005）·doi:10.1016/j.compstruc.2004.10.007 [102] Zeiler MD（2012）ADADELTA：一种自适应学习率方法。ArXiv预打印ArXiv:1212.5701 [103] 周，M。；Rozvany，G.，COC算法，第二部分：拓扑、几何和广义形状优化，Comput Methods Appl Mech Eng，89，1309-336（1991）·doi:10.1016/0045-7825（91）90046-9 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。