×
蒂凡尼·范;纳撒尼尔·特拉斯克;玛尔塔·德埃利亚;亲爱的，埃里克

高维回归问题中单位网络的概率划分。 （英语） Zbl 07773168号

国际期刊数字。方法工程。 124，第10期，2215-2236（2023）.
摘要：我们在高维回归问题的背景下探索了单位网络的概率划分（PPOU-Net）模型，并提出了一个侧重于自适应降维的通用框架。在该框架下，目标函数由低维流形上的混合专家模型逼近，其中每个簇都与一个固定次数多项式相关联。我们提出了一种利用期望最大化（EM）算法的训练策略。在训练过程中，我们在（i）应用梯度下降更新DNN系数；和（ii）使用从EM算法导出的封闭式公式来更新混合专家模型参数。在概率公式下，步骤（ii）采用了令人尴尬的可并行加权最小二乘解的形式。在各种数据维度的数值实验中，PPOU网络始终优于具有可比大小的基线全连接神经网络。我们还探讨了所提出的模型在量子计算应用中的应用，其中PPOU-Nets充当与变化量子电路相关的成本景观的代理模型。
{©2023 John Wiley&Sons有限公司}

MSC公司：

65C20个 概率模型，概率统计中的通用数值方法
41A10号 多项式逼近
35K55型 非线性抛物方程
62G08号 非参数回归和分位数回归
62H25个 因子分析和主成分；对应分析
81第68页 量子计算

关键词：

深度学习;降维;专家的混合;非参数回归

软件：

DeepONet（深度网络）
PDF格式BibTeX公司 XML格式引用
\textit{T.Fan}等人，《国际期刊数字》。方法工程124，No.10，2215--2236（2023；Zbl 07773168）
全文： 内政部 arXiv公司

参考文献：

[1] 雅罗斯基博士。深度ReLU网络近似的误差界。神经网络。2017;94:103‐114. ·Zbl 1429.68260号
[2] 雅罗斯基博士。用非常深的ReLU网络对连续函数进行最佳逼近。PMLR；2018:639‐649.
[3] OpschoorJA、PetersenPC、SchwabC。深层ReLU网络和高阶有限元方法。分析应用程序。2020;18(05):715‐770. ·Zbl 1452.65354号
[4] 奥尔蒂兹·柯奇多费尔特。数据驱动的计算力学。计算方法应用机械工程2016；304:81‐101. ·Zbl 1425.74503号
[5] SirignanoJ，SpiliopoulosK。DGM：解偏微分方程的深度学习算法。计算物理杂志。2018;375:1339‐1364. ·Zbl 1416.65394号
[6] FreundJB、MacArtJF、SirignanoJ。DPM：一种深度学习的PDE增强方法（应用于大涡模拟）。arXiv预印本，arXiv:1911.09145 2019。
[7] DarveE徐克。稀疏观测数据驱动逆建模的物理约束学习。arXiv预印本arXiv：2002.10521 2020。
[8] FanT、XuK、PathakJ、DarveE。使用深度神经网络解决稳态Navier-Stokes方程中的反问题。arXiv预印本，arXiv:2008.13074 2020。
[9] 徐克，达维。稀疏观测数据驱动逆建模的物理约束学习。计算物理杂志。2022年；453:110938. ·Zbl 07517712号
[10] HollandJR、BaederJD、DuraisamyK。嵌入神经网络的场反演和机器学习：物理一致性神经网络训练。美国汽车协会；2019:3200.
[11] TraskN、GulianM、HuangA、LeeK。单位网络的概率划分：基于聚类的深度逼近。arXiv预印本，arXiv:2107.03066 2021。
[12] MichieD、SpiegelhalterDJ、TaylorCC。机器学习、神经和统计分类。埃利斯·霍伍德（Ellis Horwood）；1994. ·Zbl 0827.68094号
[13] KotsiantisSB、ZaharakisI、PintelasP。监督机器学习：分类技术综述。新兴人工智能应用计算工程2007；160(1):3‐24.
[14] StallkampJ、SchlipsingM、SalmenJ、IgelC。人与计算机：交通标志识别的基准机器学习算法。神经网络。2012;32:323‐332.
[15] AdeshinaYO、DeedsEJ、KaranicolasJ。机器学习分类可以减少基于结构的虚拟筛选中的误报。国家科学院院刊。2020;117(31):18477‐18488.
[16] SaputroIRD、MaryatiND、SolihatiSR、WijayantoI、HadiyosoS、PatmasariR。使用支持向量机对EEG信号进行癫痫类型分类。第1201卷。IOP出版；2019:012065.
[17] 林杰、邓普顿J。用于预测高雷诺平均Navier-Stokes不确定性区域的机器学习算法评估。物理流体。2015;27(8):085103.
[18] VerleysenM，FrançoisD。数据挖掘和时间序列预测中的维度诅咒。施普林格；2005:758‐770.
[19] PoggioT、MhaskarH、RosascoL、MirandaB、LiaoQ。深层网络（而非浅层网络）为什么以及何时可以避免维度灾难：综述。Int J自动计算。2017;14(5):503‐519.
[20] 巴赫F。用凸神经网络打破维数的魔咒。J Mach Learn Res.2017；18(1):629‐681. ·Zbl 1433.68390号
[21] 何杰、李莉、许杰、郑C。ReLU深度神经网络和线性有限元。arXiv预印本，arXiv：1807.03973 2018。
[22] CyrEC、GulianMA、PatelRG、PeregoM、TraskNA。深度神经网络的鲁棒训练和初始化：自适应基观点。PMLR；2020:512‐536.
[23] LeeK、TraskNA、PatelRG、GulianMA、CyrEC。单位网络划分：深度hp‐近似。arXiv预打印arXiv:2101.11256 2021。
[24] TrottenbergU、OosterleeCW、SchulerA。Multigrid.Elsevier；2000
[25] TraskN、HenriksenA、MartinezC、CyrE。单位网络的层次划分：快速多级训练。《Proc Mach Learn Res.2022》；145:1‐18.
[26] 博伊德·JP。切比雪夫和傅里叶谱方法。第二版多佛出版物；2001. ·Zbl 0994.65128号
[27] TrefethenLN公司。近似理论和近似实践，扩展版。暹罗；2019
[28] ShumanDI、VandergheynstP、KressnerD、FrossardP。基于切比雪夫多项式逼近的分布式信号处理。IEEE Trans-Signal Informat过程网络。2018;4（4）：736‐751。
[29] 格拉瓦科斯。经典傅里叶分析。第2卷。施普林格；2008
[30] 纽曼DJ。有理函数近似。美国数学学会，1979年。
[31] 布赫曼MD。径向基函数：理论与实现。第12卷。剑桥大学出版社；2003. ·Zbl 1038.41001号
[32] WrightIW的WegmanEJ。统计中的样条曲线。《美国统计学会杂志》，1983年；78(382):351‐365. ·Zbl 0534.62017号
[33] 马拉特斯。信号处理的小波之旅。爱思唯尔；1999. ·Zbl 0998.94510号
[34] DonohoDL、JohnstoneIM。基于投影的近似和对偶核方法。Ann Stat.1989；17(1);58‐106. ·Zbl 0699.62067号
[35] NobileF、TemponeR、WebsterCG。具有随机输入数据的偏微分方程的稀疏网格随机配置方法。SIAM J数字分析。2008年；46(5):2309‐2345. ·Zbl 1176.65137号
[36] 伊布拉希莫卢巴。多项式插值中的勒贝格函数和勒贝格常数。J不平等申请。2016;2016(1):1‐15. ·Zbl 1334.41001号
[37] BakerN、AlexanderF、BremerT等，《科学机器学习的基本研究需求：人工智能的核心技术》研讨会报告。美国能源部科技信息办公室；2019年，doi:10.2172/1478744
[38] 拉加里斯、利卡斯A、福蒂亚迪斯DI。用于求解常微分方程和偏微分方程的人工神经网络。IEEE Trans神经网络。1998;9(5):987‐1000.
[39] HanJ、JentzenA、WeinanE。使用深度学习求解高维偏微分方程。国家科学院院刊。2018;115(34):8505‐8510. ·Zbl 1416.35137号
[40] BergJ，NyströmK。复杂几何中偏微分方程的统一深度人工神经网络方法。神经计算。2018;第317:28页-41页。
[41] RaissiM、PerdikarisP、KarniadakisGE。基于物理的神经网络：用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架。计算物理杂志。2019;378:686‐707. ·Zbl 1415.68175号
[42] KarniadakisGE、KevrekidisIG、LuL、PerdikarisP、WangS、YangL。以物理为基础的机器学习。《自然·评论·物理》。2021;3(6):422‐440.
[43] HuangDZ、XuK、Farhat C、Darve E。使用深层神经网络从间接观测中学习本构关系。计算物理杂志。2020;416:109491. https://www.sciencedirect.com/science/article/pii/S0021999120302655 ·Zbl 1437.65192号
[44] 徐克、朱伟、达维。利用物理知识学习生成性神经网络。研究数学科学。2022年；9(2):1‐19. ·Zbl 1489.68238号
[45] TripathyRK、Bilionis、。深度UQ：学习深度神经网络替代模型，用于高维不确定性量化。计算物理杂志。2018;375:565‐588. ·Zbl 1419.68084号
[46] ZechJ施瓦布C。高维深度学习：UQ中广义多项式混沌展开的神经网络表达率。分析应用程序。2019;17(01):19‐55. ·兹比尔1478.68309
[47] KontolatiK，LoukrezisD，GiovanisDG，VandanapuL，ShieldsMD。黑盒问题中高维不确定性量化的无监督学习方法调查。计算物理杂志。2022年；464:111313. https://www.sciencedirect.com/science/article/pii/S021999122003758 ·Zbl 07540357号
[48] 罗伦塞·达米亚努阿。深高斯过程。PMLR；2013:207‐215.
[49] CalandraR、PetersJ、RasmussenCE、Deisenroth议员。回归的流形高斯过程。IEEE；2016:3338‐3345.
[50] 康斯坦丁PG。活动子空间：参数研究中降维的新兴想法。暹罗；2015. ·Zbl 1431.65001号
[51] 君士坦丁·P，格莱奇·D。用蒙特卡罗计算活动子空间。arXiv预印本，arXiv:1408.0545 2014。
[52] Constantine PG、EmoryM、LarssonJ、IacarinoG。利用有源子空间量化HyShot II超燃冲压发动机数值模拟中的不确定性。计算物理杂志。2015;302:1‐20. ·Zbl 1349.76153号
[53] SchölkopfB，SmolaA，MüllerKR。核主成分分析。施普林格；1997:583‐588.
[54] MikaS、SchölkopfB、SmolaA、MüllerKR、ScholzM、RätschG。核主成分分析和特征空间去噪。高级神经信息处理系统。1998;11:536‐542.
[55] 霍夫曼。用于新颖性检测的内核PCA。模式识别。2007;40(3):863‐874. ·Zbl 1118.68140号
[56] LataniotisC、MarelliS、SudretB。通过监督降维将经典代理模型扩展到高维：一种数据驱动方法。国际J不确定度量化。2020;10(1):55‐82. ·兹比尔1498.62109
[57] DoostanA、ValidiA、IacarinoG。高维随机模型的非侵入性低秩分离近似。计算方法应用机械工程2013；263:42‐55·Zbl 1286.65014号
[58] 苏德雷特·科纳克里克。使用低秩张量近似对高维模型进行可靠性分析。Probab工程机械。2016;46:18‐36.
[59] BigoniD、Engsig‐KarupAP、MarzoukYM。谱张量列分解。SIAM科学计算杂志。2016;38（4）：A2405‐A2439·兹比尔1347.41006
[60] GorodetskyAA，JakemanJD。函数张量列格式中基于梯度的回归优化。计算物理杂志。2018;374:1219‐1238. ·Zbl 1416.62391号
[61] 贺，张。通过主动和秩自适应张量回归进行高维不确定性量化。IEEE；2020:1‐3.
[62] HintonGE，SalakhutdinovRR。用神经网络降低数据的维数。科学。2006;313(5786):504‐507. ·Zbl 1226.68083号
[63] 黄伟、赵德、孙芙、刘赫、长娥。使用深度神经网络的可缩放高斯过程回归。国际JCAI；2015
[64] LiM，WangZ。深入学习高维可靠性分析。机械系统信号处理。2020;139:106399.
[65] KhooY、LuJ、YingL。用人工神经网络求解参数PDE问题。欧洲应用数学杂志。2021;32(3):421‐435. ·Zbl 1501.65154号
[66] FarhatC BoncoraglioG公司。主动流形和模型降阶，加速多学科分析和优化。AIAA J.2021；59(11):4739‐4753.
[67] KingmaDP，WellingM公司。自动编码变分贝叶斯。arXiv预印本，arXiv:1312.6114 2013。
[68] KingmaDP，WellingM公司。变分自动编码器简介。发现趋势马赫学习。2019;12(4):307‐392.
[69] ZuY，ZabarasN。用于代理建模和不确定性量化的贝叶斯深度卷积编解码网络。计算物理杂志。2018;366:415‐447. ·Zbl 1407.62091号
[70] ZhuY、ZabarasN、Koutsourlakis PS、PerdikarisP。物理约束的深度学习用于高维代理建模和不确定性量化，无需标记数据。计算物理杂志。2019;394:56‐81. ·Zbl 1452.68172号
[71] LuL、JinP、PangG、ZhangZ、KarniadakisGE。基于算子的泛逼近定理，通过DeepONet学习非线性算子。自然-机械-智能。2021;3(3):218‐229.
[72] JacobsRA、JordanMI、NowlanSJ、HintonGE。当地专家的适应性混合。神经计算。1991;3(1):79‐87.
[73] MasoudniaS，EbrahinpourR。专家混合：文献调查。《Artif Intell Rev.2014》；42(2):275‐293.
[74] JordanMI，JacobsRA。专家和EM算法的分层混合。神经计算。1994;6(2):181‐214.
[75] XuL JordanMI。EM方法对专家体系结构混合的收敛结果。神经网络。1995;8(9):1409‐1431.
[76] SchonsheckS、ChenJ、LaiR。用于流形结构化数据的图表自动编码器。arXiv预印本，arXiv:1912.10094 2019。
[77] FedusW，ZophB，ShazeerN，《开关变压器：以简单高效的稀疏性扩展到万亿参数模型》。JMLR；2021
[78] DempsterAP，LairdNM，RubinDB。通过EM算法从不完整数据中获得最大似然。J R Stat Soc B方法。1977年；39(1):1‐22.
[79] BleiDM、KucukelbirA、McAuliffeJD。变分推理：统计学家综述。2017年美国统计学会杂志；112(518):859‐877.
[80] MelchiorP，Goulding AD。填补空白：来自噪声、截断或不完整样本的高斯混合模型。Astron计算。2018;25:183‐194.
[81] 苏伦德兰D。瑞士滚动数据集。2004
[82] AbbasA，Andersonss，AsfawA等人，《使用奇斯基特学习量子计算》，2020。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。