弗兰克·乌利格 Zhang神经网络：介绍离散时变矩阵问题的预测计算。 （英文） 兹伯利07839436 数字。数学。 156，编号2，691-739（2024）. 小结：本文希望增加我们对时变矩阵问题和Zhang神经网络的理解和计算技巧。这些神经网络是2001年左右在中国为时间或单参数变量矩阵问题而发明的，它们的几乎所有进展都是在年取得的，大多数仍然来自它的诞生地。Zhang神经网络方法已成为实时、理论和机器人芯片应用、控制理论和中国其他工程应用中解决离散传感器驱动的时变矩阵问题的骨干。它们已成为许多时变矩阵问题的首选方法，这些问题受益于或需要高效、准确和预测的实时计算。典型的离散化Zhang神经网络算法在初始设置中需要七个不同的步骤。离散化Zhang神经网络算法的构造从一个模型方程及其相关的误差方程开始，并规定误差函数以指数速度递减。然后，将误差函数微分方程与收敛的look-ahead有限差分公式相结合，创建一个全新的多步骤式求解器，该求解器可根据当前和早期状态及解数据可靠地预测系统的未来状态。用于时变矩阵问题的离散化Zhang神经网络算法的Matlab代码通常由一个线性方程组求解和每个时间步长一个已有数据的递归组成。这使得基于离散Zhang神经网络的算法与针对自适应工作的函数给定数据的常微分方程初值解析延拓方法具有很强的竞争力。离散Zhang神经网络方法与多步常微分方程（ODE）初值求解器具有不同的特点和适用性。这些新的时变矩阵方法可以从具有恒定采样间隙的传感器数据或函数方程中解决矩阵给定问题。为了说明离散化Zhang神经网络的适应性并进一步理解该方法，本文详细介绍了Zhang网络的七步建立过程和十二个独立的时变矩阵模型。它为其中七个提供了新代码。文中提到了一些开放问题，并详细参考了最近在离散化Zhang神经网络和时变矩阵计算方面的工作。对使用初值问题ODE解算器和解析延拓方法的标准非预测多步方法进行了比较。 MSC公司： 68T07型 人工神经网络与深度学习 15A09号 矩阵反演理论与广义逆 15A24号 矩阵方程和恒等式 2015财年65 矩阵特征值和特征向量的数值计算 65平方英尺 矩阵方程的数值方法 65千5 数值数学规划方法 65-02 与数值分析有关的研究论述（专著、调查文章） 68-02 与计算机科学有关的研究展览会（专著、调查文章） 软件：fmin搜索 PDF格式BibTeX公司 XML格式引用 \textit{F.Uhlig}，数字。数学。156，编号2，691--739（2024；Zbl 07839436） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] Allgower，E。；Georg，K.，《数值延拓方法导论》，3881990年，柏林：施普林格出版社，柏林·Zbl 0717.65030号 ·doi:10.1007/978-3-642-61257-2 [2] 阿斯彻，UM；H.钦。；Reich，S.，DAE和不变流形的稳定性，数值。数学。，67, 131-149, 1994 ·Zbl 0791.65051号 ·数字标识代码：10.1007/s002110050020 [3] 阿舍尔，UM；Petzold，LR，《常微分方程和微分代数方程的计算机方法》，3141998年，费城：SIAM，费城·Zbl 0908.65055号 ·doi:10.1137/1.9781611971392 [4] Bendixson，I.，《数学学报》。，25, 358-365, 1902 ·doi:10.1007/BF02419030 [5] Bertsekas，D.P.，Nedić，A.，Ozdaglar，A.E.：凸分析和优化。Athena Scientific，纳舒亚，第534+xx页（2003/2006）。ISBN:9787302123286和ISBN:730212384·Zbl 1140.90001号 [6] 贝恩，W-J；埃芬伯格，C。；Kressner，D.，参数化非线性特征值问题的特征值和不变对的延续，数值。数学。，119, 489-516, 2011 ·Zbl 1232.65077号 ·doi:10.1007/s00211-011-0392-1 [7] Bryukhanova，E。；Antamoshkin，O.，《使用归零神经网络最小化碳足迹》，《欧洲公报》。计算。技术。，2022 ·doi:10.15405/epct.23021.20 [8] 交叉，GW；Lancaster，P.，复矩阵的平方根，线性多线性代数，1289-2931974·Zbl 0283.15008号 ·doi:10.1080/03081087408817029 [9] Deufhard，P.，《非线性问题的牛顿方法》，424+XII，2011，柏林：施普林格出版社，柏林 [10] Dong，S.：约束优化方法。第23页。https://www.researchgate.net/publication/255602767_Methods_for_Constrained_Optimization网站 [11] Engeln-Mullges，G。；Uhlig，F.，《C语言的数值算法》，附CD-ROM，5961996年，柏林：施普林格出版社，柏林·Zbl 0857.65003号 ·doi:10.1007/978-3-642-61074-5 [12] 埃瓦德，J-C；Uhlig，F.，关于矩阵方程\（F（X）=A\），线性算法。申请。，162, 447-519, 1992 ·Zbl 0753.15009号 ·doi:10.1016/0024-3795（92）90390-V [13] Fiacco，AV，使用惩罚方法进行非线性规划的敏感性分析，数学。程序。，10, 287-311, 1976 ·Zbl 0357.90064号 ·doi:10.1007/BF01580677 [14] Fehlberg，E.，《数值稳定插值公式mit günstiger Fehlerfortplanzung für Differentialgleichungen erster und zweiter Ordnung》，ZAMM，41，101-110，1961年·Zbl 0202.45001号 ·doi:10.1002/zamm.19610410303 [15] 福田康夫，EH；Fukushima，M.，关于非线性优化平方松弛变量技术的注释，J.Oper。Res.Soc.Jpn.公司。，2017 ·Zbl 1382.90103号 ·doi:10.15807/jorsj.60.262 [16] Gauvin，J.，非凸规划中具有有界乘数的充分必要正则性条件，数学。程序。，12, 136-138, 1977 ·Zbl 0354.90075号 ·doi:10.1007/BF01593777 [17] William Gear，C.，《常微分方程中的数值初值问题》，1971年，霍博肯：Prentice Hall，霍博克·Zbl 1145.65316号 [18] 新罕布什尔州盖茨；Marsden，JE，矩阵极分解和反演的动力学方法，线性代数应用。，258, 311-343, 1997 ·Zbl 0879.15009号 ·doi:10.1016/S0024-3795（96）00235-2 [19] Golub，生长激素；Pereyra，V.，变量分离的伪逆和非线性最小二乘问题的微分，SIAM J.Numer。分析。，10, 413-432, 1973 ·Zbl 0258.65045号 ·doi:10.1137/0710036 [20] 郭，D。；Zhang，Y.，Zhang神经网络，Getz-Marsden动态系统，时变矩阵反演的离散时间算法及其在机器人运动控制中的应用，神经计算，97，22-322012·doi:10.1016/j.neucom.2012.05.012 [21] 郭，D。；Zhang，Y.，Zhang神经网络用于等式转换辅助的时变线性矩阵不等式的在线求解，IEEE Trans。神经网络。学习。系统。，25, 370-382, 2014 ·doi:10.1109/TNNLS.2013.2275011 [22] 霍普菲尔德，JJ，《具有涌现集体计算能力的神经网络和物理系统》，Proc。国家。阿卡德。科学。美国，792554-25581982·Zbl 1369.92007号 ·doi:10.1073/pnas.79.8.2554 [23] 海姆，DJ；Trefethen，LN，ODE刚度，BIT，33285-3031993年·Zbl 0782.65091号 ·doi:10.1007/BF01989751 [24] Jin，L。；Zhang，Y.，实时变化非线性优化的连续和离散Zhang动力学，Numer。算法，73115-1402016·兹比尔1351.65036 ·doi:10.1007/s11075-015-0088-1 [25] Johnson，CR，一般复矩阵值域的数值确定，SIAM J.Numer。分析。，15, 595-602, 1978 ·Zbl 0389.65018号 ·doi:10.1137/0715039 [26] 拉加里亚斯，JC；里兹，JA；MH赖特；Wright，PE，低维Nelder-Mead单纯形方法的收敛性，SIAM J.Optim。，9, 112-147, 1998 ·Zbl 1005.90056号 ·doi:10.1137/S1052623496303470 [27] 李，J。；Shi，Y。；Xuan，H.，在归零神经网络框架下求解九类时变问题的统一模型，IEEE Trans。神经网络。学习。系统。，23, 1896-1905, 2021 ·doi:10.1109/TNNLS.2020.2995396 [28] Loisel，S。；Maxwell，P.，《高精度测定矩阵值域的路径允许法》，SIAM J.matrix Anal。申请。，39, 1726-1749, 2018 ·Zbl 1453.65082号 ·doi:10.1137/17M1148608 [29] 马格纳斯，JR；Neudecker，H.，矩阵微分学及其在简单、Hadamard和Kronecker乘积中的应用，J.Math。心理学，29474-4921985·Zbl 0585.62114号 ·doi:10.1016/0022-2496（85）90006-9 [30] 纳吉，J.G.：（2010）。http://www.mathcs.emory.edu/nagy/courses/fall10/515/KroneckerIntro.pdf [31] Nelder，J.A.，Mead，R.：函数最小化的单纯形方法。计算。J.7，第308-313页（1965年）。doi:10.1093/comjnl/7.4.308。计算中的修正。J.8，第27页（1965年）。doi:10.1093/comjnl/8.1.27·Zbl 0229.65053号 [32] von Neumann，J.，Wigner，E.P.：关于绝热过程特征值的行为。物理学。Z.30467-470（1929）。同样转载于量子化学，经典科学论文，Hinne Hettema（编辑）。《世界科学2000》，25-31 [33] Nocedal，J。；Wright，SJ，数值优化，664+xxii，2006，纽约：Springer，纽约·Zbl 1104.65059号 [34] 邱，B。；Zhang，Y。；Yang，Z.，时变秩亏系数动态线性方程组最小二乘解的新离散ZNN模型，IEEE Trans。神经网络。学习。系统。，29, 5767-5776, 2018 ·doi:10.1109/TNNLS.2018.2805810 [35] 邱，B。；郭杰。；李，X。；Zhang，Y.，用一般显式线性四步规则求解未来有界不等式和非线性方程组的新离散ZNN模型，IEEE Trans。Ind.通知。，17, 5164-5174, 2021 ·doi:10.1109/TII.2020.3032158 [36] D.拉尔夫。；Dempe，S.，参数非线性程序解的方向导数，数学。程序。，70, 159-172, 1995 ·Zbl 0844.90089号 ·doi:10.1007/BF01585934 [37] Robinson，SM，不等式系统的稳定性理论，第二部分：可微非线性系统，SIAM J.Numer。分析。，13, 497-513, 1976 ·Zbl 0347.90050号 ·数字对象标识代码：10.1137/0713043 [38] Stanimirović，PS；王，X-Z；Ma，H.，用于计算时变加权伪逆的复ZNN，应用。分析。离散。数学。，13, 131-164, 2019 ·Zbl 1499.15014号 ·doi:10.2298/AADM 170628019S [39] 斯托尔，J。；Bulirsch，R.，《数值分析导论》，7292002，纽约：Springer，纽约·Zbl 1004.65001号 ·数字对象标识代码：10.1007/978-0-387-21738-3 [40] 斯托尔，J。；Witzgall，C.，有限维中的凸性和优化I，2981970，柏林：Springer，柏林·Zbl 0203.52203号 ·doi:10.1007/978-3-642-46216-0 [41] 孙，M。；Liu，J.，用于时变Lyapunov方程的新型抗噪Zhang神经网络，Adv.Differ。Equ.、。，2020 ·兹比尔1482.93443 ·doi:10.1186/s13662-020-02571-7 [42] Trefethen，N.：ODE公式的稳定区域。https://www.chebfun.org/examples/ode-liner/Regions.html (2011) [43] 特里芬，LN；阿拉巴马州伯基森。；Driscoll，TA，探索ODE，3432018，费城：SIAM，费城 [44] Uhlig，F.：关于过去和未来矩阵计算的八个数学时代。摘自：Celebi，S.（编辑）《计算科学与工程的最新趋势》，第25页。InTechOpen，伦敦（2018）。doi:10.5772/intecopen.73329。[在arXiv:2008.01900（2020），第19页上完成图表和参考] [45] Uhlig，F.，Zhang神经网络的高阶收敛look-ahead有限差分公式的构造，J.Differ。埃克。申请。，25, 930-941, 2019 ·Zbl 1425.65207号 ·doi:10.1080/10236198.2019.1627343 [46] Uhlig，F.：上的look-ahead收敛有限差分公式列表。http://www.auburn.edu/uhligfd/m_files/ZNNSurvey示例underPolyksrestcoeff3.m [47] Uhlig，F。；Zhang，Y.，通过Zhang神经网络和look-ahead有限差分方程进行时间变量矩阵特征分析，线性代数应用。，580, 417-435, 2019 ·Zbl 1420.65070号 ·doi:10.1016/j.laa.2019.06.028 [48] Uhlig，F.：通过ZNN计算时变矩阵特征值的MATLAB代码可在网址：http://www.auburn.edu/uhligfd/m_files/T-VMatrix特征/ [49] Uhlig，F.，Zhang用于快速准确计算值域的神经网络，线性多线性代数，681894-191020·Zbl 1450.65036号 ·doi:10.1080/03081087.2019.1648375 [50] Uhlig，F.，《单参数矩阵流的凝聚特征值和交叉特征曲线》，SIAM J.矩阵分析。申请。，41, 1528-1545, 2020 ·Zbl 1461.15014号 ·doi:10.1137/19M1286141 [51] Uhlig，F.：用于绘制和评估矩阵流块对角化的MATLAB代码可在http://www.auburn.edu/uhligfd/m_files/Matrixflow解码/ [52] Uhlig，F.：关于1-参数矩阵流和静态矩阵的酉块可分解性。数字。算法89，21（2023）。doi:10.1007/s11075-021-01124-7更正为：关于单参数矩阵流和静态矩阵的酉块可分解性。数字。算法89，1413-1414（2022）。doi:10.1007/s11075-021-01216-4。[更正版本（第5页和第6页关于可对角化性的四个错误“声明”被删除）可在http://www.auburn.edu/uhligfd/C-OnTheUnitaryBlock-decomposabil-Corrected.pdf.]·Zbl 1491.15018号 [53] Uhlig，F.，使用基于ZNN的路径跟踪方法构造可分解矩阵和一般矩阵的值域，Numer。线性代数，30，19，2023·Zbl 07790630号 ·数字对象标识代码：10.1002/nla.2513 [54] Uhlig，F.，时变和静态矩阵问题的自适应AZNN方法，电子。线性代数，39164-1802023·Zbl 1515.65109号 ·doi:10.13001/ela.2023.7417 [55] Uhlig，F.：第2节中示例的MATLAB代码可在http://www.auburn.edu/uhligfd/m_files/ZNNSurvey示例/ [56] 肖，L。；Zhang，Y。；戴J。；李，J。；Li，W.，用于求解时变Sylvester方程的具有预定义时间收敛性的新型容错ZNN模型，IEEE Trans。系统。人类网络。，51, 3629-3640, 2021 ·doi:10.1109/TSMC.2019.2930646 [57] X·冯。；李，Z。；聂，Z。；邵，H。；郭，D.，用于求解时变线性方程和不等式系统的归零神经网络，IEEE Trans。神经网络。学习。系统。，30, 2346-2357, 2019 ·doi:10.109/TNNLS.2018.284543 [58] X·冯。；李，Z。；聂，Z。；邵，H。；郭，D.，带界约束的含时欠定线性系统在线求解的新型递归神经网络，IEEE Trans。Ind.通知。，15, 2167-2176, 2019 ·doi:10.1109/TII.2018.2865515 [59] 杨，M。；Zhang，Y。；Hu，H.，带证明的ZeaD公式的时间瞬时数和精度之间的关系，数值。算法，2021·Zbl 1491.65076号 ·doi:10.1007/s11075-020-01061-x [60] Zeng，X.，Yang，M.，Guo，J.，Ling，Y.，Zhang，Y:Zhang使用带未知转置的伪逆对矩阵流进行Cholesky分解的神经动力学。参见：IEEEXplore，第40届中国控制会议（CCC）（2021年），第368-373页。doi:10.23919/CCC52363.2021.9549269 [61] Zhang，Y。；Wang，J.，用于非线性输出调节的递归神经网络，Automatica，3711161-11732001·Zbl 0981.93024号 ·doi:10.1016/S0005-1098（01）00092-9 [62] Zhang，Y。；李，Z。；Li，K.，用于在线复值时变矩阵反演的复值Zhang神经网络，应用。数学。计算。，217, 10066-10073, 2011 ·Zbl 1220.65036号 [63] Zhang，Y。；Yang，Y。；Tan，N。；Cai，B.，Zhang时变全秩矩阵Moore-Penrose逆的神经网络求解，计算，9297-1212011·Zbl 1226.93075号 ·doi:10.1007/s00607-010-0133-9 [64] Zhang，Y。；郭，D.，张功能和各种模型，2362015，柏林：施普林格，柏林·Zbl 1339.65002号 ·doi:10.1007/978-3-662-47334-4 [65] Zhang，Y。；Zhang，Y。；陈，D。；肖，Z。；Yan，X.，《非线性方程组求解的Davidenko方法到Zhang动力学》，IEEE Trans。系统。人类网络。系统。，47, 2817-2830, 2017 ·doi:10.1109/TSMC.2016.2523917 [66] Zhang，Y。；杨，M。；杨，M。；黄，H。；肖，M。；Haifeng，H.，用机器人操纵器控制解决未来微分线性不等式和等式的新离散解模型，IEEE Trans。Ind.通知。，15, 1975-1984, 2019 ·doi:10.1109/TII.2018.2861908 [67] Zhang，Y。；黄，H。；杨，M。；Ling，Y。；李，J。；邱，B.，对称矩阵流对角化的新归零神经动力学模型，数值。算法，85849-8662020·Zbl 1451.65059号 ·doi:10.1007/s11075-019-00840-5 [68] Zhang，Y。；杨，M。；邱，B。；李，J。；Zhu，M.，从数学等价（如Ma等价）到广义Zhang等价（包括梯度等价），Theor。计算。科学。，817, 44-54, 2020 ·Zbl 1436.93095号 ·doi:10.1016/j.tcs.2019.07.027 [69] Zhang，Y。；刘，X。；Ling，Y。；杨，M。；Huang，H.，使用JMP函数阵列和设计公式求解时变Sylvester转置矩阵不等式的连续和离散零化动力学模型，Numer。算法，861591-16142021·Zbl 1473.65071号 ·doi:10.1007/s11075-020-00946-1 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。