图欣·萨尔卡；亚历山大·拉赫林；Munther A.Dahleh。 有限时间LTI系统识别。 （英语） Zbl 07370543号 J.马赫。学习。物件。 22，第26号论文，61页（2021年）. 摘要：我们解决了从含噪输入输出数据的单个时间序列中学习潜在空间维数或阶数未知的稳定线性时不变（LTI）系统的参数的问题。我们专注于学习有限数据所允许的最佳低阶近似。受系统理论中的子空间算法的启发，在双无限系统Hankel矩阵同时捕获了阶近似和良好的低阶近似的情况下，我们使用普通最小二乘法从有噪声的有限数据中构造了一个Hankel类矩阵。这避免了系统识别中出现的非烦恼问题，并允许准确估计潜在的LTI系统。我们的结果依赖于对自归一化鞅差项的仔细分析，这有助于将界识别误差提高到下界的对数因子。我们提供了一种数据相关的订单选择方案，并通过与Ho-Kalman子空间算法密切相关的方法，找到了与该订单对应的系统参数的准确实现。我们证明了所提出的模型阶数选择程序并非过于保守，即对于给定的数据长度，不可能估计高阶模型或找到具有合理精度的高阶近似。 引用于6文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 关键词：线性动力系统；系统标识；非参数统计；控制论；统计学习理论 PDF格式BibTeX公司 XML格式引用 \textit{T.Sarkar}等人，J.Mach。学习。第22号决议，第26号论文，61页（2021；Zbl 07370543） 全文： arXiv公司 链接 参考文献： [1] Yasin Abbasi-Yadkori、D´avid P´al和Csaba Szepesv´ari。线性随机盗贼的改进算法。神经信息处理系统进展，第2312-2320页，2011年。 [2] Behécet Aéckmeése、John M Carson和Lars Blackmore。软着陆最优控制问题非凸控制界和指向约束的无损凸化。电气与电子工程师协会 [3] 阿尼什·阿加瓦尔（Anish Agarwal）、穆罕默德·杰汉吉尔·阿姆贾德（Muhammad Jehangir Amjad）、德瓦夫拉特·沙阿（Devavrat Shah）和丹尼斯·沈（Dennis Shen）。通过矩阵估计进行时间序列分析。arXiv预印本arXiv:1802.090642018。 [4] Zeyuan Allen-Zhu和Yuanzhi Li。Lazysvd：更快的svd分解，但没有痛苦。《神经信息处理系统进展》，第974-982页，2016年。 [5] 迪特马尔·鲍尔。子空间方法的阶估计。自动化，37（10）：1561-15732001·Zbl 0983.93065号 [6] St´ephane Boucheron、G´abor Lugosi和Pascal Massart。集中不等式：独立性的非共鸣理论。牛津大学出版社，2013年·Zbl 1279.60005号 [7] 马可·坎皮和埃里克·韦耶。系统识别方法的有限样本特性。IEEE自动控制汇刊，47（8）：1329-13342002·Zbl 1364.93823号 [8] Arthur P Dempster、Nan M Laird和Donald B Rubin。通过em算法从不完整数据中获得最大似然。皇家统计学会杂志。B系列 [9] Mohamad Kazem Shirani Faradonbeh、Ambuj Tewari和George Michailidis。不稳定线性系统中的有限时间识别。arXiv预印本arXiv:1710.01852017·Zbl 1406.93361号 [10] 玛丽亚姆·法泽尔（Maryam Fazel）、丁基鹏（Ting Kei Pong）、孙德凤（Defeng Sun）和曾荫权（Paul Tseng）。Hankel矩阵秩最小化及其在系统辨识和实现中的应用。SIAM矩阵杂志·Zbl 1302.90127号 [11] 基思·格洛弗。线性多变量系统的所有最优hankel-形式逼近及其∞-误差界。国际控制杂志，39（6）：1115-11931984·Zbl 0543.93036号 [12] 基思·格洛弗。模型简化：关于hankel-norm方法和l2错误下限的教程。国际会计师联合会会议记录卷，20（5）：293-2981987年。 [13] 亚历山大·戈登施卢格（Alexander Goldenshluger）。传递函数的非参数估计：收敛速度和自适应。IEEE信息理论汇刊，44（2）：644-6581998·Zbl 0902.62043号 [14] 克里斯蒂安·格鲁斯勒、安德斯·兰策尔和庞图斯·吉塞尔松。具有凸约束的低秩优化。IEEE自动控制汇刊，2018年·Zbl 1423.90180号 [15] 莫里茨·哈德（Moritz Hardt）、马腾宇（Tengyu Ma）和本杰明·雷希特（Benjamin Recht）。梯度下降学习线性动力系统。arXiv预印本arXiv:1609.051912016·Zbl 1461.62150号 [16] Elad Hazan、Holden Lee、Karan Singh、Cyril Zhang和Yi Zhang。一般线性动力系统的谱滤波。arXiv预印本arXiv:1802.039812018。 [17] BL Ho和Rudolph E Kalman。从输入/输出函数有效构建线性状态变量模型。at-Automatisierungstechnik，14（1-12）：545-5481966·兹伯利0145.12701 [18] S Kung和D Lin。最优hankel-nom模型约简：多变量系统。IEEE自动控制汇刊，26（4）：832-8521981·Zbl 0553.93038号 [19] 伦纳特·荣格。系统识别：面向用户的理论。Prentice-hall，1987年·Zbl 0615.93004号 [20] Lennart Ljung、Rajiv Singh和Tinshi Chen。系统标识工具箱中的正则化功能。IFAC-PapersOnLine，48（28）：745-750，2015年。 [21] Mark Meckes等人。关于随机toeplitz矩阵的谱范数。概率电子通信，12:315-3252007·Zbl 1130.15018号 [22] Samet Oymak和Necmiye Ozay。从单个轨迹非症状性识别lti系统。arXiv预印本arXiv:1806.057222018。 [23] Victor H Pe~na、Tze Leung Lai和Qi Man Shao。自规范化过程：极限理论和统计应用。施普林格科学与商业媒体，2008年。 [24] Tuhin Sarkar和Alexander Rakhlin。线性动力系统的学习速度有多快？arXiv预印arXiv:1812.01252018。 [25] Parikshit Shah、Badri Narayan Bhaskar、Gongguo Tang和Benjamin Recht。通过原子范数正则化进行线性系统辨识。2012年IEEE第51届IEEE会议·Zbl 1394.94079号 [26] 日泰柴田。根据akaike的信息准则选择自回归模型的阶。《生物特征》，63（1）：117-1261976·Zbl 0358.62048号 [27] Max Simchowitz、Horia Mania、Stephen Tu、Michael I Jordan和Benjamin Recht。不混合学习：线性系统辨识的尖锐分析 [28] 斯蒂芬·图（Stephen Tu）、罗斯·博查（Ross Boczar）、安德鲁·帕卡德（Andrew Packard）和本杰明·雷希特（Benjamin Recht）。粗粒度识别鲁棒控制的非症状分析。arXiv预印本arXiv:1707.047912017。 [29] 斯蒂芬·图（Stephen Tu）、罗斯·博查尔（Ross Boczar）和本杰明·雷希特（Benjamin Recht）。非参数H∞范数估计的toeplitz算子逼近。2018年美国年度控制会议 [30] 斯蒂芬·图（Stephen Tu）、罗斯·博查尔（Ross Boczar）和本杰明·雷希特（Benjamin Recht）。H∞-范数估计的最小极大下界。arXiv预印本arXiv:1809.108552018b。 [31] 尤金·泰利什尼科夫。数值分析简介。施普林格科学与商业媒体，2012年。 [32] 萨拉·范德格尔（Sara van de Geer）和约翰·莱德勒（Johannes Lederer）。bernstein-orlicz范数和偏差不等式。概率论及相关领域，157（1-2）：225-2502013·Zbl 1284.60060号 [33] Aad W Van Der Vaart和Jon A Wellner。弱收敛。在弱收敛和经验过程中，第16-28页。施普林格，1996年·Zbl 0862.60002号 [34] Peter Van Overschee和BL De Moor。线性系统的子空间识别：理论-实现-应用。施普林格科学与商业媒体，2012年·Zbl 0888.93001号 [35] Saligrama R Venkatesh和Munther A Dahleh。从有限数据中识别复杂系统。IEEE自动控制汇刊，46（2）：235-2572001·Zbl 0992.93015号 [36] 罗曼·弗什宁。随机矩阵的非渐近分析导论。arXiv预印本arXiv:1011.30272010。 [37] 每˚Ake Wedin。奇异值分解的扰动界。BIT数值数学，12（1）：99-1111972·Zbl 0239.15015号 [38] K Zhou、JC Doyle和K Glover。鲁棒和最优控制，1996年。24 ·Zbl 0999.49500 [39] 8.前期工作 [40] 定理8.1（定理5.39 Vershynin（2010））ifEis aT×mdmatrix with inde [41] 具有次高斯参数且概率为 [42] 命题8.1（Vershynin（2010））我们对任何<1和任何w∈Sd−1的z [43] 定理8.2（定理1 Meckes等人（2007））]假设{Xi∈Rm}∞i=1为inde [44] 依赖的，E[Xj]=0对于所有j，以及Xijare独立的bg（1）随机变量。然后√ [45] P（||Td||≥cmdlog 2d+t）≤e−t2/d其中X0X1。Xd−1号机组 X1X0。Xd−2 [46] 定理8.3（Hanson-Wright不等式）给定一个次高斯向量X=[X1，X2，…，Xn]∈ [47] RnwithsupikXikψ≤K。那么对于anyB∈Rn×nandt≥0 2 [48] 命题8.2（第二讲Tyrtyshnikov（2012））假设Lis是较低的三元组 [49] 设（B，d）是任意半度量空间。用N（，d）表示 [50] 需要覆盖B的半径球。 [51] 定理8.4（Van Der Vaart和Wellner（1996）中的推论2.2.5）常数 [52] K可以选择为Zdiam（B） [53] 定理8.5（Abbasi-Yadkori等人（2011）中的定理1）设{Ft}∞t=0为filtra [54] Vt=Pts=1XsXs0，St=Pts=1Xsηs>+1。那么对于任何δ>0、V0和所有t≥0，我们都有 [55] 概率至少为1−δSt>（V+Vt）−1St≤2L2log1+logdet（V+Vt）+m。 [56] 证明定义M=（V+Vt）−1/2St。现在我们使用命题8.1，设置=1/2，P（||M||2>z）≤5mP（|| Mw||2>2z） [57] forw∈Sm−1。然后，我们可以使用Abbasi-Yadkori等人（2011）中的定理1，以及 [58] 概率至少为1-δ，我们有||Mw||22≤2L2log1+logdet（V+Vt）。 [59] 按δ→5−mδ，概率至少为1−5−mδ√s1det（V+V [60] 引理8.1对于anyM=（C，A，B），我们有vud [61] 矩阵Bv的证据我们有CAd+1Bu1 CAd+2Bu1 [62] 很明显，||V||2，||u||2=1，对于任何矩阵S，||S||在交换时都不会改变 [63] S行。那么我们有CAd+1B00。0 CAd+2BCAd+1B0。0 [64] 命题8.3（引理4.1 Simchowitz等人（2018））LetS是一个可逆矩阵 [65] 证明对于任意向量∈N1和wbe，使得||SA||2=||||w0A||2 4κw0S−1||2 [66] 9.控制和系统理论准备 [67] 9.1 Sylvester矩阵方程·Zbl 1357.15006号 [68] 定义离散时间Sylvester运算符SA，B:Rn×n→Rn×n LA，B（X）=X−AXB（21） [69] 命题9.1设λi，µb为A，BthenLA，Bis的特征值可逆当且仅当 [70] 对于alli，jλiµj6=1 [71] 根据命题9.1，当λmax（A）<1时，SA，A0（·）为 [72] 可逆算子。现在让Q0然后 [73] 等式（22）直接跟在代换之后，如果ρ（A）<1，则命题9.1是唯一的。 [74] 此外，让Q1Q20和X1、X2成为Lyapunov的对应解 [75] 算符，然后根据公式（22）得出X1，X20 [76] 9.2系统Hankel矩阵的性质•系统Hankel-矩阵的秩：ForM=（C，A，B）∈Mn，系统Hankell [77] 9.3模型简化 [78] 给定一个LTI系统M=（C，A，B）的阶数及其双无穷系统Hankel矩阵 [79] asH0，∞，∞。我们有兴趣找到的最佳低维近似 [80] M、 即，对于每种情况，我们都希望找到Mkof模型顺序，这样||M−Mk||∞ [81] 最小化。系统理论为我们提供了一类模型近似，称为平衡 [82] 截断近似，提供了强有力的理论保证（参见Glover（1984）和 [83] Zhou等人（1996）第21.6节）。我们总结了模型简化的一些基础知识 [84] 如下所示。假设M具有不同的Hankel奇异值。回忆一下，模型M=（C，a，B）相当于？M=（CS，S-1AS，S-1B） [85] 就其传递函数而言。定义Q=A>QA+C>C P=AP A>+BB> [86] S>QS=S−1P S−1>=∑，其中∑为对角线，对角线元素为 [87] 减少。此外，σ是H0，∞，∞的不规则值。然后，让A=S−1AS，C= [88] 碳钢，Bá=S−1B。很明显Mf=（A，B，C）等于M，我们有∑=A>∑A+C>C⁄∑=бA∑A>+бBBм>（25）·Zbl 0701.46046号 [89] 这里，▽C、A、▽Bб是M的平衡实现。30 [90] 命题9.2LetH0，∞，∞=U∑V>。这里∑0∈Rn×n。则Cá=[U∑1/2]1:p，： [91] 证明H0，∞，∞=U∑V>的奇异值。然后n罐构造如下：U∑1/2，∑1/2V> [92] 形式为CS [93] 需要注意的是，平衡变现？C、a、？B？是唯一的，除非有 [94] Hankel奇异值相等。为了看到这一点，假设我们有σ1>…>σr−1>σr=σr+1==σs>σs+1>。σn [95] Mk=（？Ck，A？kk，B？k），其中A？A？B？A？k0A？k0？00，B？=B？k0，C？=C？kC？0（27）·Zbl 0701.46046号 [96] 这里是Akkis thek×k子矩阵和相应的ГB、CО分区。实现 [97] Mk=（⁄Ck，A⁄kk，B⁄k）是k阶平衡截断模型。ClearlyM≡Mn给出 [98] usáC=áCnn，Aá=áAnn，Bá=бBnn，即真实模型的平衡版本。我们将展示 [99] 对于平衡截断模型，我们只需要关心顶部奇异向量 [100] 而不是整个模型。 [101] 命题9.3对于korder平衡截断模型Mk，我们只需要顶部奇异 [102] 从命题9.2和等式（27）的前面讨论中可以清楚地看出 [103] U∑1/2的第一个p×k块子矩阵（对应于上角向量）给出了 [104] Cák.自 [105] 值。如下所示：[U∑1/2]p+1：，：表示带topp的U∑1/2的子矩阵 [106] 行已删除。现在，单位为U∑1/2，每列Ui按相应的奇异值进行缩放。 [107] [U∑1/2]p+1：，：对应于顶部奇异向量。 [108] 10.输入矩阵的等距性：引理证明5.1 [109] 定理11定义UdUd+1。超声波+d−1 [110] 证明定义 [111] 自从UdUd+1。超声波+d−1 [112] 感测：xk+1=Axk+BUb（k+1）（28） [113] 很容易检查=..因此. [114] 定义Lj:=PTk=0−2Ud+k−j+1Ud>+k+1和Ljis am×mblock矩阵。然后00。000 [115] 使用引理10.1表示√ [116] 根据定理8.1，我们得到了概率至少为1-δ的d−1T−1！ [117] 命题8.2中，我们得到概率至少为1-δ的情况下，我们得到[AxT−1，A2xT−的1，…，Adx T−1]≤cm（pdlog（2d）log（2d）+pdlog（1/δ））。(32) [118] 我们可以确保cmT dlog（d）log（m2/δ）≤T/8和cm2d（log3（2d）+log（1/δ）+p [119] log（2d）log（2d）log。 [120] 引理10.1设{Uj∈Rm×1}Tj=1+dbe独立子（1）随机向量。定义Lj：= [121] 对于所有j≥1和 [122] ProofSineLjs是块矩阵，Meckes等人（2007）中的技术不能直接 [123] 应用。然而，通过注意Ec可以分解为矩阵的和，其中范数 [124] 每个矩阵都可以由Toeplitz矩阵限定，我们可以使用Meckes等人的结果。 [125] 现在，00000000 0000. . .0000. . . [126] 则||Td||≤sup1≤i≤2||Mi||。此外，每个Miwe有00000000 [127] 和||M1||≤||M11||+||M12||。关键思想是显示Mi1are Toeplitz矩阵（之后 [128] 去除块中的零），我们可以使用证明中描述的标准技术 [129] Meckes等人（2007）的定理1。然后我们将显示每个||Mij||≤Cwith high [130] 概率和||Td||≤mC。为了简单起见，我们现在假设Ui是标量，最后我们将按m缩放。 [131] 通过Meckes等人（2007）中定理1的证明中描述的标准技术，我们得到了 [132] 有限Toeplitz矩阵Td+Td>是无限Laurent矩阵M=[L|j-k|1|j-k |<d−1]j的d×dsubmatrix，k∈Z。 [133] 以规范的方式考虑'2（Z）上的一个算子，并设ψ：'2（Z）→L2[0,1]表示 [134] 通常的线性三角等距ψ（ej）（x）=e2πijx。则ψMdψ−1:L2→L2是 [135] 操作员对应d−1d−1 [136] 在此=..和cx.j=2 cos（2πjx）。对于任意假设Uj～sub（1），我们有 [137] 根据定理8.3√PYx/T d≤T≤2 exp−c（T∧t2）（34） [138] 通用常数），L=2，其逆函数为ψ−1（t）=plog（1+t）+log（1+t）。 [139] 式（34）中，对于某些绝对常数，d（s，t）≤c|s−t|。然后是Z1 [140] 对于一些普适常数>0。这确保ksupt|Yt|kψ≤cT d.自E[X]≤√√ [141] kXkψ我们得到E[sup0≤x≤1|Yx|]≤T d。这意味着E[Td+Td>]≤T [142] 命题8.2我们得到E[kTdk]≤√cT dlog（d）。此外，我们可以使 [143] 语句becauseksupt|Yt|kψ≤cT dwh表示√ [144] m×mblock矩阵，我们按比例缩放，得到概率至少为1-δ√ [145] 从定理8.4中隐藏了通用常数K。 [146] 11.定理5.1的误差分析 [147] 对于本节，我们假设Ut～sub（L2）。 [148] 11.1定理证明5.1 [149] 回忆方程式（8）和（9 [150] 或VT=U U0 [151] 定理11表明，VT是可逆的，概率至少为1-δ。所以在我们的 [152] 分析我们可以把它写成T−1+T−1！−1 [153] 错误项分为两部分：T−1−！ [154] 和T−1− [155] 以常量表示。 [156] 命题11.1对于0<δ<1，我们的概率至少为1−2δT−1r [157] 证明我们证明了T I2VT3T I2具有高概率，然后T−1 [158] 定义以下ηl，d=~Ul，l−>H>d，d，lv，Xl，d=T2U~l−+d，d。观察ηl，d，ηl+1，dhave con [159] 来自Ul-1、Ul-2等的致敬。并且不立即满足定理2.2的条件。 [160] 相反，我们将使用Xi，dis独立于Uj，表示所有j≤i。T−1rT−1 [161] 当LTI系统为MIMO时，定义Hd，d，l>v=[β1>，β2>，…，βl>]>.βiarem×1向量。然后 [162] ηl，d=Plk−=01Ul>−kβk+1。设αl=Xl，d。然后考虑矩阵β>100。 [163] 观察矩阵||BT×mT||2=σ（Pdk=1Td>+k，TTd+k，T）≤d||Td，∞||2<∞，其中 [164] 根据引理8.1。然后是U1 [165] 这里αi=Xi，回忆一下，对于alli≥j，Xi与Uj无关。设γ0=α0B。定义 [166] GT+d−k=σ（{Uk+1，Uk+2，…，UT+d}），其中∆∑（A）是包含集合的σ代数 [167] AwithG0=φ。ThenGk−1⊂Gk。此外，由于γj−1，UjareGT+d+1−j是可测量的 [168] 并且Uji是有条件的（onGT+d−j）次高斯，我们可以在γ0U=α0BU上使用定理2.2 [169] 至少1-δ我们有s [170] 对于任何固定的V>0。概率至少为1-δ，我们从定理11中知道 [171] α0α32I=⇒α0B0α3σ212（B）I。通过将该事件与方程中的事件相结合。（41）和3σ12（B）I [172] 设置V=2，我们得到√r的概率至少为1−2δ [173] 替换δ→5−pdδ2，我们从方程式（40）T−1√r中得出 [174] 命题11.2对于0<δ<1且足够大的T，我们的概率至少为1-δT−1r [175] σ≤sup0。。0Xd√||v||2=10. ... ... ... ... ..2≤||CAjB||2≤βd。 [176] 证明注释VTPTl=0−1U~l−+d，dU~l++>d+1，dT0>，d≤qT2PTl=0−1U~l−+d，dU~l++>d+1，dT0>，dwith [177] 对于足够大的T，概率至少为1-δ。这里T0>，dismd×pdmatrix。然后定义q [178] Xl=T2Ul−+d，d，向量Ml∈RpdasMl>=Ul++>d+1，dT0>，d，然后T−1T−1 [179] 这个形式将使我们能够应用定理2.2。β1>β>2. . .βd>。0 [180] 这里是RT×（mT+md）。从定理11可知，XX>32I具有高概率 [181] 因此XII>X>3σ212（I）I.定义Fl=∑σ({Ul}dj=1+l）作为生成的sigma字段 [182] 由({Ul}dj=1+l.FurtheroreNlisFl可测，以及[XI]lisFl−1可测，我们可以 [183] 应用定理2.2。现在的证明与第11.1号提案类似。遵循相同的步骤 [184] 与之前一样，我们得到的概率至少为1-δT−1T−1√r [185] 并代入δ→5−pdδ，我们得到T−1√r [186] 和T−1r1 [187] 因为独立。最后注意σ1（I）≤Pdi=1kβik22√d=qkT0>，dvk22√d≤√ [188] βd。 [189] 命题11.3对于0<δ<1，我们有至少1–δTr的概率 [190] σB=σ（Pdk=1T O>d+k，TT Od+k，T）≤βRd，σd≤c。 [191] 通过将上述所有事件的交集取为固定δ，我们就得到了 [192] 概率至少为1-δrr [193] 12.子空间扰动结果 [194] 在本节中，我们将介绍著名的韦丁定理的变体（韦丁定理第3节 [195] Allen Zhu和Li（2016）对间隙自由Wedin定理的“自由”推广。这个 [196] 与传统Wedin定理的主要区别是Frobenius误差界 [197] 可以包括矩阵的维数；然而，在我们的案例中，允许使用Hankel矩阵 [198] 与T一起成长，这样的界限可能并不理想。为了解决这个问题，我们引入了这个温和的变体 [199] 韦丁定理。首先我们定义了矩阵的埃尔米特膨胀。 [200] 厄米膨胀将有助于将韦丁定理应用于一般（非对称） [201] 矩阵。 [202] 命题12.1LetS，S是对称矩阵，||S−S≤。此外，letvj，vˆj [203] ProofLetS=λjvjvj0+V∧−jV0和S=λkvˆkv0+Vλ−kv \710,0，wlog假设|λj|≤|λk|。定义 [204] R=S−SˆS=S+R [205] Sincevj，分别是沙的vkare特征向量。λjv0jvˆk=λkv0jvk+vj0Rvᮼk [206] 命题12.1给出了特征向量主观韦丁定理。接下来，我们将演示如何 [207] 将这些结果推广到特征向量的任意子集。 [208] 命题12.2对于>0，让S，P是两个对称矩阵，使得||S−P||2≤。 [209] 证据证据与以前相似。S、 Phave S=U+∑S+U+0+U−∑S−U−0+？U∑S0U⁄0形式的光谱分解·Zbl 0931.41017号 [210] LetR=S−Pand，因为U+与U−、U³正交，V U−0S=∑S−U−0=U−OP+U−O R也类似 [211] 通过∑P∑S−U−0V+ [212] LetSk，Pkbe是S的最佳近似值。我们开发了一系列 [213] 结果以了解当S−P≤作为k的函数时，Sk−Pk如何变化。 [214] 命题12.3LetS，Pbe使得||S−P||≤ [215] 校对信≤k≤s。首先将指数[1，n]分为3部分K1=[1，r−1]，K2= [216] [r，s]，K3=[s+1，n]。尽管我们只关注三组，但扩展到一般情况 [217] 分别为H（S）、H（P）。然后我们知道H（S）的特征值是∑ni=1{σi（S），-σi [218] 此外，与之对应的特征向量为（） [219] 同样定义H（P）的相应数量。现在很明显，||H（S）−H（P）||≤因为 [220] ||S−P||≤。那么通过Weyl不等式，我们得到|σi（s）-σi（P）|≤ [221] 现在我们可以使用命题12.1。为了简化符号，定义σi（S）=λi（H（S））和λ−i（F（S）= [222] -σi（S），并让相应的特征向量beai，a−ifor Sandbi，b−ifo或Prespectively。 [223] 注意，我们可以假设hai，bii对于everyi≥0。这不会改变 [224] 我们的任何结果都是因为，偏差只是左右奇异向量和uiv>i的叠加 [225] 对于ui、via和−ui、−vi是相同的。然后利用命题12.1，我们得到了每个（i，j）6∈K2×K2andi6=j [226] 类似|ha−i，bji|≤（48） [227] 自1uSi1uS1uP [228] 和σi（S），σi（P）≥0，我们通过添加公式（47），（48）得到max|huSi，uPji|，|hvSi，vPji|≤ [229] 定义UKS是由正交向量形成的矩阵{aj}j∈KandU为iiK−i [230] 正交向量构成的矩阵{aj}j∈−Ki。定义P的类似数量。 [231] 现在K1，K−1对应于奇异值≥σr−1（P），K3，K−的特征向量 [232] 响应奇异值≤σs+1（P）的特征向量。我们可以使用 [233] 提议12.2。将其用于方程（49），我们得到以下关系式！ [234] 在等式（50）中，我们需要上界（UKS）>UP（UP）>US。为此，我们将利用2K-2K-2K2 [235] 与UKS相对应的所有奇异值都相同。由于||H（S）−H（P）||≤，2 [236] 则2K2（UKS2）>+UKS-2∑SK-2（UKS-2）>+KKS0∑SK0（UKS0）>2K2 [237] LetH（S）−H（P）=Rthen 2K−2=（UKS2）>RUKP−2 [238] 由于∑SK=σs（A）Ithen 2 [239] 类似||（UKP）>美国||≤ [240] 由于σs（P）+σs [241] 由于σi（P）-σi+1（P） [242] 对于方程（51），我们使用不等式1−x2≥1−x2wheneverx<1，当 [243] 等式（46）为真。这意味着存在酉变换Q，因此2 [244] 备注12注意，S，P将分别是我们的 [245] 0、d、d） [246] [s+1，n]。46 [247] 命题12.4（系统约简）设||S−P||≤和Be的奇异值 [248] σ1（S）>…>σr−1（S）>σr（S）≥σr+1（S）≤…≥σs（s）>σs+1（s）。σn（S）>σn+1（S）=0 [249] 证明SinceUKS=[USUS]，同样对于B，我们可以将K的分析分开 [250] 遵循||英国（∑S）1/2−UP（∑P）1/2|| [251] =σs−1（s）和此后的条件保证，对于所有1≤i6=j≤r，σ<1/2。i-σj [252] 从命题12.3我们得到p [253] 在剩下的学期中，我们将在每列v ur−1中使用命题12.3 [254] 在我们的系统识别上下文中，S=H0，∞，∞和P=H0、d、d。P将为47 [255] 兼容的方法是用零填充它，使其加倍无限。ThenUKS，UP（0K0后 [256] 透视图我们不需要Z0、Z1；我们只需要使用ˆZ0=UKP（∑P）1/2（1:0K0 [257] ，：），Zˆ1=UKP（∑P）1/2（P+1:，：）并且由于它的大多数只是零填充，所以我们可以简单地0K0 [258] 计算ˆZ0（1:pd，：），Z \710»1（1:pd.，：）。 [259] 命题12.5假设Z1=Z0A。此外，||S−P||2≤且σi（P）-σi+1（P） [260] 证明Z1=Z0A，然后||（Z00Z0）−1Z00Z1− [261] 现在，||（\7100Zᮼ0）−1Z00||2≤（σs−）−1，||Z0A−Zᮽ1||2≥||Z0−Z [262] Z0和ˆZ1的子矩阵是\710»Z0的子矩阵，我们有||Z0A−Z \710；1||2≤||Z0−Z [263] ||Z0A−Zˆ0A||2≤||A||2||Z0−Z [264] 13.Hankel矩阵估计结果 [265] 在本节中，我们提供定理5.2的证明。对于任何矩阵P，我们定义它的双 [266] 无限延伸/Pas P0。 [267] 13.1号提案修正>0。那么我们有√√ [268] 校对Cd，Bdas后接0md×n [269] 现在padH0，d，dwith为零，使其成为双无限矩阵，并将其命名为？H0，dd，我们得到 [270] H_0，d，d−H0，∞，∞||=0M12 [271] ||M21||2。然后√ [272] 进一步||H0，d，d−H0，∞，∞||≥||M0||=||Hd，∞、∞||2。 [273] 命题13.2对于任意1≥d2，我们有√ [274] 命题13.1中的ProofSine||Hd1，∞，∞||2≤||H0，∞。 [275] 很明显，||Hd1，∞，∞||2≤||Hd，∞。然后是1 [276] 命题13.3修正>0。则Mρ~（A）d [277] 证明回忆那000。0 [278] 备注13命题13.3仅用于显示指数衰减，并不精确。 [279] 接下来，我们证明了公式（16）中定义的T*（δ）和d*（T，δ）由s给出 [280] 13.1 T*（κ）（δ）<∞的存在 [281] 建造两套 [282] 很明显，T*（δ）<T1（δ）∨T2（Δ）。我们业绩报表中的一个关键假设是 [283] T*（κ）（δ）<∞。我们将证明这是真的。设κ≥16。堵塞（cT+log1）−logR+log（M/β） [284] 命题13.4对于固定δ>0，T1（δ）<∞，其中d∗（T，δ）≤δ。日志1 [285] 证明注意形式ford∗（T，δ），它是满足s的最小值 [286] 根据命题13.1和13.3，我们得到||H0，d，d−H0，∞，∞||2≤13⁄−Mρρ（Ad），然后d∗（T，δ）≤d [287] 满足s [288] 因此，对于足够大的T堵塞（cT+log1δ）−logR+log（M/β） [289] 从前面的证据中可以清楚地看出。然后 [290] √T2（δ）是指d*（T，δ）仍随着T增长的点（即，“混合”尚未发生），但增长速度略有降低。 [291] 命题13.5对于固定δ>0，T2（δ）<∞。 [292] 证明 [293] √回顾命题13.1的证明，||Hd，∞，∞||≤||H0，∞。现在Hd，∞，∞可以写成 [294] 定义Pd=AdB~B~>（Ad）>。让dκ等于everyd≥dκ且κ≥16 1 [295] 显然，这种adκ<∞将存在，因为P06=0，但limd→∞Pd=0。然后观察一下 [296] P2d41κPd。那么对于每个d≥dκ，我们有||Hd，∞，∞||≥4κ||H2d，∞，∞|| [297] 设4dκ·（16）2·β2R2 [298] 但从我们上面的讨论中，我们还得到了||H0，d*，d*−H0，∞，∞||≥||Hd*，∞|| [299] 然后是ss [300] ||H0,2d*，2d*−H0，∞，∞||≤βRd*≤16βR2d*δ2κTκ2T [301] d*（κ2T，δ）。此外，如果κ≥16，2d*（T，δ）≤κ8d*（T，δ），当T大于 [302] 方程（59）的某个有限阈值。 [303] 当σ（Ad）2≤41κ时，方程（58）出现=⇒dκ=Ologκ，其中ρ=ρ（A），T log12（δ）≤cT1（δ）。 [304] 应注意，Ti（δ）对对数ρ1的依赖性是最坏的情况，即存在一些 [305] 条件T≥T1（δ）∨T2（δ [306] 动力学而不一定是整个动力学。 [307] 13.2定理证明5.2 [308] 命题13.6LetT≥T*（κ）（δ）和d*=d*（T，δ），然后rr [309] 证明考虑了以下错误||H0，∞，∞−Hˆ0，d*，d*||2≤||HO，d* [310] 从命题13.1和等式（55）中，我们得到rr [311] 自定理5.1 rr [312] 调用算法1中选择的自适应规则。根据定理5.1，我们知道 [313] 每个∈D（T）的概率至少为1-δ。秒 [314] 设α（l）=llpT+logTTδ。然后考虑以下自适应规则d0（T，δ）=infl||Hˆ0，l，l−Hᮼ0、H，H||2≤16βR（2α（l）+α（H））∀H∈D（T），H≥lo（61） [315] 对于相同的通用常数定理5.1。设*（T，δ）为等式（55）。召回 [316] d∗=d∗（T，δ）是估计误差主导有限截断误差的点。 [317] 不幸的是，我们没有在算法中使用的ofd∗（T，δ）的先验知识。因此， [318] 命题13.7LetT≥T*（κ）（δ），d*（T，δ）如式（55）所示，dˆ如式（62）所示。 [319] 证明*=d*（T，δ）。首先，对于allh∈D（T）≥D*，我们注意到 [320] ||Hˆ0，d*，d*−H \710；0，H，H||2≤||Hᮼ0+||H0，∞，∞−H0，d*，d*||2。 [321] 关于ofd*的性质，我们得到||H0，∞，∞−H0，d*，d*||2≤16βRα（d*） [322] 和||Hˆ0，d*，d*−H0，d**，d*||2≤16βRα。(63) [323] 和||Hˆ0，d*，d*−H \710；0，H，H||2≤16βR（2α（d*）+α（H））。 [324] 引理13.1对于固定κ≥20，当T≥T*（κ）（δ）时，我们至少有概率 [325] 证明Letd*>dˆ然后为0，d，ᮼdᮽ||2≤||H0，∞，∞−H0，d*，d*||2+||H \710»0，d [326] 如果Dir d>d*，则||H0，∞，∞−H Dir 0，d，Dir d Dir ||2≤||H0，∞−H0，d，Dir d Dir ||2+||H Dir 0，d，Dir d Dir−H0，d，Dir d Dir ||2=2||H Dir 0，d，Dir d Dir−H0，d，Dir d Dir ||2 [327] 13.1号提案。 [328] 在下文中，我们将使用Hl=H0，l，lf进行速记。 [329] 命题13.8Fixκ≥16，且T≥T∗（κ）（δ）。然后是 [330] 证明logTδ≤d∗（T，δ）。调用以下函数 [331] 很明显，对于任何κ≥16，d*（κ2T，δ）≤（1+21p）κd*（T，δ）。假设以下8*（κ−2T，δ）（当T≥T∗（κ）（δ）时，此关系成立）， [332] dˆ（T，δ），dᮼ（κ2）=d（κ−2T，δ。那么这意味着 [333] 那个q [334] 因为根据ofd∗（·，·）的定义，我们有 [335] 通过假设sd*≤κ8d（*κ2），dˆ（1）≤d（*k 2），则结果是（d（1）*+2pd \710]（1））d（1 [336] 假设s [337] 很明显，d（1）2≥56||Hdˆ（1）−H∞||2 [338] 我们可以得出结论，自6512+1κ<√1，2 [339] 是ss的最小值 [340] 此外，根据命题13.2，我们得到任意1≤d2 1 [341] 显然，如果假设3无效，那么我们在所选的ˆd（·，·）上有一个合适的下限， [342] 我们有 [343] 类似地，如果假设2无效，那么我们得到s [344] 并且因为ˆd（κ2T，δ）≤d* [345] H∞||2我们以与命题13.6类似的方式获得 [346] 如果fd∗（T，δ）≤logTδ，那么我们可以简单地应用引理13.1，我们的断言成立。56 [347] 14.选型结果 [348] 命题14.1LetH0，∞，∞=U∑V>，H∑0，d，d∑=UσV>和 [349] 对于某些χ≥2，即∧10。0 [350] 对于1<i<l，ζn1=σnmin1-σmaxn2和ζnl=最小值（σminnl−1-∑maxnl，σminn l）。 [351] 证明让U∑V>=SVD（H 0，d，d）和U∑V>=SVD（H0，∞，∞），其中||Hˆ0，d。 [352] ∑被排列成奇异值的块，使得在每个块中，Dir iwe具有Dirσi−σDir i≤χ，jj+1 [353] σ迷你−1-σimax>χ。根据∑定义∑如下：∑ [354] 存在形式为Qn1×n10。0 [355] 这样，每个块Qni×nicor对应一个维数为ni×ni的正交矩阵 [356] 如果|H0，d，d，∞，∞||2小，则|U∑1/2Q−U∑1/2 ||2很小。每个区块 [357] 对应于奇异值集，其中边值距离“小”。 [358] 正交条目，如√p [359] 这里ζni=min（σmin-σmaxni，σminni-σnmax+1） [360] 对于1<i<l，ζn1=σnmin1-σnmax2和ζnl=min（σnminsl−1-∑nmaxl，σnmin）。非正式地，ζi [361] 测量每个块之间的奇异值间隙。此外，可以表明，对于等式（67）中的形式的任何Qof [362] ||U Q∑1/2−U∑1/2Q||2≤|| U Q∑的1/2−UQ∑1/2 ||2+|| U∑1/2∑UQ [363] 因为U Q∑=U∑。注意||∑1/2-∑/∑1/2 ||2≤sup1≤i≤lpσmaxi−qσimin。现在，q [364] 然后pσmaxi-σ/σi≤√χnia，这意味着supσ最大-σmini≤pχni∧√x2 ni。 [365] 最后，||U∑1/2Q−U∑1/2 ||2≤||U Q∑1/2−Uσ1/2 || 2+||U Q∑1/2-V∑1/2 Q||2 [366] 由于sup1≤i≤dˆ|σi-σi |≤√∧，我们的断言如下。σˆˆ [367] 命题14.2LetH0，∞，∞=U∑V>，H∑0，d，d∑=UσV>和||H0，无穷大-H [368] 对于某些χ≥2，即∧10。0 [369] 对于1<i<l，ζn1=σnmin1-σmaxn2和ζnl=最小值（σminnl−1-∑maxnl，σminn l）。 [370] 证明因为所有参数都等价于正交变换，所以证明如下 [371] 15.订单估算下限 [372] 引理14（Boucheron et al.（2013）中的定理4.21）{Pi}镍=0be概率定律 [373] 引理15（勒卡姆方法）LetP0，P1是两个概率定律，然后r [374] 命题15.1 LetN0，N1是两个均值为µ0∈RT，µ1∈RT的多元Gaussian [375] 在本节中，我们将证明模型近似的有限时间误差的下限。在 [376] 基于子空间的系统理论方法有助于估计真实系统参数。 [377] 直观地说，正确估计对应于较低值的子空间应该比较困难 [378] Hankel奇异值，或因噪声存在而产生的“能量”。然而，由于 [379] Hankel矩阵的结构约束很难找到极大极小下界 [380] LTI系统的建议。具体来说，不清楚标准子空间识别 [381] 下限可以为结构化和非身份证设置提供合理的估计 [382] 作为我们的案例。缓解在获得较低价格时出现的一些技术困难 [383] 边界，我们将关注一小组LTI系统，这些系统简单地通过 [384] 数量ζ。分别考虑以下规范形式1阶和2阶LTI系统 [385] A0、A1在|ζ|<1时是Schur稳定的。10000. . . 00000. . . [386] 其中Hζ，0，Hζ1分别是由（C0，A0，B0），（C1，A1，B1）生成的Hankel矩阵。 [387] 很容易检查，对于Hζ，1我们有1ζ≤σσ1≤1+ζ，其中σ2ζ是Hankel奇异值。 [388] 此外，Hζ，0的秩为1，Hξ，1的秩至少为2。此外，||T O ||T0，∞（（Ci，Ai，Bi））||2≤R。0，∞（（Ci，Ai，Bi））||2 [389] 取决于Hankel矩阵的条件数 [390] 输入-输出行为为yTCBCAiB。CATi−1B类 [391] 输入。然后，我们将遵循Tu等人（2018b）中定理2证明的相同步骤。Yγt（ut|{ul，yl}tl=1−1）P0（yt|{ul}tl−=11)# [392] 这里γt（·|·）是从过去的数据中进行选择的有效规则。从公式（72）可以清楚地看出 [393] 有条件的{ul}时间=1,{yl}铊=1是高斯分布，平均值由∏iU给出。然后我们用Birge的 [394] 不等式（引理14）。在我们的例子中，∑0=O0O0>+I，∑1=O1O>1+I，其中Oi在 [395] 等式（72）。我们将应用引理14和命题15.1的组合，并假设ηiare i.i.d [396] 高斯来获得我们想要的结果。注意，O1=O0，但∏16=∏0。因此，从 [397] 命题15.1KL（N0，N1）=Eµ1，µ0[（µ1-µ0）>∑−11（µ1-µ0]≤TRζ22，其中µi=∏iU。 [398] 对于任何δ∈（0,1/4），命题14中的seta=1-δ，则我们得到任何δ1-δTζ2 [399] 表明如果8δ2≥TζR22，则supi6=jPAi（Aj）≥δ。由于δ2≥clog1δ，当δ∈[1/4,1）时 [400] 我们的断言是绝对常数。61简介相关工作数学预备知识贡献问题公式化和讨论数据生成算法细节Hankel子矩阵估计模型选择参数恢复顺序估计下限实验讨论预备知识控制和系统理论预备知识Sylvester矩阵方程系统Hankel的特性输入矩阵的矩阵模型约简等距：引理的证明5.1定理的误差分析5.1定理的证明5.1子空间扰动结果Hankel矩阵估计结果T^（）_*（）<定理的证明5.2模型选择结果阶估计下限 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。