×

光滑流形的随机投影。 (英语) Zbl 1172.53005号

考虑一个紧致的(K)维黎曼子流形({mathcal M}\subset\mathbb R^N),并用(Phi)表示一个从(mathbb R ^N)到(mathbbR ^M)的随机正射算子。本文的主要定理表明,在概率至少为1-的情况下,任意两点之间的距离(或测地线距离)(x),(y)在{mathcal M}中大致保持不变
\[M=O\biggl(\frac{K\log(NVR\tau^{-1}\varepsilon^{-1{)\log。\]
在这个公式中,(V)是({mathcal M})的体积,(R)是其测地覆盖正则性,以及(1/tau)是其条件数。正实数\(\varepsilon\)决定了所需的长度保持精度。可以从证明中提取出\(M\)的显式界(不仅仅是数量级)。这个结果类似于Johnson和Lindenstrauss关于有限点云随机正投影下距离保持的定理。
本文还介绍了“降维技术”的一般应用,并讨论了在压缩感知和流形学习的背景下应用上述结果的思路。

MSC公司:

53A07号 欧氏及相关空间中的高维和余维曲面
62小时99 多元分析
65C99个 概率方法,随机微分方程
第68页 编码和信息理论(压缩、压缩、通信模型、编码方案等)(计算机科学方面)
68T05年 人工智能中的学习和自适应系统
94甲12 信号理论(表征、重建、滤波等)
94A29号 源代码
PDF格式BibTeX公司 XML格式引用
全文: DOI程序 链接

参考文献:

[1] D.Achlioptas,数据库友好型随机投影,Proc。交响乐团。《数据库系统原理》(PODS’01),第274–281页,ACM出版社,纽约,2001年。
[2] R.Baraniuk、M.Davenport、R.DeVore和M.Wakin,随机矩阵限制等距性的简单证明。施工。大约(2008年),即将发布·Zbl 1177.15015号
[3] D.Baron、M.B.Wakin、M.F.Duarte、S.Sarvotham和R.G.Baraniuk,《分布式压缩传感》,预印本,2005年。
[4] M.Belkin和P.Niyogi,用于降维和数据表示的拉普拉斯特征映射,神经计算。15(6) (2003), 1373–1396. ·Zbl 1085.68119号 ·doi:10.1162/089976603321780317
[5] M.Brand,绘制流形,《神经信息处理系统进展》(NIPS),第15卷,第985-992页,麻省理工学院出版社,剑桥,2003年。
[6] D.S.Broomhead和M.Kirby,一种新的降维方法:理论和算法,SIAM J.Appl。数学。60(6) (2000), 2114–2142. ·Zbl 1038.65013号 ·doi:10.1137/S0036139998338583
[7] D.S.Broomhead和M.J.Kirby,《Whitney约简网络:计算自联想图的方法》,神经计算。13(11) (2001), 2595–2616. ·兹比尔1003.68112 ·doi:10.1162/089976601753196049
[8] E.Candès、J.Romberg和T.Tao,《鲁棒不确定性原理:从高度不完整的频率信息进行精确信号重建》,IEEE Trans。《信息论》52(2)(2006),489-509·Zbl 1231.94017号 ·doi:10.1109/TIT.2005.862083
[9] E.Candès、J.Romberg和T.Tao,从不完整和不准确的测量中恢复稳定信号,Commun。纯应用程序。数学。59(8) (2006), 1207–1223. ·邮编1098.94009 ·doi:10.1002/cpa.20124年
[10] E.Candès和T.Tao,通过线性编程解码,IEEE Trans。《信息论》51(12)(2005),4203-4215·兹比尔1264.94121 ·doi:10.1109/TIT.2005.858979
[11] E.Candès和T.Tao,《Dantzig选择器:当p远大于n时的统计估计》,《Ann.Stat.》(2007),即将出版。arXiv:数学。ST/0506081·Zbl 1139.62019号
[12] E.Candès和T.Tao,从随机投影中恢复近最优信号:通用编码策略?IEEE传输。《信息论》52(12)(2006),5406–5425·Zbl 1309.94033号 ·doi:10.1109/TIT.2006.885507
[13] G.Carlsson、A.Zomorodian、A.Collins和L.Guibas,形状的持久性条形码,Proc。交响乐团。关于几何处理(SGP’04),第124–135页,美国机械工程师协会出版社,纽约,2004年。
[14] R.R.Coifman和M.Maggioni,扩散小波,应用。计算。哈蒙。分析。21(1) (2006), 53–94. ·邮编1095.94007 ·doi:10.1016/j.acha.2006.04.004
[15] J.A.Costa和A.O.Hero,流形学习中维数和熵估计的测地熵图,IEEE Trans。信号处理。52(8) (2004), 2210–2221. ·Zbl 1369.68278号 ·doi:10.1109/TSP.2004.831130
[16] S.Dasgupta和A.Gupta,Johnson和Lindenstrauss定理的初等证明,随机结构。算法22(1)(2003),60-65·兹比尔1018.51010 ·doi:10.1002/rsa.10073
[17] D.Donoho,欠定线性方程的邻域多面体和稀疏解,《2005-04年技术报告》,斯坦福大学统计系,2005年。
[18] D.Donoho,压缩传感,IEEE Trans。《信息论》52(4)(2006)·Zbl 1288.94016号
[19] D.Donoho,对于大多数大型欠定线性方程组,最小L1-形式解也是最稀疏的解,Commun。纯应用程序。数学。59(6) (2006). ·Zbl 1113.15004号
[20] D.Donoho,邻接度与维数成正比的高维中心对称多边形,离散计算。地理。35(4) (2006), 617–652. ·1095.52500兹罗提 ·doi:10.1007/s00454-005-1220-0
[21] D.Donoho和J.Tanner,高维随机投射单形的邻域,Proc。国家。阿卡德。科学。美国102(27)(2005),9452–9457·Zbl 1135.60300号 ·doi:10.1073/pnas.0502258102
[22] D.Donoho和Y.Tsaig,压缩传感的扩展,信号处理。86(3) (2006), 533–548. ·Zbl 1163.94329号 ·doi:10.1016/j.sigpro.2005.05.027
[23] D.L.Donoho和C.Grimes,与欧几里德空间等距的图像流形,J.Math。成像计算。视觉。23(1) (2005), 5–24. ·兹比尔1478.62186 ·doi:10.1007/s10851-005-4965-4
[24] D.L.Donoho和C.E.Grimes,Hessian特征映射:高维数据的局部线性嵌入技术,Proc。国家。阿卡德。科学。美国100(10)(2003),5591–5596·Zbl 1130.62337号 ·doi:10.1073/pnas.1031596100
[25] D.L.Donoho和J.Tanner,《当投影大幅降低维数时计算随机投影多边形的面数》,《2006-2011年技术报告》,斯坦福大学统计系,2006年。arXiv:数学。毫克/0607364·Zbl 1206.52010年
[26] C.Grimes,《非线性降维新方法》,斯坦福大学统计系博士论文,2003年。
[27] J.Haupt和R.Nowak,噪声随机投影信号重建,IEEE Trans。《信息论》52(9)(2006),4036–4048·Zbl 1323.94046号 ·doi:10.1109/TIT.2006.880031
[28] G.E.Hinton、P.Dayan和M.Revow,《手写数字图像流形建模》,IEEE Trans。神经网络。8(1) (1997), 65–74. ·doi:10.1109/72.554192
[29] M.W.Hirsch,微分拓扑,数学研究生教材,第33卷,施普林格,纽约,1976年。
[30] P.Indyk和A.Naor,《近邻保护嵌入件》,ACM Trans。算法3(3)(2007)·Zbl 1192.68748号
[31] S.Kirolos、J.Laska、M.Wakin、M.Duarte、D.Baron、T.Ragheb、Y.Massoud和R.Baraniuk,《通过随机解调进行模拟到信息转换》,Proc。IEEE达拉斯电路与系统研讨会(DCAS),德克萨斯州达拉斯,2006年10月。
[32] G.G.Lorentz、M.von Golitschek和Y.Makovoz,《构造逼近:高级问题》,Grundlehren der Mathematischen Wissenschaften,第304卷,施普林格出版社,柏林,1996年·Zbl 0910.41001号
[33] S.Mallat,《信号处理的小波之旅》,学术出版社,圣地亚哥,1999年·Zbl 0998.94510号
[34] P.Niyogi、S.Smale和S.Weinberger,从随机样本中发现具有置信度的子流形的同源性,离散计算。地理。(2006). doi:10.1007/s00454-006-1250-7·Zbl 1148.68048号
[35] A.Pinkus,n-宽度和最佳恢复,《应用数学研讨会论文集》,第36卷,第51-66页,美国数学学会,普罗维登斯,1986年。
[36] I.Ur Rahman、I.Drori、V.C.Stodden、D.L.Donoho和P.Schroeder,流形值数据的多尺度表示,SIAM J.多尺度模型。模拟。4(4) (2005), 1201–1232. ·Zbl 1236.65166号 ·数字对象标识代码:10.1137/050622729
[37] S.T.Roweis和L.K.Saul,通过局部线性嵌入降低非线性维数,《科学》290(5500)(2000),2323-2326·doi:10.1126/science.290.5500.2323
[38] M.Rudelson和R.Vershynin,纠错码和信号重建的几何方法,国际数学。Res.否。64 (2005), 4019–4041. ·Zbl 1103.94014号 ·doi:10.1155/IMRN.2005.4019
[39] D.Takhar、V.Bansal、M.Wakin、M.Duarte、D.Baron、K.F.Kelly和R.G.Baraniuk,《压缩传感相机:使用数字微镜的新理论和实现》,Proc。公司。2006年1月,加利福尼亚州圣何塞SPIE Electronic Imaging的Imaging IV。
[40] D.S.Taubman和M.W.Marcellin,《JPEG 2000:图像压缩基础、标准和实践》,Kluwer学术出版社,多德雷赫特,2001年。
[41] J.B.Tenenbaum、V.de Silva和J.C.Langford,《非线性降维的全球几何框架》,《科学》290(5500)(2000),2319-2323·doi:10.1126/science.290.5500.2319
[42] J.A.Tropp、M.B.Wakin、M.F.Duarte、D.Baron和R.G.Baraniuk,《压缩取样和重建的随机过滤器》,收录于Proc。国际声学、语音、信号处理(ICASSP),IEEE,纽约,2006年。
[43] M.Turk和A.Pentland,用于识别的特征人脸,J.Cogn。神经科学。3(1)(1991),71–83·doi:10.1162/jocn.1991.3.1.71
[44] M.B.Wakin,《低维信号模型的几何》,博士论文,莱斯大学电气与计算机工程系,德克萨斯州休斯顿,2006年。
[45] M.B.Wakin和R.G.Baraniuk,《信号流形的随机投影》。国际声学、语音、信号处理(ICASSP),IEEE,纽约,2006年·Zbl 1172.53005号
[46] M.B.Wakin,D.L.Donoho,H.Choi和R.G.Baraniuk,不可微图像流形的多尺度结构,Proc。2005年8月,加利福尼亚州圣地亚哥SPIE光学与光子学会议上的Wavelets XI。
[47] K.Q.Weinberger和L.K.Saul,用半定规划进行图像流形的无监督学习,国际计算机杂志。视觉。70(1) (2006), 77–90. 特刊:计算。视觉。模式识别器。(CVPR 2004)。 ·doi:10.1007/s11263-005-4939-z
[48] Z.Zhang和H.Zha,通过切线空间对齐的主流形和非线性降维,SIAM J.Sci。计算。26(1) (2005), 313–338. ·Zbl 1077.65042号 ·doi:10.1137/S1064827502419154
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。