跳到主要内容
10.1145/3618260.3649765acm会议文章/章节视图摘要出版物页面斯托克会议记录会议集合
研究论文
开放式访问

平滑分析的新工具:具有相依项的随机矩阵的最小奇异值界

出版:2024年6月11日 出版历史
  • 获取引文提醒
  • 摘要

    我们开发了新的技术来证明具有有限随机性的随机矩阵的最小奇异值的下界。我们考虑的矩阵具有由几个基本随机变量的多项式给出的条目。此设置捕获了在许多算法设置中获得平滑分析保证的核心技术挑战。最小奇异值边界通常涉及到显示出强大的反集中不等式,这些不等式与集中(或大偏差)边界相比,是复杂的,更难理解。首先,我们介绍了一种证明反集中的通用技术,该技术利用多项式映射的雅可比矩阵的良好条件性质,并展示了如何将其与层次化的网参数相结合来证明最小奇异值界。我们的第二个工具是一个关于最小奇异值的新语句,用于解释平滑矩阵的高阶提升以及线性算子对它们的作用。除了获得现有平滑分析结果的简单证明外,我们现在还使用这些工具处理更一般的随机矩阵族。这使我们能够在几个先前打开的设置中生成平滑的分析保证。这些新设置包括功率和分解的平滑分析保证和证明子空间的鲁棒纠缠,其中先前的工作只能为完全随机实例建立最小奇异值界或仅显示非鲁棒泛型保证。

    工具书类

    [1]
    Ahn Kwangjun、Dhruv Medarametla和Aaron Potechin。2016.图矩阵:范数界限和应用。arXiv:组合数学,https://api.semanticscholar.org/CorpusID:211252816
    [2]
    阿尼玛·阿南德库马尔、荣格、丹尼尔·徐智杰、沙姆·卡卡德和马图斯·特尔加斯基。2015.学习潜在变量模型的张量分解(ALT调查)。《算法学习理论——第26届国际会议》,ALT 2015,加拿大班夫,AB,2015年10月4-6日,《会议录》,Kamalika Chaudhuri、Claudio Gentile和Sandra Zilles(编辑)(计算机科学讲义,第9355卷)。施普林格,19–38岁。https://doi.org/10.1007/978-3-319-24486-0_2
    [3]
    Animashree Anandkumar、Daniel J.Hsu和Sham M.Kakade。2012.混合模型和隐马尔可夫模型的矩方法。在COLT 2012-第25届学习理论年会,2012年6月25日至27日,苏格兰爱丁堡,Shie Mannor、Nathan Srebro和Robert C.Williamson(编辑)(JMLR Proceedings,Vol.23)。JMLR.org,33.1–33.34。http://proceedings.mlr.press/v23/anandkumar12/anandkumar12.pdf
    [4]
    尼玛·阿纳里(Nima Anari)、君士坦丁诺斯·达斯卡拉基斯(Constantinos Daskalakis)、沃尔夫冈·马斯(Wolfgang Maass)、克里斯托斯·帕帕迪米特里奥(Christos Papadimitriou)、阿明·萨贝里(Amin Saberi)和桑托什。2018.离散张量分解和神经元组装的平滑分析。神经信息处理系统进展。
    [5]
    Pranjal Awasthi、Alex Tang和Aravindan Vijayaraghavan。2021.具有一般ReLU激活的学习深度2神经网络的有效算法。《神经信息处理系统学报》(NeurIPS)。
    [6]
    巴鲁克·阿沃布奇(Baruch Awerbuch)和罗伯特·克莱伯格(Robert Kleinberg),2008年。在线线性优化和自适应路由。J.计算。系统科学。,74, 1 (2008), 97–114.
    [7]
    Mitali Bafna、Jun-Ting Xieh、Pravesh K.Kothari和Jeff Xu。2022.多项式的多项式时间幂和分解。2022年,IEEE第63届计算机科学基础年会(FOCS)。956–967. https://doi.org/10.109/FOCS54457.2022.00094
    [8]
    波阿斯·巴拉克(Boaz Barak)、普拉维什·K·科塔里(Pravesh K.Kothari)和大卫·斯特勒(David Steurer)。2017.量子纠缠、平方和和和对数秩猜想。第49届ACM SIGACT计算理论年会论文集。
    [9]
    Aditya Bhaskara、Moses Charikar、Ankur Moitra和Aravindan Vijayaraghavan。2014.张量分解的平滑分析。在计算机理论研讨会(STOC)上。
    [10]
    Aditya Bhaskara、Moses Charikar和Aravindan Vijayaraghavan。张量分解的唯一性及其在多项式可识别性中的应用。学习理论会议。
    [11]
    Aditya Bhaskara、Aidao Chen、Aidan Perreault和Aravindan Vijayaraghavan。2019.通过解耦实现无监督学习的平滑分析。第60届IEEE计算机科学基础年会(FOCS)论文集。
    [12]
    Ankit Garg、Neeraj Kayal和Chandan Saha。2020年。学习非退化情况下低次多项式的幂和。2020年,IEEE第61届计算机科学基础年会(FOCS)。889–899. https://doi.org/10.109/FOCS46700.2020.00087
    [13]
    荣戈、黄庆庆和Sham M.Kakade。2015年,《高维高斯人的混合学习》(Learning Mixtures of Gaussians in High Dimensions)。在计算机理论研讨会上。
    [14]
    纳文·戈亚尔(Navin Goyal)、桑托什·万帕拉(Santosh Vempala)和英肖(Ying Xiao)。2014.傅立叶PCA和鲁棒张量分解。在第四十六届ACM计算机理论研讨会(STOC’14)的会议记录中。计算机械协会,美国纽约州纽约市584–593。编号:9781450327107https://doi.org/10.1145/2591796.2591875
    [15]
    纳文·戈亚尔(Navin Goyal)、桑托什·万帕拉(Santosh Vempala)和英肖(Ying Xiao)。2014.傅里叶PCA和稳健张量分解。在计算理论研讨会(STOC)(STOC’14)上。计算机械协会,美国纽约州纽约市584–593。编号:9781450327107https://doi.org/10.1145/2591796.2591875
    [16]
    文凯特桑·古鲁斯瓦米和阿里·凯末尔·斯诺普。2012.基于列的最优低秩矩阵重建。2012年1月17日至19日,日本京都,第二十届ACM-SIAM离散算法年会论文集,2012年SODA,Yuval Rabani(Ed.)。暹罗,1207-1214年。https://doi.org/10.1137/1.9781611973099.95
    [17]
    Aram W.Harrow和Ashley Montanaro。2010年,对产品状态进行有效测试,并应用于Quantum Merlin-Arthur游戏。在第51届IEEE计算机科学基础年度研讨会(FOCS)上发表。633–642. https://doi.org/10.109/FOCS.2010.66
    [18]
    Elad Hazan和Zohar Karnin。2016年,容积扳手:学习的有效探索基础。机器学习研究杂志。
    [19]
    Nathaniel Johnston、Benjamin Lovitz和Aravindan Vijayaraghavan。2023.计算变量的线性部分:量子纠缠、张量分解及其他。在IEEE计算机科学基础会议(FOCS)的会议记录中。
    [20]
    J.Lindenstrauss和L.Tzafriri,2013年。经典巴拿赫空间I:序列空间。施普林格-柏林-海德堡。
    [21]
    安库尔·莫伊特拉(Ankur Moitra)和亚历山大·魏恩(Alexander S.Wein)。2019.张量网络的谱方法。2019年6月23日至26日,在美国亚利桑那州凤凰城举行的第51届ACM SIGACT计算机理论年会会议记录中,Moses Charikar和Edith Cohen(编辑)。美国医学会,926–937。https://doi.org/10.1145/3313276.3316357
    [22]
    古瑟姆·拉金德兰(Goutham Rajendran)和马杜尔·图尔萨尼(Madhur Tulsiani)。[未注明日期]。通过Efron-Stein不等式集中多项式随机矩阵。3614–3653. https://doi.org/10.1137/1.9781611977554.ch138arxiv公司:https://epubs.siam.org/doi/pdf/10.1137/1.9781611977554.ch138。
    [23]
    蒂姆·拉夫加登(Tim Roughgarden)。2020年,超越算法的最坏情况分析。剑桥大学出版社。
    [24]
    马克·鲁德尔森和罗曼·弗什宁。Littlewood–Offord问题与随机矩阵的可逆性。《数学进展》,218,2(2008),600–633。发行编号:0001-8708https://doi.org/10.1016/j.aim.2008.01.010
    [25]
    哈尼·塞奇和阿尼玛·阿南德库马尔。2016.通过谱方法训练输入-输出递归神经网络。CoRR,abs/1603.00954(2016),arXiv:1603.00954。arxiv:1603.00954号
    [26]
    N.D.Sidiropoulos、L.De Lathauwer、X.Fu、K.Huang、E.E.Papalexakis和C.Faloutsos。2017.信号处理和机器学习的张量分解。65、13(2017年),7月,3551–3582。
    [27]
    丹尼尔·斯皮尔曼和尚华腾。2004年,算法的平滑分析:为什么单纯形算法通常需要多项式时间。J.ACM,51,3(2004),5月,385-463。编号:0004-5411https://doi.org/10.1145/990308.990310
    [28]
    尚华腾。2023.“智能启发式是计算的未来”。ACM事务处理。智力。系统。技术。,10月,发行号:2157-6904https://doi.org/10.1145/3627708刚刚接受
    [29]
    罗曼·弗什宁。2020年。随机张量的集中不等式。伯努利,26,4(2020),3139–3162。https://doi.org/10.3150/20-BEJ1218
    [30]
    Van Vu.2017年。多项式的反集中不等式。801–810. 国际标准编号:978-3-319-44478-9https://doi.org/10.1007/978-3-319-44479-6_32

    索引术语

    1. 平滑分析的新工具:具有相依项的随机矩阵的最小奇异值界

        建议

        评论

        信息和贡献者

        问询处

        发布于

        封面图片ACM会议
        STOC 2024:第56届ACM计算理论年会论文集
        2024年6月
        2049页
        国际标准图书编号:9798400703836
        内政部:10.1145/3618260
        本作品根据Creative Commons Attribution International 4.0许可证授权。

        赞助商

        出版商

        计算机协会

        美国纽约州纽约市

        出版历史

        出版:2024年6月11日

        权限

        请求对此文章的权限。

        检查更新

        作者标记

        1. 最小奇异值
        2. 矩阵反集中
        3. 量子纠缠
        4. 随机矩阵
        5. 光滑分析
        6. 张量
        7. 无监督学习

        限定符

        • 研究文章

        资金来源

        • NSF(国家科学基金会)

        会议

        STOC’24
        赞助商:
        STOC’24:56届ACM计算理论年会
        2024年6月24日至28日
        不列颠哥伦比亚省,加拿大温哥华

        接受率

        4586份提交文件的总体接受率为1469份,占32%

        贡献者

        其他指标

        文献计量学和引文

        文献计量学

        文章指标

        • 0
          引文总数
        • 16
          总下载次数
        • 下载次数(过去12个月)16
        • 下载次数(最近6周)16

        其他指标

        引文

        视图选项

        查看选项

        PDF格式

        以PDF文件查看或下载。

        PDF格式

        电子阅读器

        使用联机查看电子阅读器.

        电子阅读器

        获取访问权限

        登录选项

        完全访问权限

        媒体

        数字

        其他

        桌子

        分享

        分享

        共享此出版物链接

        在社交媒体上分享