Jesse A.Livezey。;亚历杭德罗·布扬。;弗里德里希·索默（Friedrich T.Sommer）。 通过线性推理学习过于完整、低连贯的词典。 （英文） Zbl 1446.62170号 J.马赫。学习。物件。 20，第174号论文，42页（2019年）. 摘要：发现数据的超完备潜在表征在数据分析、信号处理、机器学习、理论神经科学和许多其他领域都有应用。在超完备表示中，潜在特征的数量超过了数据维度，当数据被测量值（神经系统中的压缩感知或信息瓶颈）采样不足或由多个完整的线性特征集组成时，这一点非常有用，每个线性特征集跨越数据空间。独立分量分析（ICA）是一种学习稀疏潜在表示的线性技术，通常比稀疏编码的计算成本更低，稀疏编码是一种需要迭代、非线性推理步骤的线性生成模型。虽然非常适合于寻找完整的表示，但我们表明，过完备对现有的ICA算法提出了挑战。具体地说，现有ICA和其他字典学习算法中使用的一致性控制对于防止重复字典特征的形成是必要的，不适用于过于完整的情况。我们证明了在超完备情况下，几种现有的ICA算法具有最大一致性的不期望的全局极小值。我们对这些失败提供了理论解释，并基于该理论，提出了改进过完备ICA算法的一致性控制代价。此外，通过将ICA算法与合成数据上计算成本更高的稀疏编码进行比较，我们表明，使用所提出的代价函数可以扩展超完备线性推理的有限适用性。最后，当对自然图像进行训练时，我们发现相干控制会使数据流形的探索产生偏差，有时会产生次优的相干解决方案。总之，本研究为线性ICA的相干控制提供了新的见解和方法，其中一些适用于许多其他非线性模型。 MSC公司： 62H25个 因子分析和主成分；对应分析 68T05型 人工智能中的学习和自适应系统 62页第10页 统计学在生物学和医学科学中的应用；元分析 关键词：独立成分分析;字典学习;一致性 软件：西雅娜;科学Py PDF格式BibTeX公司 XML格式引用 \textit{J.A.Livezey}等人，J.Mach。学习。第20号决议，第174号论文，第42页（2019年；Zbl 1446.62170） 全文： arXiv公司 链接 参考文献： [1] Gautam Agarwal、Ian H Stevenson、Antal Ber´enyi、Kenji Mizuseki、Gy¨orgy Buzs´aki和Friedrich T Sommer。海马体中空间分布的局部场编码大鼠的位置。《科学》，344（6184）：626-6302014年。 [2] Nitin Bansal、Xiaohan Chen和Zhangyang Wang。在训练深层网络时，我们能从正交正则化中获得更多吗？《神经信息处理系统进展》，第4261-4271页，2018。 [3] 鲍成龙（Chenglong Bao）、全玉慧（Yuhui Quan）和慧姬（Hui Ji）。一种用于稀疏编码的收敛非相干字典学习算法。欧洲计算机视觉会议，第302-316页。斯普林格，2014年。 [4] 贺拉斯·B·巴洛。费里尔讲座，1980年：眼睛和视觉皮层设计中的关键限制因素。伦敦皇家学会学报B：生物科学，212（1186）：1-341981。 [5] 阿米尔·贝克和马克·特布勒。线性反问题的快速迭代收缩阈值算法。SIAM成像科学期刊，2（1）：183-2022009·Zbl 1175.94009号 [6] Anthony J Bell和Terrence J Sejnowski。自然场景的独立组件是边缘过滤器。视觉研究，37（23）：3327-33381997。 [7] 安德鲁·布洛克（Andrew Brock）、西奥多·林（Theodore Lim）、詹姆斯·米勒·里奇（James Millar Ritchie）和尼古拉斯·韦斯顿（Nicholas J Weston）。利用内省式对抗网络进行神经照片编辑。2017年和2017年第五届国际学习代表大会。 [8] 理查德·伯德（Richard H Byrd）、吕培煌（Peihuang Lu）、豪尔赫·诺塞达尔（Jorge Nocedal）和朱慈友（Ciyou Zhu）。用于边界约束优化的有限内存算法。SIAM科学计算杂志，16（5）：1190-12081995·Zbl 0836.65080号 [9] 妮可·卡尔森、薇薇安·L·明和迈克尔·罗伯特·德维斯。语音稀疏编码预测下丘的光谱时间感受野。《公共科学图书馆·计算生物学》，8（7）：e10025942012年。 [10] Scott Shaobing Chen、David L Donoho和Michael A Saunders。通过基追踪进行原子分解。SIAM综述，43（1）：129-1592001·Zbl 0979.94010号 [11] Il Yong Chun和Jeffrey A Fessler。卷积分析算子学习：加速、收敛、应用和神经网络。arXiv预印本arXiv:1802.055842018·Zbl 1409.94090号 [12] 皮埃尔·科蒙。独立成分分析，一个新概念？信号处理，36（3）：287-3141994·Zbl 0791.62004号 [13] 克莉丝汀·柯西奥（Christine A Curcio）和金伯利·艾伦（Kimberly A Allen）。人类视网膜神经节细胞的地形图。比较神经学杂志，300（1）：5-251990。 [14] Mark A Davenport、Marco F Duarte、Yonina C Eldar和Gitta Kutyniok。压缩感知简介。再版，93（1）：2011年2月。 [15] 阿诺德·德洛姆（Arnaud Delorme）、特伦斯·塞诺夫斯基（Terrence Sejnowski）和斯科特·马克伊格（Scott Makeig）。使用高阶统计和独立分量分析增强对脑电数据中伪影的检测。神经影像，34（4）：1443-14492007。 [16] Michael R DeWeese、Tom´a´s Hrom´adka和Anthony M Zador。听觉皮层的可靠性和表征带宽。神经元，48（3）：479-4882005。 [17] 大卫·L·多诺霍和迈克尔·埃拉德。通过1最小化在一般（非正交）字典中实现最佳稀疏表示。《美国国家科学院院刊》，100（5）：2197-22022003年·Zbl 1064.94011号 [18] 迈克尔·埃拉德（Michael Elad）、佩曼·米兰法尔（Peyman Milanfar）和罗恩·鲁宾斯坦（Ron Rubinstein）。信号先验中的分析与合成。反问题，23（3）：9472007·Zbl 1138.93055号 [19] 马修·菲克斯和达斯汀·米克森。等角紧框架的存在表。arXiv预印arXiv:1504.002532015·Zbl 1359.94318号 [20] 卡罗尔·格雷戈（Karol Gregor）和延勒村（Yann LeCun）。学习稀疏编码的快速近似。第27届国际机器学习会议论文集，第399-406页。Omnipress，2010年。 [21] Christopher J Hillar和Friedrich T Sommer。字典学习何时可以从子样本中唯一地恢复稀疏数据？IEEE信息理论汇刊，61（11）：6290-62972015·Zbl 1359.94380号 [22] 平山俊一郎（Jun-ichiro Hirayama）、小川武史（Takeshi Ogawa）和阿波·海夫·阿里宁（Aapo Hyv¨arinen）。统一盲分离和聚类用于静态脑电/脑电功能连通性分析。神经计算，2015年·Zbl 1414.92174号 [23] 史蒂芬·D·霍华德（Stephen D Howard）、罗伯特·卡尔德班克（A Robert Calderbank）和史蒂芬·J·塞尔（StephenJ Searle）。使用二阶reed-muller码的确定性压缩传感快速重建算法。《信息科学与系统》，2008年。CISS 2008。第42届年会，第11-15页。IEEE，2008年。 [24] Tao Hu、Cengiz Pehlevan和Dmitri B Chklovskii。基于对称矩阵分解的在线稀疏字典学习的赫比/反赫比网络。2014年第48届信号、系统和计算机Asilomar会议，第613-619页。IEEE，2014年·Zbl 1472.68153号 [25] Aapo Hyvarinen公司。使用高斯矩对噪声数据进行快速ica。InISCAS’99。1999年IEEE电路和系统VLSI国际研讨会论文集（分类号99CH36349），第5卷，第57-61页。IEEE，1999年。 [26] Aapo Hyv¨arinen公司。通过分数匹配对非标准化统计模型进行估计。《机器学习研究杂志》，第695-7092005页·Zbl 1222.62051号 [27] 阿波·海夫·阿里宁和米卡·因基。估计图像窗口的过完备独立组件库。数学成像与视觉杂志，17（2）：139-1522002·Zbl 1028.68190号 [28] Aapo Hyv¨arine和Urs K¨oster。复杂的细胞池和自然图像的统计。网络：神经系统中的计算，18（2）：81-1002007。 [29] Aapo Hyv¨arinen和Erkki Oja。独立成分分析的快速定点算法。神经计算，9（7）：1483-14921997。 [30] Aapo Hyv¨arinen、Razvan Cristescu和Erkki Oja。一种估计图像窗口过完备ica基的快速算法。InNeural Networks，1999年。99年IJCNN。国际联合会议，第2卷，第894-899页。IEEE，1999年。 [31] Aapo Hyv¨arinen、Juha Karhunen和Erkki Oja。独立成分分析，第46卷。John Wiley&Sons，2001年。 [32] 埃里克·琼斯（Eric Jones）、特拉维斯·奥列芬特（Travis Oliphant）、佩鲁·彼得森（Pearu Peterson）等人。《科学Py：Python的开源科学工具》，2001-2017年。统一资源定位地址http://www.scipy.org/。[在线；2017-03-15]。 [33] David J Klein、Peter K¨onig和Konrad P K¨ording。声音的稀疏光谱时间编码。EURASIP信号处理进展杂志，2003（7）：9020612003·Zbl 1084.68885号 [34] 哈罗德·库恩。分配问题的匈牙利方法。海军研究后勤季刊，2（1-2）：83-971955·Zbl 0143.41905号 [35] Quoc V Le、Alexandre Karpenko、Jiquan Ngiam和Andrew Y Ng.Ica为高效的超完备特征学习提供了重建成本。神经信息处理系统进展，第1017-1025页，2011年。 [36] Genevi’eve Leuba和Rudolf Kraftsik。从中期到老年，人类初级视觉皮层的体积、表面估计、三维形状和神经元总数的变化。解剖学与胚胎学，190（4）：351-3661994。 [37] Michael S Lewicki和Bruno A Olshausen。图像代码自适应和比较的概率框架。JOSA A，16（7）：1587-1601，1999年。 [38] Michael S Lewicki和Terrence J Sejnowski。学习过完备的表示法。神经计算，12（2）：337-3652000。 [39] J¨org L¨ucke、Richard Turner、Maneesh Sahani和Marc Hennies。闭塞部件分析。《神经信息处理系统进展》，第1069-10772009页·Zbl 1319.62120号 [40] Boris Mailh´e、Daniele Barchiesi和Mark D Plumbley。Ink-svd：学习稀疏表示的非相干字典。2012年IEEE声学、语音和信号处理国际会议（ICASSP），第3573-3576页。IEEE，2012年。 [41] 杰里·L·诺思（Jerry L Northern）和马里昂·P·唐斯（Marion P Downs）。儿童听力。Lippincott Williams&Wilkins，2002年。 [42] 布鲁诺·A·奥尔沙森。高度过度完成稀疏编码。InIS&T/SPIE电子成像，第86510S-86510S页。国际光学与光子学学会，2013年。 [43] Bruno A Olshausen和David J Field。通过学习自然图像的稀疏代码，出现了简单的细胞感受野特性。《自然》，381（6583）：607-6091996。 [44] Bruno A Olshausen和David J Field。基集过完备的稀疏编码：v1采用的策略？视觉研究，37（23）：3311-33251997。 [45] 波阿斯·奥斐尔（Boaz Ophir）、迈克尔·埃拉德（Michael Elad）、南希·伯廷（Nancy Bertin）和马克·D·普卢姆利（Mark D Plumbley）。序列最小特征值——分析字典学习的一种方法。2011年第19届欧洲信号处理会议，第1465-1469页。IEEE，2011年。 [46] 伊格纳西奥·拉姆雷兹、费德里科·莱坎布里和吉列尔莫·萨皮罗。稀疏建模，具有通用的先验知识和学习的不连贯字典。技术报告，Citeser，2009年。 [47] Martin Rehn和Friedrich T Sommer。一个使用少量活动神经元编码视觉输入的网络预测了皮层感受野的不同形状。计算神经科学杂志，22（2）：135-1462007。 [48] 达里奥·林加赫（Dario L Ringach）。猕猴初级视觉皮层简单细胞感受野的空间结构和对称性。神经生理学杂志，88（1）：455-4632002。 [49] 克里斯托弗·罗泽尔（Christopher J Rozell）、唐·约翰逊（Don H Johnson）、理查德·巴拉纽克（Richard G Baraniuk）和布鲁诺·奥尔沙森（Bruno A Olshausen）。通过阈值和神经电路中的局部竞争实现稀疏编码。神经计算，20（10）：2526-25632008。 [50] 罗恩·鲁宾斯坦、托默·佩莱格和迈克尔·埃拉德。Analysis k-svd：用于分析稀疏模型的字典学习算法。IEEE信号处理汇刊，61（3）：661-6772013·Zbl 1393.94416号 [51] Christian D Sigg、Tomas Dikk和Joachim M Buhmann。学习具有有限自连贯性的词典。IEEE信号处理信函，19（12）：861-8642012。 [52] 史蒂夫·斯梅尔。下个世纪的数学问题。《数学智能》，20（2）：7-151998年·Zbl 0947.01011号 [53] Evan C Smith和Michael S Lewicki。高效的听觉编码。《自然》，439（7079）：978-9822006。 [54] H Spoendlin和A Schrott。人类听觉神经分析。听力研究，43（1）：25-381989。 [55] Thomas Strohmer和Robert W Heath Jr.Grassmannian框架及其在编码和通信中的应用。应用和计算谐波分析，14（3）：257-2752003·兹比尔1028.42020 [56] Yee Whye Teh、Max Welling、Simon Osindero和Geoffrey E Hinton。稀疏超完备表示的基于能量的模型。机器学习研究杂志，4:1235-12602003·Zbl 1139.68401号 [57] Theano开发团队。Theano：用于快速计算数学表达式的Python框架。arXiv电子打印，abs/1605.026882016年5月。URLhttp://arXiv.org/abs/1605.02688。 [58] J Hans van Hateren和Arjen van der Schaaf。与初级视觉皮层中的简单细胞相比，自然图像的独立成分过滤器。伦敦皇家学会学报B：生物科学，265（1394）：359-3661998。 [59] 劳埃德·韦尔奇。信号最大互相关的下限（相应）。IEEE信息理论汇刊，20（3）：397-3991974·Zbl 0298.94006号 [60] Joel Zylberberg、Jason Timothy Murphy和Michael Robert DeWeese。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。