马库斯·托姆；拉普，马提亚斯；甘瑟·帕尔姆 有效的字典学习和稀疏增强投影。 （英语） Zbl 1398.94051号 国际期刊计算。视觉。 114，编号2-3，168-194（2015）. 摘要：事实证明，学习适合稀疏编码的字典而不是使用工程基础在各种图像处理任务中都是有效的。本文研究了图像数据字典的优化问题，其中，相对于平滑、规范化的稀疏性度量，表示被强制为显式稀疏。这涉及到计算稀疏测度水平集上的欧氏投影。虽然以前针对该优化问题的算法至少具有准线性时间复杂度，但这里提出了第一个具有线性时间复杂程度和恒定空间复杂度的算法。这方面的关键是基于软收缩函数从数学上严格推导投影结果的特征。该理论被应用于一种称为易字典学习（EZDL）的原始算法中，该算法使用一种简单快速的类希伯来学习规则学习字典。新算法效率高、表达力强，且实现特别简单。结果表明，尽管该学习算法简单，但它能够生成丰富的字典，特别是原子或可分离原子的地形组织。此外，就整个图像的再现质量而言，字典与基准学习算法一样具有表现力，并且具有同等的去噪性能。EZDL的学习速度比已经非常有效的在线词典学习算法快约30%，因此适合快速数据集分析和具有大量学习样本的问题。 引用于1文件 MSC公司： 94A08型 信息与通信理论中的图像处理（压缩、重建等） 68T05型 人工智能中的学习和自适应系统 关键词：稀疏编码；稀疏表示；字典学习；显式稀疏约束；稀疏增强投影 软件：BLAS公司；GSL公司 PDF格式BibTeX公司 XML格式引用 \textit{M.Thom}等人，《国际计算杂志》。视觉。114，编号2-3168-194（2015年；兹bl 1398.94051） 全文： 内政部 arXiv公司 参考文献： [1] M·亚哈龙；Elad，M；Bruckstein，A，K-SVD:设计稀疏表示超完备字典的算法，IEEE信号处理学报，54，4311-4322，（2006）·兹比尔1375.94040 ·doi:10.1109/TSP.2006.881199 [2] Bauer，F.和Memisevic，R.（2013）。空间约束乘法交互的特征分组。在学习代表国际会议记录.arXiv:1301.3391v3。 [3] AJ贝尔；Sejnowski，TJ，自然场景的“独立组件”是边缘过滤器，视觉研究，37，3327-3338，（1997）·doi:10.1016/S0042-6989（97）00121-1 [4] Bertsekas，D.P.（1999）。非线性规划（第二版）。贝尔蒙特：雅典娜科技·Zbl 1015.90077号 [5] Bishop，C.M.（1995年）。用于模式识别的神经网络。牛津：克拉伦登出版社。 [6] 路易斯安那州布莱克福德；等。，更新的基本线性代数子程序集（BLAS），ACM数学软件汇刊，28135-151，（2002）·Zbl 1070.65520号 ·数字对象标识代码：10.1145/567806.567807 [7] Bottou，L.和LeCun，Y.（2004）。大规模在线学习。在神经信息处理系统研究进展（第16卷，第217-224页）。 [8] 布雷迪斯，K；Lorenz，DA，迭代软阈值的线性收敛，傅里叶分析与应用杂志，14813-837，（2008）·Zbl 1175.65061号 ·doi:10.1007/s00041-008-9041-1 [9] Coates，A.和Ng，A.Y.（2011年）。编码与稀疏编码和矢量量化训练的重要性。在机器学习国际会议论文集（第921-928页）。 [10] Deutsch，F.（2001）。内积空间中的最佳逼近纽约：Springer·Zbl 0980.41025号 ·doi:10.1007/978-1-4684-9298-9 [11] 东，W；张，L；施，G；Wu，X，通过自适应稀疏域选择和自适应正则化实现图像去模糊和超分辨率，IEEE图像处理汇刊，201838-1857，（2011）·Zbl 1372.94072号 ·doi:10.1109/TIP.2011.2108306 [12] Donoho，DL，通过软阈值去噪，IEEE信息理论汇刊，41613-627，（1995）·Zbl 0820.62002号 ·doi:10.1109/18.382009年 [13] Donoho，DL，对于大多数大型欠定线性方程组，最小值\(ℓ _1-范数解也是最稀疏的解，《纯粹与应用数学通讯》，59，797-829，（2006）·Zbl 1113.15004号 ·doi:10.1002/cpa.20132年 [14] Duarte-Carvajalino，JM；Sapiro，G，《学习感知稀疏信号：同时感知矩阵和稀疏字典优化》，IEEE图像处理学报，第18期，第1395-1408页，（2009年）·Zbl 1371.94555号 ·doi:10.1109/TIP.2009.2022459 [15] 埃卡特，C；Young，G，《一个矩阵与另一个低阶矩阵的近似》，《心理测量学》，1211-218，（1936）·JFM 62.1075.02标准 ·doi:10.1007/BF02288367 [16] Elad，M，为什么简单收缩仍然与冗余表示相关？，IEEE信息理论汇刊，52，5559-5569，（2006）·兹比尔1309.94035 ·doi:10.1109/TIT.2006.885522 [17] Foucart，S.和Rauhut，H.（2013）。压缩传感的数学介绍纽约：Birkhäuser·Zbl 1315.94002号 ·doi:10.1007/978-0-8176-4948-7 [18] Galassi，M.、Davies，J.、Theiler，J.，Gough，B.、Jungman，G.、Alken，P.等人（2009年）。GNU科学图书馆参考手册（第三版）。布里斯托尔：网络理论有限公司。 [19] Gharavi-Alkhansari，M.和Huang，T.S.（1998）。一种快速正交匹配追踪算法。在IEEE声学、语音和信号处理国际会议论文集（第三卷，第1389-1392页）。 [20] Goldberg，D，每一位计算机科学家都应该知道浮点运算，ACM计算调查，23，5-48，（1991）·doi:10.1145/103162.103163 [21] Hawe，S.、Seibert，M.和Kleinsteuber，M.（2013）。可分离的字典学习。在IEEE计算机视觉和模式识别会议记录（第438-445页）。 [22] Hoggar，S.G.（2006年）。数字图像的数学：创建、压缩、恢复、识别剑桥：剑桥大学出版社·Zbl 1112.68128号 ·doi:10.1017/CBO9780511810787 [23] Horev，I.、Bryt，O.和Rubinstein，R.（2012）。使用稀疏字典的自适应图像压缩。在系统、信号和图像处理国际会议记录（第592-595页）。 [24] Hoyer，PO，稀疏约束下的非负矩阵分解，机器学习研究杂志，51457-1469，（2004）·Zbl 1222.68218号 [25] Hoyer，P.O.和Hyvärinen，A.（2000年）。独立分量分析应用于彩色和立体图像的特征提取。网络：神经系统中的计算，11(3), 191-210. ·Zbl 1064.91536号 [26] Hubel，DH；田纳西州威塞尔，猫纹状体皮层单个神经元的感受野，生理学杂志，148，574-591，（1959）·doi:10.1113/jphysiol.1959.sp006308 [27] 赫尔利，N；Rickard，S，比较稀疏性度量，IEEE信息理论汇刊，55，4723-4741，（2009）·Zbl 1367.94094号 ·doi:10.1109/TIT.2009.2027527 [28] Hyvärinen，A，稀疏码收缩：用最大似然估计对非高斯数据进行去噪，神经计算，111739-1768，（1999）·doi:10.1162/0899766999300016214 [29] 海瓦里宁，A；Hoyer，PO，通过将自然图像分解为独立的特征子空间来出现相位和位移不变特征，神经计算，121705-1720，（2000）·doi:10.1162/089976600300015312 [30] 海瓦里宁，A；PO霍耶；Inki，M，地形独立分量分析，神经计算，131527-1558，（2001）·Zbl 1009.62049号 ·doi:10.1162/089976601750264992 [31] Hyvärinen，A.、Hurri，J.和Hoyer，P.O.（2009年）。自然图像统计——早期计算视觉的概率方法伦敦：施普林格·兹比尔1178.68622 [32] 琼斯，JP；Palmer，LA，猫纹状体皮层简单感受野二维Gabor滤波器模型的评估，神经生理学杂志，581233-1258，（1987） [33] Kavukcuoglu，K.、Ranzato，M.、Fergus，R.和LeCun，Y.（2009年）。通过地形滤波图学习不变特征。在IEEE计算机视觉和模式识别会议记录（第1605-1612页）。 [34] Kohonen，T，《自组织映射》，IEEE学报，781464-1480，（1990）·doi:10.1109/5.58325 [35] Kreutz-Delgado，K；JF穆雷；Rao，BD；恩根，K；Lee，T-W；Sejnowski，TJ，稀疏表示的字典学习算法，神经计算，15，349-396，（2003）·Zbl 1047.68101号 ·doi:10.1162/089976603762552951 [36] 劳克林（SB Laughlin）；Sejnowski，TJ，《神经元网络中的通信》，《科学》，3011870-1874，（2003）·数字对象标识代码：10.1126/science.1089662 [37] Liu，J.和Ye，J.（2009）。线性时间内的有效欧氏投影。在机器学习国际会议论文集（第657-664页）。 [38] Lopes，M.E.（2013）。估计压缩感知中的未知稀疏性。在机器学习国际会议论文集（第217-225页）。 [39] Mairal，J.、Bach，F.、Ponce，J.和Sapiro，G.（2009年a）。稀疏编码的在线词典学习。在机器学习国际会议论文集（第689-696页）·Zbl 1242.62087号 [40] Mairal，J.、Bach，F.、Ponce，J.，Sapiro，G.和Zisserman，A.（2009b）。用于图像恢复的非局部稀疏模型。在计算机视觉国际会议记录（第2272-2279页）。 [41] 内尔德，JA；Mead，R，函数最小化的单纯形方法，《计算机杂志》，7308-313，（1965）·Zbl 0229.65053号 ·doi:10.1093/comjnl/7.4.308 [42] Neudecker，H，关于矩阵微分的一些定理，特别参考Kronecker矩阵乘积，美国统计协会杂志，64，953-963，（1969）·Zbl 0179.33102号 ·doi:10.1080/01621459.1969.10501027 [43] 奥尔莫斯，A；Kingdom，FAA，用于恢复阴影和反射图像的生物启发算法，Perception，331463-1473，（2004）·doi:10.1068/p5321 [44] Olshausen，B.A.（2003年）。学习时变自然图像的稀疏、过完备表示。在国际图像处理会议记录（第一卷，第41-44页）。 [45] 奥沙森，BA；Field，DJ，通过学习自然图像的稀疏代码，出现简单细胞感受野属性，《自然》，381，607-609，（1996）·数字对象标识代码：10.1038/381607a0 [46] Olshausen，B.A.和Field，D.J.（1997）。基集过完备的稀疏编码：V1采用的策略？视觉研究,37(23), 3311-3325. [47] Potluru，V.K.，Plis，S.M.，Le Roux，J.，Pearlmutter，B.A.，Calhoun，V.D.，&Hayes，T.P.（2013）。稀疏NMF的块坐标下降。在学习代表国际会议记录.arXiv:1301.3527v2。 [48] Press，W.H.、Teukolsky，S.A.、Vetterling，W.T.和Flannery，B.P.（2007）。数字食谱：科学计算的艺术（第三版）。剑桥：剑桥大学出版社。 [49] Rigamonti，R.、Sironi，A.、Lepetit，V.和Fua，P.（2013）。学习可分离过滤器。在IEEE计算机视觉和模式识别会议记录（第2754-2761页）。 [50] 林加奇，DL，猕猴初级视皮层单细胞感受野的空间结构和对称性，神经生理学杂志，88，455-463，（2002） [51] 罗杰斯，JL；Nicewander，WA，《看相关系数的十三种方法》，《美国统计学家》，42，59-66，（1988）·doi:10.2307/2685263 [52] CJ Rozell；约翰逊，DH；巴拉纽克，RG；Olshausen，BA，通过阈值和神经电路中的局部竞争实现稀疏编码，神经计算，202526-2563，（2008）·doi:10.1162/neco.2008.03-07-486 [53] 溜冰，K；Engan，K，递归最小二乘字典学习算法，IEEE信号处理学报，582121-2130，（2010）·Zbl 1392.68365号 ·doi:10.1109/TSP.2010.2040671 [54] Skretting，K.和Engan，K..（2011年）。RLS-DLA使用学习字典进行图像压缩，并与K-SVD进行比较。在IEEE声学、语音和信号处理国际会议记录（第1517-1520页）。 [55] 美国电影电视工程师学会（SMPTE）。(1993). 推荐规程RP 177-193：基本电视颜色方程的推导。 [56] Theis，F.J.、Stadlthanner，K.和Tanaka，T.（2005）。关于稀疏非负矩阵分解唯一性的第一个结果。在欧洲信号处理会议记录（第3卷，第1672-1675页） [57] Thom，M.和Palm，G.（2013年）。监督学习中的稀疏活动和稀疏连接。机器学习研究杂志,14第1091-1143页·Zbl 1319.68197号 [58] Tošić，i.、Olshausen，B.A.和Culppeper，B.J.（2011）。学习深度的稀疏表示。IEEE信号处理专题杂志, \(5\)(5), 941-952. [59] Traub，J.F.（1964年）。方程求解的迭代方法Englewood Cliffs:普伦蒂斯·霍尔·Zbl 0121.11204号 [60] 哈特伦，JH；Ruderman，DL，《自然图像序列的独立成分分析产生与初级视觉皮层中的简单细胞类似的时空滤波器》，英国皇家学会学报B，2652315-2320，（1998）·doi:10.1098/rspb.1998.0577 [61] 王，Z；Bovik，AC，均方误差：喜欢还是放弃？《信号保真度测量的新视角》，IEEE signal Processing Magazine，2698-117，（2009）·doi:10.1109/MSP.2008.930649 [62] Watson，AB，使用离散余弦变换进行图像压缩，《数学杂志》，481-88，（1994） [63] Willmore，B.和Tolhurst，D.J.（2001年）。描述神经代码稀疏性的特征。网络：神经系统中的计算,12(3), 255-270. [64] Wilson博士；Martinez，TR，梯度下降学习批量训练的普遍效率低下，神经网络，16，1429-1451，（2003）·doi:10.1016/S0893-6080（03）00138-2 [65] 杨，J；王，Z；林，Z；科恩，S；Huang，T，图像超分辨率耦合字典训练，IEEE图像处理学报，213467-3478，（2012）·Zbl 1373.68441号 ·doi:10.1109/TIP.2012.2192127 [66] 杨，J；赖特，J；黄，T；Ma，Y，通过稀疏表示实现图像超分辨率，IEEE图像处理汇刊，192861-2873，（2010）·Zbl 1371.94429号 ·doi:10.10109/TIP.2010.2050625 [67] 泽尔尼克庄园，L；罗森布卢姆，K；Eldar，YC，块解析表示的字典优化，IEEE信号处理学报，602386-2395，（2012）·Zbl 1393.94731号 ·doi:10.1109/TSP.2012.2187642 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。