×
萨维里奥·萨尔佐;萨尔瓦多马塞奇亚;亚历山德罗·维里;安娜丽莎·巴拉

交替近端正则化字典学习。 （英语） Zbl 1415.68176号

神经计算。 26，第12期，2855-2895（2014）。
摘要：我们提出了一种字典学习算法，该算法基于H.阿图克等人【《数学运算研究》第35号，第2期，第438–457页（2010年；Zbl 1214.65036号)]结合可靠高效的对偶算法计算相关的邻近算子。该算法适用于由一个Bregman类型的数据拟合项和几个系数和原子上的凸惩罚项组成的通用字典学习模型，该数据拟合项解释了现有的先验知识。正如Attouch等人最近证明的那样，交替近似格式确保了比简单的交替最小化更好的收敛性能。我们考虑了所涉及的邻近算子计算中的不精确性问题，给出了对偶内部算法的一个合理的停止准则，该准则控制了对于如此复杂的惩罚项来说不可避免的相关错误，最终提供了一个全面有效的过程。由于通用性对于所提出的框架，我们给出了一个在全基因组数据理解背景下的应用，修改了G.诺瓦克等【生物统计学12，No.4，776–791（2011；Zbl 1314.62247号)]. 目的是提取潜在特征（原子）并对基于阵列的比较基因组杂交（aCGH）数据进行分割。我们改进了几个重要方面，提高了结果的质量和可解释性。我们通过对合成数据的两个实验证明了该模型的有效性，这突出了与原始模型相比的增强。

引用于3文件

MSC公司：

68T05年 人工智能中的学习和自适应系统
92D10型 遗传学和表观遗传学

引文：

Zbl 1214.65036号;Zbl 1314.62247号

软件：

FLLat公司
PDF格式BibTeX公司 XML格式引用
\textit{S.Salzo}等人，《神经计算》。26，第12号，2855--2895（2014；Zbl 1415.68176）
全文： 内政部

参考文献：

[1] Aharon，M.、Elad，M.和Bruckstein，A.（2006年）。K-SVD：一种为稀疏表示设计过完备字典的算法。IEEE信号处理汇刊，54（11），4311-4322·Zbl 1375.94040号
[2] Attouch，H.、Bolte，J.、Redont，P.和Soubeyran，A.（2010年）。非凸问题的近似交替极小化和投影方法：基于kurdyka-lojasiewicz不等式的方法。运筹学数学，35（2），438-457·兹伯利1214.65036
[3] Attouch，H.、Bolte，J.和Svaiter，B.F.（2013）。半代数和驯服问题下降方法的收敛性：近似算法、前向背向分裂和正则化高斯-赛德尔方法。数学。程序。，137（1-2，序列号A），91-129·Zbl 1260.49048号
[4] Bauschke，H.H.和Combettes，P.L.（2011）。Hilbert空间中的凸分析和单调算子理论。纽约：施普林格·Zbl 1218.47001号
[5] Bauschke，H.H.，Combettes，P.L.，&Noll，D.（2006）。交替Bregman邻近算子的联合最小化。太平洋优化杂志，2401-424·Zbl 1124.90019号
[6] Beck，A.和Teboulle，M.（2009年）。线性反问题的快速迭代收缩阈值算法。SIAM成像科学杂志，2（1），183-202·Zbl 1175.94009号
[7] Bertsekas，D.P.（1999）。非线性规划（第二版）。马萨诸塞州贝尔蒙特：雅典娜科学·Zbl 1015.90077号
[8] Bolt，J.、Combettes，P.L.和Pesquet，J-C.（2010年）。用于盲图像恢复的交替近似算法。第17届国际图像处理会议论文集。新泽西州皮斯卡塔韦：IEEE，
[9] Bolt，J.、Danilidis，A.和Lewis，A.（2006年）。非光滑子分析函数的Łojasiewicz不等式及其在次梯度动力系统中的应用。SIAM J.Optim.公司。，17(4), 1205-1223. , ·兹比尔1129.26012
[10] Bolt，J.、Sabach，S.和Teboulle，M.（2013）。非凸和非光滑问题的近似交替线性化最小化。数学。程序。，序列号。A、 1-36页·Zbl 1297.90125号
[11] 组合，P.L.，Dũng，Đ.，&Vũ，B.C.（2010）。信号恢复问题的二元化。设定值变量分析。，18(3-4), 373-404. , ·Zbl 1229.90123号
[12] 组合，P.L.，Dũng，Đ.，&Vũ，B.C.（2011年）。复合函数和的近似。数学杂志。分析。申请。，380(2), 680-688. , ·Zbl 1223.47120号
[13] Diskin，S.J.、Eck，T.、Greshock，J.、Mosse，Y.P.、Naylor，T.和Stoeckert，C.J.…Grant，G.R.（2006）。Stac：一种测试多阵列CGH实验中DNA拷贝数畸变重要性的方法。基因组研究，16（9），1149-1158，
[14] Févotte，C.、Bertin，N.和Durrieu，J.-L.（2008）。板仓齐藤发散的非负矩阵分解：在音乐分析中的应用。神经计算，21（3），793-830·Zbl 1156.94306号
[15] Févotte，C.和Idier，J.（2011）。具有##img##-散度的非负矩阵分解算法。神经计算，23（9），2421-2456·Zbl 1231.65072号
[16] Gribonval，R.、Jenatton，R.，Bach，F.、Kleinsteuber，M.和Seibert，M.（2013）。字典学习和其他矩阵分解的样本复杂性。ArXiv电子打印·Zbl 1359.62287号
[17] Grippo，L.和Sciandone，M.（2000年）。凸约束下块非线性Gauss-Seidel方法的收敛性。操作。Res.Lett.公司。，26(3), 127-136. , ·Zbl 0955.90128号
[18] Grosse，R.、Raina，R.，Kwong，H.和Ng，A.（2007年）。用于音频分类的移位方差稀疏编码。《第二十届人工智能不确定性年会论文集》（第149-158页）。加利福尼亚州旧金山：Morgan Kaufmann。
[19] Hoyer，P.（2002）。非负稀疏编码。2002年IEEE第12届信号处理神经网络研讨会论文集（第557-565页）。新泽西州皮斯卡塔韦：IEEE，
[20] Jenatton，R.、Gribonval，R.和Bach，F.（2012）。噪声存在下稀疏字典学习的局部稳定性和鲁棒性。ArXiv电子打印·Zbl 1359.94096号
[21] Jenatton，R.、Mairal，J.、Obozinski，G.和Bach，F.（2011）。分层稀疏编码的近似方法。机器学习研究杂志，122297-2334·Zbl 1280.94029号
[22] Kallioniemi，A.，Kallioniema，O.-P.，Sudar，D.，Rutovitz，D.，Gray，J.，Waldman，F.，&Pinkel，D.（1992）。用于实体肿瘤分子细胞遗传学分析的比较基因组杂交。科学，258（5083），818-821，
[23] Kim，H.和Park，H.（2008）。基于交替非负约束最小二乘和活动集方法的非负矩阵分解。SIAM矩阵分析与应用杂志，30（2），713-730·Zbl 1162.65354号
[24] Kowalski，M.和Torrésani，B.（2009年）。稀疏性和持久性：混合范数提供具有相关系数的简单信号模型。信号、图像和视频处理，3251-264·兹比尔1178.94082
[25] Kreutz-Delgado，K.，Murray，J.F.，Rao，B.D.，Engan，K.Lee，T.-W.，&Sejnowski，T.J.（2003）。稀疏表示的字典学习算法。神经计算。，15(2), 349-396. , ·Zbl 1047.68101号
[26] Lai，W.R.、Johnson，M.D.、Kucherlapati，R.和Park，P.J.（2005）。阵列CGH数据中识别放大和删除的算法的比较分析。生物信息学，21（19），3763-3770，
[27] Lee，D.D.和Seung，H.S.（2001年）。非负矩阵分解算法。T.K.Leen、T.G.Dietterich和V.Tresp（编辑），《神经信息处理系统的进展》，13（第556-562页）。马萨诸塞州剑桥：麻省理工学院出版社。
[28] Lee，H.、Battle，A.、Raina，R.和Ng，A.（2007年）。高效的稀疏编码算法。T.K.Leen、T.G.Dietterich和V.Tresp（编辑），《神经信息处理系统的进展》，第19页。马萨诸塞州剑桥：麻省理工学院出版社。
[29] Lin，C.-J.（2007）。非负矩阵分解的投影梯度法。神经计算。，19(10), 2756-2779. , ·Zbl 1173.90583号
[30] Mairal，J.、Bach，F.和Ponce，J.（2012）。任务驱动的词典学习。IEEE模式分析和机器智能汇刊，34（4），791-804，
[31] Mairal，J.、Bach，F.、Ponce，J.、Sapiro，G.和Zisserman，A.（2009年）。用于图像恢复的非局部稀疏模型。2009年IEEE第12届计算机视觉国际会议（第2272-2279页）。新泽西州皮斯卡塔韦，IEEE，
[32] Masecchia，S.、Salzo，S.，Barla，A.和Verri，A.（2013）。一种基于字典学习的CGH分割方法。欧洲人工神经网络研讨会论文集。http://www.i6doc.com/en/livre/？GCOI=28001100131010 ·Zbl 1415.68176号
[33] Maurer，A.和Pontil，M.（2010年）。希尔伯特空间中的K维编码方案。IEEE传输。通知。理论，56（11），5839-5846·兹比尔1366.94305
[34] Nowak，G.、Hastie，T.、Pollack，J.和Tibshirani，R.（2011）。用于分析多样本aCGH数据的融合套索潜在特征模型。生物统计学，12（4），776-791·Zbl 1314.62247号
[35] Olshausen，B.A.和Field，D.J.（1997）。基集过完备的稀疏编码：V1采用的策略？视觉研究，37（23），3311-3325，
[36] Raina，R.、Battle，A.、Lee，H.、Packer，B.和Ng，A.Y.（2007年）。自学学习：从未标记的数据中转移学习。第24届国际机器学习会议记录（第759-766页）。纽约：ACM出版社，
[37] Razaviyayn，M.、Hong，M.和Luo，Z.-Q.（2013）。非光滑优化分块逐次极小化方法的统一收敛性分析。SIAM J.Optim.公司。，23(2), 1126-1153. , ·Zbl 1273.90123号
[38] Rockafellar，R.T.（1970）。凸分析。新泽西州普林斯顿：普林斯顿大学出版社·Zbl 0193.18401号
[39] Salzo，S.和Villa，S.（2012年）。加速和不精确的近点算法。凸分析杂志，19，1167-1192·Zbl 1283.90030号
[40] Schwarz，G.（1978年）。估算模型的维度。统计年鉴，6（2），461-464·Zbl 0379.62005年
[41] Tian，Z.、Zhang，H.和Kuang，R.（2012）。融合套索成分上的稀疏群选择，用于识别群特异性DNA拷贝数变异。程序中。IEEE国际数据挖掘会议（ICDM）（第665-674页）。新泽西州皮斯卡塔韦：IEEE，
[42] Tibshirani，R.、Saunders，M.、Rosset，S.、Zhu，J.和K.奈特（2005）。通过融合套索实现轻盈流畅。英国皇家统计学会杂志，B，统计方法，67（1），91-108·Zbl 1060.62049号
[43] Tosic，I.和Frossard，P.（2011年）。字典学习。《信号处理杂志》，IEEE，28（2），27-38·Zbl 1372.94246号
[44] 曾平（2001）。不可微极小化的块坐标下降方法的收敛性。J.优化。理论应用。，109(3), 475-494. , ·Zbl 1006.65062号
[45] Vainscher，D.、Mannor，S.和Bruckstein，A.M.（2011年）。字典学习的样本复杂性。J.马赫。学习。决议，12，3259-3281·Zbl 1280.68210号
[46] Vert，J.-P.和Bleakley，K.（2010年）。使用群LARS快速检测多个信号共享的多个变化点。J.Lafferty（Ed.），《神经信息处理系统进展》，23（第1卷，第1-9页）。纽约州红钩市：Curran。
[47] Villa，S.、Salzo，S.，Baldassarre，L.和Verri，A.（2013）。加速和不精确的前向支持算法。SIAM优化杂志，23（3），1607-1633·Zbl 1295.90049号
[48] Wilkie，A.J.（1999）。补码定理和一些新的o-极小结构。Selecta Mathematica，n.s.，第5397-421.页·Zbl 0948.03037号
[49] Z'linescu，C.（2002年）。一般向量空间中的凸分析。新泽西州River Edge：《世界科学》·Zbl 1023.46003号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。