×
朱、洪;廖丽芝;Ng，Michael K。

通过稀疏性和正交性减少多实例维数。 （英语） Zbl 1472.68170号

神经计算机。 30，第12号，3281-3308（2018）.
摘要：我们通过稀疏性和正交性研究了一种多实例（MI）学习降维算法，该算法特别适用于高维MI数据集。我们开发了一种新的算法来处理现有方法无法同时处理的稀疏性和正交性约束。我们的主要思想是制定一个优化问题，其中稀疏项出现在目标函数中，正交项作为约束形成。由此产生的优化问题可以通过使用近似增广拉格朗日迭代作为外环，使用惯性近似交替线性化最小化（iPALM）迭代作为内环来解决。该方法的主要优点是在所提出的算法中既能满足稀疏性又能满足正交性。我们证明了所提迭代算法的全局收敛性。我们还证明了该算法可以实现高稀疏性和正交性要求，这对降维非常重要。在合成数据集和实际数据集上的实验结果表明，该算法可以获得与其他测试MI学习算法相当的学习性能。

MSC公司：

68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
\textit{H.Zhu}等人，《神经计算》。30，第12号，3281--3308（2018；Zbl 1472.68170）
全文： 内政部

参考文献：

[1] Amores，J.（2013）。多实例分类：综述、分类和比较研究。人工智能，201，81-105·Zbl 1334.68176号
[2] Andrews，S.、Tsochantaridis，I.和Hofmann，T.（2003）。支持向量机用于多实例学习。S.Thrun、L.K.Saul和B.Schölkopf（编辑），《神经信息处理系统的进展》（第577-584页）。马萨诸塞州剑桥：麻省理工学院出版社。
[3] Auer，P.、Long，P.M.和Srinivasan，A.（1997）。近似超矩形：学习和伪随机集。第29届美国计算机学会计算理论研讨会论文集（第314-323页）。纽约：ACM·Zbl 0962.68077号
[4] Bertsekas，D.P.（1999）。非线性规划。马萨诸塞州贝尔蒙特：雅典娜科学·Zbl 1015.90077号
[5] Blum，A.和Kalai，A.（1998年）。关于从多个实例中学习的说明。机器学习，30，23-29·Zbl 0894.68125号
[6] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.和Eckstein，J.（2011年）。通过交替方向乘数法进行分布式优化和统计学习。机器学习的基础和趋势，3，1-122·Zbl 1229.90122号
[7] Bradley，A.P.（1997）。在机器学习算法的评估中使用ROC曲线下的面积。模式识别，30，1145-1159，
[8] Chai，J.、Ding，X.、Chen，H.和Li，T.（2014）。多实例判别分析。模式识别，472517-2531，
[9] Chevaleyre，Y.和Zucker，J.D.（2001年）。使用决策树和规则集解决多实例和多部分学习问题。突变问题的应用。《加拿大智能计算研究学会会议记录》（第204-214页）。纽约：斯普林格·Zbl 0984.68674号
[10] Clarke，F.H.、Ledyaev，Y.S.、Stern，R.J.和Wolenski，P.R.（2008）。非光滑分析与控制理论。纽约：斯普林格·1047.49500兹罗提
[11] Dietterich，T.G.、Lathrop，R.H.和Lozano-Pérez，T.（1997）。用轴平行矩形解决多实例问题。人工智能，89，31-71·Zbl 1042.68650号
[12] Dundar，M.M.、Fung，G.、Bi，J.、Sathyakama，S.和Rao，B.（2005）。计算机辅助检测的稀疏Fisher判别分析。2005年SIAM国际数据挖掘会议记录（第476-480页）。费城：SIAM，
[13] Fawcett，T.（2006）。ROC分析简介。模式识别信件，27861-874，
[14] Foulds，J.R.和Frank，E.（2010年）。回顾多实例学习假设。知识工程评论，25，1-25，
[15] Fukunaga，K.（1990年）。统计模式识别导论（第二版）。佛罗里达州奥兰多：学术出版社·兹比尔0711.62052
[16] Fung，E.S.和Ng，M.K.（2007年）。基因芯片数据分析的稀疏Fisher判别法。生物信息，2230-234，
[17] Herrera，F.、Ventura，S.、Bello，R.、Cornelis，C.、Zafra，A.、Sánchez-Tarragó，D.和Vluymans，S.L.（2016）。多实例学习：基础和算法。瑞士查姆：施普林格·Zbl 1398.68008号
[18] Jolliffe，I.（2002）。主成分分析（第二版）。纽约：Wiley·Zbl 1011.62064号
[19] Kim，S.和Choi，S.（2010年）。多实例学习的局部降维。2010年IEEE信号处理机器学习国际研讨会论文集（第13-18页）。新泽西州皮斯卡塔韦：IEEE。
[20] Lai，R.J.和Osher，S.（2014）。正交约束问题的分裂方法。科学计算杂志，58，431-449·Zbl 1296.65087号
[21] Long，P.M.和Tan，L.（1998）。PAC学习多实例示例中与产品分布相关的轴对齐矩形。机器学习，30，7-21·Zbl 0892.68082号
[22] Maron，O.和Lozano-Pérez，T.（1998）。多元学习框架。M.I.Jordan，M.J.Kearns，&S.A，Solla（编辑），《神经信息处理系统的进展》，第10页（第570-576页）。马萨诸塞州剑桥：麻省理工学院出版社。
[23] Mordukhovich，B.S.（2006年）。变分分析与广义微分I：基本理论。纽约：斯普林格，
[24] Ng，M.K.，Liao，L.Z.，&Zhang，L.（2011）。稀疏线性判别分析算法在高维数据分类中的应用。数字线性代数及其应用，18，223-235·Zbl 1248.62105号
[25] Ping，W.，Xu，Y.，Ren，K.，Chi，C.，&Shen，F.（2010）。通过学习最大包边距子空间来降低非I.I.D.多实例维数。《第24届AAAI全国人工智能会议论文集》（第551-556页）。加利福尼亚州门罗公园：AAAI。
[26] Pock，T.和Sabach，S.（2016年）。非凸和非光滑问题的惯性近端交替线性化极小化（iPALM）。SIAM成像科学杂志，9，1756-1787·Zbl 1358.90109号
[27] 乔，Z.、周，L.和黄，J.Z.（2009）。稀疏线性判别分析在高维低样本数据中的应用。国际应用数学杂志，39，48-60·Zbl 1229.62086号
[28] Ray，S.和Craven，M.（2005）。监督学习与多实例学习：实证比较。《机器学习国际会议论文集》（第697-704页）。纽约：ACM，
[29] Rockafellar，R.T.和Wets，R.J.B.（2009）。变异分析。纽约：施普林格·Zbl 0888.49001号
[30] Sun，Y.Y.，Ng，M.K.，&Zhou，Z.H.（2010）。多实例降维。第24届AAAI人工智能会议记录。加利福尼亚州门罗公园：AAAI。
[31] Viola，P.和Jones，M.J.（2004年）。强大的实时人脸检测。国际计算机视觉杂志，57，137-154，
[32] Wang，J.和Zucker，J.D.（2000）。解决多实例问题：一种懒惰的学习方法。第17届机器学习国际会议论文集（第1119-1125页）。加利福尼亚州圣马特奥：Morgan Kaufmann。
[33] Wilkie，A.J.（1996）。模型完备性结果是实数有序域通过限制Pfaffian函数和指数函数展开。美国数学学会杂志，91051-1094·Zbl 0892.03013号
[34] Zafra，A.、Pechenizkiy，M.和Ventura，S.（2013）。HyDR-MI：一种在多实例学习中降低维数的混合算法。信息科学，22228-301，
[35] Zhang，M.-L.，&Zhou，Z.H.（2004）。通过特征选择改进多实例神经网络。神经处理信件，19，1-10，
[36] 周振华（2004）。多因素学习：调查（技术报告）。南京大学计算机科学与技术系。
[37] Zhu，H.（2016）。求解具有广义正交性约束的优化问题。博士学位。，香港浸会大学。
[38] Zhu，H.，Zhang，X.，Chu，D.，&Liao，L.Z.（2017）。具有广义正交约束的非凸非光滑优化：一种近似增广拉格朗日方法。科学计算杂志，72，1-42·Zbl 1373.65043号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。