×
Nguyen，学士；弗朗西斯科·费里。；卡洛斯·莫雷尔；伯纳德·贝茨

一种有效的聚类多指标学习方法。 （英语） Zbl 1441.68212号

信息科学。 471, 149-163 (2019).
摘要：距离度量学习是许多机器学习任务成功的关键，它的目标是找到一个将一个类的示例与其他类的示例分离的距离度量。尽管人们对这一领域越来越感兴趣，但在处理异构分布数据时，学习全局距离度量并不足以获得令人满意的结果。处理此类数据的一个简单解决方案是基于内核嵌入方法。然而，随着示例数量的增加，它很快就变得难以计算。在本文中，我们提出了一种学习多个局部距离度量而不是单个全局距离度量的有效方法。更具体地说，训练示例被划分为几个不相交的簇，每个簇中都训练了一个距离度量来局部分离数据。此外，还引入了全局正则化来保持学习度量空间中不同簇的一些公共属性。通过在单个统一的优化框架内联合学习多个距离度量，我们的方法始终优于单个距离度量学习方法，同时比其他最先进的多度量学习方法更有效。

引用于4文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
90C25型 凸面编程
90 C90 数学规划的应用

关键词：

多尺度学习；异构分布数据；最近邻分类；凸优化

软件：

LMNN公司；AS 136标准；帕伽索斯；KEEL公司
PDF格式BibTeX公司 XML格式引用
\textit{B.Nguyen}等人，《信息科学》。471149-163（2019年；Zbl 1441.68212）
全文： 内政部

参考文献：

[1] J.Bohné。；Ying，Y。；Gentric，S。；Pontil，M.，《大幅度局部度量学习》，《欧洲计算机视觉会议论文集》，679-694（2014）
[2] Bottou，L.，神经网络中的随机梯度学习，《神经网络学报》91（1991）
[3] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥大学出版社·Zbl 1058.90049号
[4] 科尔，R。；Fanty，M.，口语字母识别，第三届DARPA语音和自然语言研讨会论文集，385-390（1990）
[5] 戴维斯，J.V。；库利斯，B。；Jain，P。；Sra，S。；Dhillon，I.S.，《信息论度量学习》，第24届机器学习国际会议论文集，209-216（2007）
[6] Demšar，J.，多数据集上分类器的统计比较，J.Mach。学习。研究，7，1-30（2006）·Zbl 1222.68184号
[7] 多梅尼科尼，C。；彭杰。；Gunopulos，D.，模式分类的自适应度量机，《神经信息处理系统的进展》13，458-464（2001）
[8] Elkan，C.，使用三角形不等式加速k-means，第20届机器学习国际会议论文集，147-153（2003）
[9] 叶甫根尼欧，T。；Pontil，M.，《规则化多任务学习》，第十届ACM SIGKDD国际知识发现和数据挖掘会议论文集，109-117（2004）
[10] 弗罗姆，A。；辛格，Y。；Malik，J.，使用局部距离函数进行图像检索和分类，《神经信息处理系统进展》19，417-424（2007）
[11] 弗罗姆，A。；辛格，Y。；沙·F。；Malik，J.，学习基于形状的图像检索和分类的全局一致性局部距离函数，IEEE第11届计算机视觉国际会议论文集，1-8（2007）
[12] Golub，G.H。；Van Loan，C.F.，《矩阵计算》（1996），约翰霍普金斯大学出版社·Zbl 0865.65009号
[13] 顾奇。；Han，J.，聚类支持向量机，《第十六届国际人工智能与统计会议论文集》，307-315（2013）
[14] 郝S。；赵，P。；刘，Y。；海，S.C.H。；Miao，C.，在线多任务相对相似学习，第26届国际人工智能联合会议论文集，1823-1829（2017）
[15] 哈蒂根，J.A。；Wong，M.A.，Algorithm AS 136:A（k）-表示聚类算法，J.R.Stat.Soc.Ser。C（应用统计），28，1，100-108（1979）·Zbl 0447.62062号
[16] 哈斯蒂，T。；Tibshirani，R.，判别自适应最近邻分类，IEEE Trans。模式分析。机器。智力。，18, 6, 607-616 (1996)
[17] 海厄姆，N.J.，计算最近对称半正定矩阵，线性代数应用。，103, 103-118 (1988) ·Zbl 0649.65026号
[18] 希里亚特·乌鲁蒂，J.-B。；Lemaréchal，C.，《凸分析基础》（2012），Springer Science&Business Media
[19] 胡，J。；卢，J。；Tan，Y.P.，共享和个人多视图度量学习，IEEE Trans。模式分析。机器。智力。，印钞（2018）
[20] Hull，J.J.，《手写文本识别研究数据库》，IEEE Trans。模式分析。机器。智力。，16, 5, 550-554 (1994)
[21] Jain，P。；库利斯，B。；戴维斯，J.V。；Dhillon，I.S.，《使用线性变换的度量和核学习》，J.Mach。学习。决议，第13号，第519-547页（2012年）·Zbl 1283.68290号
[22] Lecun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，86，11，2278-2324（1998）
[23] 李，M。；王，Q。；张，D。；李，P。；Zuo，W.，基于三元约束的联合距离和相似性度量学习，信息科学。（纽约），406119-132（2017）·Zbl 1429.68229号
[24] 梁，J。；胡，Q。；朱，P。；王伟，高效多模态几何平均度量学习，模式识别。，75, 188-198 (2018)
[25] Lim，D。；Lanckriet，G.，《马氏体等级度量的有效学习》，第21届机器学习国际会议论文集，1980-1988（2014）
[26] 穆，Y。；丁·W。；Tao，D.，局部判别距离度量集成学习，模式识别，462337-2349（2013）·兹伯利1316.68118
[27] Nguyen，B。；莫雷尔，C。；De Baets，B.，最近邻回归的大规模距离度量学习，神经计算，214805-814（2016）
[28] Nguyen，B。；莫雷尔，C。；De Baets，B.，通过最大化jeffrey发散来监督距离度量学习，模式识别。，64, 215-225 (2017) ·Zbl 1429.68235号
[29] 奥尔特加，J.M。；Rheinboldt，W.C.，多变量非线性方程的迭代解（1979），学术出版社·Zbl 0949.65053号
[30] Parameswaran，S。；Weinberger，K.Q.，《大幅度多任务度量学习》，《神经信息处理系统进展》231867-1875（2010）
[31] 拉马南，D。；Baker，S.，《局部距离函数：分类法、新算法和评估》，IEEE Trans。模式分析。机器。智力。，33, 4, 794-806 (2011)
[32] Recht，B。；法泽尔，M。；Parrilo，P.A.，通过核范数最小化保证线性矩阵方程的最小秩解，SIAM Rev.，52，3，471-501（2010）·Zbl 1198.90321号
[33] Sargent，R.W.H。；Sebastian，D.J.，关于序列最小化算法的收敛性，J.Optim。理论应用。，12, 6, 567-575 (1973) ·Zbl 0253.65037号
[34] 朔尔科普夫，B。；Herbrich，R。；Smola，A.J.，《广义代表定理》，第14届计算学习理论年会论文集，416-426（2001）·Zbl 0992.68088号
[35] 朔尔科普夫，B。；Smola，A.，《使用内核学习：支持向量机、正则化、优化和超越》（2002），麻省理工学院出版社
[36] 沙列夫·施瓦茨，S。；辛格，Y。；Ng，A.Y.，《伪测量学的在线和批量学习》，第21届机器学习国际会议论文集，94-101（2004）
[37] 沙列夫·施瓦茨，S。；辛格，Y。；斯雷布罗，N。；Cotter，A.，Pegasos:SVM的原始估计子梯度解算器，数学程序。，127, 1, 3-30 (2011) ·Zbl 1211.90239号
[38] O.沙米尔。；Zhang，T.，非光滑优化的随机梯度下降：收敛结果和最优平均方案，第30届机器学习国际会议论文集，71-79（2013）
[39] Shi，Y。；Bellet，A。；Sha，F.，稀疏成分度量学习，第28届AAAI人工智能会议论文集，2078-2084（2014）
[40] 托雷萨尼，L。；Lee，K.C.，《大利润成分分析》，《神经信息处理系统的进展》19，1385-1392（2007）
[41] Triguero，I。；González，S。；莫亚诺，J.M。；南卡罗来纳州加西亚。；阿尔卡拉-费德兹，J。；Luengo，J。；费尔南德斯，A。；德尔·热苏斯，M.J。；桑切斯，L。；Herrera，F.，KEEL 3.0：数据挖掘中用于多阶段分析的开源软件，国际计算杂志。智力。系统。，10, 1238-1249 (2017)
[42] Tseng，P.，不可微极小化块坐标下降法的收敛性，J.Optim。理论应用。，1093475-494（2001年）·Zbl 1006.65062号
[43] Wang，J。；Kalousis，A。；Woznica，A.，最近邻分类的参数局部度量学习，神经信息处理系统进展25，1601-1609（2012）
[44] 温伯格，K.Q。；Saul，L.K.，大幅度最近邻分类的距离度量学习，机器学习研究杂志，10207-244（2009）·Zbl 1235.68204号
[45] Xing，E.P。；M.I.乔丹。；罗素，S。；Ng，A.，距离度量学习及其在带有副信息的聚类中的应用，《神经信息处理系统的进展》14，505-512（2002）
[46] 杨，P。；Huang，K。；Liu，C.-L.，几何保持多任务度量学习，马赫。学习。，92, 1, 133-175 (2013) ·Zbl 1273.68309号
[47] Yi，S。；蒋，N。；冯，B。；王，X。；刘伟，视觉跟踪的在线相似性学习，信息科学。（纽约），364，33-50（2016）
[48] Ying，Y。；Li，P.，特征值优化的距离度量学习，J.Mach。学习。研究，13，1-26（2012）·Zbl 1283.68309号
[49] 张，H。；帕特尔，V.M。；Chellappa，R.，多模态分类的分层多模态度量学习，IEEE计算机视觉和模式识别会议论文集，2925-2933（2017）
[50] 郑毅。；范，J。；张杰。；Gao，X.，大规模图像分类中多任务稀疏度量的分层学习，模式识别。，67, 97-109 (2017)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。