×

众包中主动视觉识别与专家估计的联合高斯过程模型。 (英语) Zbl 1398.68450号

摘要:我们提出了一个噪声弹性概率模型,用于从人群中主动学习高斯过程分类器,即一组噪声标签。它用两级翻转模型明确地模拟了整体标签噪声和每个贴标机的专业水平。采用期望传播对我们的概率分类模型进行有效的近似贝叶斯推理,在此基础上,导出了一种广义EM算法,以估计全局标签噪声和每个贴标者的专业知识。我们模型的概率性质立即允许采用预测熵来主动选择要标记的数据样本,并根据其估计的专业知识主动选择高质量的标记器来标记数据。我们将所提出的模型应用于四个视觉识别任务,即对象类别识别、多模态活动识别、性别识别和细粒度分类,在四个数据集上使用来自Amazon Mechanical Turk的真实众包标签。实验清楚地证明了所提模型的有效性。此外,我们使用预测主动集选择方法扩展了该模型,以加快主动学习系统的速度,并通过对前三个数据集的实验验证了该方法的有效性。结果表明,我们的扩展模型不仅可以保持较高的精度,而且可以实现较高的效率。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
68T45型 机器视觉和场景理解
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] Ambati,V.、Vogel,S.和Carbonell,J.(2010年5月)。机器翻译的主动学习和众包。在:第七届国际语言资源与评价会议记录(LREC’10)。
[2] Branson,S.、Perona,P.和Belongie,S.(2011年11月)。弱注释的强大监督:可变形零件模型的交互式训练。在:IEEE计算机视觉国际会议记录西班牙巴塞罗那。
[3] Branson,S.、Wah,C.、Schroff,F.、Babenko,B.、Welinder,P.、Perona,P.和Belongie,S.(2010年9月)。与人进行视觉识别。在:欧洲计算机视觉会议记录克里特岛赫拉克利翁。
[4] Burl,M.和Perona,P.(1998年)。使用分层形状模型来识别草书手写数据中的关键字。在:IEEE计算机视觉与模式识别会议论文集(CVPR)(第23-28页)。电气与电子工程师协会。
[5] Burl,M.、Leung,T.K.和Perona,P.(1995年)。通过形状统计进行人脸定位。在:第一届人脸和手势自动识别国际研讨会论文集(第154-159页)。苏黎世。
[6] Chen,S.、Zhang,J.、Chen,G.和Zhang,C.(2010)。如果那些不负责任的老师占主导地位怎么办?对教师进行样本培训和聚类的方法。在:第二十四届AAAI人工智能会议记录(AAAI)。
[7] Dekel,O.和Shamir,O.(2009年)。好学生胜过坏老师。在:IEEE机器学习国际会议论文集IEEE标准。
[8] Dekel,O.和Shamir,O.(2009年)。Vox populi:从人群中收集高质量标签。在:第22届学习理论年会论文集.
[9] Deng,J.、Krause,J.和Fei-Fei,L.(2013年6月)。细粒度众包,实现细粒度识别。在:IEEE计算机视觉与模式识别会议论文集IEEE标准。
[10] Deng,J.,Dong,W.,Socher,R.,Li,L.-J.,Li.,K.,&Fei-Fei,L.(2009)。Imagenet:大规模分层图像数据库。在:IEEE计算机视觉国际会议记录(第248-255页),2009年6月。电气与电子工程师协会。
[11] Donmez,P.、Carbonell,J.和Schneider,J.(2009)。有效学习选择性采样标记源的准确性。在:数据知识发现特别兴趣小组(SIGKDD)。
[12] Donmez,P.、Carbonell,J.和Schneider,J.(2010)。一个概率框架,用于学习具有时变精度的多个注释器。在:SIAM数据挖掘会议记录(SDM)。费城:SIAM。
[13] Ebert,S.、Fritz,M.和Schiele,B.(2012年)。Ralf:用于对象类识别的强化主动学习公式。在:IEEE计算机视觉国际会议记录IEEE标准。
[14] Fergus,R.、Fei-Fei,L.、Perona,P.和Zisserman,A.(2005年10月)。从谷歌的图像搜索中学习对象类别。在:第十届计算机视觉国际会议记录,北京。
[15] Gibbs,M.和Mackay,D.(2000年)。变分高斯过程分类器。IEEE神经网络汇刊11(6) 第1458-1464页。
[16] Groot,P.、Birlutiu,A.和Heskes,T.(2011年)。从具有高斯过程的多个注释器中学习。在:2011年6月14日至17日,埃斯波,2011年第21届人工神经网络国际会议论文集(第159-164页)。
[17] Henao,R.和Winther,O.(2010年)。Pass-gp:高斯过程的预测活动集选择。在:2010年IEEE国际研讨会《信号处理机器学习(MLSP)会议录》(第148153页)。
[18] Henao,R;Winther,O,高斯过程的预测活动集选择方法,神经计算,80,10-18,(2012)·doi:10.1016/j.neucom.2011.09.017
[19] Hua,G.,Long,C.,Yang,M.,&Gao,Y.(2013)。用于识别的核心机器集成的协作主动学习。在:IEEE计算机视觉国际会议论文集(第1209-1216页)。电气与电子工程师协会
[20] Kapoor,A.、Grauman,K.、Urtasun,R.和Darrell,T.(2007年)。基于高斯过程的主动学习用于对象分类。在:IEEE计算机视觉国际会议论文集.
[21] Kapoor,A.、Hua,G.、Akbarzadeh,A.和Baker,S.(2009年)。要标记的面:将先前的约束添加到主动学习中。在:IEEE计算机视觉国际会议论文集.电气与电子工程师协会
[22] Kim,H.-C.和Ghahramani,Z.(2006年)。基于EM-EP算法的贝叶斯-高斯过程分类。IEEE事务模式分析和机器智能,28(12), 1948-1959.
[23] Kim,H.-C.和Ghahramani,Z.(2008)。异常稳健高斯过程分类。在:结构、句法和统计模式识别论文集。IAPR联合国际研讨会(SSPR/SPR)(第896-905页)。
[24] Krizhevsky,A.、Sutskever,I.和Hinton,G.(2012年)。基于深度卷积神经网络的Imagenet分类。神经信息处理系统,1, 31-40.
[25] Lawrence,N.D.、Seeger,M.和Herbrich,R.(2003)。快速稀疏高斯处理方法:信息向量机。在:神经信息处理系统研究进展(第15卷,第609-616页)。剑桥:麻省理工学院出版社。
[26] Lin,Y.、Lv,F.、Zhu,S.、Yang,M.、Cour,T.、Yu,K.、Cao,L.和Huang,T.(2011)。大尺度图像分类:快速特征提取和svm训练。在:IEEE计算机视觉国际会议论文集.电气与电子工程师协会
[27] Liu,D.,Hua,G.,Viola,P.,&Chen,T.(2008)。用于对象分类的集成特征选择和高阶空间特征提取。在:IEEE计算机视觉和模式识别会议记录,CVPR 2008(第1-8页)。电气与电子工程师协会。
[28] Long,C.、Hua,G.和Kapoor,A.(2013年12月)。在众包中进行主动视觉识别和专业评估。在:IEEE计算机视觉国际会议论文集.电气与电子工程师协会·Zbl 1398.68450号
[29] Loy,C.、Hospedales,T.、Xiang,T.和Gong,S.(2012年)。基于流的联合探索-开发主动学习。在:IEEE计算机视觉国际会议论文集.电气与电子工程师协会
[30] Minka,T.(2001)。近似贝叶斯推理的一系列算法博士论文。剑桥:麻省理工学院。
[31] Naish-Guzman,A.和Holden,S.B.(2007年)。广义FITC近似。在:神经信息处理系统(NIPS)(第1057-1064页)。
[32] Neal,R.M.(1997)。贝叶斯回归和分类高斯过程模型的蒙特卡罗实现。多伦多大学CRGTR972技术报告。
[33] Opper,M;Winther,O,分类的高斯过程:平均场算法,神经计算,12,2000,(1999)
[34] Parikh,D.(2011年11月)。识别混杂图像:局部和全局信息在图像分类中的作用。在:IEEE计算机视觉国际会议论文集.电气与电子工程师协会
[35] Parikh,D.和Zitnick,L.(2010年6月)。特征、算法和数据在视觉识别中的作用。在:IEEE计算机视觉与模式识别会议论文集国际电气工程师协会
[36] Parikh,D.和Zitnick,L.(2011年6月)。发现人体探测器中最薄弱的环节。在:IEEE计算机视觉和模式识别会议记录.电气与电子工程师协会
[37] Parikh,D;Zitnick,CL;Chen,T,探索微小图像:外观和上下文信息在机器和人类物体识别中的作用,IEEE模式分析和机器智能汇刊,341978-1991,(2012)·doi:10.1109/TPAMI.2011.276
[38] Patterson,G.、Horn,G.V.、Belongie,S.、Perona,P.和Hays,J.(2013)。引导细粒度分类器:在循环中与人群一起进行主动学习。在:2013年神经信息处理系统(NIPS)会议记录群组研讨会.
[39] 奎诺诺-坎德拉,J;拉斯穆森,CE;Herbrich,R,稀疏近似高斯过程回归的统一观点,机器学习研究杂志,6,2005,(2005)·Zbl 1222.68282号
[40] Rasmussen,C.E.(2006)。机器学习的高斯过程马萨诸塞州剑桥:麻省理工学院出版社·Zbl 1177.68165号
[41] Raykar,V.C.和Yu,S.(2012年)。消除垃圾邮件发送者,并为众包标签任务排名注释者。机器学习研究杂志,13, 491-518 . ·Zbl 1283.68300号
[42] Raykar,V.C.、Yu,S.、Zhao,L.H.、Jerebko,A.、Florin,C.、Valadez,G.H.、Bogoni,L.和Moy,L.(2009年)。监督向多名专家学习:当每个人都有点撒谎时,应该信任谁IEEE机器学习国际会议论文集.电气与电子工程师协会
[43] 罗德里格斯,F;佩雷拉,FC;里贝罗,B,《向多个注释者学习:区分好的标签和随机标签》,《模式识别字母》,341428-1436,(2013)·doi:10.1016/j.patrec.2013.05.012
[44] Rodrigues,F.、Pereira,F.和Ribeiro,B.(2014)。高斯过程分类和多注释器的主动学习。在:IEEE机器学习国际会议论文集.电气与电子工程师协会
[45] Rodrigues,F.、Pereira,F.C.和Ribeiro,B.(2013年)。使用多个注释器进行序列标记。机器学习,95(2) 第165-181页·兹比尔132062149
[46] Roy,N.和Mccallum,A.(2001年)。通过误差减少的采样估计实现最佳主动学习。在:IEEE机器学习国际会议论文集第441-448页。马萨诸塞州伯灵顿:Morgan Kaufmann。
[47] Sanchez,J.和Perronnin,F.(2011年)。用于大规模图像分类的高维签名压缩。在:IEEE计算机视觉国际会议论文集.电气与电子工程师协会
[48] Seeger,M,高斯过程分类的Pac-Bayesian泛化误差界,机器学习研究杂志,3,233-269,(2002)·Zbl 1088.68694号 ·数字对象标识代码:10.1162/153244303765208377
[49] Seeger,M.、Williams,C.K.I.和Lawrence,N.D.(2003年)。快速前向选择加快稀疏高斯过程回归。在:人工智能与统计研讨会论文集,(第9卷)。
[50] Simpson,E.、Roberts,S.J.、Psorakis,I.和Smith,A.(2013年)。多个不完全分类器的动态贝叶斯组合。在:决策和缺陷(第1-35页)。柏林:施普林格·Zbl 1346.68164号
[51] Snelson,E.和Ghahramani Z.(2006年)。使用伪输入的稀疏高斯过程。在:神经信息处理系统研究进展(第1257-1264页)。剑桥:麻省理工学院出版社。
[52] Snelson,E.和Ghahramani,Z.(2006年)。稀疏高斯过程的可变噪声和降维。在:人工智能不确定性会议记录(UAI)。爱丁堡:AUAI出版社。
[53] Spriggs,E.H.、Torre,F.D.L.和Hebert,M.(2009年)。第一人称感知的时间分割和活动分类。在:IEEE计算机视觉和模式识别研讨会会议记录.电气与电子工程师协会
[54] Thouless,DJ;安德森,PW;Palmer,RG,“自旋玻璃的可解模型”的解,哲学杂志,35593,(1977)·doi:10.1080/14786437708235992
[55] Titsias,MK,稀疏高斯过程中诱导变量的变分学习,人工智能与统计学,12567-574,(2009)
[56] Tivive,F.H.C.和Bouzerdoum,A.(2006年)。使用分流抑制卷积神经网络的性别识别系统。在:神经网络国际联合会议记录,IJCNN 2006,IEEE计算智能世界大会,WCCI2006年,不列颠哥伦比亚省温哥华,2006年7月16日至21日,(第5336-5341页)。电气与电子工程师协会
[57] Vijayanarasimhan,S;Grauman,K,《大规模实时主动学习:使用爬行数据和人群训练目标检测器》,《国际计算机视觉杂志》(IJCV),第108期,第97-114页,(2014年)·doi:10.1007/s11263-014-0721-9
[58] von Ahn,L.和Dabbish,L..(2004)。用电脑游戏标记图像。在:计算机系统人为因素ACM会议记录(第319-326页)。纽约州纽约市:ACM
[59] von Ahn,L.、Liu,R.和Blum,M.(2006)。Peekboom:一种在图像中定位物体的游戏。在:计算机系统人为因素ACM会议记录(第55-64页)。纽约州纽约市:ACM
[60] Vondrick,C.和Ramanan,D.(2011年)。视频注释和跟踪以及主动学习。在:神经信息处理系统(NIPS)(第28-36页)。马萨诸塞州剑桥:麻省理工学院出版社
[61] Wah,C.、Branson,S.、Perona,P.和Belongie,S.(2011年11月)。多类识别和零件定位与人在循环中。在:IEEE计算机视觉国际会议论文集,西班牙巴塞罗那.电气与电子工程师协会
[62] Welinder,P.和Perona,P.(2010年6月)。在线众包:对解说员进行评级并获得具有成本效益的标签。旧金山。在:IEEE计算机视觉和模式识别会议记录.电气与电子工程师协会
[63] Welinder,P.和Perona。,P.(2010)。在线众包:对解说员进行评级并获得具有成本效益的标签。在:IEEE计算机视觉与模式识别会议论文集国际电气工程师协会
[64] Welinder,P.、Branson,S.、Belongie,S.和Perona,P.(2010年)。人群的多维智慧。在:神经信息处理系统(NIPS)。
[65] 威廉姆斯,C;Barber,D,用高斯过程进行贝叶斯分类,IEEE跨模式分析和机器智能,201342-1351,(1998)·doi:10.1109/34.735807
[66] Wu,O.,Hu,W.,&Gao,J.(2011)。学习在多个注释器下排名。在:第二十二届国际人工智能联合会议论文集——第二卷(第1571-1576页)。加利福尼亚州门罗公园:AAAI出版社
[67] Yan,F.,&Qi,Y.A.(2010年)。基于l1惩罚的稀疏高斯过程回归。在:IEEE机器学习国际会议论文集(第1183-1190页)。电气与电子工程师协会
[68] Yan,Y.、Rosales,R.、Fung,G.和Dy,J.G.(2011年)。积极向人群学习。在:IEEE机器学习国际会议论文集(第1161-1168页)。电气与电子工程师协会
[69] Yan,Y.、Rosales,R.、Fung,G.和Dy,J.(2012)。从多个知识源主动学习。在:第十五届国际人工智能与统计会议记录(AISTATS)。
[70] Yao,A.、Gall,J.、Leistner,C.和Van Gool,L.(2012)。交互式对象检测。在:IEEE计算机视觉与模式识别会议论文集.电气与电子工程师协会
[71] Yao,B.、Khosla,A.和Fei-Fei,L.(2011年)。结合随机化和判别进行细粒度图像分类。在:IEEE计算机视觉和模式识别会议记录2011年6月,科罗拉多州斯普林斯。电气与电子工程师协会
[72] 张,Z;戴,G;Jordan,MI,Bayesian广义核混合模型,机器学习研究杂志,12,111-139,(2011)·Zbl 1280.68221号
[73] Zhao,L.、Sukthankar,G.和Sukthanka,R.(2011)。增量重新标记,通过嘈杂的众包注释进行主动学习。在:IEEE第三届国际会议和2011年IEEE第三届国际社会计算会议论文集(SocialCom)。电气与电子工程师协会
[74] Zhu,X.、Lafferty,J.和Ghahramani,Z.(2003)。使用高斯场和调和函数将主动学习和半监督学习相结合。在:机器学习和数据挖掘中从标记数据到未标记数据的连续性ICML 2003研讨会论文集(第58-65页)。
[75] 朱,C;伯德,RH;卢,P;Nocedal,J,算法778:L-bfgs-b:大规模有界约束优化的Fortran子程序,ACM数学软件事务(TOMS),23,550-560,(1997)·Zbl 0912.65057号 ·doi:10.1145/279232.279236
[76] Zitnick,L.和Parikh,D.(2012年)。图像理解在轮廓检测中的作用。在:IEEE计算机视觉和模式识别会议记录(第622-629页)。电气与电子工程师协会
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。