×

兹马思-数学第一资源

具有噪音标签的成本敏感学习。(英语) Zbl 1467.68151号
小结:我们研究的是二元分类类条件随机噪声,学习者可以看到以某种概率独立翻转的标签,翻转概率取决于班级。我们的目标是设计有效的学习算法,并且在统计学上与常用的效用测度一致。特别是,我们研究了一系列由其应用于需要成本敏感学习的领域(例如,当存在班级不平衡时)的措施。与现有的大多数一致性分类文献仅限于经典的0-1损失相比,我们的分析包括了更一般的效用测度,如AM测度(真阳性率和真负率的算术平均数)。针对类条件随机噪声下的代价敏感学习问题,我们提出了两种基于适当修正替代损失的方法。首先,我们提供一个简单的无偏估计员得到了在存在带噪声标签的i.i.d.数据下的经验效用最大化的性能界。如果损失函数满足一个简单的对称条件,我们证明使用无偏估计可以得到一个有效的经验最大化算法。第二,通过利用噪声标签下风险最小化的降低到加权0-1损失的分类,我们建议使用一个简单的加权替代损失,我们能够获得强大的效用边界。这种方法意味着已经在实践中使用的方法,如有偏支持向量机和加权logistic回归,是可证明的噪声容忍。对于我们家族中两个非常重要的度量,我们证明了所提出的方法相对于最近提出的处理多个基准数据集中的标签噪声的方法是有竞争力的。

理学硕士:
68T05型 人工智能中的学习与自适应系统
62小时30分 分类和区分;聚类分析(统计方面)
68吨10 模式识别,语音识别
PDF格式 BibTeX公司 XML 引用
全文: 链接
参考文献:
[1] D、 安格鲁林和P.莱德。从嘈杂的例子中学习。机器。学习。,2(4):343–3701988年。
[2] 贾维德·A·阿斯兰和斯科特·E·迪凯特。关于噪声容忍学习的样本复杂度。信息处理。利特。,57(4):189–1951996年。
[3] 彼得·L·巴特利特,迈克尔·I·乔丹,乔恩·D·麦考利夫。凸性、分类和风险边界。美国统计协会杂志,101(473):138-1562006·Zbl 1118.62330
[4] Shai Ben David,D'avid P'al和Shai Shalev Shwartz。不可知的在线学习。学习理论会议(COLT),2009年·Zbl 1305.68005
[5] 巴蒂斯塔·比吉奥、布莱恩·纳尔逊和帕维尔·拉斯科夫。对抗性标签噪声下的支持向量机。J、 马赫。学习。研究(JMLR),2011年,20:97–112。
[6] 吉勒·布兰查德和克莱顿·斯科特。相互污染模型的去污。国际人工智能与统计会议(AISTATS),第1-9页,2014年。
[7] A、 布鲁姆和T。米切尔。结合有标记和无标记的数据与联合训练。计算学习理论(COLT),第92-100页。ACM,1998年。
[8] 汤姆·拜兰德。在分类噪声存在下学习线性阈值函数。学习理论会议(COLT),340-347页,美国纽约,1994年。ACM公司。
[9] 汤姆·拜兰德。学习噪声线性阈值函数。技术报告,1998年。
[10] 尼科尔·塞萨·比安奇、伊莱·迪克特曼、保罗·费舍尔、伊莱·沙米尔和汉斯·乌尔里希·西蒙。在有噪音的情况下学习的有效策略。J、 ACM,46(5):684-7191999年·Zbl 1065.68572号
[11] 尼科尔·塞萨·比安奇、沙伊沙利夫·什瓦茨和奥哈德·沙米尔。噪声数据在线学习。IEEE信息论汇刊,57(12):7907–7931,2011年·Zbl 1365.62134
[12] 伊迪丝·科恩。在多项式时间内用感知器学习噪声感知器。计算机科学基础,514-523页。IEEE,1997年。
[13] K、 克拉默和D·李。通过高斯聚集学习。神经信息处理系统(NIPS),第451-459页,2010年。
[14] 科比·克拉默、奥弗·德克尔、约瑟夫·凯舍、沙伊沙利夫·什瓦茨和约兰·辛格。在线被动攻击算法。J、 马赫。学习。研究(JMLR),7:551–5852006·Zbl 1222.68177
[15] 科比·克拉默、亚历克斯·库莱萨和马克·德雷泽。权向量的自适应正则化。神经信息处理系统(NIPS),第414-4222009页·Zbl 1273.68296
[16] 马克·德雷泽、科比·克拉默和费尔南多·佩雷拉。置信加权线性分类。国际机器学习会议(ICML),第264-271页,2008年·Zbl 1432.68382
[17] C、 埃尔坎和K。诺托。只从正数据和未标记数据学习分类器。知识发现与数据挖掘国际会议,第213-220页,2008年。31
[18] 查尔斯·埃尔坎。成本敏感学习的基础。国际人工智能联席会议(IJCAI),IJCAI'01,973-978页,2001年。
[19] 约夫·弗雷恩德。一个更健壮的boosting算法,2009。预印本arXiv:0905.2138[stat.ML]可在http://arxiv.org/。
[20] Aritra Ghosh,Naresh Manwani和P.S.Sastry。使风险最小化容忍标签噪音。更正,abs/1403.3610,2014年。网址http://arxiv.org/abs/1403.3610。
[21] T、 格雷佩尔和R.赫布里奇。核吉布斯采样器。神经信息处理系统(NIPS),第514-5202000页。
[22] Roni Khardon和Gabriel Wachman。感知器算法的噪声容忍变体。J、 马赫。学习。研究(JMLR),8:227–248,2007年·Zbl 1222.68232
[23] Oluwasanmi O Koyejo、Nagarajan Natarajan、Pradeep K Ravikumar和Inderjit S Dhillon。具有广义性能指标的一致二进制分类。神经信息处理系统(NIPS),第2744-2752页,2014年。
[24] 尼尔·D·劳伦斯和伯恩哈德·朔尔科普夫。在标签噪声存在下估计核Fisher判别式。国际机器学习会议(ICML),第306-313页,2001年。
[25] 刘炳,杨黛,李小莉,李维孙,余飞利浦。使用正面和未标记的示例构建文本分类器。在ICDM 2003中。,第179-186页。IEEE,2003年。
[26] 菲利普·M·朗和罗科·A·塞维迪奥。随机分类噪声击败所有凸潜在的助推器。机器。学习。,78(3):287–304,2010年。
[27] 伊夫·卢卡特。你的共轭物是什么形状?计算凸分析及其应用综述。暹罗版次。,2010年8月52日至第505页。ISSN 0036-1445·Zbl 1197.65072
[28] Naresh Manwani和P.S.Sastry。风险最小化下的噪声容限。IEEE传输。系统。人与赛本。B部分,2013年。网址:http://arxiv.org/abs/1109.5231。
[29] 阿迪蒂亚·梅农、哈里克里希纳·纳拉辛汉、希瓦尼·阿加瓦尔和桑杰·查拉。类不平衡下二值分类算法的统计一致性。国际机器学习会议(ICML),第603-6111913页。
[30] 芳汀·莫德莱特和J-P Vert。利用bagging-SVM学习正样本和未标记样本。模式识别信件,37:201–2092014。
[31] 哈里克里希纳·纳拉西姆、罗希特·瓦什和希瓦尼·阿加瓦尔。关于不可分解性能指标的插件分类器的统计一致性。神经信息处理系统(NIPS),第1493-15012014页。
[32] Nagarajan Natarajan、Inderjit Dhillon、Pradeep Ravikumar和Ambuj Tewari。用嘈杂的标签学习。神经信息处理系统(NIPS),1196-12042013页。32
[33] A、 尼米洛夫斯基,A.朱迪斯基,G.兰和A.夏皮罗。随机规划的鲁棒随机逼近方法。暹罗J.选择。,19(4):1574–16092009年·Zbl 1189.90109
[34] 大卫·F·奈特尔顿、A·奥里奥斯·普伊格和A·福奈尔斯。不同类型噪声对监督学习技术精度影响的研究。人工制品。因特尔。版次:。,33(4):275–3062010年。
[35] C、 斯科特。一种混合比例估计的收敛速度,并应用于噪声标签的学习。国际人工智能与统计会议(AISTATS),JMLR研讨会和会议记录第38卷,第838-846页,2015年。
[36] 克莱顿·斯科特。校准不对称替代损失。电子统计杂志,6:958–99220012年·Zbl 1335.62108号
[37] 克莱顿·斯科特、吉勒·布兰查德和格雷戈里·汉迪。非对称标签噪声分类:一致性和最大去噪。学习理论会议(COLT),30:489–5112013年·Zbl 1347.62106
[38] G、 斯坦普费尔和拉莱沃拉。利用随机投影在噪声数据上学习核感知器。在算法学习理论(ALT),328-342页。斯普林格,2007年·Zbl 1142.68408号
[39] G、 斯坦普费尔、拉莱沃拉和丹尼斯。使用超平面采样和样本平均值从噪声数据中学习。2007年·Zbl 1142.68408号
[40] 吉劳姆·斯坦普费尔和利瓦·拉莱沃拉。从草率标注的数据中学习支持向量机。在人工神经网络中,884-893页。斯普林格·韦拉格,2009年·Zbl 1142.68408号
[41] 布伦丹·范鲁扬和罗伯特·C·威廉森。在腐败面前学习,2015年。arXiv预印本arXiv:1504.00091。
[42] 马丁·津克维奇。在线凸规划与广义无穷小梯度上升。在国际机器学习会议(ICML),928-936页,2003年。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。