×

Morpho-MNIST:表征学习的定量评估和诊断。 (英语) Zbl 1433.68331号

摘要:揭示数据中的潜在结构是一个活跃的研究领域,它引入了变化自动编码器和对抗网络等激动人心的技术,对于推动机器学习走向无监督知识发现至关重要。然而,一个主要挑战是缺乏对所学表征进行客观和定量评估的适当基准。为了解决这个问题,我们引入了Morpho-MNIST,这是一个旨在回答以下问题的框架:“我的模型在多大程度上学会了表示数据中变化的特定因素?我们通过添加形态分析扩展了流行的MNIST数据集,从而能够对训练模型进行定量比较,识别潜在变量的作用,并表征样本多样性。我们进一步提出了一组可量化的扰动来评估无监督和有监督方法在异常值检测和域自适应等挑战性任务中的性能。有关数据和代码,请访问https://github.com/dccastro/Morpho-MNIST.

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
62华氏35 多元分析中的图像分析
68-04 计算机科学相关问题的软件、源代码等
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] Sanjeev Arora、Andrej Risteski和Yi Zhang。GAN了解分布吗?一些理论和经验。国际学习代表大会
[2] 马修·奥布里(Mathieu Aubry)、丹尼尔·马图拉纳(Daniel Maturana)、阿列克谢·埃夫罗斯(Alexei A.Efros)、布莱恩·罗素(Bryan C.Russell)和约瑟夫·西维奇(Josef Sivic)。查看3D椅子:使用大型CAD模型数据集进行基于零件的2D-3D对齐示例。2014年IEEE计算机视觉和模式识别会议(CVPR 2014),第3762-3769页。IEEE,2014年。数据集URLhttps://www.di.ens.fr/willow/research/请参见3张椅子/。
[3] Mikołaj Biñkowski、Dougal Sutherland、Michael Arbel和Arthur Gretton。MMD GAN解密。2018年国际学习代表大会(ICLR 2018)。
[4] 哈里·布鲁姆。提取新形状描述符的转换。语音和视觉形式感知模型,第362-380页。麻省理工学院出版社,1967年。
[5] 瓦查·邦利普恩(Wacha Bounliphone)、尤金·贝里洛夫斯基(Eugene Belilovsky)、马修·布拉斯科(Matthew B.Blaschko)、伊奥尼斯·安东诺格鲁(Ioannis Antonoglou)和亚瑟·格雷顿(Arthur Gretton)。生成模型中模型选择的相对相似性测试。
[6] 雅罗斯拉夫·布拉托夫。notMNIST数据集,2011年9月。统一资源定位地址https://yaroslavvb.blogspot.co。uk/2011/09/notmnist-dataset.html。
[7] 陈田琪(Tian Qi Chen)、李雪晨(Xuechen Li)、罗杰·格罗斯(Roger B.Grosse)和大卫·K·杜维诺(David K.Duvenaud)。在变分自动编码器中隔离解纠缠源。神经信息处理系统进展31(NeurIPS 2018),第2610-2620页,2018年。
[8] Xi Chen、Yan Duan、Rein Houthooft、John Schulman、Ilya Sutskever和Pieter Abbeel。InfoGAN:通过信息最大化生成性对抗网络进行可解释表示学习。神经信息处理系统研究进展29(NIPS 2016),第2172-2180页,2016年。
[9] 格雷戈里·科恩(Gregory Cohen)、赛义德·阿夫沙尔(Saeed Afshar)、乔纳森·塔普森(Jonathan Tapson)和安德烈·范·沙克(Andrévan Schaik)。EMNIST:MNIST对手写信件的扩展,2017年。arXiv:1702.05373。数据集URLhttps://www.nist.gov/itl/iad/image-group/emnist-Dataset。
[10] 埃米利安·杜邦。学习分离的联合连续和离散表示法。神经信息处理系统进展31(NeurIPS 2018),第708-718页,
[11] Cian Eastwood和Christopher K.I.Williams。一个量化评估非纠缠表示的框架。国际学习代表大会
[12] 伊恩·古德费罗(Ian Goodfellow)、让·普格特·巴迪(Jean Pouget-Abadie)、梅迪·米尔扎(Mehdi Mirza)、徐冰(Bing Xu)、大卫·沃德·法利(David Warde-Farley)、谢尔吉尔·奥扎尔(Sherjil Ozair)、。生成性对抗网络。预付款
[13] 阿瑟·格雷顿(Arthur Gretton)、卡斯滕·博格沃德(Karsten M.Borgwardt)、马尔特·拉什(Malte J.Rasch)、伯恩哈德·舍尔科夫(Bernhard Schölkopf)和亚历山大·斯莫拉。内核双样本测试。机器学习研究杂志,13(3月):723-7732012·Zbl 1283.62095号
[14] Patrick J.Grother和Kayee K.Hanaoka。NIST特殊数据库19。技术报告,美国马里兰州盖瑟斯堡国家标准与技术研究所,2016年。数据集URLhttps://www.nist.gov/srd/nist-special-database-19。
[15] 马丁·休塞尔、休伯特·拉姆索尔、托马斯·恩特提纳、伯恩哈德·奈斯勒和塞普·霍克莱特。由两个时间尺度更新规则训练的GAN收敛到局部纳什均衡。神经信息处理系统进展30(NIPS 2017),第6626-6637页,2017年。
[16] Irina Higgins、Loic Matthey、Arka Pal、Christopher Burgess、Xavier Gloot、Matthew Botvinick、Shakir Mohamed和Alexander Lerchner。β-VAE:在受限变分框架下学习基本视觉概念。国际学习会议
[17] Alex Kendall和Yarin Gal。在计算机视觉的贝叶斯深度学习中,我们需要哪些不确定性?神经信息处理系统进展30(NIPS 2017),第5574-5584页,2017年。
[18] Hyunjik Kim和Andriy Mnih。通过因子分解分解。第35届国际机器学习会议(ICML 2018)论文集,第80卷,第页
[19] Diederik P.Kingma和Max Welling。自动编码变分贝叶斯。2014年,国际学习代表大会(ICLR 2014)·Zbl 1431.68002号
[20] Abhishek Kumar、Prasanna Sattieri和Avinash Balakrishnan。从未标记的观测值中对已解开的潜在概念进行的变分推理。国际会议
[21] Brenden M.Lake、Ruslan R.Salakhutdinov和Joshua B.Tenenbaum。通过概率程序归纳法进行人性化概念学习。《科学》,350(6266):1332-13382015。doi:10.1126/science.aab3050。数据集URLhttps://github.com/brendelake/omniglot。 ·Zbl 1355.68230号
[22] 雨果·拉罗谢尔(Hugo Larochelle)、杜米特鲁·埃尔汉(Dumitru Erhan)、亚伦·库维尔(Aaron Courville)、詹姆斯·伯格斯特拉(James Bergstra)和约舒亚·本吉奥(Yoshua Ben。对具有许多变化因素的问题的深层架构进行实证评估。《第24届国际机器学习会议论文集》(ICML 2007),第473-480页,2007年。doi:10.1145/1273496.1273556。数据集URLhttps://www.iro。umontreal.ca/lisa/twiki/bin/view.cgi/Public/MnistVariations公司。
[23] Yann LeCun、Bernhard E.Boser、John S.Denker、Donnie Henderson、R.E.Howard、Wayne E.Hubbard和Lawrence D.Jackel。用反向传播网络进行手写数字识别。《神经信息处理系统进展2》(NIPS 1989),第396-4041990页。数据集URLhttps://web.stanford.edu/hastie/ElemStatLearn/data。html格式。
[24] Yann LeCun、Leon Bottou、Yoshua Bengio和Patrick Haffner。基于梯度的学习应用于文档识别。IEEE会议记录,86(11):2278-23241998。doi:10.1109/5.726791。数据集URLhttp://yann.lecun.com/exdb/mnist/。
[25] James R.Lloyd和Zoubin Ghahramani。使用核两样本测试的统计模型批评。神经信息处理系统进展28(NIPS 2015),第829-837页,2015年。
[26] 加列·卢斯利(Gaélle Loosli)、圣埃芬·卡努(Stéphane Canu)和莱昂·博图(Léon Bottou)。使用选择性采样训练不变支持向量机。在莱昂·博图、奥利维尔·夏贝尔、丹尼斯·德科斯特和杰森·韦斯顿,《大型内核机器》编辑,第301-320页。麻省理工学院出版社,马萨诸塞州剑桥,美国。数据集URLhttp://leon.bottou.org/projects/infinist。 ·Zbl 1222.68251号
[27] Alireza Makhzani、Jonathon Shlens、Navdeep Jaitly、Ian Goodfellow和Brendan Frey。对手自动编码器。国际学习代表大会研讨会
[28] Loic Matthey、Irina Higgins、Demis Hassabis和Alexander Lerchner。dSprites:解纠缠测试sprites数据集,2017.URLhttps://github.com/deepmind/dsprites-dataset/。
[29] 帕斯卡·佩桑、莱因哈德·诺特、布莱恩·安伯格、萨米·隆达尼和托马斯·维特。一种用于姿态和光照不变人脸识别的三维人脸模型。第六届IEEE高级视频和信号监控国际会议记录
[30] Tim Salimans、Ian Goodfellow、Wojciech Zaremba、Vicki Cheung、Alec Radford和Xi Chen。改进了训练GAN的技术。神经信息处理系统研究进展29(NIPS 2016),第2234-2242页,2016年。
[31] 大卫·W·斯科特。多元密度估计:理论、实践和可视化。John Wiley&Sons,Inc.,美国纽约州纽约市,1992年·Zbl 0850.62006号
[32] Lewis Smith和Yarin Gal.了解对抗性示例检测的不确定性度量。第三十四届人工不确定性会议论文集
[33] Dougal J.Sutherland、Shoao Yu Tung、Heiko Strathmann、Soumyajit De、Aaditya Ramdas、Alexander J.Smola和Arthur Gretton。通过优化最大平均差的生成模型和模型批评。国际学习会议
[34] 克里斯蒂安·塞格迪(Christian Szegedy)、文森特·范胡克(Vincent Vanhoucke)、谢尔盖·洛夫(Sergey Ioffe)、乔恩·什伦斯(Jon Shlens)和兹比格尼夫·沃伊纳(Zbigniew Wojna)。重新思考计算机视觉的初始架构。2016年IEEE会议
[35] Loo-Nin Teow和Kia-Fock Loe。用于脱机手写数字识别的稳健的基于视觉的特征和分类方案。模式识别,35(11):2355-23642002。doi:10.1016/S0031-3203(01)00228-X·Zbl 1006.68921号
[36] 卢卡斯·泰斯(Lucas Theis)、阿伦·范登·奥尔德(Aäron van den Oord)和马蒂亚斯·贝奇(Matthias Bethge)。关于生成模型评估的注释。2016年国际学习代表大会(ICLR 2016)。
[37] Tijmen Tieleman.affNIST,2013年8月。URLhttps://www.cs.toronto.edu/tijmen/affNIST/。
[38] 圣范·范德沃尔特、约翰内斯·施恩伯格、胡安·努内斯·伊格莱西亚斯、弗朗索瓦·博洛涅、约书亚·华纳、尼尔·亚格、艾曼纽尔·古伊亚特和托尼·余。scikit-image:Python中的图像处理。PeerJ,2:e4532014年。doi:10.7717/peerj.453。
[39] 韩晓、卡西夫·拉苏尔和罗兰·沃尔格拉夫。2017年,Fashion-MNIST:用于基准机器学习算法的新型图像数据集。arXiv:1708.07747。数据集URLhttps://github.com/zalandoresearch/fashin-mnist。
[40] 恰维·雅达夫和莱昂·博图。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。