托马斯·亨（Thomas M.Hehn）。;朱利安·科伊（Julian F.P.Kooij）。;弗雷德·汉普雷希特。 对决策树和森林的端到端学习。 （英语） Zbl 1477.68279号 国际期刊计算。视觉。 128，第4期，997-1011（2020）. 概述：传统的决策树具有许多有利的特性，包括计算占用空间小、可解释性和从少量训练数据中学习的能力。然而，他们缺乏一个有助于推动深度学习革命的关键品质：端到端可培训。P.Kontschieder先生等【“深层神经决策森林”，摘自：IEEE计算机视觉国际会议论文集，ICCV’15。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机协会。1467–1475 (2015;doi:10.1109/ICCV.2015.172)] 已经解决了这一缺陷，但代价是失去了决策树的一个主要吸引人的特性：每个样本只沿着树节点的一小部分路由。我们在这里提出了一个确定性决策树和决策森林的端到端学习方案。由于新的模型和期望最大化训练方案，树在训练时是完全概率的，但在退火过程之后，在测试时变得具有确定性。在实验中，我们从视觉和定量上探索了退火的效果，并发现我们的方法在倾斜决策树和森林中的性能与标准学习算法相当或优于标准学习算法。我们在图像数据集上进一步证明，我们的方法可以学习比普通斜函数更复杂的分裂函数，并通过空间正则化促进可解释性。 引用于三文件 MSC公司： 68T07型 人工神经网络与深度学习 关键词：决策林;端到端学习;有效推理;可解释性 软件：MS-COCO公司;倾斜RF;4.5条;亚当;SkipNet公司;PyTorch公司;时尚-MNIST;城市风光;UCI-毫升 PDF格式BibTeX公司 XML格式引用 \textit{T.M.Hehn}等人，《国际计算杂志》。视觉。128，编号41997-1011（2020；兹bl 1477.68279） 全文： 内政部 OA许可证 参考文献： [1] 巴罗斯，RC；议员巴斯加洛普；德卡瓦略，AC；Freitas，AA，决策树归纳进化算法调查，IEEE系统、人与控制论汇刊，C部分（应用与评论），42，3，291-312（2012）·doi:10.1109/TSMCC.2011.2157494 [2] Bolukbasi，T.、Wang，J.、Dekel，O.和Saligrama，V.（2017年）。用于快速测试时间预测的自适应神经网络。arXiv:1702.07811 [3] Breiman，L.，《随机森林，机器学习》，45，1，5-32（2001）·Zbl 1007.68152号 ·doi:10.1023/A:1010933404324 [4] 布雷曼，L。；弗里德曼，J。；奥申，RA；Stone，CJ，分类和回归树（1984），博卡拉顿：查普曼和霍尔/CRC，博卡拉顿·Zbl 0541.62042号 [5] Cardona，A。；Saalfeld，S。；Preibisch，S。；施密德，B。；Cheng，A。；Pulokas，J。；托曼卡，P。；Hartenstein，V.，《利用计算机辅助连续切片电子显微镜对果蝇大脑进行微观和宏观结构综合分析》，《PLOS生物学》，第8、10、1-17页（2010年）·doi:10.1371/journal.pbio.1000502 [6] Cordts，M.、Omran，M.，Ramos，S.、Rehfeld，T.、Enzweiler，M.和Benenson，R.、Franke，U.、Roth，S.和Schiele，B.（2016）。用于语义城市场景理解的城市景观数据集。2016年IEEE计算机学会计算机视觉和模式识别会议。 [7] 科茨，M。；Rehfeld，T。；恩兹韦勒，M。；Franke，美国。；Roth，S.，用于高效多线索场景标记的树结构模型，IEEE模式分析和机器智能汇刊，39，7，1444-1454（2017）·doi:10.1109/TPAMI.2016.2592911 [8] 克里米尼西，A。；Shotton，J.，《计算机视觉和医学图像分析的决策森林》（2013），柏林：施普林格出版社，柏林 [9] De Ville，B.，《商业智能和数据挖掘的决策树：使用SAS企业矿工》（2006），卡里：SAS研究所，卡里 [10] 多拉，P。；阿佩尔，R。；Belongie，S。；Perona，P.，用于对象检测的快速特征金字塔，IEEE模式分析和机器智能汇刊，36，8，1532-1545（2014）·doi:10.1109/TPAMI.2014.2300479 [11] Dua，D.和Graff，C.（2017年）。UCI机器学习库。检索日期：2019年2月18日http://archive.ics.uci.edu/ml。 [12] Duarte，MF；Hu，YH，分布式传感器网络中的车辆分类，并行与分布式计算杂志，64，7，826-838（2004）·doi:10.1016/j.jpdc.2004.03.020 [13] 艾尔斯，PHC；Marx，BD，使用B样条和惩罚的灵活平滑，统计科学，11，89-121（1996）·Zbl 0955.62562号 ·doi:10.1214/ss/1038425655 [14] Fan，R.E.和Lin，C.J.（2011）。Libsvm数据：分类、回归和多标签。2017年5月30日检索自网址：http://www.csie.ntu.edu.tw/cjlin/libsvmtools/datasets/。 [15] 费尔南德斯·德尔加多，M。；Cernadas，E。；巴罗，S。；Amorim，D.，我们需要数百个分类器来解决现实世界的分类问题吗？，机器学习研究杂志，15，3133-3181（2014）·Zbl 1319.62005号 [16] 弗雷，PW；Slate，DJ，使用荷兰式自适应分类器的字母识别，机器学习，6，2，161-182（1991） [17] Frosst，N.和Hinton，G.（2017年）。将神经网络提取为软决策树。arXiv:1711.09784。 [18] Gall，J.和Lempitsky，V.（2009年）。用于目标检测的特定类别hough森林。2009年IEEE计算机学会计算机视觉和模式识别会议（第1022-1029页）。doi:10.1109/CVPR.2009.5206740。 [19] Guh，RS公司；吴，TCJ；Weng，SP，集成遗传算法和决策树学习以帮助预测体外受精结果，应用专家系统，38，4，4437-4449（2011）·doi:10.1016/j.eswa.2010.09.112 [20] Hehn，T.M.和Hamprecht，F.A.（2018年）。确定性决策树的端到端学习。在德国模式识别会议上（第612-627页）。柏林，施普林格。 [21] Huang，G.，Chen，D.，Li，T.，Wu，F.，van der Maaten，L.，&Weinberger，K.（2018）。用于资源高效的图像分类的多尺度密集网络。在学习代表国际会议上。 [22] 黄总经理；黄，KY；李，TY；Weng，JTY，《2型糖尿病患者中基于规则的糖尿病肾病诊断分类》，BMC生物信息学，16，1，S5（2015）·doi:10.1186/1471-2105-16-S1-S5 [23] Hull，JJ，手写文本识别研究数据库，IEEE模式分析和机器智能汇刊，16，5，550-554（1994）·数字对象标识代码：10.1109/34.291440 [24] 海菲尔。；Rivest，RL，《构建最优二叉决策树是NP-完全的》，《信息处理快报》，5，1，15-17（1976）·Zbl 0333.68029号 ·doi:10.1016/0020-0190（76）90095-8 [25] Ioannou，Y.、Robertson，D.、Zikic，D.、Kontschieder，P.、Shotton，J.、Brown，M.和Criminisi，A.（2016）。决策森林、卷积网络和中间模型。arXiv:1603.01250。 [26] Jordan，M.I.（1994）。决策树建模的统计方法。《第七届计算学习理论年会论文集》，美国纽约州纽约市，COLT’94（第13-20页）。 [27] 密歇根州约旦；雅各布斯，RA，专家和EM算法的层次混合，神经计算，6，2，181-214（1994）·doi:10.1162/neco.1996.2.181 [28] Kingma，D.和Ba，J.（2015）。亚当：一种随机优化方法。在ICLR中。 [29] Kontschieder，P.、Fiterau，M.、Criminisi，A.和Rota BulóS.（2015）。深层神经决策森林。在ICCV中。 [30] Kontschieder，P.、Kohli，P.，Shotton，J.和Criminisi，A.（2013年）。Geof：用于学习耦合预测因子的测地森林。2013年IEEE计算机学会计算机视觉和模式识别会议。 [31] Laptev，D.和Buhmann，J.M.（2014）。用于特征学习和分割的卷积决策树。在德国模式识别会议上（第95-106页）。施普林格，柏林。 [32] LeCun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，IEEE会议记录，86，11，2278-2324（1998）·数字对象标识代码：10.1109/5.726791 [33] Lepetit，V.、Lagger，P.和Fua，P.（2005）。实时关键点识别的随机树。在2005年IEEE计算机学会关于计算机视觉和模式识别的会议上（第2卷，第775-781页，第2卷）。doi:10.1010/CVPR.2005.288。 [34] Lin，T.、Maire，M.、Belongie，S.J.、Bourdev，L.D.、Girshick，R.B.、Hays，J.、Perona，P.、Ramanan，D.、DolláR，P.和Zitnick，C.L.（2014）。Microsoft COCO:上下文中的通用对象。arXiv:1405.0312。 [35] McGill，M.和Perona，P.（2017年）。决定如何决定：人工神经网络中的动态路由。In Precup，D.，&Teh，Y.W.（Eds.）《第34届机器学习国际会议论文集》，PMLR，澳大利亚悉尼国际会议中心，《机器学习研究论文集》（第70卷，第2363-2372页）。 [36] Menze，B.H.、Kelm，B.M.、Splitthoff，D.N.、Koethe，U.和Hamprecht，F.A.（2011年）。在倾斜的随机森林上。施普林格（第453-469页）。 [37] Montillo，A.、Tu，J.、Shotton，J.和Winn，J.，Iglesias，J.以及Metaxas，D.和Criminisi，A.（2013年）。纠缠和可微信息增益最大化。在计算机视觉和医学图像分析的决策森林中，第19章（第273-293页）。斯普林格。 [38] Murthy，K.V.S.（1996年）。从数据中生成更好的决策树。约翰霍普金斯大学博士论文。 [39] Norouzi，M.、Collins，M.D.、Fleet，D.J.和Kohli，P.（2015a）。二氧化碳森林：通过连续优化斜劈来改进随机森林。arXiv:1506.06155。 [40] Norouzi，M.、Collins，M.D.、Johnson，M.，Fleet，D.J.和Kohli，P.（2015b）。决策树的高效非贪婪优化。以NIPS为单位。 [41] Paszke，A.、Gross，S.、Chintala，S.，Chanan，G.、Yang，E.、DeVito，Z.、Lin，Z.，Desmaison，A.、Antiga，L.和Lerer，A.（2017）。pytorch中的自动区分。在NIPS-W中。 [42] Pinhas-Hamiel，O。；哈米埃尔，美国。；格林菲尔德，Y。；博伊科，V。；Graph-Barel，C。；拉赫米埃尔，M。；Lerner-Geva，L。；Reichman，B.，《检测1型糖尿病女孩的故意胰岛素缺失以减轻体重》，《国际饮食失调杂志》，46，8，819-825（2013）·doi:10.1002/eat.22138 [43] Quinlan，J.R.（1990年）。决策树的归纳。在Shavlik，J.W.、Dietterich，T.G.（编辑）的《机器学习读物》中，Morgan Kaufmann最初发表于机器学习1:81-1061986。 [44] 昆兰，JR，C4.5：机器学习计划（1993），加利福尼亚州旧金山：摩根考夫曼出版公司，加利福尼亚州洛杉矶 [45] Richmond，D.、Kainmueller，D.、Yang，M.、Myers，E.和Rother，C.（2016）。将自动上下文决策林映射到深度对流以进行语义分割。Richard C Wilson，E.R.H.，Smith，W.A.P.（编辑），《英国机器视觉会议论文集》，BMVA出版社（第144.1-144.12页）。doi:10.5244/C.30.144。 [46] Rose，K。；古雷维茨，E。；Fox，GC，集群中的统计力学和相变，《物理评论快报》，65945-948（1990）·doi:10.1103/PhysRevLett.65.945 [47] Rota Bulo，S.和Kontschieder，P.（2014）。用于语义图像标记的神经决策森林。2014年IEEE计算机学会计算机视觉和模式识别会议。 [48] 俄勒冈州Russakovsky。；邓，J。；苏，H。；克劳斯，J。；Satheesh，S。；马，S。；黄，Z。；Karpathy，A。；科斯拉，A。；伯恩斯坦，M。；Berg，AC；费飞，L.，ImageNet大规模视觉识别挑战，国际计算机视觉杂志（IJCV），115，3211-252（2015）·doi:10.1007/s11263-015-0816-y [49] Schulter，S.、Wohlhart，P.、Leistner，C.、Saffari，A.、Roth，P.M.和Bischof，H.（2013）。交替决策林。2013年IEEE计算机学会计算机视觉和模式识别会议（第508-515页）。doi:10.1109/CVPR.2013.72。 [50] Sethi，IK，熵网：从决策树到神经网络，IEEE学报，78，10，1605-1613（1990）·数字对象标识代码：10.1109/5.58346 [51] Shotton，J.、Fitzgibbon，A.、Cook，M.、Sharp，T.、Finocchio，M.，Moore，R.、Kipman，A.和Blake，A.（2011年）。从单深度图像中实时识别部分人体姿势。2011年IEEE计算机学会计算机视觉和模式识别会议（第1297-1304页）。doi:10.1109/cvpr.2011.5995316。 [52] 苏亚雷斯，A。；Lutsko，JF，分类和回归的全局最优模糊决策树，IEEE模式分析机器智能汇刊，21，12，1297-1311（1999）·doi:10.1109/34.817409 [53] Viola，P.和Jones，M.（2001年）。使用简单功能的增强级联进行快速目标检测。2001年，ieee计算机学会计算机视觉和模式识别会议（第511页）。电气与电子工程师协会。 [54] Wang，J.Y.（2002）。支持向量机在生物信息学中的应用。国立台湾大学计算机科学与信息工程系硕士论文。 [55] Wang，S.、Aggarwal，C.和Liu，H.（2017）。使用随机森林激发神经网络并对其进行改进。《2017年SIAM数据挖掘国际会议论文集》（第1-9页）。暹罗。 [56] Wang，X.、Yu，F.、Dou，Z.Y.、Darrell，T.和Gonzalez，J.E.（2018年）。Skipnet：学习卷积网络中的动态路由。在欧洲计算机视觉会议上。 [57] Welbl，J.（2014）。将随机森林打造成人工神经网络（并从中获利）。在GCPR中。 [58] 沃恰奇万，A。；南塔塞纳马特，C。；Isarankura-Na-Ayudhya，C。；Pidetcha，P。；Prachayasittikul，V.，使用决策树分析识别代谢综合征，糖尿病研究和临床实践，90，1，e15-e18（2010）·doi:10.1016/j.diabres.2010.06.009 [59] Xiao，H.、Rasul，K.和Vollgraf，R.（2017）。Fashion-mnist：用于基准机器学习算法的新型图像数据集。arXiv:1708.07747。 [60] Zhang，L.、Varadarajan，J.、Nagaratnam Suganthan，P.、Ahuja，N.和Moulin，P.（2017）。使用倾斜随机森林的鲁棒视觉跟踪。2017年IEEE计算机学会计算机视觉和模式识别会议（第5589-5598页）。电气与电子工程师协会。 此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。