×

兹马思-数学第一资源

用正则化加速多项式logistic回归的交叉验证。(英语) Zbl 06982343
摘要:我们给出了一个估计多项式logistic回归预测似然交叉验证估计量的近似公式。这使我们能够避免进行交叉验证所需的重复优化;因此,可以显著减少计算时间。利用数据量大和模型维数大的特点,采用摄动方法推导了该公式。本文还讨论了弹性网络正则化的一个推广。在UCI机器学习库的模拟数据和ISOLET数据集上验证了近似公式的有效性。实现近似公式的MATLAB和python代码发布在(Obuchi,2017;Takahashi和Obuchi,2017)。
理学硕士:
68T05型 人工智能中的学习与自适应系统
PDF格式 双歧杆菌 XML 引用
全文: 链接
参考文献:
[1] 安藤友弘和蔡吕。贝叶斯模型选择和平均的预测似然。国际预测杂志,26(4):744-7632010。
[2] Jean Barbier,Nicolas Macris,Mohamad Dia和Florent Krzakala。随机线性估计中近似消息传递的互信息与最优性。arXiv预印本arXiv:1701.05823,2017年。
[3] 莫森·巴亚提和安德烈·蒙塔纳利。稠密图上信息传递的动力学及其在压缩感知中的应用。IEEE信息理论汇刊,57(2):764-7852011。·Zbl 1366.94079号
[4] 简·F·比约恩斯塔德。预测可能性:综述。统计科学,242-254页,1990年。·6250917.ZB55
[5] Burak C¸akmak和Manfred Opper。近似推理的期望传播:自由概率框架。更正,abs/1801.05411,2018年。网址:http://arxiv.org/abs/1801.05411。
[6] 大卫·L·多诺霍、阿里安·马莱基和安德里亚·蒙塔纳利。压缩感知的消息传递算法。美国国家科学院院刊,106(45):18914-18919,2009。
[7] 杰罗姆·弗里德曼、特雷弗·黑斯蒂和罗布·蒂比拉尼。基于坐标下降的广义线性模型正则化路径。统计软件杂志,33(1):12010。·Zbl 1109.62302
[8] 吉恩·戈卢布,迈克尔·希思和格蕾丝·瓦巴。广义交叉验证作为一种选择良好脊线参数的方法。技术计量学,21(2):215–2231979年。·Zbl 0461.62059
[9] 吉由纪夫。一种基于信念传播的CDMA多用户检测算法。物理学报A:数学与通识,36(43):111112003。·Zbl 1081.94509
[10] Yoshiyuki Kabashima和Mikko Vehkaper¨a.线性观测中使用期望一致近似的信号恢复。信息理论(ISIT),2014年IEEE国际研讨会,第226-230页。IEEE,2014年。
[11] 巴拉基·克里希纳普拉姆,劳伦斯·卡林,菲格雷多的马里奥和亚历山大·J·哈特米克。稀疏多项式logistic回归:快速算法和推广界。《机器智能分析》第27卷,第967页。
[12] Yann LeCun、L'eon Bottou、Yoshua Bengio和Patrick Haffner。梯度学习在文档识别中的应用。IEEE论文集,86(11):2278-23241998。28
[13] M、 利希曼。UCI机器学习知识库,2013年。网址:http://archive.ics.uci.edu/ml。
[14] 小渊智明。基于MLR的ACV Matlab软件包。https://github.com/T-Obuchi/AcceleratedCVonMLR_matlab,2017年。
[15] 小渊智明和卡巴希马。套索的交叉验证及其加速。统计力学杂志:理论与实验,2016(5):53304–533392016。
[16] 小渊智明、池田秀郎、秋山和彦和卡巴希马。全变分加速交叉验证及其在超分辨率成像中的应用。公共科学图书馆一号,12(12):e01880122017年。
[17] 曼弗雷德·奥珀和奥勒·温瑟。前馈神经网络bayes学习的平均场方法。物理评论快报,76(11):19641996。
[18] 曼弗雷德·奥珀和奥勒·温瑟。大型前向神经网络bayes学习的平均场算法。神经信息处理系统的进展,第225-2311997页。
[19] 曼弗雷德·奥珀和奥勒·温瑟。高斯过程和支持向量机:平均场结果和遗漏一个,第43-65页。麻省理工,10 2000a,国际标准书号0262194481。麻省理工学院出版社(麻省理工学院出版社)可在谷歌图书上找到。
[20] 曼弗雷德·奥珀和奥勒·温瑟。高斯过程分类:平均场算法。神经计算,12(11):2655-26842000b。
[21] 曼弗雷德·奥珀和奥勒·温瑟。概率建模的自适应自平均thouless-anderson-palmer平均场理论。物理回顾·Zbl 1022.68606
[22] 曼弗雷德·奥珀和奥勒·温瑟。概率模型的可处理近似:自适应thouless-anderson-palmer平均场方法。物理评论快报,86(17):36952001b·Zbl 1022.68606
[23] 曼弗雷德·奥珀和奥勒·温瑟。期望一致近似推断。机器学习研究杂志,6(12月):2177-2204202005。·Zbl 1222.68278号
[24] Kamiar Rahnama Rad和Arian Maleki。一种基于近似漏失的额外样本预测误差的可伸缩估计。arXiv预印本arXiv:1801.102432018年。
[25] 马克·施密特。用l1正则化进行图形模型结构学习。不列颠哥伦比亚大学,2010年。
[26] Takashi Takahashi and Tomoyuki Obuchi.Python.ACV on MLR.https://github.com/T-Obuchi/AcceleratedCVonMLR峎Python,2017年。·Zbl 1241.82082号
[27] 大卫·J·索利斯、菲利普·W·安德森和罗伯特·G·帕尔默。“自旋玻璃可解模型”的解。哲学杂志,35(3):593-6011977年。29
[28] 黑斯蒂·特雷弗、蒂比拉尼·罗伯特和弗里德曼·杰罗姆。统计学习的要素;数据挖掘、推理和预测。Springer-Verlag纽约,2009.doi:10.1007/978-0-387-84858-7。·Zbl 1273.62005
[29] 弗拉基米尔·瓦普尼克和奥利维尔·夏佩尔。支持向量机误差期望的界。神经计算,12(9):2013–20362000。
[30] 王帅文,周文达,陆海浩,阿里安·马莱基,和瓦哈布·米罗克尼。高维快速参数整定的近似遗漏。arXiv预印本arXiv:1807.026942018年。
[31] 邹辉和海丝蒂。正则化与弹性网变量选择。英国皇家统计学会杂志:B辑(统计方法),67(2):301-3202005。·Zbl 1069.62054
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。