×
小渊聪；Kabashima、Yoshiyuki

利用（ell_1）正则化加速多项式logistic回归中的交叉验证。 （英语） Zbl 1467.62128号

J.马赫。学习。物件。 19，第52号论文，30页（2018年）.
摘要：我们开发了一个近似公式，用于评估由（ell_1）范数正则化的多项式logistic回归预测似然的交叉验证估计量。这使我们能够避免进行交叉验证所需的重复优化；因此，可以显著减少计算时间。该公式是通过一种摄动方法推导出来的，该方法利用了数据大小和模型维数的巨大性。还讨论了弹性网正则化的扩展。模拟数据和UCI机器学习库中的ISOLET数据集证明了近似公式的有用性。实现近似公式的MATLAB和python代码分布在[https://github.com/T-Obuchi/AcceleratedVonMLR_matlab公司；https://github.com/T-Obuchi/AcceleratedVonMLR_python公司].
).

引用于1文件

MSC公司：

62J12型 广义线性模型（逻辑模型）
62H30型 分类和区分；聚类分析（统计方面）
68T05型 人工智能中的学习和自适应系统

关键词：

分类；多项式逻辑回归；交叉验证；线性扰动；自平衡近似；MATLAB软件；Python代码

软件：

UCI-毫升；格尔姆奈特；Matlab公司；加速CVonMLR_Python；github；蟒蛇；加速CVonMLR_matlab
PDF格式BibTeX公司 XML格式引用
\textit{T.Obuchi}和\textit{Y.Kabashima}，J.Mach。学习。第19号决议，第52号论文，30页（2018年；Zbl 1467.62128）
全文： arXiv公司 链接

参考文献：

[1] 安藤富弘（Tomohiro Ando）和蔡鲁伊（Ruey Tsay）。贝叶斯模型选择和平均的预测可能性。国际预测杂志，26（4）：744–7632010。
[2] 让·巴比尔（Jean Barbier）、尼古拉斯·马克里斯（Nicolas Macris）、穆罕默德·迪亚（Mohamad Dia）和弗洛伦特·科扎卡拉（Florent Krzakala）。随机线性估计中近似消息传递的互信息和最优性。arXiv预印arXiv:1701.058232017。
[3] Mohsen Bayati和Andrea Montanari。密集图形上消息传递的动力学，以及压缩感知的应用。IEEE信息理论汇刊，57（2）：764–7852011·Zbl 1366.94079号
[4] Jan F Bjornstad公司。预测可能性：综述。《统计科学》，第242-254页，1990年·Zbl 0955.62517号
[5] 伯拉克·C·阿克马克和曼弗雷德·奥珀。近似推理的期望传播：自由概率框架。CoRR，abs/1801.054112018。统一资源定位地址http://arxiv.org/abs/1801.05411。
[6] David L Donoho、Arian Maleki和Andrea Montanari。压缩感知的消息传递算法。《美国国家科学院院刊》，106（45）：18914–18919，2009年。
[7] Jerome Friedman、Trevor Hastie和Rob Tibshirani。广义线性模型的坐标下降正则化路径。统计软件杂志，33（1）：12010·Zbl 1109.62302号
[8] Gene H Golub、Michael Heath和Grace Wahba。广义交叉验证是一种选择良好脊线参数的方法。技术计量学，21（2）：215–2231979·Zbl 0461.62059号
[9] Yoshiyuki Kabashima。一种基于置信传播的CDMA多用户检测算法。《物理学报A：数学与概论》，36（43）：111112003·兹比尔1081.94509
[10] Yoshiyuki Kabashima和Mikko Vehkaper。使用线性观测的期望一致近似进行信号恢复。信息理论（ISIT），2014 IEEE国际研讨会，第226-230页。IEEE，2014年。
[11] 巴拉吉·克里希纳普拉姆（Balaji Krishnapuram）、劳伦斯·卡林（Lawrence Carin）、马里奥·菲格雷多（Mario AT Figueiredo）和亚历山大·哈丁克（Alexander J Hartemink）。稀疏多项式logistic回归：快速算法和泛化界限。IEEE模式分析和机器智能事务，27（6）：957-9682005。
[12] Yann LeCun、L´eon Bottou、Yoshua Bengio和Patrick Haffner。基于梯度的学习应用于文档识别。IEEE会议记录，86（11）：2278–23241998。28
[13] M.利奇曼。UCI机器学习库，2013年。统一资源定位地址http://archive.ics.uci.edu/毫升。
[14] 小渊聪。MLR上ACV的Matlab包。https://github.com/T-Obuchi网址/加速CVonMLR_matlab，2017年。
[15] 小渊聪（Tomoyuki Obuchi）和川岛美久（Yoshiyuki Kabashima）。套索及其加速度的交叉验证。统计力学杂志：理论与实验，2016（5）：53304–533392016·Zbl 1459.62140号
[16] 小渊聪、池田喜郎、秋山和川崎美久。加速全变差交叉验证及其在超分辨率成像中的应用。公共科学图书馆，12（12）：e01880122017。
[17] 曼弗雷德·奥珀和奥利·温特。前馈神经网络中贝叶斯学习的平均场方法。物理评论信件，76（11）：19641996。
[18] 曼弗雷德·奥珀和奥利·温特。大型前馈神经网络中贝叶斯学习的平均场算法。《神经信息处理系统进展》，第225-231页，1997年。
[19] 曼弗雷德·奥珀和奥利·温特。高斯过程和SVM：平均场结果和忽略，第43-65页。麻省理工学院，2000年10月。ISBN 0262194481。麻省理工学院出版社（MIT出版社）可在谷歌图书上找到。
[20] 曼弗雷德·奥珀和奥利·温特。分类的高斯过程：平均场算法。神经计算，12（11）：2655–2684，2000b。
[21] 曼弗雷德·奥珀和奥利·温特。自适应和自平均理论——用于概率建模的安德森-帕默平均场理论。物理评论E，64（5）：0561312001a·兹比尔1022.68606
[22] Manfred Opper和Ole Winther。概率模型的可追踪近似：自适应理论-安德森-帕默平均场方法。《物理评论快报》，86（17）：36952001b·Zbl 1022.68606号
[23] 曼弗雷德·奥珀和奥利·温特。期望一致的近似推断。机器学习研究杂志，6（12月）：2177–22042005·Zbl 1222.68278号
[24] 卡米亚尔·拉纳马·拉德（Kamiar Rahnama Rad）和阿里安·马利基（Arian Maleki）。通过近似leave-on-out对样本外预测误差进行可扩展估计。arXiv预印arXiv:1801.102432018。
[25] 马克·施密特。基于l1正则化的图形模型结构学习。不列颠哥伦比亚大学，2010年。
[26] 高桥高桥和小渊聪。MLR.https://github.com/T-Obuchi/AcceleratedCVonMLR_Python上的ACV Python包，2017年·Zbl 1241.82082号
[27] David J Thouless、Philip W Anderson和Robert G Palmer。“自旋玻璃的可解模型”的解。哲学杂志，35（3）：593-6011977。29
[28] 哈斯蒂·特雷弗（Hastie Trevor）、蒂比拉尼·罗伯特（Tibshirani Robert）和弗里德曼·杰罗姆（Friedman Jerome）。统计学习的要素；数据挖掘、推断和预测。Springer-Verlag纽约，2009.doi:10.1007/978-0-387-84858-7·Zbl 1273.62005年
[29] 弗拉基米尔·瓦普尼克（Vladimir Vapnik）和奥利维尔·夏贝尔（Olivier Chapelle）。支持向量机的误差期望界。神经计算，12（9）：2013–20362000。
[30] 王帅文、周文达、陆海浩、阿里安·马利基和瓦哈布·米罗尼。用于高维快速参数调整的近似忽略。arXiv预印arXiv:1807.026942018。
[31] Hui Zou和Trevor Hastie。通过弹性网进行规则化和变量选择。《皇家统计学会杂志：B辑（统计方法）》，67（2）：301–320，2005年·Zbl 1069.62054号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。