×
尤金·恩迪亚耶;一郎武内

计算共形预测集的寻根方法。 （英语） Zbl 07694482号

机器。学习。 112，编号1，151-176（2023）.
概要：保角预测基于先前对响应和特征的相同分布和可交换的观察，为特征向量的未观测响应构建置信集。它在任何名义水平上都有覆盖率保证，而不需要对其分布进行额外假设。令人遗憾的是，它的计算需要对目标响应的所有替代候选进行重新调整。在回归设置中，这对应于无限数量的模型拟合。除了可以写成响应的线性函数片段的相对简单的估计量之外，高效计算此类集合是困难的，并且仍然被视为一个开放的问题。我们利用这个事实，经常共形预测集是一种区间，其边界可以用经典的寻根算法有效地逼近。我们研究了这种方法如何克服以前使用的策略的许多局限性；我们讨论了它的复杂性和缺点。

引用于2文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

预测集;不确定性量化;无分销;推理;保角预测;可靠性

软件：

共形推理;科学Py;蟒蛇;Scikit公司
PDF格式BibTeX公司 XML格式引用
\textit{E.Ndiaye}和\textit{I.Takeuchi}，马赫。学习。112，第1号，151--176（2023；Zbl 07694482）
全文： 内政部 arXiv公司

参考文献：

[1] Allgower，E.L.和Georg，K.（2012年）。数值延拓方法：简介。斯普林格·兹比尔0717.65030
[2] Angelopulos，A.、Bates，S.、Malik，J.和Jordan，M.（2020年）。使用保角预测的图像分类器的不确定性集。在ICLR中。
[3] Arlot，S。；Celisse，A.，《模型选择交叉验证程序调查》，《统计调查》，第4期，第40-79页（2010年）·Zbl 1190.62080号 ·doi:10.1214/09-SS054
[4] 巴赫，F。；Jenatton，R。；Mairal，J。；Obozinski，G.，《稀疏诱导惩罚的优化》，机器学习的基础和趋势，4，1-106（2012）·Zbl 06064248号 ·doi:10.1561/220000015
[5] Balasubramanian，V.、Ho，S.-S.和Vovk，V.（2014）。可靠机器学习的保角预测：理论、自适应和应用。爱思唯尔·Zbl 1290.68003号
[6] 理发师，RF；坎迪斯，EJ；A.拉姆达斯。；Tibshirani，RJ，用折刀+进行预测推断，《统计年鉴》，49，486-507（2021）·Zbl 1461.62050 ·doi:10.1214/20-AOS1965
[7] Bates，S.、Angelopulos，A.、Lei，L.、Malik，J.和Jordan，M.（2021a）。无分布、风险控制预测集。arXiv预印本arXiv：2101.02703·Zbl 1499.68301号
[8] Bates，S.、CandèS，E.、Lei，L.、Romano，Y.和Sesia，M.（2021b）。用保角p值测试异常值。arXiv预打印arXiv:2104.08279
[9] Bousquet，O.和Bottou，L.（2008）。大规模学习的权衡。在NeurIPS中。
[10] Carlsson，L.、Eklund，M.和Norinder，U.（2014年）。聚合保角预测。
[11] Cella，L.和Ryan，R.（2020年）。有效的无分布预测推理模型。arXiv预打印arXiv:2001.09225·Zbl 07611303号
[12] 常，Y-C；Hung，W-L，LINEX损失函数及其在确定最佳工艺参数中的应用，质量与数量，41，291-301（2007）·doi:10.1007/s11135-005-5425-3
[13] Chen，W。；Chun，K-J；Barber，RF，有效无分布推理的离散保角预测，Stat，7，e173（2018）·Zbl 07851061号 ·doi:10.1002/sta4.173
[14] Chernozhukov，V.、Wüthrich，K.和Zhu，Y.（2018）。具有相关数据的预测机器学习的精确和鲁棒保角推理方法。在学习理论会议上。
[15] 切尔诺朱科夫，V。；Wüthrich，K。；Zhu，Y.，一种用于反事实和合成控制的精确和稳健的保角推理方法，美国统计协会杂志，1161849-1864（2021）·Zbl 1506.62246号 ·doi:10.1080/01621459.2021.1920957
[16] Cox，DR，《用于评估显著性水平的数据分割注释》，Biometrika，62，441-444（1975）·Zbl 0309.62014号 ·doi:10.1093/biomet/62.2.441
[17] Fisch，A.、Schuster，T.、Jaakkola，T.和Barzilay，R.（2021）。带有辅助任务的少量共形预测。在ICML中。
[18] Gammerman，A.、Vovk，V.和Vapnik，V.（1998年）。通过转导学习。第十四届人工智能不确定性会议论文集。
[19] Gärtner，B.、Jaggi，M.和Maria，C.（2012年）。正则化路径复杂性的指数下限。计算几何杂志·Zbl 1404.68103号
[20] Giesen，J.、Jaggi，M.和Laue，S.（2010年）。近似参数化凸优化问题。在欧洲算法研讨会上·Zbl 1287.90074号
[21] Gruber，M.（2010年）。回归估计：一项比较研究。JHU出版社·Zbl 1216.62100号
[22] Ho、S-S；Wechsler，H.，通过转导进行查询，IEEE模式分析和机器智能汇刊，301557-1571（2008）·doi:10.10109/TPAMI.2007.70811
[23] Hoerl，AE，岭分析在回归问题中的应用，化学工程进展，58，54-59（1962）
[24] 霍尔，AE；Kennard，RW，Ridge回归：非正交问题的有偏估计，技术计量学，1255-67（1970）·Zbl 0202.17205号 ·网址：10.1080/00401706.1970.10488634
[25] Holland，M.J.（2020年）。使用一致性绩效预测使学习更加透明。arXiv预打印arXiv:2007.04486。
[26] Kalnay，E。；Kanamitsu，M。；Kistler，R。；柯林斯，W。；迪文，D。；甘丹，L。；Iredell，M。；萨哈，S。；白色，G。；Woollen，J.，NCEP/NCAR 40年再分析项目，美国气象学会公报，77，437-472（1996）·doi:10.1175/1520-0477（1996）077<0437:TNYRP>2.0.CO；2
[27] Kim，B。；徐，C。；Barber，R.，《自举之后，预测推理不需要折刀+》，《神经信息处理系统的进展》，33，4138-4149（2020）
[28] 拉克沙马尔，R。；Falkman，G.，《感应共形异常检测用于异常亚轨道的顺序检测》，《数学与人工智能年鉴》，74，67-94（2015）·Zbl 1331.68186号 ·doi:10.1007/s10472-013-9381-7
[29] Lehmann，E.L.和Romano，J.P.（2006年）。测试统计假设。斯普林格科学·2018年6月17日
[30] Lei，J.，使用分段线性同伦的Lasso快速精确保形，生物矩阵，106，749-764（2019）·Zbl 1437.62278号 ·doi:10.1093/biomet/asz046
[31] Lei，J。；G'Sell，M。；里纳尔多，A。；RJ Tibshirani；Wasserman，L.，回归的无分布预测推断，美国统计协会杂志，1131094-1111（2018）·Zbl 1402.62155号 ·doi:10.1080/016214519.2017.1307116
[32] Linusson，H.、Norinder，U.、Boström，H.，Johansson，U.和Löfström，T.（2017）。关于聚合共形预测因子的校准。保角和概率预测及应用。
[33] Mairal，J.和Yu，B.（2012年）。拉索正则化路径的复杂性分析。在ICML中。
[34] Ndiaye，E.、Le，T.、Fercoq，O.、Salmon，J.和Takeuchi，I.（2019）。具有最佳复杂性的安全网格搜索。在ICML中。
[35] Ndiaye，E.和Takeuchi，I.（2019年）。用近似同伦计算全保角预测集。在NeurIPS中。
[36] Nouretdinov，I.、Melluish，T.和Vovk，V.（2001）。岭回归置信机。在ICML中。
[37] Obozinski，G.和Bach，F.（2016）。凸结构稀疏性的统一观点：层次、对称、子模范数及其以外。HAL Id:HAL-01412385，版本1。
[38] Papadopoulos，H.、Proedrou，K.、Vovk，V.和Gammerman，A.（2002年）。回归的归纳置信机。在欧洲机器学习会议上·Zbl 1014.68514号
[39] 佩德雷戈萨，F。；瓦罗佐，G。；Gramfort，A.公司。；米歇尔，V。；蒂里昂，B。；O.格栅。；布隆德尔，M。；普雷滕霍弗，P。；韦斯，R。；杜堡，V。；范德普拉斯，J。；帕索斯，A。；库纳波，D。；布鲁彻，M。；佩罗，M。；Duchesnay，E.，Scikit-learn:Python中的机器学习，《机器学习研究杂志》，第12期，第2825-2830页（2011年）·Zbl 1280.68189号
[40] 秦，T。；刘，T-Y；Li，H.，信息检索措施直接优化的一般近似框架，信息检索，13375-397（2010）·doi:10.1007/s10791-009-9124-x
[41] Romano，Y.、Patterson，E.和Candes，E.J.（2019年）。保形分位数回归。在NeurIPS中。
[42] Shafer，G.和Vovk，V.（2008年）。保角预测教程。机器学习研究杂志·Zbl 1225.68215号
[43] Tibshirani，R.，《通过套索进行回归收缩和选择》，《皇家统计学会期刊：B辑（方法学）》，58267-288（1996）·Zbl 0850.62538号
[44] Virtanen，P。；戈默斯，R。；奥列芬特，TE；哈伯兰，M。；Reddy，T。；库纳波，D。；Burovski，E。；彼得森，P。；Weckesser，W。；Bright，J。；范德沃尔特，SJ；布雷特，M。；Wilson，J。；KJ Millman；北马约罗夫。；纳尔逊，ARJ；Jones，E。；Larson，E。；CJ Carey；伊利诺伊州波拉特。；Feng，Y。；摩尔，EW；范德普拉斯，J。；拉萨尔德，D。；佩克托尔德，J。；Cimrman，R。；亨利克森，I。；昆特罗，EA；哈里斯，CR；阿奇博尔德，AM；里贝罗，AH；佩德雷戈萨，F。；van Mulbregt，P.等人。；SciPy 1.0贡献者，SciPy 1.0:Python中科学计算的基本算法，自然方法，17，261-272（2020）·doi:10.1038/s41592-019-0686-2
[45] Vovk，V.，《跨规范预测》，《数学和人工智能年鉴》，74,9-28（2015）·Zbl 1331.68195号 ·doi:10.1007/s10472-013-9368-4
[46] Vovk，V.、Gammerman，A.和Shafer，G.（2005）。随机世界中的算法学习。斯普林格·Zbl 1105.68052号
[47] Vovk，V.、Shen，J.、Manokhin，V.和Xie，M.（2017）。基于保角预测的非参数预测分布。保角和概率预测及应用。
[48] 谢浩。；Huang，J.，高维部分线性模型中的SCAD惩罚回归，《统计年鉴》，37673-696（2009）·Zbl 1162.62037号 ·doi:10.1214/07-AOS580
[49] Xu，C.，&Xie，Y.（2021）。动态时间序列的保角预测区间。在ICML中。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。