×
戴林林；卡尼·陈；李刚；林媛媛

通过交叉验证进行度量学习。 （英语） Zbl 1524.62173号

统计正弦。 32，编号3，1701-1721（2022）.
摘要：在本文中，我们提出了一个交叉验证度量学习一种学习多因次模型降维距离度量的方法。我们最小化了一个leave-on-out交叉验证型损失函数，其中未知链接函数由基于度量的核平滑函数近似。据我们所知，我们是第一个在度量学习框架中降低多因次模型维数的人。结果度量包含关于中心平均子空间和最优核平滑带宽的关键信息。在对预测器设计的弱假设下，我们建立了估计方向的一致性和收敛速度以及带宽的最佳速度的渐近理论。此外，我们开发了一种新的估计方法来确定中心平均子空间的结构维数。通过采用基于快速梯度的算法，所提出的方法在数值上相对容易实现。各种实证研究表明，与其他现有方法相比，它具有优势。

MSC公司：

62克08 非参数回归和分位数回归
62克07 密度估算
62甲12 多元分析中的估计
6220国集团 非参数推理的渐近性质

关键词：

多重诱导模型；非参数回归；充分降维
PDF格式BibTeX公司 XML格式引用
\textit{L.Dai}等人，Stat.Sin。32，编号3，1701---1721（2022；Zbl 1524.62173）
全文： 内政部

参考文献：

[1] Akritas，M.G.（2016）。投影寻踪多指标（PPMI）模型。统计师。可能性。莱特。第114页，第99-103页·Zbl 1360.62308号
[2] Alquier，P.和Biau，G.（2013年）。稀疏单指标模型。J.马赫。学习。第14号决议，243-280·Zbl 1320.62177号
[3] Bellet，A.、Habrard，A.和Sebban，M.（2013）。特征向量和结构化数据的度量学习综述。arXiv预打印arXiv:1306.6709。
[4] Bura，E.（2003年）。使用线性平滑器评估回归的结构维度。统计师。Sinica中国13，143-162·Zbl 1017.62034号
[5] Bura，E.和Cook，R.D.（2001a）。通过参数反回归估计回归的结构维度。J.R.统计社会服务。B统计方法。63, 393-410. ·Zbl 0979.62041号
[6] Bura，E.和Cook，R.D.（2001b）。扩展切片反向回归：加权二次方检验。J.Amer。统计师。协会96，996-1003·Zbl 1047.62035号
[7] Cannings，T.I.和Samworth，R.J.（2017年）。随机投影集合分类。J.R.统计社会服务。B统计方法。79, 959-1035. ·Zbl 1373.62301号
[8] Carroll，R.J.、Fan，J.、Gijbels，I.和Wand，M.P.（1997年）。广义部分线性单指数模型。J.Amer。统计师。协会92，477-489·Zbl 0890.62053号
[9] Chen，D.，Hall，P.和Müller，H.-G.（2011）。具有非参数链接的单指标和多指标函数回归模型。安。统计师。39, 1720-1747. ·Zbl 1220.62040号
[10] Conn，D.和Li，G.（2019年）。高维非参数回归Nadaraya-Watson核估计的预言性质。扫描。J.统计。46, 735-764. ·Zbl 1435.62142号
[11] 库克，R.D.（1998年）。重温了赫森校长的指示。J.Amer。统计师。协会93，84-94·Zbl 0922.62057号
[12] Cook，R.D.和Li，B.（2002年）。回归中条件均值的降维。安。统计师。30, 455-474. ·Zbl 1012.62035号
[13] Cook，R.D.和Li，B.（2004）。确定迭代Hessian变换的维数。安。统计师。32, 2501-2531. ·Zbl 1069.62033号
[14] Cook，R.D.和Ni，L.（2005年）。通过逆回归进行充分降维：一种最小差异方法。J.Amer。统计师。协会100，410-428·Zbl 1117.62312号
[15] Cortes，C.和Vapnik，V.（1995年）。支持向量网络。马赫。学习。20, 273-297. ·Zbl 0831.68098号
[16] Cover T.和Hart，P.（1967年）。最近邻模式分类。IEEE传输。通知。理论13，21-27·Zbl 0154.44505号
[17] Dalalyan，A.S.、Juditsky，A.和Spokoiny，V.（2008）。一种估计有效降维子空间的新算法。J.马赫。学习。1647-1678年第9号决议·Zbl 1225.62091号
[18] Goldberger，J.、Roweis，S.、Hinton，G.和Salakhutdinov，R.（2005）。邻域成分分析。《NIPS进展17》（L.K.Saul、Y.Weiss和L.Bottou编辑），513-520。麻省理工学院出版社，剑桥。
[19] 霍尔，P.（1989）。关于投影寻踪回归。安。统计师。17, 573-588. ·Zbl 0698.62041号
[20] Härdle，W.和Stoker，T.M.（1989）。用平均导数方法研究平滑多元回归。J.Amer。统计师。协会84，986-995·Zbl 0703.62052号
[21] Härdle，W.、Hall，P.和Ichimura，H.（1993）。单指标模型中的最佳平滑。安。统计师。21, 157-178. ·Zbl 0770.62049号
[22] Hristache，M.、Juditsky，A.、Polzehl，J.和Spokoiny，V.（2001）。结构自适应降维方法。安。统计师。29, 1537-1566. ·Zbl 1043.62052号
[23] Li，K.-C.（1991）。用于降维的分段逆回归（含讨论）。J.Amer。统计师。协会86，316-342·Zbl 0742.62044号
[24] Li，K.C.（1992年）。关于数据可视化和降维的主要Hessian方向：Stein引理的另一个应用。J.Amer。统计师。协会87，1025-1039·Zbl 0765.62003年
[25] Luo，R.、Wang，H.和Tsai，C.L.（2009）。轮廓投影尺寸缩减。安。统计师。37, 3743-3778. ·Zbl 1360.62184号
[26] Luo，W.和Li，B.（2016）。结合特征值和特征向量的变化来确定订单。生物特征103，875-887·Zbl 1506.62304号
[27] Ma，Y.和Zhu，L.P.（2012）。降维的半参数方法。J.Amer。统计师。协会107，168-179·Zbl 1261.62037号
[28] Ma，Y.和Zhu，L.（2014）。关于中心平均子空间的估计效率。J.R.统计社会服务。B统计方法。第76885-901页·Zbl 1411.62104号
[29] Noh，Y.K.、Sugiyama，M.、Kim，K.E.、Park，F.和Lee，D.D.（2017）。核回归的生成局部度量学习。《NIPS进展30》（由I.Guyon、U.V.Luxburg、S.Bengio、H.Wallach、R.Fergus、S.Vishwanathan和R.Garnett编辑），2452-2462。Curran Associates，蒙特利尔。
[30] Samarov，A.M.（1993）。使用非参数函数估计探索回归结构。J.Amer。统计师。协会88，836-847·Zbl 0790.62035号
[31] Shao，Y.、Cook，R.D.和Weisberg，S.（2007年）。用分段平均方差估计进行边际检验。生物医学94285-296·Zbl 1133.62032号
[32] Wang，H.和Xia，Y.（2008）。用于降维的分段回归。J.Amer。统计师。协会103，811-821·Zbl 1306.62168号
[33] Weinberger，K.Q.、Blitzer，J.和Saul，L.K.（2006）。大幅度最近邻分类的距离度量学习。《NIPS进展》18（Y.Weiss、B.Scholkopf和J.Platt编辑），1478-1480年。麻省理工学院出版社，剑桥。
[34] Weinberger，K.Q.和Saul，L.K.（2009）。大幅度最近邻分类的距离度量学习。J.马赫。学习。207-244年第10号决议·Zbl 1235.68204号
[35] Weinberger，K.Q.和Tesauro，G.（2007年）。用于核回归的度量学习。AISTATS国际会议记录，612-619。
[36] Xia，Q.，Xu，W.和Zhu，L.（2015）。在多变量波动率建模中持续确定因子数量。统计师。Sinica中国25，1025-1044·Zbl 1415.62067号
[37] Xia，Y.（2007）。一种估计降维方向的构造性方法。安。统计师。35, 2654-2690. ·Zbl 1360.62196号
[38] Xia，Y.（2008）。多因次模型和降维。J.Amer。统计师。协会103，1631-1640·Zbl 1286.62021号
[39] 夏毅、童宏、李维凯和朱丽霞（2002）。降维空间的自适应估计（附讨论）。J.R.统计社会服务。B统计方法。64, 363-410. ·Zbl 1091.62028号
[40] Xing，E.P.、Jordan，M.I.、Russell，S.J.和Ng，A.Y.（2003）。远程度量学习，应用于带有副信息的集群。《NIPS进展15》（S.Becker、S.Thrun和K.Obermayer编辑），521-528。麻省理工学院出版社，剑桥。
[41] Ye，Z.和Weiss，R.E.（2003）。使用引导程序选择一种新的降维方法。《美国统计杂志》。协会98，968-979·Zbl 1045.62034号
[42] Yin，X.和Cook，R.D.（2006年）。通过回归中的边际高阶矩进行降维。统计师。可能性。莱特。76, 393-400. ·Zbl 1118.62059号
[43] Zhang，S.、Guo，B.、Dong，A.、He，J.、Xu，Z.和Chen，S.X.（2017）。关于北京空气质量改善的警示故事。程序。数学。物理学。工程科学。473, 20170457.
[44] 朱丽萍和朱丽霞（2007）。切片平均方差估计的核方法。《多元分析杂志》。98, 970-991. ·Zbl 1113.62044号
[45] Zhu，L.P.，Yu，Z.和Zhu L.X.（2010）。半参数回归中的稀疏特征分解估计。计算。统计师。数据分析。54, 976-986. ·兹比尔1464.62202
[46] 朱丽霞、缪碧琴、彭浩（2006）。关于具有大维协变量的分层逆回归。J.Amer。统计师。协会101，630-643·Zbl 1119.62331号
[47] Zhu，Y.和Zeng，P.（2006）。估计回归中中心子空间和中心平均子空间的傅里叶方法。J.Amer。统计师。协会1011638-1651·Zbl 1171.62325号
[48] 朱，X，郭，X，王，T和朱，L.X（2020）。维数确定：阈值-双脊比方法。计算。统计师。数据分析。146, 106910. ·Zbl 1510.62200号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。