×

基于正定核的条件均值嵌入和最优特征选择。 (英文) Zbl 07770138号

摘要:受应用的启发,我们考虑了条件平均嵌入(CME)的新的算子理论方法。我们目前的结果将基于谱分析的优化方案与核函数、随机过程和构造性学习算法相结合。对于初始给定的非线性数据,我们考虑基于优化的特征选择。这需要在通过学习模型的回归算法构建最佳特征选择时使用核的凸集。因此,对于训练数据的初始输入(适用于合适的学习算法),每次选择核(K)都会产生各种希尔伯特空间和特征实现。我们工作的一个新方面是在正定核的指定凸集上包含二次优化过程,从而确定“最佳”特征表示。

MSC公司:

47N10号 算子理论在最优化、凸分析、数学规划、经济学中的应用
47A52型 线性算子和不适定问题,正则化
47B32型 再生核Hilbert空间(包括de Branges、de Branges-Rovnyak和其他结构空间)中的线性算子
42A82型 单变量谐波分析中的正定函数
42立方厘米 一般谐波膨胀,框架
62甲12 多元分析中的估计
62J07型 岭回归;收缩估计器(拉索)
65J20型 抽象空间中不适定问题的数值解;正规化
68T07型 人工神经网络与深度学习
90C20个 二次规划
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] N.Aronszajn,再生内核理论,Trans。阿默尔。数学。Soc.68(1950),第3期,337-404·Zbl 0037.20701号
[2] J.Cerviño,J.A.Bazerque,M.Calvo-Fullana,A.Ribeiro,通过交叉学习再生内核Hilbert空间中的多任务强化学习,IEEE Trans。信号处理。69 (2021), 5947-5962. https://doi.org/10.109/TSP.2021.3122303
[3] N.Dunford,J.T.Schwartz,线性算子。第二部分,威利经典图书馆,约翰·威利父子公司,纽约,1988年·兹比尔0635.47002
[4] S.Grünewälder,G.Lever,L.Baldassarre,S.Patterson,A.Gretton,M.Pontil,作为回归变量的条件平均嵌入,[见:]第29届机器学习国际会议论文集,威斯康星州麦迪逊,美国,2012,ICML'121803-1810。
[5] D.He,J.Cheng,K.Xu,通过基于核的条件平均依赖进行高维变量筛选,J.Statist。计划。推论224(2023),27-41。https://doi.org/10.1016/j.jspi.2022.10.002 ·Zbl 1502.62044号
[6] P.Jorgensen,F.Tian,《非交换分析》,世界科学出版有限公司,新泽西州哈肯萨克,2017年·兹比尔1371.46003
[7] P.Jorgensen,F.Tian,高斯过程的分解,正定核的因式分解,Opuscula Math。39(2019),第4期,497-541。https://doi.org/10.7494/OpMath.2019.39.4.497 ·Zbl 1443.47085号
[8] P.Jorgensen,F.Tian,正定核的实现和分解,J.Theoret。普罗巴伯。32(2019),第4期,1925-1942。https://doi.org/10.1007/s10959-018-0868-3 ·Zbl 07120204号
[9] P.Jorgensen,F.Tian,《正定核采样和相关二分法》,Adv.Theor。数学。物理学。24(2020年),第1期,第125-154页。https://doi.org/10.4310/ATMP.2020.v24.n1.a4 ·Zbl 07432960号
[10] P.Jorgensen,F.Tian,《再生核:谐波分析及其应用》,应用。计算。哈蒙。分析。52 (2021), 279-302. https://doi.org/10.1016/j.acha.2020.03.001 ·Zbl 07328475号
[11] P.Jorgensen,F.Tian,无限维分析——希尔伯特空间中的算子;《通过表象和对偶理论的随机微积分》,世界科学出版有限公司,新泽西州哈肯萨克,2021年·Zbl 1487.46001号
[12] P.Jorgensen,F.Tian,以(L^2)-空间的形式再现核和相关特征空间的选择,J.Math。分析。申请。505(2022),第2期,125535。https://doi.org/10.1016/j.jmaa.2021.125535 ·Zbl 1493.47032号
[13] P.E.T.Jorgensen,M.-S.Song,J.Tian,正定核,算法,框架和近似,(2021),arXiv:2104.11807。
[14] I.Klebanov,I.Schuster,T.J.Sullivan,条件平均嵌入的严格理论,SIAM J.Math。数据科学。第2期(2020年),第3期,583-606·兹比尔1493.46043
[15] T.Lai,Z.Zhang,Y.Wang,基于核的条件平均依赖性度量,计算。统计师。数据分析。160(2021),论文编号107246。https://doi.org/10.1016/j.csda.2021.107246 ·Zbl 07422737号
[16] 黎涛,张志忠,王毅,孔立刚,用角度协方差检验函数变量的独立性,《多元分析杂志》。182(2021),论文编号104711。https://doi.org/10.1016/j.jmva.2020.104711 ·兹比尔1465.62082
[17] Y.J.Lee,C.A.Michelli,J.Yoon,《关于多元离散最小二乘法》,J.近似理论211(2016),78-84。https://doi.org/10.1016/j.jat.2016.07.005 ·Zbl 1358.41005号
[18] G.Lever,J.Shawe-Taylor,R.Stafford,C.Szepesvári,基于模型的强化学习的压缩条件均值嵌入,AAAI’16:第三十届AAAI人工智能会议论文集(2016),1779-1787。
[19] D.K.Lim,N.U.Rashid,J.G.Ibrahim,《无监督亚型发现的RNA-seq数据的基于模型的特征选择和聚类》,Ann.Appl。《统计》第15卷(2021年),第1期,第481-508页。https://doi.org/10.1214/20-aoas1407 ·Zbl 1475.62259号
[20] C.-K.Lu,P.Shafto,条件深高斯过程:多精度核学习,熵2021,23(11),1545。https://doi.org/10.3390/e2311545
[21] E.Mehmanchi,A.Gómez,O.A.Prokopyev,通过分数0-1编程解决一类特征选择问题,Ann.Oper。第303号决议(2021年),第265-295页。https://doi.org/10.1007/s10479-020-03917-w网址 ·Zbl 1480.90239号
[22] C.A.Michelli,M.Pontil,Q.Wu,D.-X.Zhou,学习内核的误差界限,Anal。申请。(新加坡)14(2016),第6期,849-868·Zbl 1392.68357号
[23] P.Niyogi、S.Smale和S.Weinberger,《无监督噪声数据学习的拓扑视图》,SIAM J.Compute。40(2011),第3期,646-663。https://doi.org/10.1137/09076293 ·Zbl 1230.62085号
[24] J.Park,K.Muandet,核条件平均嵌入的测量理论方法,arXiv:2002.03689。
[25] S.Ray Chowdhury,R.Oliveira,F.Ramos,通过贝叶斯优化主动学习条件均值嵌入,[in:]J.Peters,D.Sontag(eds),《第36届人工智能不确定性会议论文集》,PMLR,2020年,《机器学习研究论文集》第124卷,1119-1128。
[26] S.Smale,Y.Yao,《在线学习算法》,Found。计算。数学。6 (2006), 145-170. https://doi.org/10.1007/s10208-004-0160-z ·Zbl 1119.68098号
[27] S.Smale,D.-X.Zhou,概率空间几何,Constr。约30(2009年),311-323。https://doi.org/10.1007/s00365-009-9070-2 ·兹比尔1187.68270
[28] P.Xu,Y.Wang,X.Chen,Z.Tian,COKE:以通信为中心的分散式核心学习,J.Mach。学习。第22号决议(2021年),论文编号196·Zbl 07626711号
[29] Y.Zhang,Y.-C.Chen,核平滑,均值漂移,以及他们的定向数据学习理论,J.Mach。学习。第22号决议(2021年),论文编号154·Zbl 07415097号
[30] 赵P.,赖L.,最小最大速率最优自适应最近邻分类与回归,IEEE Trans。通知。理论67(2021),第5期,3155-3182·Zbl 1473.62232号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。