×
亚历山大·布林斯基;阿列克谢·科泽文

混合模型互信息的统计估计。 （英语） Zbl 1477.62074号

卫理公会。计算。申请。普罗巴伯。 23，第1期，123-142（2021）.
摘要：在混合模型框架中，对互信息的各种统计估计建立了渐近无偏性和（L^2）-一致性。这些模型很重要，例如，对于医疗和生物数据的分析。基本上采用了条件香农熵的研究以及用于微分香农熵统计估计的新结果。对不同参数的logistic回归模型进行了计算机模拟，得到了理论结果。数值实验表明，作者提出的新统计量具有一定的优势。

引用于1文件

MSC公司：

62G05型 非参数估计
6220国集团 非参数推理的渐近性质
62J05型 线性回归；混合模型
60层25 \（L^p\）-极限定理

关键词：

混合模型;相互信息;统计估计渐近行为
PDF格式BibTeX公司 XML格式引用
\textit{A.Bulinski}和\textit{A.Kozhevin}，Methodol。计算。申请。普罗巴伯。23，编号1，123--142（2021；Zbl 1477.62074）
全文： 内政部

参考文献：

[1] Balagani，K。；Phoha，V.，《基于多维互信息近似的特征选择标准》，IEEE Trans Pattern Anal Mach-Intell，32，7，1342-1343（2010）·doi:10.1109/TPAMI.2010.62
[2] Bennasar，M。；希克斯，Y。；Setchi，R.，《使用联合互信息最大化的特征选择》，《专家系统应用》，42，8520-8532（2014）·doi:10.1016/j.eswa.2015.07.007
[3] Berrett TB，Samworth RJ，Yuan M（2016）通过k-最近邻距离进行高效多元熵估计。arXiv公司：160600304·Zbl 1473.62177号
[4] 比奥，G。；Devroy，L.，最近邻法讲座（2015），纽约：Springer-Verlag，纽约·兹比尔1330.68001 ·doi:10.1007/978-3-319-25388-6
[5] Bulinski A，Dimitrov D（2019a）Kullback-Leibler散度的统计估计。arXiv:190700196·Zbl 1411.60049号
[6] Bulinski A，Dimitrov D（2019b）香农熵的统计估计。数学学报中英文系列35:17-46·Zbl 1411.60049号
[7] 布林斯基，A。；Kozhevin，A.，分层样本MDR-EFE方法的修改，Stat，Optim-Inf-Comput，5，1-18（2017）·doi:10.19139/soic.v5i1.277
[8] Bulinski A，Kozhevin A（2018）条件Shannon熵的统计估计。ESAIM：《概率与统计》第1-35页，在线发布：11月28日。https://doi.org/10.1051.ps.2018026 ·Zbl 1418.60026号
[9] 科埃略，F。；布拉加。；Verleysen，M.，应用于特征选择和分类问题的连续变量和离散变量的互信息估计器，国际计算国际系统杂志，9，4，726-733（2016）·doi:10.1080/18756891.2016.1204120
[10] Delatre S，Fournier N（2017）关于Kozachenko-Leonenko熵估计。统计规划与推断杂志185·Zbl 1359.62098号
[11] Doquire G，Verleysen M（2012）特征选择的互信息估计器比较。In：程序。第一届模式识别应用和方法国际会议，第176-185页。doi:10.5220/0003726101760185
[12] 法瓦蒂，P。；洛蒂，G。；Romani，F.，Algorithm 691:Improveing quadpack automatic integration routines，ACM跨数学软件，17，218-232（1991）·Zbl 0900.65050号 ·doi:10.1145/108556.108580
[13] Fleuret，F.，带条件互信息的快速二进制特征选择，J Mach Learn Res，41531-1555（2004）·Zbl 1222.68200号
[14] Gao W，Kannan S，Oh S，Viswanath P（2017）《离散混合物的相互信息估计》。In:第31届神经信息处理系统会议，美国加利福尼亚州长滩，第1-12页
[15] Hoeffing，W.，有界随机变量和的概率不等式，J Amer Statist Assoc，58，301，13-30（1963）·Zbl 0127.10602号 ·doi:10.1080/01621459.1963.10500830
[16] Kozachenko，L。；Leonenko，N.，随机向量熵的样本估计，Probl-Inf-Transm，2395-101（1987）·Zbl 0633.62005号
[17] Kraskov，A。；Stögbauer，H。；Grassberger，P.，估计相互信息，Phys Rev E，69066138（2004）·doi:10.1103/PhysRevE.69.066138
[18] 马其顿，F。；奥利维拉，R。；帕切科，A。；Valadas，R.，基于互信息的前向特征选择方法的理论基础，神经计算，32567-89（2019）·doi:10.1016/j.neucom.2018.09.077
[19] 马萨隆，L。；Boschetti，A.，《与蟒蛇的回归分析》（2016），伯明翰：Packt Publishing Ltd.，伯明罕
[20] Nair C、Prabhakar B、Shah D（2007）离散变量和连续变量混合物的熵。arXiv:0607075v2
[21] NovovičováJ，Somol P，Haind M，Pudin P（2007），分类任务中基于条件互信息的特征选择。收录：Ruedz M D L，Kittler J（编辑）CIARP 2007，LNCS，第4756卷。柏林斯普林格·弗拉格，第417-426页
[22] 潘宁斯基，L.，熵和互信息的估计，神经计算。，15, 1191-1253 (2003) ·Zbl 1052.62003年 ·doi:10.1162/089976603321780272
[23] 彭，H。；长，F。；丁，C.，基于最大相关性、最大相关性和最小冗余的互信息准则的特征选择，IEEE Trans。模式分析。机器。智力。，27, 1226-1238 (2005) ·doi:10.1109/TPAMI.2005.159
[24] 韦加拉，J。；Estévez，P.，基于互信息的特征选择方法综述，神经计算应用，24175-186（2014）·doi:10.1007/s00521-013-1368-0
[25] Verleysen M，Rossi F，Franécois D（2009）《利用互信息进行特征选择的进展》。arXiv:09090635v1
[26] Yeh，J.，《真实分析：计量与整合理论》（2014），新加坡：世界科学出版社，新加坡·Zbl 1301.26002号 ·doi:10.1142/9037
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。