川崎平冈;滨田俊彦;Gen Hori（将军） 非正态统计模型基于自密度比的适当估计的充要条件。 （英语） Zbl 1439.62206号 神经网络。 98, 263-270 (2018). 小结：在适当的假设下，获得了非正态统计模型的基于密度比的估计量的最大族。它们不需要对概率密度函数（PDF）进行归一化，因为它们基于相同PDF在不同点的密度比；因此，乘法归一化常数抵消了。与大多数现有工作相比，这里给出了一个单独的充要条件，而不仅仅是用于适当估计标准的充分条件。该条件意味着，在当前情况下，具有数据相关噪声的扩展Bregman发散框架（Gutmann&Hirayama，2011）给出了最大的适当标准族。只要满足一些温和的条件，这种适当性就会产生一致的估计。本研究表明，上述框架为扩展Hyvärinen分数匹配的尝试提供了一个“上限”，因此为这一方向的研究提供了一种视角。 引用于1文件 MSC公司： 62M45型 神经网络及从随机过程推断的相关方法 62甲12 多元分析中的估计 68T05年 人工智能中的学习和自适应系统 关键词：非规范化统计模型;一致性;分数匹配;非本地评分规则;自密度比 软件：达奇 PDF格式BibTeX公司 XML格式引用 \textit{K.Hiraoka}等人，神经网络。98、263--270（2018年；Zbl 1439.62206） 全文： 内政部 参考文献： [1] Attias，H.，图形模型的变分贝叶斯框架，神经信息处理系统的进展，1209-215（2000） [2] Bengio，Y.、Courville，A.C.和Vincent，P.（2012）。无监督特征学习和深度学习：综述和新观点。在arXiv中：1206.5538；Bengio，Y.、Courville，A.C.和Vincent，P.（2012）。无监督特征学习和深度学习：综述和新观点。输入arXiv:1206.5538 [3] J.本吉奥。；杜恰姆，R。；文森特，P。；Jauvin，C.，神经概率语言模型，机器学习研究杂志（JMLR），31137-1155（2003）·Zbl 1061.68157号 [4] Besag，J.，《非晶格数据的统计分析》，《统计学家》，第24、3、179-195页（1975年） [5] Bickel，J.E.，《二次、球面和对数评分规则之间的一些比较》，《决策分析》，第4、2、49-65页（2007年） [6] Bickel，S.、Bogojeska，J.、Lengauer，T.和Scheffer，T.（2008）。HIV治疗筛查的多任务学习。在程序。关于机器学习的int.conf; Bickel，S.、Bogojeska，J.、Lengauer，T.和Scheffer，T.（2008）。HIV治疗筛查的多任务学习。在程序。关于机器学习的int.conf [7] Brègman，L.M.，寻找凸集公共点的松弛方法及其在凸规划问题求解中的应用，苏联计算数学和数学物理，7，3，200-217（1967） [8] Carreira-Perpigñan，M.á.和Hinton，G.E.（2005）。关于对比发散学习。在程序。人工智能与统计国际会议，AISTATS，第5卷; Carreira Perpigñán，M.Á.和Hinton，G.E.（2005）。关于对比发散学习。在程序。人工智能与统计国际会议，AISTATS，第5卷 [9] Delman，A.，使用蒙特卡罗模拟的矩方法，计算与图形统计杂志，14，8，1771-1800（2002） [10] 艾姆·W。；Gneiting，T.，《二级本地正确评分规则》，《统计年鉴》，40，1，609-637（2012）·Zbl 1246.86013号 [11] Fishman，G.S.，《蒙特卡罗：概念、算法和应用》（1996），施普林格-弗拉格出版社·Zbl 0859.65001号 [12] Frigyik，B.A。；Srivastava，S。；Gupta，M.R.，函数Bregman散度和分布的贝叶斯估计，IEEE信息理论汇刊，54，11，5130-5139（2008）·Zbl 1319.62137号 [13] Geyer，C.J.，《关于蒙特卡洛最大似然计算的收敛性》，《皇家统计学会杂志》。B系列：统计方法，56，1，261-274（1994）·Zbl 0784.62019号 [14] 贾昆塔，M。；希尔德布兰特，S.，变分法I（1995），施普林格 [15] （Godambe，V.P.，《估算函数》，牛津统计科学系列，第7卷（1991年），克拉伦登出版社）·Zbl 0745.00006号 [16] Grünwald，P.D。；Dawid，A.P.，博弈论，最大熵，最小差异和稳健贝叶斯决策理论，《统计年鉴》，32，4，1367-1433（2004）·Zbl 1048.62008号 [17] Gutmann，M.U.和Hirayama，J.（2011年）。Bregman散度作为估计非正规统计模型的一般框架。在程序。人工智能中的不确定性; Gutmann，M.U.和Hirayama，J.（2011年）。Bregman散度作为估计非正规统计模型的一般框架。在程序。人工智能中的不确定性 [18] Gutmann，M.U.和Hyvärinen，A.（2010年）。噪声控制估计：非正规统计模型的一种新的估计原理。在程序。人工智能和统计国际会议，AISTATS，第9卷; Gutmann，M.U.和Hyvärinen，A.（2010年）。噪声控制估计：非正规统计模型的一种新的估计原理。在程序。人工智能和统计国际会议，AISTATS，第9卷 [19] Gutmann，M.U。；Hyvärinen，A.，《非正规统计模型的噪声对比估计及其在自然图像统计中的应用》，《机器学习研究杂志》（JMLR），第13期，第307-361页（2012年）·兹比尔1283.62064 [20] Gutmann，M.U.和Hyvärinen，A.（2013a）。未经数值积分的非正规统计模型的估计。在程序。科学与工程信息理论方法研讨会，WITMSE2013; Gutmann，M.U.和Hyvärinen，A.（2013a）。未经数值积分的非正规统计模型的估计。在程序。科学与工程信息理论方法研讨会，WITMSE2013 [21] Gutmann，M.U。；Hyvärinen，A.，《自然图像统计的三层模型》，《生理学杂志》（巴黎），107，5，369-398（2013） [22] Haykin，S.，《神经网络和学习机器》（2008），普伦蒂斯·霍尔 [23] Hido，S.、Tsuboi，Y.、Kashima，H.、Sugiyama，M.和Kanamori，T.（2008）。通过直接密度比估计进行基于内点的离群点检测。在程序。IEEE数据挖掘国际会议; Hido，S.、Tsuboi，Y.、Kashima，H.、Sugiyama，M.和Kanamori，T.（2008）。通过直接密度比估计进行基于内点的离群点检测。在程序。IEEE数据挖掘国际会议 [24] Hinton，G.E.，《通过最小化对比差异来培训专家产品》，《神经计算》，第14期，1771-1800页（2002年）·Zbl 1010.68111号 [25] 辛顿，G.E。；Osindero，S。；Teh，Y.，深度信念网络的快速学习算法，神经计算，18527-1554（2006）·Zbl 1106.68094号 [26] Hiraoka，K.、Hamada，T.和Hori，G.（2014）。基于自密度比的非正态统计模型的估计。在IEEE声学、语音和信号处理国际会议，ICASSP 2014; Hiraoka，K.、Hamada，T.和Hori，G.（2014）。基于自密度比的非正态统计模型的估计。在IEEE声学、语音和信号处理国际会议，ICASSP 2014 [27] Hyvärinen，A.，通过分数匹配估计非标准化统计模型，机器学习研究杂志（JMLR），6695-709（2005）·Zbl 1222.62051号 [28] Hyvärinen，A.，分数匹配的一些扩展，计算统计与数据分析，51，2499-2512（2007）·Zbl 1161.62326号 [29] Kappen，H.J。；Rodríguez，F.B.，Boltzmann机器中学习的平均场方法，实践中的模式识别V，18，11-13，1317-1322（1997） [30] 科勒，D。；弗里德曼，N。；盖托，L。；Taskar，B.，简而言之的图形模型，（统计关系学习导论（2007），麻省理工学院出版社），13-55·Zbl 1141.68054号 [31] 科斯特，美国。；Hyvärinen，A.，用分数匹配估计自然刺激的双层模型，神经计算，222308-2333（2010）·Zbl 1205.68292号 [32] Lee，J.，（光滑流形简介。光滑流形介绍，数学研究生教材，第218卷（2012），Springer）·Zbl 1258.53002号 [33] Lehmann，E.L。；Casella，G.，点估计理论（1998），Springer·Zbl 0916.62017号 [34] Li，S.Z.，图像分析中的马尔可夫随机场建模（2009），施普林格·兹比尔1183.68691 [35] Liang，K.-。；Zeger，S.L.，《在存在干扰参数的情况下基于估计函数的推断》，《统计科学》，10，2，158-173（1995）·兹比尔0955.62558 [36] Lyu，S.（2009）。分数匹配的解释和概括。在程序。人工智能中的不确定性; Lyu，S.（2009）。分数匹配的解释和概括。在程序。人工智能中的不确定性 [37] M.帕里。；Dawid，A.P。；Lauritzen，S.，《正确的地方评分规则》，《统计年鉴》，40，1561-592（2012）·Zbl 1246.62011年 [38] Pihlaja，M.、Gutmann，M.U.和Hyvärinen，A.（2010年）。非正规统计模型的一系列计算效率高且简单的估计量。在程序。人工智能中的不确定性; Pihlaja，M.、Gutmann，M.U.和Hyvärinen，A.（2010年）。非正规统计模型的一系列计算效率高且简单的估计量。在程序。人工智能中的不确定性 [39] Rangarajan，A。；Chellappa，R.，《图像处理中的马尔可夫随机场模型》（The manual of brain theory and neural networks，1995），麻省理工学院出版社，564-567 [40] 罗宾斯，G。；帕蒂森，P。；Kalish，Y。；Lusher，D.，社交网络指数随机图（p*）模型简介，社交网络，29，2，173-191（2007） [41] Roux，N.L。；Bengio，Y.，受限Boltzmann机器和深信念网络的表征能力，神经计算，201631-1649（2008）·Zbl 1140.68057号 [42] Shimodaira，H.，通过加权对数似然函数改进协变量移位下的预测推断，《统计规划与推断杂志》，90，227-244（2000）·Zbl 0958.62011号 [43] Sohl-Dickstein，J.、Battaglino，P.和DeWeese，M.（2011年）。最小概率流学习。在程序。关于机器学习的int.conf; Sohl-Dickstein，J.、Battaglino，P.和DeWeese，M.（2011年）。最小概率流学习。在程序。关于机器学习的int.conf [44] 斯托基，A。；Sugiyama，M.，协变量移位的混合回归，神经信息处理系统进展，193337-1344（2007） [45] 杉山，M。；Kawanabe，M。；Chui，P.L.，高维空间中密度比估计的降维，神经网络，23，44-59（2010）·Zbl 1401.62097号 [46] 杉山，M。；Krauledat，M。；Müller，K.-R.，通过重要性加权交叉验证的协变量移位适应，机器学习研究杂志（JMLR），8，985-1005（2007）·Zbl 1222.68313号 [47] 杉山，M。；铃木，T。；Kanamori，T.，《机器学习中的密度比估计》（2012），剑桥大学出版社·Zbl 1274.62037号 [48] Sugiyama，M.、Takeuchi，I.、Suzuki，T.、Kanamori，T.和Hachiya，H.（2009）。最小二乘条件密度估计。在技术报告中，TR09-0004，东京理工大学计算机科学系。；Sugiyama，M.、Takeuchi，I.、Suzuki，T.、Kanamori，T.和Hachiya，H.（2009）。最小二乘条件密度估计。在技术报告中，TR09-0004，东京理工大学计算机科学系。 [49] 铃木，T。；Sugiyama，M.，独立分量分析的平方损失互信息估计，（独立分量分析和信号分离（2009），Springer），130-137·Zbl 1301.62060号 [50] 铃木，T.和杉山，M.（2009b）。通过平方损失互信息估计进行充分的降维。在技术报告中，TR09-0005，东京理工大学计算机科学系。；铃木，T.和杉山，M.（2009b）。通过平方损失互信息估计进行充分的降维。在技术报告中，TR09-0005，东京理工大学计算机科学系·Zbl 1269.62054号 [51] 铃木，T。；杉山，M。；Kanamori，T。；Sese，J.，《相互信息估计揭示了刺激与生物过程之间的全球关联》，BMC生物信息学，10，S52（2009） [52] 铃木，T.、杉山，M.、塞斯，J.和卡纳莫利，T.（2008）。通过最大似然密度比估计来逼近互信息。在JMLR车间和conf.proc。; 铃木，T.、杉山，M.、塞斯，J.和卡纳莫利，T.（2008）。通过最大似然密度比估计来逼近互信息。在JMLR车间和conf.proc。 [53] Tanaka，T.，Boltzmann机器学习的Mean-field理论，物理评论E，58，2，2302-2310（1998）·兹比尔1318.62262 [54] Zadrozny，B.（2004年）。在样本选择偏差下学习和评估分类器。在程序。关于机器学习的int.conf; Zadrozny，B.（2004年）。在样本选择偏差下学习和评估分类器。在程序。关于机器学习的int.conf 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。