总结

我们基于竞争模型之间的差异度量,为假设检验和模型选择引入了客观合理的先验分布;我们叫他们基于分歧的(DB)之前。DB先验具有简单的形式和理想的属性,如信息(有限样本)一致性,通常与其他现有建议类似,如内在先验。此外,在正常的线性模型场景中,他们精确地再现了杰弗里斯-泽尔纳-西奥的先验。最重要的是,在不规则模型和混合模型等具有挑战性的场景中,DB优先级定义明确且非常合理,而备选方案则不然。我们推导了DB先验函数的近似值以及马尔可夫链蒙特卡罗和相关贝叶斯因子的渐近表达式。

1.简介

对于数据,具有密度(f)(θ,ν),我们考虑假设检验问题

H(H)1:θ=θ0H(H)2:θθ0,
(1)

哪里θ0Θ是已知值。这相当于在模型之间进行选择的模型选择问题:

M(M)1:(f)1(ν1)=(f)(θ0,ν1)M(M)2:(f)2(θ,ν2)=(f)(θ,ν2),
(2)

其中符号反映了以下事实ν1ν2通常表示每个模型中的不同数量。在杰弗里斯的场景中(杰弗里斯(1961),第5章),ν1ν2含义相同;他打过电话θ这个新参数、和ν1ν2这个通用参数(也称为干扰参数)。我们在第4节.

我们的目标是客观贝叶斯这个模型选择问题的解决方案,即不需要先验分布的主观规范。对于模型不确定性问题,贝叶斯方法,特别是客观贝叶斯算法的优点的一个很好的解释是伯杰和佩里奇(2001).

的常用贝叶斯解决方案0k个损失函数(伯杰,1985年)对于问题(1)(或等价地,对于问题(2)),基于后验概率:

公共关系(H(H)1)公共关系(H(H)2)=公共关系(H(H)1)公共关系(H(H)2)B类12,

哪里公共关系(H(H)),=1,2,是假设的先验概率,以及B类12贝叶斯因子对于H(H)1反对H(H)2:

B类12=1()2()=(f)1(ν1)π1(ν1)d日ν1(f)2(θ,ν2)π2(θ,ν2)d日θd日ν2,
(3)

哪里π1(ν1)是前一个H(H)1π2(θ,ν)之前的underH(H)2,即。B类12是模型的边际(平均)可能性的比率。

客观贝叶斯方法通常集中于贝叶斯因子的推导,将先验模型概率(以及后验概率的推导)的最终选择(无论是客观的还是主观的)留给用户。贝叶斯因子被广泛用于杰弗里斯(1961)作为支持模型的证据度量(另请参见伯杰(1985),Berger和Delampady(1987)伯杰和塞尔克(1987));卡斯和拉弗瑞(1995)是审查和应用的良好参考。贝叶斯因子也是模型平均方法的关键要素(参见克莱德(1999)休庭等。(1999)). 在本文的其余部分中,我们集中于推导计算贝叶斯因子的客观先验。

推导客观贝叶斯因子的一个主要问题是:π1(ν1)π2(θ,ν2)用于方程式(3)众所周知,(在固定模型下)估计问题常见的不恰当客观先验(或非信息先验)在存在模型不确定性时通常严重不足,通常会产生任意答案。(研究了有趣的例外情况伯杰等。(1998)当然,当不能使用不恰当的先验信息时,使用任意模糊(但适当的)先验信息并不能解决问题,通常情况下甚至更糟。在实践中经常遇到的另一个糟糕的解决方案是使用明显“无害”、无害但武断的适当先验,因为它可以以意料之外的方式严重控制可能性(并且无法针对高维问题进行调查)。

当没有足够的信息可用于可靠的主观评估时,有两种计算贝叶斯因子的基本方法π1(ν1)π2(θ,ν2)一种非常成功的方法是直接推导客观贝叶斯因子本身,通常通过各种“训练”和校准从通常的客观不适当先验中获得的未标度贝叶斯因数(参见伯杰和佩里奇(2001)供审查和参考)。然而,所有这些客观的贝叶斯因子最终都应进行检查,以对应(近似)从合理先验中导出的真实贝叶斯因素。另一种方法是寻找“形式规则”来构建“客观”但适当的先验,这些先验具有良好的性质,适合用于模型选择;然后根据这些客观固有先验值计算贝叶斯因子。然后,可以根据所使用的先验信息的充分性直接判断这些贝叶斯因子是否合适。

模型不确定性场景中先验分布的选择在很大程度上仍是一个悬而未决的问题,只有部分答案是已知的。已经提出了几种用于一般场景的方法:算术内在先验(伯杰和佩里奇,1996年;莫雷诺等。, 1998); 分数阶内禀先验函数(O'Hagan,1995年;De Santis和Spezzaferri,1999年;伯杰和莫特拉,1999年); 预期后验(佩雷斯和伯杰,2002年); 单位信息优先级(Kass和Wasserman,1995年)和预测匹配的先验值(易卜拉欣和劳德,1994年;劳德和易卜拉欣,1995年;伯杰等。, 1998;伯杰和佩里奇,2001年). 在线性模型的特定上下文中,Jeffreys–Zellner–Siow(JZS)prior是广泛使用的具有良好属性的prior(杰弗里斯,1961年;Zellner和Siow,1980年、1984年;巴亚里和加西亚-多纳托,2007年). 一个有趣的概括是-前科(等。, 2008).

所有这些方法都很有见地,提供了许多有趣和有用的想法,并且在许多测试和模型选择问题中表现得很好。尽管如此,除了非常具体的线性模型场景外,似乎没有人研究杰弗里斯(1961)开创性的提议(见结尾第2节). 事实上,他是第一个对假设检验的客观先验进行一般推导的人,旨在概括他关于检验正态均值的建议。鉴于线性模型之前Jeffreys测试的推广成功(Zellner和Siow,1980年、1984年;巴亚里和加西亚-多纳托,2007年)令人惊讶的是,他的一般性建议没有被采纳。我们认为进行这项调查具有重要的历史意义,我们在本文中就是这样做的。

具体来说,我们推广了Jeffreys的开创性建议,并使用竞争模型之间的差异度量来推导所需(适当)的先验。我们称这些为院长基于分歧的(DB)之前。主要动机是将有用的JZS先验推广到除正常线性模型以外的场景中,同时扩展Jeffreys的一般建议。我们将证明,在线性模型上下文中,DB先验确实是JZS先验;它们也与其他流行的建议(算术内禀、分数内禀或预期后验先验)一样容易推导(而且往往比它们更容易),在许多情况下与它们非常相似;最有趣的是,在所有其他提案都失败的某些情况下,它们都得到了很好的定义。然而,正如这里所定义的,我们的建议仅适用于嵌套模型(如问题(2)),而其他建议(如分数和内在方法)则没有此限制。

为了表达的清晰,我们首先考虑没有干扰参数的情况。一般情况的发展要等到第4节,一旦引入了基本思想,并在这个简单得多的场景中研究了DB prior的行为附录A.

2.基于差异的先验知识

首先假设问题没有干扰参数:

M(M)1:(f)1()=(f)(Şθ0)M(M)2:(f)2(Şθ)=(f)(θ),
(4)

即更简单的模型(M(M)1)不涉及未知参数;因此,仅为θ在下面M(M)2需要。我们删除了上一节中的子索引,并通过以下简单方式表示这样的先验π(θ)很明显,π(θ)必须正确。

我们的DB建议书θ将根据竞争模型之间的差异度量(f)(θ0)(f)(θ)基于Kullback–Leibler(KL)定向发散

K(K)L(左)[θ0:θ]=[日志{(f)(θ)}日志{(f)(θ0)}](f)(θ)d日
(5)

(假设连续简单起见)。当然,还可以探索其他分歧衡量标准。我们的特定选择不仅受其理想属性的指导,还因为它导致了Jeffreys测试先验的推广。

我们不直接使用KL发散来定义DB先验,因为它的参数不对称,因此可能会导致非对称先验;然而,对称的散度度量可以通过求和(这是Jeffreys的选择)或KL散度的极小值来导出。我们定义

D类S公司[θ,θ0]=K(K)L(左)[θ:θ0]+K(K)L(左)[θ0:θ]
(6)

D类M(M)[θ,θ0]=2最小值{K(K)L(左)[θ:θ0],K(K)L(左)[θ0:θ]}.
(7)

我们将定义中的最小值乘以2D类M(M)使这两项措施的规模相同;事实上,在一些对称模型中(比如在正常情况下)方程式(7)方程式(6)重合。KL的推广,D类S公司D类M(M)要包含边际参数,请参见第4节。请注意D类M(M)即使其中一个定向KL发散点不存在,也会得到很好的定义,这就是竞争模型具有不同支持的情况。除了这些不正常的情况,D类S公司定义明确,推导起来比D类M(M)。要遵循的大多数派生和属性对两者都是通用的D类S公司D类M(M)。为了避免冗长的重复,我们只需使用D类指代其中任何一个。我们只在必要时使用上标S或M。

我们的建议是基于分歧的统一度量,D类¯,我们认为是D类除以有效样本数 n个,D类¯=D类/n个在简单的单变量独立同分布(IID)数据中,有效样本大小等于标量数据点的数量,但通常不需要这样。事实上,在复杂的情况下,这可能是一个困难的概念;尽管文献中已经有多次尝试将其形式化(参见示例保勒(1998),保勒等。(1999)伯杰等。(2008)),似乎没有公认的定义。在本文的所有示例中,很明显n个应该是这样的,所以对于这个介绍性分析,我们依赖于简单直观的解释。

2.1动机:标量位置参数

假设是来自单变量位置族的随机样本(f)(θ).有人争论过(Berger和Delampady,1987年;伯杰和塞尔克,1987年)在对称问题中Θ=R(右),客观测试之前π(θ)在下面H(H)2:θθ0应为单峰且对称θ0这些先验信息防止了对H(H)2。因此,我们寻找合适的π(θ)在这个简单的场景中,它具有这些理想的特性,并且很容易推广到其他情况。

如前所述,让D类¯成为单一的对称发散。我们对测试优先级的基本建议是π(θ)小时(D类¯[θ,θ0]),其中小时是一个适当选择的递减函数。我们建议使用小时q个(t吨)=(1+t吨)q个对于特定的选择q个,即

q个=q个_+12,q个_=inf公司{q个0:小时q个(D类¯[θ,θ0])d日θ<}.
(8)

因此,小时(t吨)=(1+t吨)q个,我们建议在此位置问题之前使用DB

πD类(θ)小时(D类¯[θ,θ0]),
(9)

其中规范化常数定义良好。向量值的推广θ是微不足道的。请注意q个¯直接定义小时不能保证产生正确的先验。我们的具体建议小时q个和用于添加12q个¯,被选为在正常语境中重现之前的著名JZS;此外,这些选择会导致具有重尾的密度,这是测试先验的理想特性。

它很容易从D类那个πD类(θ)是单峰的,周围对称θ0,从而在这些位置问题中获得所需的属性。

2.2一般参数

假设更一般的问题(4),并让πN个(θ)成为客观的(通常是不恰当的)“估计”先验(例如参考、不变量、Jeffreys或统一先验)θ,并让ξ是这样一种转变πN个(ξ)=1对于ξ=ξ(θ)。然后我们可以在θ通过考虑ξ作为“位置参数”,应用定义(9),并转换回θ。此转换最初由提出杰弗里斯(1961),第3章。伯纳多(2005)将其与之前的引用一起使用πN个对于标量θ并指出ξ渐进地表现为位置参数。我们稍后将说明,我们不需要显式推导它。

ξ位置参数之前的数据库导致

πD类(ξ)小时(D类¯[ξ,ξ0]),
(10)

如前所述,D类¯[ξ,ξ0]表示之间的“单位”(对称)差异(f)(ξ)(f)(ξ0)、和ξ0=ξ(θ0).由于D类¯在重新参数化下θ

πD类(θ)小时(D类¯[ξ(θ),ξ(θ0)])|J型θ(θ)|小时(D类¯[θ,θ0])πN个(θ),
(11)

只要πN个在变换下也是不变的;J型(θ)是相应的雅可比矩阵。我们现在可以正式定义提议的DB优先级。我们首先对它们进行一般性定义,然后针对我们建议的特定选择进行定义。

定义1(一般DB之前)。对于模型选择问题(4),让D类¯[θ,θ0]是之间分歧的统一度量(f)(Şθ)(f)(Şθ0)。也让πN个(θ)是一个客观(可能不恰当)的估计θ在复杂模型下M(M)2,并让小时q个()是一个递减函数,由q个>0.定义

q个=q个_+12,q个_=inf公司{q个0:小时q个(D类¯[θ,θ0])πN个(θ)d日θ<}.

如果q个<,让小时=小时q个并在下定义数据库M(M)2作为

πD类(θ)小时(D类¯[θ,θ0])πN个(θ).
(12)

注意,根据定义,DB prior要么不存在,要么是正确的(因此它们不涉及任意常量)。还要注意转换的显式派生ξ这样的话πN个(ξ)=1需要定义数据库优先级。

定义1非常通用,因为D类¯,小时q个πN个可以探索(以及不同的选择0<δ<1在里面q个=q个_+δ。我们给出了一些具体的选择,这些选择在一定程度上是基于先前的探索和结果的期望属性πD类然而,我们的具体选择主要是为了在正常情况下重现JZS先验,因此我们对DB先验的建议可以作为JZS优先于非正常情况的扩展来考虑。在以下内容中,我们采用D类要么是D类S公司在里面方程式(6)D类M(M)在里面方程式(7)、和小时(t吨)=(1+t吨)q个.

定义2(之前的总金额和最低DB)。之前的总和DBπS公司以及之前的最小DBπM(M)是定义1中给出的DB优先级小时q个(t吨)=(1+t吨)q个D类分别是D类S公司(请参见方程式(6))和D类M(M)(请参见方程式(7)).

可以很容易地表明,对于常规问题(其中D类¯S公司<),存在πM(M)意味着πS公司反之亦然。一般来说,我们建议使用sum DB优先πS公司当它存在时,不仅因为它比之前的最小DB更容易计算πM(M)但也因为它有更好的行为。有关更完整的参数,请参见巴亚里和加西亚·多纳托(2008).

总和和最小DB优先级的定义基于两者的特定选择

  • (a)

    “目标优先”πN个估计问题和

  • (b)

    等效样本量n个.

当然,文献中对这些概念中的任何一个都没有一个单一的定义达成一致(可能永远不会)。我们认为,任何明智的建议都会产生良好的结果,但这需要进一步调查。我们建议在可能的情况下使用参考优先权(伯杰和伯纳多,1992年)和同等样本量伯杰等。(2008)(我们一般不建议常规使用naiven个=n个除非没有更好的选项。)

现在,我们使用符号研究一般DB prior的一些吸引人的属性πD类涵盖定义2中规定的两种类型的优先权。

2.2.1基于分歧的先验信息的局部行为

假设θk个维度的。很容易检查,当πN个(θ)=1(就像什么时候一样θ是位置参数),则模式为πD类θ0(所以πD类以最简单的模型为中心)。我们还可以利用KL散度和Fisher信息之间的以下(众所周知的)近似关系(参见库尔贝克(1968),第2章):针对θ在…附近θ0,

K(K)L(左)[θ0,θ]12(θθ0)T型J型(θ0)(θθ0),

哪里J型(θ0)预期费希尔信息矩阵的评估θ0因此,在θ0,数据库先前的行为大致类似于k个多元学生分布,以θ0,按比例缩放n个J型(θ0)1/(2q个k个)2q个k个自由度,即。πD类(θ)标准k个{θ0,n个J型(θ0)1/d日,d日},其中d日=2q个k个此外,根据q个,d日上面的值通常接近于1,那么DB先验值将近似为柯西分布。如中所示第4.3.2节,上述近似值在正常情况下完全适用d日=1因此,DB之前准确复制了JZS提案。

2.2.2一对一变换下的不变性

一个重要的问题是,在对问题进行重新参数化时,DB优先级是否不变。假设ξ=ξ(θ)是一对一单调映射ξ:θθξ.模型选择问题(4)现在变成

M(M)1:(f)1()=(f)(ξ0)M(M)2:(f)2(ξ)=(f)(ξ),
(13)

哪里(f){ξ(θ)}=(f)(θ)ξ0=ξ(θ0)下一个结果显示,如果πN个在重新参数化下是不变的ξ(θ)DB之前的版本也是如此。

提议1。πθD类(θ)πξD类(ξ)分别表示原始(4)和重新参数化(13)问题的DB优先级。如果πθN个{θ}πξN个{ξ(θ)}|J型ξ(θ)|,其中J型ξ是转换的雅可比矩阵,那么πθD类(θ)=πξD类{ξ(θ)}|J型ξ(θ)|ξ.

在命题1的条件下,从DB先验值计算的Bayes因子不受重新参数化的影响。值得注意的是,DB先验的不变性是所用散度测度不变性和πN个.一些客观先验πN个在重新参数化下不变的是Jeffreys先验和(部分)参考先验。

2.2.3与充分统计的兼容性

DB prior有时通过足够的统计数据与数据缩减兼容。其他客观贝叶斯方法(如固有贝叶斯因子)不具备这一吸引人的特性(尽管如果贝叶斯因素直接从固有先验中导出,则该特性成立)。

提议2。t吨=t吨()是足够的统计数据θ在里面(f)(θ)带分发(f)(t吨Şθ).假设πN个n个在定义的问题中保持不变(f)然后是之前的DBπD类对于原始问题(4),与减少(通过充分性)测试问题之前的DB相同

M(M)1:(f)1(t吨)=(f)(t吨θ0)M(M)2:(f)2(t吨θ)=(f)(t吨θ).
(14)

这个证明很容易,而且被省略了。

2.2.4基于差异的先验和Jeffreys的一般规则

杰弗里斯(1961)提出了测试非正态均值情况的客观正确先验。具体来说,当是大小的随机样本n个,对于单变量θ,他之前提出了以下模型测试:

πJ型(θ)=1πd日d日θ棕褐色的1(D类S公司[θ,θ0]n个)1/2=1π(1+D类S公司[θ,θ0]n个)1d日d日θ(D类S公司[θ,θ0]n个)1/2.
(15)

当杰弗里斯的柯西建议θ是正常平均值。此外,当|θθ0|很小,πJ型(θ)可以近似为πJ型(θ)1/π(1+D类¯S公司[θ,θ0])1πN个J型(θ),其中πN个J型(θ)是Jeffreys(估计)的先验(即预期Fisher信息的平方根)。

请注意πJ型可能会导致不正确的先验,并且可能不适用于多变量参数。然而,上述近似值是DB prior定义的主要灵感,它们之间有明显的相似性。

3.比较示例:简单零模型

本着伯杰和佩里奇(2001)在本节中,我们研究了DB prior在一系列情况下的性能,这些情况被选为更广泛类别的统计问题的代表。我们还明确推导了贝叶斯假设测试中客观先验的成熟备选方案,并将其性能与DB先验进行了比较。我们表明,在简单的标准情况下,DB prior具有非常好的属性,并产生与这些备选方案类似的结果。更有趣的是,在这些建议失败的更复杂的情况下(具有不规则渐近或不适当可能性的模型),DB先验是定义良好且非常合理的。

我们计算并比较了用DB先验函数导出的贝叶斯因子,以及用两个最常用的通用客观先验函数推导的贝叶斯模型选择贝叶斯系数,即

  • (a)

    算术内在先验,πA类(θ)=πN个(θ)E类θM(M)2{B类12N个()},其中贝叶斯因子B类N个用客观估计先验值计算πN个、和是最小尺寸的假想样本0<2N个()<、和

  • (b)
    分数固有先验,
    πF类(θ)=πN个(θ)经验[E类θM(M)2日志{(f)(θ0)}]经验[E类θM(M)2日志{(f)(θ~)}]πN个(θ~)d日θ~.

在IID样本情况下,πA类产生算术固有贝叶斯因子(伯杰和佩里奇,1996年)、和πF类这个分数贝叶斯因子(O'Hagan,1995年)如果似然指数为b条=/n个对于固定(请参见De Santis和Spezaferri(1999)). 根据的建议伯杰和佩里奇(2001),我们采取最小训练样本的大小.

在本节的示例中,是IID样本n个(f)(θ)并且除非另有规定,n个=n个(n个表示有效样本量)。我们让B类12S公司表示有利于H(H)1使用计算πS公司(见定义2);B类12M(M),B类12A类B类12F类定义类似。

为了进行比较,我们研究了贝叶斯因子的一个理想属性,当使用共轭先验计算它们时,这些属性通常会失败(参见伯杰和佩里奇(2001)). 很自然,对于任何给定的样本量,B类120作为反对更简单模型的证据M(M)1变得势不可挡。当这个属性成立时,我们说贝叶斯因子是证据一致(或有限样本一致)。我们还调查了不同贝叶斯因子的行为,作为支持M(M)1生长。

3.1比例参数(示例1)

我们首先考虑一个测试比例参数的简单示例。具体来说,我们认为这些数据是IID指数,平均值为μ,即。(f)(μ)=(1/μ)经验(/μ)对于>0μ>0,我们想测试H(H)1:μ=μ0  H(H)2:μμ0.在这里πN个(μ)=μ1,且DB优先级计算为

πS公司(μ){1+(μμ0)2μμ0}1/2μ1,πM(M)(μ)(1+D类¯M(M)[μ,μ0])/2μ1,

哪里

D类¯M(M)[μ,μ0]={2{日志(μ/μ0)(μμ0)/μ}如果μ>μ0,2{日志(μ0/μ)(μ0μ)/μ0}如果μμ0.

引理1给出了内在先验(证明很简单,省略了)。

引理1。算术和分数固有先验是

πA类(μ)=μ01(1+μ/μ0)2,πF类(μ)=μ01经验(μ/μ0).

四个优先项如所示图1测试时μ0=5它们都有相似的形状。(适当的)DB先验具有0的渐近线,这对于尺度参数的客观先验很常见;有点不寻常的形状πM(M)是由于特定的参数化(使用日志(μ)生成更熟悉的形状)。

图1。

(a)πS公司(),πM(M)(),πA类()πF类()用于指数测试μ0和(b)上限B类120(n个,π)贝叶斯因子的函数n个对于之前的πS公司(),πM(M)(),πA类()πF类()

一些有趣的特性值得注意(记住,没有力矩和重尾是测试先验的理想特性)。

  • (a)

    在对数刻度中πM(M)πS公司周围对称(单峰)日志(μ0)这符合Berger和Delampady(1987)伯杰和塞尔克(1987)提案,自日志(μ)是(渐近地)一个位置参数。

  • (b)

    所有四个前题都是正确的。

  • (c)

    算术内禀和DB先验都没有矩;分数包含所有的矩。

  • (d)

    πM(M)尾巴最重πF类最薄的。πS公司尾巴比πA类.

  • (e)

    所有四个先验值都“居中”于空值μ0的确,μ0是DB之前和πA类,这是πF类(指数密度)。

巴亚里和加西亚·多纳托(2008),相应的贝叶斯因子B类12针对各种情况进行计算。我们发现四个前驱的结果非常相似B类12S公司B类12A类为模型提供稍微更多的支持M(M)1B类12M(M)B类12F类当数据与兼容时M(M)1.

我们调查证据一致性下一步。很容易证明,如果¯,然后B类120n个,无论使用什么先验来计算贝叶斯因子。以下引理为B类120什么时候¯0。证据出现在附录A.

引理2。B类12π是使用计算的贝叶斯因子π(μ).B类12π0作为¯0,对于所有人n个k个>0当且仅当

01μk个π(μ)d日μ=.
(16)

由此可见,所有四个优先考虑生产证据一致所有人的贝叶斯因素n个1顺便说一句,有趣的是,如果我们使用q个=q个_+δ具有δ>1在定义1中,πS公司不会有一致的证据¯0n个1.

最后,我们研究了B类12作为支持模型的证据M(M)1增长(即¯μ0). 对于这个例子,很容易看出,当¯μ0,B类12,增长到一个常数,B类120(n个,π)比如说,这只取决于n个以及先前使用的。图1我们展示B类120(n个,π)对于所考虑的四个优先事项。可以看出πS公司是产生最大值的先验值B类120对于的所有值n个,与那些πA类紧跟其后。(当然,B类120(n个,π)作为n个.)

3.2位置-比例(示例2)

通常为向量参数定义DB优先级θ作为一个例子,我们接下来考虑一个更常见的例子,即正态分布;这里是二维的θ有两个不同性质的组件(位置和规模)。具体来说,假设(f)(μ,σ)=N个(μ,σ2),我们想测试H(H)1:(μ,σ)=(μ0,σ0)  H(H)2:(μ,σ)(μ0,σ0).

为了计算DB优先级,我们使用引用优先级πN个(μ,σ)=σ1我们获得之前的总DBπS公司(μ,σ)=πS公司(σ)πS公司(μσ),其中

πS公司(σ)σ(σ04+σ4)1/2(σ02+σ2)1/2,πS公司(μσ)=C类(μμ0,σ04+σ4σ02+σ2),

其中Ca表示柯西密度。在本例中,最小DB优先πM(M)不存在。可以检查到πS公司(μσ)周围对称μ0,它是中的位置参数πS公司(μσ);σ0是中的比例参数πS公司(σ).

接下来导出了形式更简单、尾部更薄的固有先验函数(省略了证明)。

引理3。算术内在先验是πA类(μ,σ)=πA类(σ)πA类(μσ),使用

πA类(σ)=2πσ0σ2+σ02,πA类(μσ)=N个(μμ0,σ2+σ022).

在分数阶固有先验下πF类,μσ是独立的先验的有边缘的

πF类(σ)=N个+(σŞ0,σ022),πF类(μ)=N个(μμ0,σ022),

哪里N个+表示截断为正实线的法向密度。

两个内在先验都是适当的;此外,与之前的总和DB一样,μ0σ0是的位置和比例参数μσσ分别是。分数先验的尾部是最薄的(这种差异对于先验特别显著σ). 中探讨的示例巴亚里和加西亚·多纳托(2008)产生相应的贝叶斯因子B类12S公司B类12A类非常相似,然而B类12F类在某些情况下可能会有明显的不同。

之前的三次,在图2我们显示了σ(图2(b))和的条件分布μ鉴于σ(图2(a)). 可以清楚地看到πF类(σ)尾巴比πA类(σ)πS公司(σ)。此外,的所有条件优先级μ围绕其模式对称μ0,使用πS公司(μσ)有最重的尾巴。注意,算术内禀和DB先验是最相似的;这种行为发生在我们所探索的大多数例子中。

图2。

测试前(μ0,σ0)=(0,1)()条件分布πS公司(图解的),πA类()πF类()属于μ鉴于σ=3和(b)边际分布πS公司(图解的),πA类()πF类()属于σ(这些边缘的对(模式、中位数)为(0.81、1.56)πS公司(0, 1)对于πA类和(0,0.48)用于πF类)

关于贝叶斯因子的证据一致性,很容易证明,当¯,¯S公司(针对模型的证据M(M)1非常强壮),那么B类120,n个,以及所考虑的三个先验。当证据支持模型时M(M)1是最大的(即。(¯,S公司)(μ0,σ0))可以看出,贝叶斯因素有利于M(M)1增长到一定的常数B类121(n个,π),它仅是的函数n个和之前使用的。图3说明了其速率B类121(n个,π)作为n个可以清楚地看到,DB和算术内在先验的行为非常相似,对支持模型的证据更加敏感M(M)1比分数优先,除非n个非常小。

图3。

上限B类121(n个,π)贝叶斯因子的函数n个对于之前的πS公司(),πF类()πA类()

3.3不规则模型(示例3)

有一类重要的模型,其参数空间受数据约束。这些模型没有规则的渐近性,因此基于渐近理论的解决方案(如贝叶斯信息准则BIC)不适用。此外,这些模型对内在方法非常具有挑战性;事实上,正如伯杰和佩里奇(2001),分数贝叶斯因子是完全不合理的(因此分数固有先验是无用的),而算术固有先验(仅针对单边问题推导)是“一种推测”(伯杰和佩里奇(2001),逐字记录). 这里我们采用最简单的此类模型,即位置未知的指数分布。因此,假设(f)(θ)=经验{(θ)},>θ,并且我们想要测试H(H)1:θ=θ0  H(H)2:θθ0。据我们所知,文献中没有针对该测试问题提出客观的先验。

在这些情况下,和对称的KL散度D类S公司[θ,θ0]是∞,所以我们必须使用最小值。可以检查一下D类¯M(M)[θ,θ0]=2|θθ0|这是一个定义明确的分歧。也,πN个(θ)=1自从θ是位置参数。最小DB先验值由下式给出

πM(M)(θ)=12(1+2|θθ0|)/2,θR(右),

相对于θ0(正如预期,因为θ是位置参数);也,πM(M)没有片刻。图4(a)显示πM(M)(θ)什么时候θ0=0.

图4。

(a) 不规则示例πM(M)用于双面测试H(H)1:θ=0和(b)案件的不规则单边测试问题θ0=0(,πM(M);,πA类)

接下来我们将调查任何n个。足够的统计数据是T型=最小值{1,,n个}。事实上B类120,作为T型对于任何(适当的)先前(事实上,B类12=0对于T型<θ0). 下一个引理提供了产生证据一致性之前的充分条件n个,何时T型证明如下附录A.

引理4。π(θ(在模型上)是任何适当的先验M(M)2)和B类12π是相应的贝叶斯因子。如果是某个整数k个>0

θ0经验(k个θ)π(θ)d日θ=,
(17)

然后B类12π0作为T型,n个k个.

从引理3可以得出πM(M)生产证据一致贝叶斯因子n个1.增加证据的行为赞成模型的M(M)1与前一示例非常相似,未进行描述(请参见巴亚里和加西亚·多纳托(2008)详细信息)。

如前所述,文献中似乎没有关于双边测试问题的任何其他建议。然而,伯杰和佩里奇(2001)考虑过“单边测试”版本,即测试H(H)1:θ=θ0  H(H)2:θ>θ0他们推测这个问题的算术内在先验是适当的密度

πA类(θ)=(经验(θθ0)日志{1经验(θ0θ)}1),θ>θ0,

它是一个递减的无界函数θ。我们接下来将此问题之前的最小DB与伯杰和佩里奇(2001)建议。

虽然我们最初的公式似乎是双边测试(见问题(1)),但实际上它足以定义Θ适当地覆盖其他测试情况。例如,在我们的单面测试中,我们Θ=[θ0,)。之前的最小DB为

πM(M)(θ)={1+2(θθ0)}/2,θ>θ0.

可以检查一下πA类满足条件(17)k个=1因此πA类产生证据一致的贝叶斯因子n个1.院长πA类πM(M)显示在图4(b)。我们再次发现DBπM(M)尾巴更厚。

在这种单边测试场景中(与双边测试中的行为形成鲜明对比),贝叶斯因素有利于模型M(M)1对于每个n个>0会增长到∞(而不是取决于n个)作为支持的证据M(M)1生长。的确,B类12什么时候T型θ0+,n个>0,无论使用什么先验值。注意,这里,θ0位于参数空间的边界上。

表1,我们生成用πA类πM(M)什么时候θ0=0对于各种值T型=最小值{1,,n个}、和用于n个=10n个=20。对于较小的值T型(T型<0.20),当证据支持模型时M(M)1,B类12M(M)远大于B类12A类从而为M(M)1。对于更大的值T型(即当数据与模型相矛盾时M(M)1)这两个先验都会产生非常相似的贝叶斯因子。

表1

不规则模型,单侧测试:值B类12对于各种值T型n个以及之前的两次πA类πM(M),测试时θ0=0

T型的结果 n个=10的结果 n个=20
B类12M(M)B类12A类B类12M(M)B类12A类
0.0246.5611.5441.9610.52
0.0516.665.1612.654.04
0.106.832.573.751.50
0.202.191.020.550.28
0.500.160.100.0020.002
10.0020.0012×1072×107
T型的结果 n个=10的结果 n个=20
B类12M(M)B类12A类B类12M(M)B类12A类
0.0246.5611.5441.9610.52
0.0516.665.1612.654.04
0.106.832.573.751.50
0.202.191.020.550.28
0.500.160.100.0020.002
10.0020.0012×1072×107
表1

不规则模型,单侧测试:值B类12对于各种值T型n个以及之前的两次πA类πM(M),测试时θ0=0

T型的结果 n个=10的结果 n个=20
B类12M(M)B类12A类B类12M(M)B类12A类
0.0246.5611.5441.9610.52
0.0516.665.1612.654.04
0.106.832.573.751.50
0.202.191.020.550.28
0.500.160.100.0020.002
10.0020.0012×1072×107
T型的结果 n个=10的结果 n个=20
B类12M(M)B类12A类B类12M(M)B类12A类
0.0246.5611.5441.9610.52
0.0516.665.1612.654.04
0.106.832.573.751.50
0.202.191.020.550.28
0.500.160.100.0020.002
10.0020.0012×1072×107

3.4混合料模型(示例4)

混合模型是客观贝叶斯方法最具挑战性的场景之一。这些模型有不适当的可能性,即没有不适当的先验产生有限边缘密度的可能性(综合可能性)。最近,佩雷斯和伯杰(2001)已使用预期后验(请参见佩雷斯和伯杰(2002))推导客观估计先验,但基本上似乎没有通用的方法来推导客观先验,以便用这些模型进行测试。

然而,散度度量定义得很好(尽管现在更涉及积分),在用于模型选择之前提供了一个合理的DB。我们考虑一个简单的例子。假设

(f)(μ,第页)=第页N个(0,1)+(1第页)N个(μ,1),

和测试H(H)1:μ=0  H(H)2:μ0,其中第页<1已知(如果第页=1,这两个假设定义了相同的模型)。作为伯杰和佩里奇(2001)指出,该问题没有最小训练样本,因此无法定义固有贝叶斯因子。分数贝叶斯因子也不存在。对于这个问题,我们唯一知道的是伯杰和佩里奇(2001)使用的πB类P(P)(μ)=C类(μ0,1).

虽然没有正式的πN个(μ)在这里,πN个(μ)=1通常假设(参见示例佩雷斯和伯杰(2002)). 可以看出πM(M)不存在,但之前的总和DBπS公司确实存在。然而,D类S公司[μ,μ0](因此归一化常数)不能以封闭形式导出。当然可以使用数值程序计算D类S公司,但我们推导了拉普拉斯近似值(参见坦纳(1996)). 由于有效样本量的自然选择是n个=n个(1第页),我们获得

D类¯S公司[μ,μ0]=D类S公司(μ,μ0)n个(1第页)日志[1+{(1第页)/第页}经验(μ2/2)1+{(1第页)/第页}经验(μ2/2)]=D类¯S公司L(左)[μ,μ0],

在给出之前,我们使用它来推导(近似)DB的建议πS公司L(左)(μ){1+D类¯S公司L(左)(μ,μ0)}1,模式为0。

这种近似特别有吸引力,因为它还保留了所建议的散度测度的基本性质,因此πS公司L(左)也可以解释为从定义1派生不同的发散测度D类S公司L(左)该近似的适用性及其一些性质在巴亚里和加西亚·多纳托(2008).

有趣的是,之前πS公司L(左)接近柯西密度,这是伯杰和佩里奇的建议,尽管规模不同。如所示巴亚里和加西亚·多纳托(2008),其中几个关键比较πS公司L(左),其Cauchy近似和伯杰和佩里奇(2001)之前也考虑了。在这个例子中,DB之前(以及Berger和Pericchi提案)再次为所有人生成证据一致的贝叶斯因子n个事实上,可以证明,如果s趋于∞或则无论使用何种先验,相应的贝叶斯因子都趋于0。

4.干扰参数

在本节中,我们将讨论更现实的问题,其中数据的分布不是在空(最简单)模型下完全指定的,而是取决于一些讨厌的参数。假设,=1,,n个,是独立的(不一定是IID),并且=(1,,n个){(f)(θ,ν),θΘ,νΥ}。我们想测试H(H)1:θ=θ0  H(H)2:θθ0等效地,我们想解决模型选择问题(2),其中明确承认ν在每个模型中可以有不同的含义。

然而,从现在开始,如果需要,在进行适当的重新参数化后,我们假设θν正交的(即Fisher信息矩阵是块对角线)。因此,习惯上认为ν在两种模型下具有相同的含义(参见伯杰和佩里奇(1996)用于渐近证明)。这将有助于差异度量具有直观的含义,也有助于在ν在这两种模型下,大大简化了评估任务。正交参数在存在模型不确定性的情况下的适用性首先通过杰弗里斯(1961)并被许多其他人成功使用(参见示例Zellner和Siow(1980年、1984年)克莱德等。(1996)). 对于单变量θ,考克斯和里德(1987)明确提供了一个正交重参数化。

因此,我们假设上述假设检验问题等同于在竞争模型之间进行选择:

M(M)1:(f)1(Şν)=(f)(Şθ0,ν)M(M)2:(f)2(θ,ν)=(f)(θ,ν),
(18)

哪里θ0Θ是指定值,并且ν(该旧参数在Jeffreys的术语中)被认为是这两种模型的共同点,其区别仅在于新参数θ模型下M(M)2.

4.1分歧措施

之间差异的基本度量θθ0也是KL定向散度(5),其中ν被认为是相同的在两种型号中:

K(K)L(左)[(θ0,ν):(θ,ν)]=[日志{(f)(θ,ν)}日志{(f)(θ0,ν)}](f)(θ,ν)d日.

使用相同的ν只有当ν在两种模型下具有相同的含义,因此可以认为是通用的。事实上,佩雷斯(2005),使用几何参数,表明在正交性下吉隆坡[(θ0,ν):(θ,ν)]可以解释为衡量(f)1(f)2仅由于感兴趣的参数θ这一解释不适用于其他分歧度量,如中定义的内在损失分歧贝尔纳多和鲁埃达(2002).

类似于第2节,我们通过将KL定向发散相加或取其最小值来对称化KL定向散度,从而在θθ0对于给定的ν

D类S公司[(θ,θ0)ν]=K(K)L(左)[(θ,ν):(θ0,ν)]+K(K)L(左)[(θ0,ν):(θ,ν)]
(19)

D类M(M)[(θ,θ0)ν]=2最小值{吉隆坡[(θ,ν):(θ0,ν)],K(K)L(左)[(θ0,ν):(θ,ν)]}.
(20)

D类M(M)由使用佩雷斯(2005)来定义他所说的“正交固有损耗”。

在下文中,许多定义和属性都适用于D类S公司D类M(M),在这种情况下,我们再次使用D类通常表示它们中的任何一个。它们的基本特性在中进行了讨论第2节和以前一样,DB previor的构建块是发散的酉测度 D类¯=D类/n个,其中n个是的有效样本量θ.

4.2存在干扰参数时基于差异的先验

用于测试H(H)1:θ=θ0  H(H)2:θθ0,或在模型之间进行等效选择M(M)1M(M)2在表达式(18)中,我们需要先决条件π1(ν)模型下M(M)1π2(ν,θ)在下面M(M)2.

本着杰弗里斯(以及其他许多追随者)的精神,我们(在每个模型下)相同的公共参数的客观先验(可能不合适)ν以及新参数条件分布的适当先验θν模型下M(M)2,其推导类似于第2.2条。ν发生在两个模型中,如果我们取相同的πN个(ν)在这两种情况下,当计算贝叶斯因子时,(公共)任意常数将被抵消;然而,θ,仅出现在模型中M(M)2,必须具有适当的优先级。旧参数的通用先验只有在以下情况下才有意义ν在两种模型中具有相同的含义(这是另一个原因θν和我们一样正交)。此外,众所周知,在正交性下常见的在…之前ν对产生的贝叶斯因子几乎没有影响(参见杰弗里斯(1961)Kass和Vaidyanathan(1992)),从而支持对公共参数使用客观先验。

πN个(ν)作为模型的目标(通常是Jeffreys或参考)M(M)1然后让πN个(θ,ν)是模型的对应项M(M)2(θ如果使用之前的引用,则会引起兴趣)。我们定义 πN个(θν)这样的话πN个(θ,ν)=πN个(θν)πN个(ν)。要定义数据库优先级,请使用D类要么是方程式(19)方程式(20)(还可以探索其他适当的分歧措施);然后我们有以下定义。

定义3(一般DB之前)。

q个=q个_+12q个_=inf公司{q个0:{1+D类¯[(θ,θ0)ν]}q个πN个(θν)d日θ<},几乎无处不在νΥ.

如果q个<,的D类-模型下的DB先验M(M)1π1D类(ν)=πN个(ν)、和在模型下模型M(M)2π2D类(θ,ν)=πD类(θν)πN个(ν),其中(适当的)πD类(θν)

πD类(θν){1+D类¯[(θ,θ0)ν]}q个πN个(θν).

在这个定义中,我们隐含地使用了推荐的非增量函数小时q个(t吨)=(1+t吨)q个,但上的其他非增量函数t吨[0,)可以探索。

定义4(之前的总金额和最低DB)。之前的总和DBπS公司以及之前的最小DBπM(M)是定义3中给出的DB优先级D类分别是D类S公司(请参见方程式(19))和D类M(M)(请参见方程式(20)).

在没有干扰参数的情况下,我们建议尽可能提前使用总和DB。总的来说,它们往往表现出更好的行为,并且更容易衍生。仅当D类S公司不是有限的我们建议使用πM(M).

接下来,我们将研究这些DB先验函数在某些重新参数化下是否也是不变的。假设ξ=ξ(θ)η=η(ν)分别是一对一单调映射ξ:ΘΘξη:ΥΥη显然,重新参数化(ξ,η)保持正交性。与单变量情况类似,可以看出,如果πN个(ν)πN个(θ,ν)在这些重新参数化下是不变的,DB prior也是不变的。请参见Datta和Ghosh(1995)详细分析了存在干扰参数时几个非信息先验的不变性。

因此,DB Bayes因子(使用DB先验计算的Bayes系数)不受所考虑类型的重新参数化的影响。这些是测试问题最自然、最有趣的重新参数化(实际上,其他重新参数化似乎有问题)。此外,DB优先级与命题2中的充分还原兼容。

4.3示例

接下来,我们将在几个示例中演示DB prior和相应Bayes因子的行为。首先是测试伽马模型的平均值,这通常是一个困难的问题。第二部分简要讨论线性模型。

4.3.1伽马模型(示例5)

=(1,,n个)是伽马密度的IID样本,具有平均值μ、和形状参数α,即来自

(f)(α,μ)=(αμ)αΓ(α)1α1经验(αμ).

我们想测试一下H(H)1:μ=μ0  H(H)2:μμ0.

很容易证明μ与…正交α.目标(参考)优先级为πN个(α)={ψ(1)(α)1/α}1/2πN个(μ,α)=μ1{ψ(1)(α)1/α}1/2,其中ψ(1)表示digamma函数。因此πN个(μα)=μ1.

DB之前πD类(α)=πN个(α)在假设和D类求和或求最小散度。低于H(H)2,的条件和DBμ

πS公司(μα){1+α(μμ0)2μμ0}1/21μ,

条件最小DB优先为

πM(M)(μα){1+D类¯M(M)[(μ,μ0)α]}/21μ

哪里

D类¯M(M)[(μ,μ0)α]={2α{日志(μ/μ0)1+μ0/μ}如果μ>μ0,2α{日志(μ0/μ)1+μ/μ0}如果μμ0.

相应的贝叶斯因子在巴亚里和加西亚·多纳托(2008)并且显示非常相似。

与DB prior相比,在这个示例中派生内在prior看起来像是一项非凡的任务,我们未能获得它们的闭合形式表达式。巴亚里和加西亚·多纳托(2008)将DB贝叶斯因子与内在算术贝叶斯因子进行比较IB公司12A类(请参见伯杰和佩里奇(1996)). 我们发现,当模型M(M)2没错,这三项指标相当接近。当“null”模型M(M)1为真,方差适中。在所有这些情况下,这三项措施为真正的模型提供了支持。然而,当M(M)1为真且方差较小,DB Bayes因子非常合理(B类12S公司为null模型提供最大支持),但B类12A类不是,支持模型M(M)2.这种行为B类12A类可能是由于众所周知的B类12A类当样本量较小时(在这种情况下,由于方差较小而恶化)。

4.3.2线性模型中的变量选择(示例6)

接下来,我们简要展示了本文的激励示例;具体来说,我们展示了DB先验如何再现线性模型中变量选择的JZS先验。线性模型中更完整的测试示例可以在巴亚里和加西亚·多纳托(2007)中给出了随机效应的DB先验值推导加西亚·多纳托和太阳(2007).

考虑满秩一般线性模型{N个n个(X(X)1β1+X(X)e(电子)βe(电子),σ2n个)}以及测试问题H(H)1:βe(电子)=0.在通常的正交重新参数化后(参见示例Zellner和Siow(1984))和πN个(β1,βe(电子),σ)=σ1,DB优先级为(总和和最小值)

π1D类(β1,σ)=σ1,π2D类(β1,βe(电子),σ)=σ1C类k个e(电子){βe(电子)0,n个σ2(V(V)T型V(V))1},

哪里k个e(电子)是的尺寸βe(电子)V(V)=(n个P(P)1)X(X)e(电子)、和P(P)1=X(X)1(X(X)1T型X(X)1)1X(X)1T型.

注意,只有当有效样本量为n个=n个。这种“巧合”是具体选择q个¯+12在DB prior的定义中(参见加西亚·多纳托(2003)详细信息)。然而,n个可能取决于设计矩阵(或协变量)。例如,在线性模型中Y(Y)=X(X)θ+ε,使用X(X)n个×1θ很明显,如果X(X)=(1,,1)T型然后n个应该是n个但是,如果X(X)=(1,ε,,ε)T型具有ɛ很小,那么n个应为1。中定义的有效样本量伯杰等。(2008)满足此要求,但其他定义可能不满足。对这个问题的深入调查超出了本文的范围,将在其他地方进行。

由于文献中广泛出现了线性模型的现有客观贝叶斯测试程序之间的比较,包括用JZS先验值导出的贝叶斯因子,因此我们在此跳过它们(参见示例伯杰等。(2003),等。(2008)巴亚里和加西亚·多纳托(2007)).

5.近似值和计算

在本节中,我们推导了DB之前的简单近似值,并展示了它们与现有提案的联系。我们还利用了DB Bayes因子和用通常(可能不合适)的非信息先验计算的修正Bayes系数之间的联系,提出了简单的DB Baye因子的马尔可夫链蒙特卡罗计算。

5.1基于近似发散的先验

众所周知(参见库尔贝克(1968))通过使用预期的Fisher信息,KL散度测量值可以近似到二阶,因此

D类S公司[(θ,θ0)ν](θθ0)T型J型θ(θ0,ν)(θθ0)D类M(M)[(θ,θ0)ν],

哪里J型θ(θ0,ν)是Fisher信息矩阵中对应于θ,评估时间(θ0,ν)因此,对于问题(18)(回忆一下θν正交),DB优先πD类(或πS公司πM(M)))可以近似为π1D类(ν)=πN个(ν)

πD类(θν)小时{(θθ0)T型J型θ(θ0,ν)n个(θθ0)}πN个(θν),
(21)

其中建议q个q个=q个_+12、和q个¯是的下确界q个-表达式(21)中定义的条件密度(现在用Fisher信息表示)适用的值。

πN个(θν)不依赖于θ(所以θ作为位置参数的渐近行为)特别有趣。很容易证明q个_=k个/2,其中k个是的尺寸θ,因此

πD类(θν)C类k个{θθ0,n个J型θ1(θ0,ν)}.
(22)

许多研究人员对条件先验(22)进行了解释(例如,参见卡斯和瓦瑟曼(1995))作为杰弗里斯多元问题思想的概括。我们刚刚表明,只有在以下情况下,该提案才能被解释为近似DB:θ是一个渐进的位置参数。

5.2贝叶斯因子的计算

有趣的是,与其他客观贝叶斯建议(如固有和分数贝叶斯因子)类似,可以证明DB-Bayes因子B类21D类可以表示为使用非信息性(通常不正确)先验计算的未标度贝叶斯因子B类21N个乘以修正系数。此表达式还允许在以下情况下轻松计算DB Bayes因子B类21N个很容易计算。

引理5。对于问题(18)(带有θν正交),设B类21N个表示通过使用π1N个(ν)π2N个(θ,ν)那么对于总和和最小DB先验值

B类21D类=B类21N个E类πN个(θ,ν){πD类(θν)/πN个(θν)}.
(23)

计算B类21N个通常很简单。在这种情况下,来自后验分布的样本(通常为马尔可夫链蒙特卡罗)πN个(θ,ν)可用于评估方程式(23),从而简化了B类21S公司B类21M(M)相当地。这实际上是我们计算贝叶斯因子的方法,例如第4.3.1节。

此外,如果n个较大(相对于尺寸ϕ=(θ,ν)我们可以通过使用后验分布的渐近表达式以及表达式(21)中给出的近似DB先验来近似方程(23)。

我们在一个简单的环境中说明了这种方法。首先,我们假设渐近后验分布由以下公式给出(参见示例中的条件伯杰(1985))πN个(θ,ν)N个{ϕ^,J型1(ϕ^)},其中ϕ^=(θ^,ν^)是(假设存在)的最大似然估计(θ,ν)J型=J型θJ型ν是(块对角线)预期的Fisher信息矩阵(f)(θ,ν).

接下来我们假设πN个(θν)不依赖于θ,因此近似(条件)DB先验是近似中的Cauchy先验(22)。作为一种符号装置,它将便于书写πN个(θν)作为πN个(θ0ν)以通常的方式将柯西密度(22)表示为正态和逆伽马分布的比例混合,并使用渐近后验的DB Bayes因子,如方程式(23),可以近似为

B类21D类B类21N个1πN个(θ0ν)N个k个{θ^θ0,Σ(ν,t吨)}N个第页{νν^,J型ν(ϕ^)}d日νIGa公司(t吨12,12)d日t吨,

哪里第页是的尺寸ν,k个的尺寸θΣ(ν,t吨)=t吨n个J型θ1(θ0,ν)+J型θ1(ϕ^).类似的渐近近似B类12N个最后给出了DB Bayes因子的期望渐近近似值:

B类21D类第页(ϕ^)第页(θ0,ν^)(2π)k个/21det(探测){J型θ(ϕ^)1/2}πN个(θ^ν^)πN个(θ0ν)N个k个{θ^θ0,Σ(ν,t吨)}N个第页{νν^,J型ν(ϕ^)}×IGa公司(t吨12,12)d日νd日t吨,

这很容易通过简单的蒙特卡罗抽样进行评估。请注意πN个(θν)在上面的表达式中取消。

6.总结与结论

通过以下方式扩展开拓性工作杰弗里斯(1961),我们提出了一类新的基于散度测度的客观贝叶斯假设检验先验,我们称之为DB先验。DB先验具有几个理想的属性,包括重新参数化下的不变性、证据一致性以及与足够统计的兼容性。我们在一系列示例中探索了DB prior,在这些示例中,DB prior被证明是直观可靠的,并且能够产生合理的Bayes因子。即使对于不规则模型和不适当的可能性也是如此,这对于其他客观贝叶斯测试方法来说是非常具有挑战性的场景。我们建议在存在总和DB先验的情况下使用它,因为它比最小DB先验更容易计算,并且似乎表现出更好的行为。

DB先验函数的行为类似于算术内在先验函数(定义时),通常更容易推导;两者都不同于分数先验。此外,在正常情况下,它们会重现杰弗里斯(1961)Zellner和Siow(1980年、1984年)正是这些建议,所以它们可以被视为这些经典建议在非正常情况下的延伸。我们还提供了DB Bayes因子的渐近近似,这在复杂场景中很有用。然而,DB prior仅适用于嵌套比较,因此它们不如分数和内在方法一般。

我们对散度度量、非信息先验估计和有效样本量提出了具体建议。我们做出的其他明显武断的选择是小时q个和,共q个然而,他们的动机是以下论点。

  • (a)

    选择小时q个(t吨)=(1+t吨)q个是专门为在正常情况下重现JZS先验而设计的,但还有其他原因。一个令人信服的原因是,它是一个简单的函数,可以产生具有良好属性的贝叶斯因子;另一个简单的函数可以是指数,经验(q个t吨),但这会导致正常的先验证据一致(请参见等。(2008)). 也,小时q个结果是尾巴很重;这是一个重要的特征,以便在null模型无法很好地解释数据时,不至于压倒可能性。然而,我们不排除其他递减函数的选择t吨[0,),其最大值为零,并且生成适当的DB类型优先级可以在特定场景中更好地工作。有趣的是,如果经验(q个t吨),使用,然后近似πD类在表达式(21)中,基本上是正常的单位信息,如下所定义卡斯和瓦瑟曼(1995)并由进一步研究拉夫特里(1998).

  • (b)

    第二个动机是选择q个*=q个¯+12原则上,任何q个¯+δ可以使用。事实上,我们并不期望δ只要是δ(0,1)(这是生成重尾且无正整数矩的先验信息所必需的),但这还需要进一步研究。我们建议使用δ=12因为这是复制杰弗里斯建议的价值。

致谢

感谢Jim Berger的评论。作者还感谢副主编和两位审稿人提出了许多有用的建议。这项研究得到了西班牙教育和科学部(MTM2007-61554)的部分资助。

工具书类

巴亚里
,
医学博士。
加西亚·多纳托
,
G.公司。
(
2007
)
扩展传统先验以检验线性模型中的一般假设
.
生物特征
,
94
,
135
——
152
.

巴亚里
,
医学博士。
加西亚·多纳托
,
G.公司。
(
2008
)
基于Jeffreys散度的贝叶斯假设检验先验的推广
.预打印arXiv:0801.4224v1(统计ME)。

伯杰
,
J.O.公司。
(
1985
)
统计决策理论与贝叶斯分析
,第2版。
纽约
:
施普林格
.

伯杰
,
J.O.公司。
,
巴亚里
,
医学博士。
,
张成泽
,
西。
,
佩里基
,
左心室。
,
,
美国。
Visser公司
,
一、。
(
2008
)
BIC的扩展和推广
.工作文件.
国家统计科学研究所三角研究园
.

伯杰
,
J.O.公司。
贝尔纳多
,
J·M·。
(
1992
)关于参考先验方法的发展。
贝叶斯统计4
(编辑
J·M·。
 
贝尔纳多
,
J.O.公司。
 
伯杰
,
A.P.公司。
 
Dawid公司
A.F.M.公司。
 
史密斯
),第页。
35
——
60
.
牛津
:
牛津大学出版社
.

伯杰
,
J.O.公司。
德兰帕迪
,
M。
(
1987
)
测试精确的假设
.
统计师。科学。
,
,
317
——
352
.

伯杰
,
J.O.公司。
,
高希
,
J.K。
穆霍帕迪耶
,
(
2003
)
模型选择问题和一致性问题中贝叶斯因子的近似
.
J.统计。计划信息。
,
112
,
241
——
258
.

伯杰
,
J.O.公司。
莫特拉
,
J。
(
1999
)
非嵌套假设检验的默认贝叶斯因子
.
《美国统计杂志》。助理。
,
94
,
542
——
554
.

伯杰
,
J.O.公司。
佩里基
,
L.R.公司。
(
1996
)
用于模型选择和预测的固有贝叶斯因子
.
《美国统计杂志》。助理。
,
91
,
109
——
122
.

伯杰
,
J.O.公司。
佩里基
,
L.R.公司。
(
2001
)模型选择的客观贝叶斯方法:介绍和比较(带讨论)。
型号选择
(编辑)。
第页。
 
拉希里
),第页。
135
——
207
.海滩木:
数理统计研究所
.

伯杰
,
J.O.公司。
,
佩里基
,
L.R.公司。
瓦尔沙夫斯基
,
J.A.公司。
(
1998
)
不变情况下的Bayes因子和边际分布
.
Sankhya A公司
,
60
,
307
——
321
.

伯杰
,
J.O.公司。
塞尔克
,
T。
(
1987
)
检验点无效假设:P值与证据的不可调和性
.
《美国统计杂志》。助理。
,
82
,
112
——
122
.

贝尔纳多
,
J·M·。
(
2005
)
内在可信域:区间估计的客观贝叶斯方法
.
测试
,
14
,
317
——
384
.

贝尔纳多
,
J·M·。
鲁埃达
,
R。
(
2002
)
贝叶斯假设检验:一种参考方法
.
国际统计。修订版。
,
70
,
351
——
372
.

克莱德
,
M。
(
1999
)贝叶斯模型平均和模型搜索策略(与讨论)。
贝叶斯统计6
(编辑
J·M·。
 
贝尔纳多
,
A.第页。
 
Dawid公司
,
J.O.公司。
 
伯杰
A.F.M.公司。
 
史密斯
),第页。
157
——
185
.牛津:
牛津大学出版社
.

克莱德
,
M。
,
德西蒙
,
H。
帕尔米贾尼
,
G.公司。
(
1996
)
正交模型混合预测
.
《美国统计杂志》。助理。
,
91
,
1197
——
1208
.

考克斯
,
D.R.公司。
里德
,
N。
(
1987
)
参数正交性和近似条件推理(附讨论)
.
J.R.统计。Soc.B公司
,
49
,
1
——
39
.

达塔
,
通用标准。
高希
,
M。
(
1995
)
关于无信息先验的不变性
.
安。统计师。
,
24
,
141
——
159
.

德桑提斯
,
F、。
斯佩扎费里
,
F、。
(
1999
)
默认和稳健贝叶斯模型比较方法:分数贝叶斯因子法
.
国际统计。修订版。
,
67
,
267
——
286
.

加西亚·多纳托
,
G.公司。
(
2003
)
Bayes y因子Bayes conventionales:algunos aspectos relevantes
. 博士论文.
巴伦西亚大学统计系
,
巴伦西亚
.

加西亚·多纳托
,
G.公司。
太阳
,
D。
(
2007
)
单向随机效应模型中模型选择的客观先验
.
可以。J.统计。
,
35
,
1874
——
1906
.

休庭
,
J.A.公司。
,
马迪根
,
D。
,
拉夫特里
,
答:E。
沃林斯基
,
C.T.公司。
(
1999
)
贝叶斯模型平均:教程
.
统计师。科学。
,
14
,
382
——
417
.

易卜拉欣
,
J。
劳德
,
第页。
(
1994
)
设计实验分析的预测方法
.
《美国统计杂志》。助理。
,
89
,
309
——
319
.

杰弗里斯
,
H。
(
1961
)
概率论
,第3版。伦敦:
牛津大学出版社
.

卡萨丁
,
右。
拉夫特里
,
答:E。
(
1995
)
贝叶斯因子
.
《美国统计杂志》。助理。
,
90
,
773
——
795
.

卡萨丁
,
右。
瓦迪亚纳桑
,
S.K.公司。
(
1992
)
近似贝叶斯因子和正交参数,用于测试两个二项式比例的相等性
.
J.R.统计。Soc.B公司
,
54
,
129
——
144
.

卡萨丁
,
右。
瓦瑟曼
,
L。
(
1995
)
嵌套假设的参考贝叶斯检验及其与施瓦兹准则的关系
.
《美国统计杂志》。助理。
,
90
,
928
——
934
.

库尔贝克
,
美国。
(
1968
)
信息论与统计学
.
纽约
:
多佛出版物
.

劳德
,
P.W.公司。
易卜拉欣
,
J·G·。
(
1995
)
预测模型选择
.
J.R.统计。Soc.B公司
,
57
,
247
——
262
.

,
F、。
,
保罗
,
R。
,
莫利纳
,
G.公司。
,
克莱德
,
M。
伯杰
,
J.O.公司。
(
2008
)
贝叶斯变量选择的g-prior混合
.
《美国统计杂志》。助理。
,
103
,
410
——
423
.

莫雷诺
,
E.公司。
,
贝尔托利诺
,
F、。
拉库尼奥
,
西。
(
1998
)
模型选择和假设检验的内在限制过程
.
《美国统计杂志》。助理。
,
93
,
1451
——
1460
.

奥哈根
,
答:。
(
1995
)
模型比较的分数贝叶斯因子(带讨论)
.
J.R.统计。Soc.B公司
,
57
,
99
——
138
.

保勒
,
D。
(
1998
)
正态线性模型的Schwarz准则及相关方法
.
生物特征
,
85
,
13
——
27
.

保勒
,
D.K.博士。
,
韦克菲尔德
,
J.C.公司。
卡萨丁
,
右。
(
1999
)
方差分量模型的贝叶斯因子和近似
.
《美国统计杂志》。助理。
,
94
,
1242
——
1253
.

佩雷斯
,
美国。
(
2005
)
Métodos Bayesianos objetivos de comparación de medias媒体比较
.
博士论文
.
巴伦西亚大学统计系
,
巴伦西亚
.

佩雷斯
,
J·M·。
伯杰
,
J。
(
2001
)使用预期后验先验对混合模型进行分析,并应用于伽马射线暴的分类。
贝叶斯方法及其在科学、政策和官方统计中的应用
(编辑
E.公司。
 
乔治
第页。
 
纳米微粒
),第页。
401
——
410
.
卢森堡
:
欧洲共同体
.

佩雷斯
,
J·M·。
伯杰
,
J.O.公司。
(
2002
)
模型选择的期望后验先验分布
.
生物特征
,
89
,
491
——
512
.

拉夫特里
,
答:E。
(
1998
)
贝叶斯因子与BIC——评韦克利姆
.技术报告347.
华盛顿大学统计系
,
西雅图
.

坦纳
,
文学硕士。
(
1996
)
统计推断工具:探索后验分布和似然函数的方法
,第3版。
纽约
:
施普林格
.

泽尔纳
,
答:。
Siow公司
,
答:。
(
1980
)选定回归假设的后验优势比。
贝叶斯统计1
(编辑
J·M·。
 
贝尔纳多
,
M.H.先生。
 
德格罗特
,
直流电。
 
林德利
A.F.M.公司。
 
史密斯
),第页。
585
——
603
.
巴伦西亚
:
瓦伦西亚大学出版社
.

泽尔纳
,
答:。
Siow公司
,
答:。
(
1984
)
计量经济学的基本问题
.
芝加哥
:
芝加哥大学出版社
.

附录A:证明

A.1、。引理2的证明

首先我们展示一下方程式(16)意味着B类12π0作为¯0.假设01μk个π(μ)=.然后

¯0{2()}=¯0{0μn个经验(n个¯/μ)π(μ)d日μ}01μk个π(μ)d日μ=,

结果如下。要显示相反的情况,请注意,因为π(μ)是正确的,

¯0{1μn个经验(n个¯/μ)π(μ)d日μ}<.

现在,自相矛盾地假设,因为n个k个,n个k个,01μk个π(μ)d日μ<特别是01μn个π(μ)d日μ<.通过控制收敛定理

¯0{01μn个经验(n个¯/μ)π(μ)}=01μn个π(μ)d日μ<,

这与不等式(24)相矛盾B类12π0作为¯0,证明了结果。

A.2引理的证明4

很容易看出T型,然后

B类21π经验(n个θ0)经验(n个θ)π(θ)d日θ,

现在,n个k个,引理4来自不等式

经验(n个θ)π(θ)d日θ经验(k个θ)π(θ)d日θθ0经验(k个θ)π(θ)d日θ.

A.3引理的证明5

对于=1,2,让D类()N个()表示通过以下方法获得的先前预测边际πD类πN个分别是。通过DB先验的定义,N个()=D类(),因此

B类21D类=2D类()1D类()=2N个()1N个()2D类()2N个()=B类21D类2D类()2N个().

最后,

2D类()=(f)(θ,ν)πD类(θ,ν)d日θd日ν=(f)(θ,ν)K(K)(ν)小时{D类¯[(θ,θ0)ν]}πN个(θ,ν)d日θd日ν=2N个()K(K)(ν)小时{D类¯[(θ,θ0)ν]}πN个(θ,ν)d日θd日ν,

哪里K(K)(ν)是DB先验归一化常数,结果如下。

本文根据牛津大学出版社标准期刊出版模式的条款出版和发行(https://academic.oup.com/journals/pages/open_access/funder_policies/chorus/standard_publication_model)