摘要

多个条件分位数的灵活估计在许多应用中都很有意义,例如研究妊娠相关因素对低出生体重和高出生体重的影响。我们提出了一种贝叶斯非参数方法来同时估计非交叉非线性分位数曲线。我们扩展了I样条基函数中响应的条件分布函数,其中协变量相关系数使用神经网络建模。通过利用样条函数和神经网络的逼近能力,我们的模型可以逼近任何连续分位数函数。与现有模型相比,我们的模型估计了所有分位数,而不是有限的分位数子集,可以很好地缩放到高维,并考虑了估计的不确定性。虽然该模型具有任意灵活性,但可解释的边际分位数效应是使用累积局部效应图和可变重要性度量来估计的。仿真研究表明,当数据稀疏时,我们的模型可以更好地恢复响应分布的分位数,并对出生体重数据进行了分析。

1引言

分位数回归(QR)将条件分位数建模为协变量的函数。它可以分析协变量和条件反应分布的非中心部分之间的统计关系。然而,当QR被分别拟合用于多个层次的推理时,无法确保不同分位数之间的自然顺序,并且估计的分位数会交叉。通过求解一个约束优化问题可以减少分位数交叉(邦德尔等。, 2010;刘和武,2011)当只对分位数网格建模时,但基于这些方法的估计可能对所选分位数网格的数量和位置敏感。

同步QR(SQR)允许通过指定完整分位数过程对所有分位数进行推断。它鼓励通过统一建模方法在近似分位数水平上借入力量。SQR最初由提出他(1997)世卫组织假设响应为线性异方差回归模型。随后,开发了对分位数函数施加较少限制的线性SQR模型(例如,Reich和Smith,2013年;等。, 2017;Yang和Tokdar,2017年)。这些方法通过允许分位数相关系数的变化率解释而具有很大的可解释性,但不能适应具有复杂非线性趋势的分位数曲线。此外,它们不适用于高维问题,因为它们没有隐含地说明交互效应。

非线性SQR模型在当前的QR文献中是少数,并且现有的方法存在明显的缺陷。大炮(2018)提出使用前馈神经网络(FNN)对分位数过程进行建模。他们预先指定了一组分位数水平,并将其视为模型中的单调协变量,以增强分位数函数的单调性。尽管他们的方法巧妙地避免了分位数交叉,但必须通过外推来估计预先指定范围之外的额外分位数。Das和Ghosal(2018年)将分位数过程建模为分位数水平的B样条基函数的加权和;权重由每个协变量的B样条级数展开的张量积进一步展开,并对样条系数施加顺序约束以确保不交叉。尽管他们的方法对整个分位数过程进行了建模,但由于参数的数量随着协变量的数量呈指数增长,因此无法很好地扩展到高维。非线性分位数过程也可以通过反演(或积分然后反演)条件分布函数的任何有效估计来估计。Das和Ghoshal(2018)提出了与上述分位数过程模型相似的条件累积分布函数(CDF)模型。因此,他们的CDF模型在高维上也存在计算困难。此外,他们的模型没有受到适当约束,无法估计真实的密度,这往往导致数值性能较差。Izbicki和Lee(2016)将条件概率密度函数(PDF)投影到基于核算子的数据相关特征函数上。他们的模型可以很好地缩放到高维,并估计出真实的密度,但得到的分位数表面通常并不光滑。最近,还开发了利用深度学习进步的SQR模型(例如,基姆等。, 2021),但这些模型的主要重点是预测而不是推理。

本文通过在条件分布上指定贝叶斯非参数模型,提出了一种新的非线性SQR处理方法。虽然存在其他条件分布回归模型(例如,福尔摩斯等。, 2012;等。, 2021),我们使用I样条基展开对条件CDF进行建模;使用具有特定输出激活函数的神经网络将样条系数建模为协变量的函数,以确保模型代表真实的CDF。我们选择对分布函数而不是分位数过程建模,因为前者允许对似然函数进行分析推导,因此可以对后验进行有效的马尔可夫链蒙特卡罗(MCMC)抽样,而对于非参数回归,两种情况下潜在模型的跨度是相同的。基于样条的模型确保了估计的条件CDF,因此估计的条件分位数函数是平滑的,并且神经网络允许将复杂的协变量效应纳入响应分布。我们将这种方法命名为“使用I样条神经网络的QR(QUINN)”。QUINN对现有的非线性SQR模型进行了一些改进(Izbicki和Lee,2016年;加农,2018年;Das和Ghosal,2018年)。QUINN没有将分位数水平视为单调的协变量,而是指定了完整的CDF,这样所有分位数(而不仅仅是子集)都可以在不进行外推的情况下建模。通过对样条系数函数施加适当的约束,我们确保了估计是真实的CDF,从而使分位数过程的估计更加准确;直接约束模型还避免了事后归一化方法的需要,这通常会导致最终的分位数估计不平滑。最后,通过使用FNN而不是样条的张量积来扩展协变量相关系数函数,我们大大降低了参数空间的维数,使其在协变量数量上仅以线性而不是指数形式缩放。一个相关但独特的作品是史密斯等。(2015)他提出了一个基于I样条基展开的半参数框架,用于同时估计线性分位数平面。相反,QUINN对条件分布进行非帧建模,并允许同时估计任意分位数表面。

对条件CDF进行非帧建模的一个缺点是,不同分位数上的协变效应不是不言自明的。这对于牺牲透明度以获得灵活性的黑盒监督学习模型来说很常见。为了克服这个挑战,模型识别方法(里韦罗等。, 2016)已开发用于从任何监督学习模型中提取解释。最近的贡献是Apley和Zhu(2020)他提出了累积局部效应(ALE)图,以可视化黑盒监督学习模型的主要和二阶交互效应。他们的方法以计算效率的方式对预测响应的协变量影响进行了可靠的表征。在本文中,我们证明了ALE图可以用于可视化协变量对预测分位数的影响。我们还提出了估计QUINN边际分位数效应特征重要性的方法。

令人鼓舞的例子是一项研究,该研究分析了怀孕相关因素和人口因素对出生结局分布的影响。低出生体重(LBW)是指体重低于2.5公斤。它是导致产前和新生儿死亡的主要原因,出生体重不足的婴儿会导致长期的医疗和经济成本。高出生体重(HBW)定义为体重超过4公斤。这也是一个世界范围内正在出现的公共卫生问题。超重婴儿出生后出现健康问题的风险增加,如儿童早期肥胖。QR是通过建模出生体重分布的上下分位数来了解LBW和HBW的决定因素的自然方法。例如,通过Abrevaya(2001)和SQR方法托克达尔和卡达内(2012)这些工作都假设一个线性回归模型,这将错误描述非线性效应(Ngwira和Stanley,2015年)。在本文中,我们将QUINN应用于2019年美国出生率数据集(国家卫生统计中心,2019年)灵活地对出生体重分布的不同分位数进行建模,主要侧重于识别LBW和HBW的影响因素。

2方法

表示论坛作为协变量向量Y(Y)作为标量响应。我们有兴趣在给定协变量的情况下近似响应的分位数过程论坛对于分位数级别论坛以及所有论坛.如果论坛在τ中连续单调增加,那么对于任何论坛有条件CDF是论坛因此论坛可以通过在论坛我们的方法要求响应变量有一个上下界,这是通过引入一个转换变量来实现的论坛对于某些单调函数映射到单位间隔。在本节中,我们将概述我们近似变换响应的分位数过程的方法论坛然后可以将其估计反向变换为论坛.

2.1使用形状约束样条的密度回归

我们建议对Z轴鉴于x个使用形状约束回归样条。具体来说,我们使用M样条对条件PDF建模,使用I样条建模条件CDF。带次的M样条族第页是一组论坛分段次数多项式第页具有非负性和单位积分的性质。换句话说,每个基函数都具有PDF的属性。论坛是一个有序的结序列论坛,论坛、和论坛,论坛.让论坛是一组基本函数。M样条基函数的凸组合,即,

是支持[0,1]的PDF的有效模型。通过对系数施加附加约束,可以进一步控制建模PDF的形状论坛例如,设置论坛将强制M样条曲线在单位处返回0。

I样条被定义为M样条的积分

和是分段次数多项式论坛由于M样条是非负的并且积分为1,所以I样条在范围上是单调不减的论坛论坛为所有人因此,I样条基函数的凸组合,即,

(1)

是支持单位间隔的CDF的有效模型。

形状约束回归样条的使用为密度估计问题提供了一个有吸引力的解决方案。许多理论工作已经证明了非负样条和单调样条的逼近能力。例如,Beatson(1982)结果表明,随着节点数的增加,非负样条空间收敛到非负连续函数空间的速度几乎与无约束样条一样快。等。(1980)给出了单调样条逼近连续单调函数的类似结果。通过数值研究,阿布拉哈莫维奇等。(1992年)结果表明,渐近理论不受单纯形约束的影响,并且M样条和I样条在密度回归中具有令人满意的精度。

2.2使用I样条和神经网络(QUINN)的QR

论坛表示转换后响应变量的条件CDFZ轴鉴于x个.以下(1),一个灵活的模型论坛可以表示为

其中,协变量通过样条系数函数影响条件CDF论坛参数化者论坛系数函数控制条件CDF上的协变效应,因此应该足够灵活以捕捉复杂的非线性趋势并允许高阶相互作用效应。它们还需要适当约束,以便论坛具有有效CDF的属性。为了满足这两个要求,我们建模论坛使用带有softmax输出激活的FNN,

哪里论坛是未知的权重,而是已知的激活函数。本文通篇采用双曲正切函数。利用其普遍逼近定理(霍尼克等。, 1989),FNN允许无约束系数函数论坛描述任意复杂的协变量效应。当softmax激活自然投射时论坛并克服了单调约束下参数估计的困难。为了简单起见,我们用一个带有V(V)神经元,但扩展到更深层的网络很简单。

该模型可以近似任何连续条件CDF。根据以下结果等。(1980)阿布拉哈莫维奇等。(1992年),带有足够大的第页,我们可以假设x个存在一组非负系数论坛满足约束条件论坛这样的话论坛近似条件CDF论坛任意好。在QUINN中,映射论坛由具有softmax输出的单隐藏层FNN建模,该输出是一个非恒定、有界和连续的函数。然后根据普遍逼近定理(霍尼克等。, 1989),存在权重论坛这样,单隐藏层FNN论坛任意逼近映射ψx个,前提是隐藏神经元的数量V(V)足够大了。因此,通过利用I样条和FNN的逼近能力,模型论坛可以近似任何条件CDF论坛.

我们采用贝叶斯框架来估计权重论坛通过分配他们之前的分布。与频率相关的贝叶斯神经网络建模相比,贝叶斯神经网络建模捕捉了拟合模型和权重参数的不确定性,并避免了样本量小时的过拟合。零均值高斯分布是权重上最常用的先验,在许多经典著作中都进行了探索(麦凯,1992年;Neal,1993年)。它们之所以受欢迎,是因为它们的“权重衰减”正则化效应,这可以防止单个节点具有极值。对于QUINN,我们设置论坛,论坛这样,输入-idden层中的权重具有特征方差,而隐藏-输出层中的权值共享一个公共方差。尺度超参数论坛和γ也被视为未知和指定的超验函数,因此它们的值可以通过数据进行优化。盖尔曼(2006)推荐一半-t吨拥有小自由度的家庭。这些分布允许方差任意接近0,这将规范模型的复杂性。然而,实际上-t吨分布使它们过于广泛,常常导致难以收敛。因此,我们设置论坛遵循半高斯分布以获得更简单的后验几何。半高斯先验的方差设置为论坛因此,它仍然是相对无信息的。实验表明,我们的模型对较大的QUINN的似然函数有一个封闭的表达式,因此可以使用MCMC算法来探索后验。然而,传统的方法,如随机遍历Metropolis和Gibbs采样器,不能很好地扩展到具有复杂几何形状的高维后验。在本文中,我们使用无U形回转取样器(NUTS)(霍夫曼和盖尔曼,2014年)该算法利用梯度信息从高维后验数据中高效采样。Web附录A描述了用于近似后验的MCMC算法。

我们的最终目标是估计原始响应变量的分位数过程论坛.让论坛表示条件CDF估计量论坛表示单位间距上的密集网格。分位数过程的非参数估计论坛可以通过首次评估轻松获得论坛论坛然后通过处理论坛作为输入值和论坛作为功能输出值。由于分位数函数和CDF之间的一一对应,因此得到的分位数过程估计器也将继承所提出的CDF估计器的近似特性。最后,原始响应的估计分位数过程由下式给出论坛.

如中所述第1节,与现有的非线性SQR模型相比,所提出的模型具有几个优点(Izbicki和Lee,2016年;加农,2018年;Das和Ghosal,2018年)。I-样条函数和FNN的结合产生了一个有效的概率模型,该模型跨越了一类广泛的条件分布函数。此外,如下文所述和稍后的模拟研究所示,这种组合可以有效计算分位数效应并进行完全贝叶斯推断。

3总结协变效应

QUINN包括一个灵活的FNN模型,用于跨分位数的协变量效应。FNN是一种“黑匣子”监督学习模式,灵活性强,但缺乏透明度。与线性QR模型不同,该模型能够对τ相关系数进行变化率解释,所提出的基于FNN的模型没有以自我解释的方式描述协变量对预测分位数的影响。这很不方便,因为QR模型通常用于数据探索目的。

幸运的是,对模型不可知方法的研究允许对“黑箱”模型预测的协变量的主效应和二阶交互效应进行事后分析(我们忽略了高阶效应,因为它们无法可视化或有意义地解释)。最流行的模型无关方法是偏相关图(PD图),它可视化了一对协变量对预测的平均边际效应。PD图实现简单,解释直观,但计算成本高昂。最近,Apley和Zhu(2020)提出了累积局部效应(ALE)图,该图以更高效的计算方式提供了相同水平的解释。在本节中,我们简要回顾了ALE图的定义,并解释了如何将其应用于QR模型。我们稍后将使用多元模拟研究演示如何利用ALE图从QUINN中提取解释。

敏感性论坛协变量j由导数自然量化论坛在线性QR中,导数是协变量的标量效应j在分位数τ上,但对于非线性回归函数,导数取决于x个ALE从平均值开始论坛结束X有条件的论坛,给予论坛.非中心ALE主效应函数论坛则定义为

功能论坛可以解释为论坛从某种意义上说,这是局部效应的积累论坛平均分布X。无中心ALE效应没有直接的解释,因为导数对标量加法是不变的,这导致了(中心)ALE主效应函数的定义论坛这与论坛除居中的平均值为0外论坛.

类似公式定义了论坛论坛.考虑二阶偏导数论坛.局部影响论坛论坛,对其他协变量求平均值,为论坛.则无中心二阶ALE为

和二阶ALE函数论坛相对于论坛二阶ALE论坛描述了两个协变量的联合效应,包括它们的主效应和交互效应。如果只需要评估相互作用的影响论坛论坛可以从中进一步减去论坛获得纯相互作用效应论坛.

功能论坛,论坛、和论坛可以绘制以了解每个主要的交互作用。当绘制时论坛,主要ALE论坛量化平均预测之间的差异论坛和平均预测X。绘制时论坛论坛,二阶ALE论坛量化平均预测之间的差异论坛和平均预测X.交互ALE论坛可以类比地解释为论坛除此之外,这种差异完全是由交互作用造成的。

用一个数字总结主要和交互ALE也很有用,可以用来对每个效果的重要性进行排序。以下格林维尔等。(2018),我们建议使用ALE相对于X也就是说,论坛论坛对于分类协变量,标准偏差被范围的四分之一所取代。这些VI得分(和中间功能论坛,论坛、和论坛)可以使用Apley和Zhu(2020)如中所述Web附录B.

虽然为了简化符号,我们省略了分位数函数对参数的依赖性论坛,实际上论坛导致敏感性指标的后验不确定性,如论坛论坛。我们通过计算许多MCMC样本的灵敏度测量值来解释这种不确定性论坛,给出了灵敏度测度后验分布的蒙特卡罗近似。

4模拟

我们在四种场景中研究了模型的数值性能。下面提供了每个模拟设计的详细信息。

  • 设计1。

    协变量和响应生成为论坛

分位数曲线是平行的,数据表现出强烈的右偏。

  • 设计2。

    协变和响应生成为论坛

数据表现出很强的异方差。分位数曲线在中值处是线性的,但在极值处具有很强的曲率。

  • 设计3。

    协变量论坛由Uniform([0,1]×[0,1])生成。响应变量Y(Y)由提供

这些数据显示出异方差性和重尾性。

  • 设计4。

    协变量论坛由Uniform([0,1])生成d日)。分位数函数论坛由提供

哪里论坛是标准正态分位数函数论坛。响应变量通过采样生成论坛和设置论坛分位数过程具有复杂的结构,具有较强的相互作用效应。该模型是稀疏的,因为只有前六个协变量影响分位数函数。

对于设计1-3,我们生成尺寸样本论坛对于Design 4,我们使用论坛将该模型与四种非线性SQR方法进行了比较:单调复合QR神经网络(MCQRNN)加农(2018),非参数同时QR(NPSQR)Das和Ghosal(2018年),非参数分布函数同时QR(NPDFSQR)也是Das和Ghosal(2018年),以及Izbicki和Lee(2016).MCQRNN在R中的qrnn包中实现;NPSQR和NPDFSQR的代码可从第二作者的网页上获得;CDE系列的代码可从其在线论文的补充材料中获得。实施细节,包括竞争方法的模型选择,见Web附录C对于QUINN,我们首先使用最小–最大归一化将响应变量映射到单位间隔。协变量不需要归一化。然而,在使用基于梯度的方法优化FNN参数时,通常将输入标准化(主教,1995年)。在本文中,我们总是将协变量向量映射到单位区间,即使它是一维的。QUINN的后验分布由1900个MCMC样本近似,这些样本是通过运行NUTS进行20000次迭代获得的,将前1000次迭代丢弃为老化,并保存剩余迭代的每10次提取。MCMC的收敛由多个独立链的对数似然跟踪图监控,如Web图1,以及中所述的流行诊断统计信息Web附录A.6。QUINN的性能取决于样条线结的数量第页和隐藏的神经元V(V),所以我们使用网格搜索方法并选择论坛基于Watanabe-Akaike信息标准(WAIC)(渡边,2013)。我们选择WAIC而不是其他信息标准(例如,Akaike信息标准[AIC]和Deviance信息标准[DIC]),因为它是完全贝叶斯的,使用整个后验分布,并且渐近等于贝叶斯leave-on-out交叉验证(维塔里语等。, 2017).Web图2根据WAIC的排名绘制出样本外RMISE的分布。结果表明,WAIC选择的模型有利于提高样本外预测精度。我们还观察到,除一些特别糟糕的组合外,QUINN的性能通常对两个参数的不同值具有鲁棒性。

图1

分位数水平模拟研究的RMISE(τ)论坛。培训样本大小为论坛设计1-3和论坛用于设计4

图2

模拟设计4敏感性分析的边际主效应估计论坛上述结果为累积局部效应(ALE)论坛对于每个协变量组合论坛和分位数论坛.黑色细线表示从100个重复计算的单个ALE,灰色粗线表示基于生成模型的真实ALE

为了比较不同的方法,模拟了100个数据集。对于每个样本量,每种方法的性能都是通过实际分位数过程和估计分位数过程之间的均方根积分误差(RMISE)来衡量的。我们首先划分X通过等距网格点,给出论坛向量论坛跨越范围X。对于设计1和2,我们设置论坛; 对于Design 3,我们设置论坛因此论坛RMISE近似为

对于分位数级别论坛

对于整个分位数过程。

平均值论坛图中显示了100多个模拟数据集及其标准误差Web表1在里面Web附录D结果表明,QUINN产生的平均值明显较小论坛与NPSQR、NPDFSQR和CDE系列相比,在所有设置中;和较小或类似的平均值论坛与MCQRNN相比,只有一种设置。特别是,从其小方差来看,QUINN对数据稀疏性具有鲁棒性。我们还绘制了以下情况的平均RMISE(τ):论坛以数字表示1a-c型结果表明,在所有情况下,QUINN给出了中间分位数的最佳估计,而MCQRNN在数据表现出显著的重尾性时给出了极值分位数的更好估计。

对于设计4,我们仅将QUINN与MCQRNN和CDE系列进行比较。我们省略了NPSQR和NPDFSQR,因为扩展了d日-尺寸X使用二次B样条基函数可以得到维数为的参数空间论坛。即使有d日只有10,拟合NPSQR和NPDFSQR在计算上变得不可行。我们生成大小样本论坛并分为200个训练和200个测试数据点。每个模型首先适合于训练数据,然后在论坛为每个给定值计算x个测试数据。QUINN的后验分布近似于2400个样本,这些样本是通过运行NUTS 50000次迭代获得的,丢弃前2000次迭代作为老化,并从剩余迭代中每隔20次提取一次。我们选择最佳的模型配置论坛论坛使用WAIC。我们根据RMISE(τ)和论坛以测试数据点为条件的实际分位数和预测分位数之间。平均值论坛对于论坛QUINN为2.47,MCQRNN为3.21,CDE系列为3.37,平均RMISE(τ)绘制于图1d结果表明,与MCQRNN和序列CDE相比,QUINN给出了更好的分位数过程估计。为了进一步研究QUINN在高维设置中的性能,我们使用X尺寸的论坛额外的协变量与响应无关。平均值论坛分别为2.73和3.09。因此,当分位数过程是高维的,具有复杂的交互效应,并且具有稀疏结构时,QUINN显示出良好的性能。

我们现在演示如何将ALE图与QUINN结合使用,以可视化其预测分位数上的主交互作用和二阶交互作用。设计4的构造应确保论坛, …,论坛,论坛、和论坛是τ的非零函数。此外,论坛,论坛、和论坛是τ的非恒定函数。为了评估QUINN在识别这些边际分位数效应方面的敏感性,我们从设计4中生成了100个样本量为5000的重复。对于每个重复,我们估计了每个协变量的ALE主效应和分位数水平上每对协变量的相互作用效应论坛基于安装的QUINN。这些分位数水平的估计ALE主要影响及其基本事实如所示图2其中,细黑线表示基于100个模拟数据集的个别估计,粗灰线表示根据生成模型计算的真实ALE效应。估计的ALE表明,QUINN成功捕获了每个协变量的主要影响。对于ALE相互作用效应,因为不可能在一个图中可视化所有估计曲面,所以我们显示了从八个随机选择的复制品中进行的估计。对于每个复制,估计论坛论坛分位数水平论坛使用等高线图进行可视化(参见Web附录D)并与实际情况进行比较。结果表明,QUINN也成功地恢复了生成模型的复杂交互效应。

为了研究QUINN是否能够恢复边际效应的相对重要性,我们计算了每个ALE主效应和交互效应的VI得分。由于在设计4中只有八个边际效应对条件分位数函数有贡献,我们通过显示最大VI的前八个估计边际效应的秩图来证明QUINN的敏感性图3结果表明,在分位数水平论坛估计的VIs及其前八个边际效应的排名与实际情况类似。敏感性分析表明,QUINN能够识别重要协变量效应的相对顺序。

图3

模拟设计4敏感性分析的边际效应重要性论坛上述结果是对前八个边际效应和分位数的真实变量重要性的估计论坛.细水平线代表95%的可信区间

本文给出的仿真结果仅是证明QUINN预测准确性和灵敏度的精选结果。其他结果,包括估计分位数曲线和条件密度图,以及估计和实际ALE二阶效应之间的比较,可在Web附录D在线支持信息。

5出生体重数据的应用

为了说明QUINN的实际效果,我们研究了怀孕相关因素对婴儿出生体重(重量,单位:克)分位数的影响。我们的数据(徐,2021)包括从2019年美国出生率数据集中随机选择的10000个条目(国家卫生统计中心,2019年)记录在案的18至45岁、身高在59至73英寸的黑人或白人母亲的单胎活产,怀孕期间每天吸烟不超过20支。协变量列表包括人口统计学特征、母亲行为和健康特征以及婴儿健康特征。对于人口统计学特征,我们包括父亲40岁以上的年龄指标(父亲年龄);和年龄(motherAge,以年为单位)、黑人(Black)指标、高中毕业生(highSchool)和至少大学毕业生(collegeGraduate)的教育程度,以及母亲大于1的均等(平价)。对于母亲的行为和健康特征,我们包括体重指数(BMI)、身高(身高,以英寸为单位)、体重增加(体重增加,以磅为单位)、孕前吸烟指标(吸烟者)、怀孕期间平均每日吸烟次数(雪茄)、未接受产前护理的指标(无产前)、已有糖尿病(糖尿病前期)以及高血压(preHype)、妊娠期糖尿病(gestDiab)和高血压(gestHype),妊娠期间未出现和/或治疗过感染(noInfec),以及不孕治疗(infTreat)。对于婴儿健康特征,我们包括胎龄(周)和男孩(男孩)指标。

使用最小-最大归一化将响应变量和所有连续协变量映射到单位间隔。我们为QUINN配备论坛隐藏的神经元和论坛样条线节点。我们使用运行NUTS 50000次迭代获得的2400个样本来近似其后验分布,丢弃前2000次迭代作为老化,并从剩余迭代中选择每20次抽签。根据WAIC选择最佳模型配置。

为了确定哪些协变量对出生体重分位数的影响最显著,我们计算了不同分位数水平上每个协变量的ALE诱导VI得分。特别是,我们感兴趣的是确定影响LBW(以0.05分位数表示)、典型出生体重(TBW,以0.5分位表示)和HBW(以0.95分位数表示的)的协变量。图4显示了ALE主要影响的排名论坛周、身高、BMI、wtGain、香烟、黑烟、糖尿病前期、男孩和吸烟者的主要影响在所有三个分位数中具有最高的VI测量值,因此对出生体重分布影响最大。特别是,周对所有三个分位数都有显著影响,香烟对LBW的影响最大,身高和BMI对TBW和HBW的影响更大。

图4

出生体重数据的可变重要性(VI)。以上结果是分位数水平上所有主要影响的后验平均VI测量值论坛.薄水平线代表95%的可信区间

为了理解顶部协变量和QUINN预测出生体重分位数之间的函数关系,我们绘制了它们的估计ALE主效应论坛论坛在里面图5a-i结果表明,较高的Week、height、BMI、wtGain、preDiab和Boy值与较高的预测出生体重相关,而较高的Cigarette、Black和Smoker值与较低的预测出生重量相关。此外,Week、身高、BMI、wtGain、Cigarette和preDiab对出生体重的影响在分位数之间显著不稳定,而Week,BMI、wtGain和Cigaretet的影响是高度非线性的。例如,随着卷烟的增加,LBW和TBW显示出一致的下降趋势,而当卷烟大于13时,HBW趋于稳定;随着wtGain的增加,HBW和TBW显示出一致的上升趋势,而当wtGan大于65时,LBW趋于稳定。

图5

出生体重数据的边际主效应估计。(a) –(i)分位数水平的后验平均ALE主要影响论坛对于前九个重要协变量。对于连续协变量,黑色虚线表示值0。(j) –(i)分别按胎龄(周)和妊娠前糖尿病指标(preDiab)进行条件分布估计,所有其他协变量固定在其中位数(连续协变量)或模式(二进制协变量)

中的结果图5a-i还提供了对预测出生体重分位数的主要影响的数值量化。例如,图5b研究表明,与怀孕期间不吸烟的母亲相比,每天吸烟多达20支的母亲预测的LBW平均下降250克以上。图5g研究表明,与未患糖尿病的母亲相比,患有糖尿病的母亲的预计HBW平均增加254克。

除了协变量对特定分位数的影响外,QUINN还允许直接表征协变量对整个条件分布的影响,这得益于其密度回归特性。为了说明QUINN的这一特性,图5j绘制一周的预测出生体重密度论坛结果表明,胎龄对预测密度的位置有显著影响。当胎龄从33岁增加到37岁时,密度变化最为显著,而当妊娠期进一步增加时,密度逐渐趋于稳定。对于每个预测密度,我们还强调LBW(重量<2500)和HBW(重量>4000)的区域。结果表明,早产(<37周)和足月后(>40周)分别是LBW和HBW的决定因素。图5k绘制不同preDiab水平的预测出生体重CDF。与之前没有糖尿病的母亲相比,之前患有糖尿病的母亲生下超重婴儿的概率增加了10%。

我们进一步分析了具有显著主效应的顶部协变量之间的二阶相互作用效应。对于每种组合,我们估计其ALE联合效应论坛以及它的纯相互作用效应论坛论坛每个相互作用的重要性由估计的VI度量确定论坛。在所有考虑的相互作用中,孕龄和怀孕期间平均每日吸烟量(周×香烟)之间的相互作用在所有三个分位数上产生了最高的VI测量值。为了了解Week×Cigarette与出生体重分位数之间的函数关系,图6绘制Week和Cigarette联合效应的等高线,量化方法如下论坛结果表明,无论母亲的吸烟习惯如何,孕龄越高,出生体重越高,但对不吸烟者的影响明显放大。此外,母亲吸烟过多仅与怀孕37周后出生的婴儿的出生体重降低有关。

图6

出生体重数据的边际联合效应估计。上述结果是胎龄(周)和分位数水平的平均每日吸烟量(香烟)的后部平均ALE联合效应论坛。估计分位数值高的区域用红色表示,估计分位数水平低的区域用蓝色表示。此图在本文的电子版中以彩色显示,任何提及颜色的地方都指的是该版本

6结论

在本文中,我们提出了一种新的非线性SQR模型,该模型利用了样条和神经网络的灵活性。我们采用贝叶斯框架,通过为权重参数分配先验分布,并利用最先进的NUTS从高维后验数据中高效采样。与现有工作相比,我们的方法对整个分位数过程进行建模,不涉及约束优化,并可扩展到高维设置。我们还表明,我们的模型可以通过ALE图和VI得分产生有意义的解释。仿真研究表明,我们的模型能够更好地恢复结构复杂的高维分位数过程,并且对数据和模型稀疏性具有鲁棒性。敏感性分析表明,我们的模型能够准确地捕获分位数相关的协变量效应。

所提出的方法用于分析美国新生儿出生体重与妊娠相关因素之间的关系,特别是确定对LBW和HBW的影响。我们的结果表明,LBW主要与早产和母亲大量吸烟有关;而HBW主要与高母体体重指数、母体身高、母体体重增加和已有糖尿病有关。未来的扩展可以集中于利用稀疏性诱导先验来适应观测和变量/模型选择之间的空间和/或时间相关性。

数据可用性声明

支持本文研究结果的数据可在Open Science Framework中公开获取,网址为https://doi.org/10.17605/OSF.IO/3GFHE网站这些数据来源于公共领域的以下可用资源:2019年纳塔利提,https://ftp.cdc.gov/pub/Health_Statistics/NCHS/Datasets/DVS/natality网站/

1个开放式研究徽章

这篇文章因公开再现所报告的程序和分析所需的研究方法的组成部分而获得了开放材料徽章。所有材料均可在https://doi.org/10.17605/OSF.IO/UC9QE.

支持信息

中引用的Web附录、表和图第2.2、3节、和4可在生物计量学威利在线图书馆的网站,以及模拟研究和出生体重分析的代码。

工具书类

阿布拉哈莫维奇
,
M。
,
Clampl公司
,
A。
拉姆齐
,
J.O.公司。
(
1992
)
截尾生存数据的非参数密度估计:回归样条方法
.
加拿大统计杂志
,
20
,
171
185
.

阿布雷瓦亚
,
J。
(
2001
)
人口统计学和母亲行为对出生结局分布的影响
.
实证经济学
,
26
,
247
257
.

阿普莱
,
D.W.公司。
,
J。
(
2020
)
可视化黑箱监督学习模型中预测变量的影响
.
英国皇家统计学会期刊。B系列,统计方法
,
82
,
1059
1086
.

比森
,
R。
(
1982
)
样条函数和变分不等式的限制范围逼近
.
SIAM数值分析杂志
,
19
,
372
380
.

主教
,
C.M.公司。
(
1995
)
用于模式识别的神经网络
.
英国牛津
:
牛津大学出版社
.

邦德尔
,
高密度。
,
帝国
,
B.J.公司。
,
H。
(
2010
)
非交叉分位数回归曲线估计
.
生物特征
,
97
,
825
838
.

加农炮
,
A.J.公司。
(
2018
)
基于单调复合分位数回归神经网络的非交叉非线性回归分位数及其在极端降雨量中的应用
.
随机环境研究与风险评估
,
32
,
3207
3225
.

,
C、。
,
史密斯
,
第页。
病房
,
J。
(
1980
)
学位 论坛 单调样条逼近
.
SIAM数学分析杂志
,
11
,
436
447
.

达斯
,
第页。
Ghosal公司
,
美国。
(
2018
)
完整数据和网格数据的贝叶斯非参数同时分位数回归
.
计算统计与数据分析
,
127
,
172
186
.

盖尔曼
,
A。
(
2006
)
层次模型中方差参数的先验分布
.
贝叶斯分析
,
1
,
515
534
.

格林维尔
,
B.M.公司。
,
博姆克
,
公元前。
麦卡锡
,
A.J.公司。
(
2018
)
一种简单有效的基于模型的可变重要性测度
.
arXiv预印本arXiv:1805.04755
.

,
十、。
(
1997
)
无交叉的分位数曲线
.
美国统计学家
,
51
,
186
192
.

霍夫曼
,
医学博士。
盖尔曼
,
A。
(
2014
)
无转动取样器:哈密顿蒙特卡罗自适应设置路径长度
.
机器学习研究杂志
,
15
,
1593
1623
.

福尔摩斯
,
M.P.公司。
,
灰色
,
A.G.公司。
, &
伊斯贝尔
,
C.L.公司。
(
2012
)
快速非参数条件密度估计
.
arXiv预打印arXiv:1206.5278
.

霍尼克
,
K。
,
Stinchcombe公司
,
M。
,
白色
,
H。
等(
1989
)
多层前馈网络是通用逼近器
.
神经网络
,
2
,
359
366
.

伊兹比基
,
R。
,
答:B。
(
2016
)
高维回归环境中的非参数条件密度估计
.
计算与图形统计杂志
,
25
,
1297
1316
.

基姆
,
T。
,
法科尔
,
R。
,
穆勒
,
J。
,
斯莫拉
,
A.J.公司。
提比什拉尼
,
R·J。
(
2021
)
深分位数聚集
.
arXiv预打印arXiv:2103.00083
.

,
R。
,
帝国
,
B.J.公司。
邦德尔
,
高密度。
(
2021
)
深度分布回归
.
计算统计与数据分析
,
159
, 107203.

线路接口单元
,
年。
,
年。
(
2011
)
基于核约束的多重非交叉分位数回归同时估计
.
非参数统计杂志
,
23
,
415
437
.

麦凯
,
D.J.博士。
(
1992
)
一种实用的反向传播网络贝叶斯框架
.
神经计算
,
4
,
448
472
.

国家卫生统计中心
(
2019
)
2019年游泳
.
从疾病控制和预防中心检索的数据
。网址:https://ftp.cdc.gov/pub/Health_Statistics/NCHS/Datasets/DVS/natality网站/。2021年9月27日查阅。

尼尔
,
风险管理。
(
1993
)
基于随机动力学的贝叶斯学习
.
神经信息处理系统研究进展
,
5
,
475
482
.

Ngwira公司
,
A。
赤柱
,
C.C.公司。
(
2015
)
马拉维低出生体重的决定因素:贝叶斯地理相加模型
.
公共图书馆
,
10
,e0130057。

帝国
,
B.J.公司。
史密斯
,
L.B.公司。
(
2013
)
截尾数据的贝叶斯分位数回归
.
生物计量学
,
69
,
651
660
.

里韦罗
,
米。
,
辛格
,
美国。
嘉宾林
,
C、。
(
2016
)
机器学习的模型认知解释性
.
arXiv预打印arXiv:1606.05386
.

史密斯
,
L.B.公司。
,
帝国
,
B.J.公司。
,
鲱鱼
,
A.H.公司。
,
兰格洛伊斯
,
第小时。
富恩特斯
,
M。
(
2015
)
多级分位数函数建模及其在出生结局中的应用
.
生物计量学
,
71
,
508
519
.

托克达尔
,
S.T.公司。
卡达内
,
J.B.公司。
(
2012
)
同时线性分位数回归:一种半参数贝叶斯方法
.
贝叶斯分析
,
7
,
51
72
.

维塔里语
,
A。
,
盖尔曼
,
A。
加布里
,
J。
(
2017
)
使用leave-on-out交叉验证和WAIC的实用贝叶斯模型评估
.
统计与计算
,
27
,
1413
1432
.

瓦塔纳贝
,
美国。
(
2013
)
一种广泛应用的贝叶斯信息准则
.
机器学习研究杂志
,
14
,
867
897
.

,
S.G.公司。
(
2021
)
2019年美国出生体重
.
开放科学框架
。网址:https://doi.org/10.17605/OSF.IO/3GFHE网站。2021年9月27日查阅。

,
年。
托克达尔
,
S.T.公司。
(
2017
)
任意预测空间上分位数平面的联合估计
.
美国统计协会杂志
,
112
,
1107
1120
.

,
年。
,
,
N。
,
美国。
(
2017
)
基于单调B样条的回归分位数过程建模
.
技术计量学
,
59
,
338
350
.

本文根据牛津大学出版社标准期刊出版模式的条款出版和发行(https://academic.oup.com/journals/pages/open_access/funder_policies/chorus/standard_publication_model)

补充数据