单层浅层GP

传统的高斯过程（GP）是一种流行的非线性回归优选用于其闭合形式的后验预测矩的模型，与机器学习相关的应用程序（ML，拉斯穆森和威廉姆斯，2005年）和计算机实验替代模型（桑特纳、威廉姆斯、，和2018年诺茨；Robert B.Gramacy 2020）.GP模型放置响应的多元正态先验分布，\[Y\sim\mathcal{N}\左（0，\Sigma（X）\右），\]具有\[\西格玛（X）^{ij}=\Sigma（X_i，X_j）=\tau^2\left（k\ left（\frac{||X_i-x_j||^2}{\theta}\right）+g\mathbb{我}_{i=j}\右），\]哪里\（k（\cdot）\）代表平稳核函数(深度gp提供了平方指数和Matérn核）。该软件包仅支持平均零先验值（除了两层DGP中的特殊情况外），但非零均值可以通过预先调整响应来解决适当地。在这种规范形式下，普通合伙人受到以下限制基于协方差核的平稳性\（k（\cdot）\）严格来说是欧几里得距离。

这种协方差取决于超参数\（τ^2）,\（\θ\）、和\（克\）控制比例、长度比例和噪声。[注意如何\（\θ\）按平方距离操作在此参数化下。]期待我们的DGP实施，我们采用MCMC计划，利用Metropolis-Hastings对这些未知的超参数（除了\（\套^2 \）可以进行保证金化在逆伽马参考先验下进行分析，请参见Robert B.Gramacy（2020年），第5章）。

好的，让我们来看一些代码。MCMC采样θ和克对于单层GP，内置于fit_one层功能。以下代码收集10000Metropolis Hastings示例（默认情况下使用Matérn内核创建的S3对象普通合伙人类），然后显示跟踪对数似然图和相应的样本。

适合1<- fit_one层（x，y，国家军事委员会= 10000,动词= 错误的)
情节（适合1）

MCMC提案涉及随机化因此这些轨迹图在不同的渲染。在这种简单的情况下，它们很快就会老化。之前我们对这些样品做了任何其他处理，我们可能想减少老化并稀释剩余的样品。此功能内置于修剪函数（它将在我们的任何模型上工作，而不是只有一层）。

适合1<- 修剪（图1，5000,2)#去除5000作为老化，薄一半

现在我们有一组后验样本θ和克，我们可以为测试地点极限功率在全科医生的指导下，前后预言\（Y^\星号\）在\（X ^\星\）位置跟随\[\开始{对齐}Y^\星\mid X，Y\sim\mathcal{N}\左（\mu^\星，\Sigma^\星\右）\quad\textrm{where}\quad\mu^\star&=\Sigma（X^\star，十） \西格玛（X）^{-1}是 \\\Sigma^\star&=\Sigma（X^\star）-\Sigma-（X^\star，十） \西格玛（X）^{-1}\西格马（X，X^\星）\结束{对齐}\]

每个\（\Sigma（\cdot）\）以上依赖关于\（\θ\）和\（克\）.因为我们有MCMC样品\（{\theta^t，g^t\}）对于\（在mathcal{t}中），我们可以评估\（\mu^{\star（t）}\）和\（\西格玛^{\星（t）}\）对于每个\（在mathcal{t}中）并汇总结果利用总方差定律，\[\mu^\star=\sum_{t=1}^\mathcal{t}\mu^{\star（t）}\quad\textrm{和}\quad\西格玛^\star=\sum_{t=1}^\mathcal{t}\Sigma^{\star（t）}+\mathbb{C}\mathrm{ov}\left（\mu^{star（t）}\right）\]

这个过程被整齐地包装在预测功能（为每个S3类对象量身定制），在中提供的一维情节功能。

适合1<- 预测（fit1、xp、，光= 错误的)
情节（适合1）

GP提供了良好的非线性拟合不确定性估计，但它没有意识到政权的转变。我们允许模型估计噪声参数，并且它过于平滑数据。

双层DGP

DGP公司（Damianou和Lawrence，2013年）通过函数组合来解决这种平稳性限制高斯层。中间层充当原始输入，允许非平稳灵活性。“双层”DGP可以表述为\[\开始{对齐}Y\mid W&\sim\mathcal{N}\左（0，\Sigma（W）\右）\\W_i&\sim\mathcal{N}\left（0，\Sigma_i（X）\right）\quad\textrm{for}\quad i=1，\点，D\结束{对齐}\]哪里\（\Sigma（\cdot）\）表示上一节中定义的静态核函数小节和\（W=[W_1，W_2，\点，W_D]\）是个体的列组合矩阵\（W_i\）“节点”。潜在层无噪音单位刻度（即\（g=0）和\（套^2=1）对于每个\（W_i\）). 中间潜伏层\（W \）未被观察到并呈现推理挑战（不能从后面边缘化分析）。许多人接受了快速的变分推理，节俭的近似马尔敏和菲利波恩(2022). The深度gp套餐提供了一种替代方案，基于完全贝叶斯抽样的推理方案，详见Sauer、Gramacy和Higdon（2023）.本次抽样该方法提供了完全不确定度量化（UQ），这一点至关重要用于顺序设计。

通过椭圆切片采样对潜在高斯层进行采样（ESS、穆雷、亚当斯和麦凯，2010年）.通过Metropolis Hastings对核超参数进行采样。所有这些在Gibbs方案中迭代。两层DGP的MCMC采样被包裹在fit_two层功能。

适合2<- fit_two层（x，y，国家军事委员会= 8000,动词= 错误的)
情节（适合2）

请注意，现在有两个长度比例参数，每个GP一个层（将有额外的θ_w[i]在更高的尺寸，每个\（\西格玛_ i（X）\）有自己的）。这又涉及到一些随机化取样。这些轨迹图有助于诊断老化需要运行更多MCMC样本，您可以使用持续功能。

适合2<- 持续（fit2，2000,动词= 错误的)

现在共有10000个样本存储在适合2,

适合2$国家军事委员会
#> [1] 10000

在一维中，我们可以通过指定隐藏=真到情节呼叫。

情节（fit2，轨迹= 错误的,隐藏的= 真的)

每行代表一个ESS样本\（W \）。因为10000条线路对图中，显示了均匀间隔的样本选择。这些样品是渐变色–红线是最早的迭代，黄色是行是最新的。在这个简单的例子中，这些行看起来并不全是太有趣了，但我们看到他们在左侧区域（由更陡的斜率表示）和中的“挤压”输入右侧区域（由更平坦的坡度表示）。这适应了事实上有更多的信号x<0.6.

然后，我们可以使用相同的函数调用进行修剪/精简和预测。预测遵循单层GP的相同结构，它们只是包含的附加映射\（X^\星号\）通过\（W \）在获得之前\（\mu^\star\）和\（\西格玛^\星\）.我们利用lite=假这里是完全后验预测返回协方差（默认情况下，只有点式方差返回）。

适合2<- 修剪（图2，5000,2)
适合2<- 预测（fit2、xp、，光= 错误的)
情节（适合2）

双层DGP更容易识别“摇摆”区域，同时预测线性拟合右边。我们允许DGP也估计噪声参数，因此它过于平滑了一点。

三层DGP

三层DGP包含一个额外的功能组成，\[\开始{对齐}Y\mid W&\sim\mathcal{N}\左（0，\Sigma（W）\右）\\W_i\mid Z&\sim\mathcal{N}\left（0，\Sigma_i（Z）\right）\quad\textrm{for}\quad i=1，\点，D\\Z_j&\sim\mathcal{N}\左（0，\Sigma_j（X）\右）\quad\textrm{for}\quad j=1，\点，D\结束{对齐}\]我们对Metropolis Hastings的最内层和附加椭圆的长度刻度参数切片采样\（Z\）.英寸预测，我们合并了一个额外的映射\（X^\星形\右箭头Z\右箭头W\）在获得预测之前\（Y^\星号\）训练/预测利用相同的功能，只需使用适合三层功能。

适合3<- 适合三层（x，y，国家军事委员会= 10000,动词= 错误的)
适合3<- 修剪（图3，5000,2)
配件3<- 预测（fit3、xp、，光= 错误的)
情节（适合3）

您可能会注意到，三层贴合设计与两层拟合（尽管它需要更多的计算）。额外深度的回报递减。我们将正式接下来比较一下预测。

评估指标

为了客观地比较各种模型，我们可以评估预测测试地点的真实反应。有三个包中包含的评估指标：

• rmse公司：均方根预测误差（下限为更好）
• crps公司：连续等级概率得分（需要点式预测方差，越低越好）
• 分数：预测对数似然（需要完整预测协方差，越高越好）

让我们为我们拥有的四个模型计算这些指标得到款待的。

韵律学<- 数据帧(“RMSE” = c（c）(rmse公司（yp，配件1$平均值），
                                 rmse公司（yp，配件2$平均值），
                                 rmse公司（yp，配件3$平均值），
                      “CRPS” = c（c）(crps公司（yp，配件1$平均值，诊断（适合1$西格玛）），
                                 crps公司（yp，配件2$平均值，诊断（适合2$西格玛）），
                                 crps公司（yp，配件3$平均值，诊断（适合3$西格玛））），
                      “得分” = c（c）(分数（yp，配件1$平均值，fit1$西格玛），
                                  分数（yp，配件2$平均值，fit2$西格玛），
                                  分数（yp，配件3$平均值，fit3$西格玛））
行名称（指标）<- c（c）(“一层GP”,“双层DGP”,“三层DGP”)
韵律学
#>RMSE CRPS评分
#>单层GP 0.19375467 0.12445641 2.023996
#>双层DGP 0.08187180 0.06806456 2.980133
#>三层DGP 0.06562534 0.04712727 3.762263

三层跑赢了两层，而两层跑赢全板的一层。

扩展

fit2_vec（适合2-vec）<- fit_two层（x，y，国家军事委员会= 10000,维基亚= 真的,米= 20)

适合2否<- fit_two层（x，y，国家军事委员会= 10000,正确_g= 1e-4号机组)

fit1_sep（适合1月）<- fit_one层（x、y，国家军事委员会= 10000,9月= 真的)

通过预期改进进行优化

如果顺序设计目标是使响应最小化，则预期改进标准（EI、Jones、，Schonlau和Welch 1998）通过指定参数提供EI=真在预测功能。对于Higdon函数示例，我们可以使用测试位置计算EI极限功率作为候选人

适合2<- 预测（fit2、xp、，EI公司= 真的)

要使用相应的配合可视化EI，请使用以下代码将EI（绿线）覆盖在双层DGP配合之上。

情节（适合2）
标准(新= 真的)
情节（xp，配件2$EI中，类型= “l”,随钻测井= 2,科尔= 3,轴= 错误的,xlab公司= "",伊拉布= "")
点（xp[which.max（最大值）（适合2$EI）]，最大值（适合2$EI），多氯联苯= 17,cex公司= 1.5,科尔= 3)

下一次收购被选为最大化的候选人EI（以绿色三角形突出显示）。在本例中，EI标准是准确识别响应面。此实现依赖于通过以下方式进行优化候选人评估。战略性地选择候选人至关重要；看见Robert B.Gramacy、Sauer和Wycoff(2022)讨论EI的候选优化DGP。

通过熵进行轮廓定位

如果顺序设计目标是定位整个轮廓或响应面中的水平集，熵准则由规范熵_极限在预测功能。这个熵_极限代表分隔通过/失败区域的响应值。对于Higdon函数示例，如果我们在y=0再次使用测试网格作为候选，这将产生

适合2<- 预测（fit2、xp、，熵极限= 0)
情节（适合2）
标准(新的= 真的)
情节（xp，配件2$熵，类型= “l”,随钻测井= 2,科尔= 3,轴= 错误的,xlab公司= "",伊拉布= "")

注意，预测平均值与限制阈值。仅熵准则及其极端峰值并且有限地纳入后验不确定性，不是理想的收购标准。相反，最好将其与其他鼓励探索的指标。请参见展位，Renganathan和Gramacy（2024年）供进一步讨论。再一次，该实现依赖于候选人，以及候选地点至关重要。

最小化后验方差

如果相反，我们只是想获得最佳替代品选择以最小后验为目标进行序列设计方差。

为了让事情保持有趣，让我们介绍一个新的本节中用于可视化的一维示例（以及演示无噪音情况）。以下代码定义了一个简单的阶跃函数。

（f）<- 功能（x）作为数字（x）> 0.5)

#培训数据
x个<- 序列(0,1,长度= 8)
年<- （f）（x）

#测试数据
极限功率<- 序列(0,1,长度= 100)
yp（英制）<- （f）（极限）

情节（xp、yp、，类型= “l”,科尔= 4,xlab公司= “X”,伊拉克镑= “Y”,主要= “阶跃函数”)
点（x，y）

然后，我们拟合一层和两层模型，这次指定平方指数核和固定噪声参数值。

适合1<- fit_one层（x，y，国家军事委员会= 10000,覆盖（cov）= “经验2”,正确_g= 1e-4号机组,动词= 错误的)
适合1<- 修剪（图1，5000,5)
适合1<- 预测（fit1，xp）
情节（适合1）

适合2<- fit_two层（x，y，国家军事委员会= 10000,覆盖（cov）= “经验2”,真实（_g）= 1e-4号机组,动词= 错误的)
适合2<- 修剪（图2，5000,5)
适合2<- 预测（适合2，xp）
情节（适合2）

注意，DGP模型更适合逐步性质由于其非平稳性的灵活性，响应面会发生变化。

这个深度糖蛋白该包提供了两个收购标准目标最小后验方差。积分均方误差（IMSE）采集标准（Sacks等人。1989)在中实现IMSE公司功能。这个以下代码评估了单层和双层的标准上述模型使用预测网格作为候选，并绘制结果值。选择下一次收购作为候选生成最小IMSE（用蓝色三角形突出显示）。

图像1<- IMSE公司（fit1，xp）
图像2<- IMSE公司（适合2，xp）
标准(mfrow公司= c（c）(1,2))
情节（xp，imse1）$值，类型= “l”,伊拉布= “IMSE”,主要= “单层”)
点（xp[其中分钟（第1页$值）]，最小值（插图1$值），多氯联苯= 17,cex公司= 1.5,科尔= 4)
情节（xp，imse2）$值，类型= “l”,伊拉布= “即时消息”,主要= “双层”)
点（xp[其中分钟（插图2$值）]，最小值（插图2$值），多氯联苯= 17,cex公司= 1.5,科尔= 4)

而单层模型倾向于以低IMSE跨越大多数领域，适当地使用两层模型目标收购位于不确定性最高的中部地区。IMSE的和近似值，在ML文献在自动高度控制功能（尽管ALC采集被选为候选产生最大标准值）。

酒精1<- 自动高度控制（fit1，xp）
酒精2<- 自动高度控制（适合2，xp）

在进行完整的顺序设计时，初始化采集最后一次潜在采样值后的DGP链层和核超参数。MCMC采样的初始值双层DGP可由θy_0,θ_ w_0,第0组、和w_0（周_0）论据到fit_two层。对实现了类似的参数fit_one层和适合三层.示例这在git存储库的“activelearning”文件夹中提供(https://bitbucket.org/gramacylab/depgp-ex网站/).