帕西州杰拉恩基;阿波省Nummenmaa;阿基·维塔里 具有稀疏提升先验的神经网络的期望传播。 （英语） Zbl 1318.68145号 J.马赫。学习。物件。 15, 1849-1901 (2014). 摘要：我们提出了一种新的非线性回归方法，该方法使用两层神经网络（NN）模型结构，网络权重具有稀疏的递阶先验。我们提出了一种期望传播（EP）方法，用于对权重的后验分布、先验的层次尺度参数和残差尺度进行近似积分。使用因式分解后验近似，我们导出了一种计算效率高的算法，其复杂度类似于独立稀疏线性模型的集合。该方法能够灵活地定义具有不同稀疏特性的权重先验，例如具有通用尺度参数的独立拉普拉斯先验，或所有输入具有不同相关参数的高斯自动相关确定（ARD）先验。该方法可以扩展到标准激活函数和神经网络模型结构之外，从多个稀疏线性模型中形成灵活的非线性预测因子。使用模拟数据和实际数据评估分层先验的影响和算法的预测性能。对两种具有ARD先验的替代模型进行了比较：一种是具有NN协方差函数和相关参数的边际最大后验估计的高斯过程，另一种是对所有未知模型参数进行马尔可夫链蒙特卡罗积分的NN。 引用于三文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 2015年1月62日 贝叶斯推断 62J02型 一般非线性回归 62M45型 神经网络及从随机过程推断的相关方法 关键词：期望传播;神经网络;多层感知器;线性模型;稀疏先验;自动相关性确定 PDF格式BibTeX公司 XML格式引用 \textit{P.Jylänki}等人，J.Mach。学习。第15号决议，1849--1901（2014年；Zbl 1318.68145） 全文： arXiv公司 链接