基于协方差估计的受限Boltzmann机器的有效学习

Vidyadhar Upadhya，P S Sastry公司
第十一届亚洲机器学习会议记录，PMLR 101:836-8512019年。

摘要

使用CD（k）等标准算法学习RBM涉及负对数似然的梯度下降。梯度中的一个项涉及对模型分布的期望，这是很难处理的，它是通过MCMC估计获得的。在这项工作中，我们表明对数似然的Hessian可以用隐藏单位和可见单位的协方差来表示，因此，Hessian的所有元素也可以使用相同的MCMC样本来估计，并且额外的计算成本很小。由于反演Hessian可能需要大量计算，因此我们提出了一种使用Hessian对角近似逆的算法。与标准方法相比，这在本质上为梯度下降过程带来了参数特定的自适应学习率，并提高了RBM的学习效率。特别地，我们证明了在随机DC（凸函数差分）程序方法中使用Hessian的对角近似逆可以非常有效地学习RBM。

引用本文

BibTeX公司
@会议记录{pmlr-v101-upadhya19a，title={使用协方差估计有效学习受限Boltzmann机器}，author={Upadhya，Vidyadhar和Sastry，P S}，booktitle={第十一届亚洲机器学习会议论文集}，页数={836--851}，年份={2019}，editor={Lee，Wee Sun和Suzuki，Taiji}，体积={101}，series={机器学习研究论文集}，月={11月17日--19日}，发布者＝{PMLR}，pdf={http://proceedings.mlr.press/v101/upadhya19a/upadhya 19a.pdf},url={https://proceedings.mlr.press/v101/upadhya19a.html},abstract={使用CD（k）等标准算法学习RBM涉及负对数似然上的梯度下降。梯度中的一个项涉及对模型分布的期望，这是很难处理的，它是通过MCMC估计获得的。在这项工作中，我们表明对数似然的Hessian可以用隐藏单位和可见单位的协方差来表示，因此，Hessian的所有元素也可以使用相同的MCMC样本来估计，并且额外的计算成本很小。由于反演Hessian可能在计算上很昂贵，我们提出了一种使用Hessian对角近似的反演的算法。与标准方法相比，这在本质上为梯度下降过程带来了参数特定的自适应学习率，并提高了RBM的学习效率。特别地，我们证明了在随机DC（凸函数差分）程序方法中使用Hessian的对角近似逆可以非常有效地学习RBM。}}
尾注
%0会议论文%使用协方差估计的受限Boltzmann机的T有效学习%维迪亚达尔·乌帕迪亚%A P S Sastry公司%第十一届亚洲机器学习会议论文集%C机器学习研究进展%D 2019年%E Wee Sun Lee先生%E铃木太极拳%对于pmlr-v101-upadhya19a%我PMLR%电话836--851%U型https://proceedings.mlr.press/v101/upadhya19a.html%101伏%使用CD（k）等标准算法的X学习RBM涉及负对数似然的梯度下降。梯度中的一个项涉及对模型分布的期望，这是很难处理的，它是通过MCMC估计获得的。在这项工作中，我们表明对数似然的Hessian可以用隐藏单位和可见单位的协方差来表示，因此，Hessian的所有元素也可以使用相同的MCMC样本来估计，并且额外的计算成本很小。由于反演Hessian可能需要大量计算，因此我们提出了一种使用Hessian对角近似逆的算法。与标准方法相比，这在本质上为梯度下降过程带来了参数特定的自适应学习率，并提高了RBM的学习效率。特别地，我们证明了在随机DC（凸函数差分）程序方法中使用Hessian的对角近似逆可以非常有效地学习RBM。
亚太地区
Upadhya，V.&Sastry，P.S.（2019年）。使用协方差估计的受限Boltzmann机器的有效学习。第十一届亚洲机器学习会议记录，英寸机器学习研究进展101:836-851可从https://proceedings.mlr.press/v101/upadhya19a.html。

相关材料