摘要
基于能量的模型（EBM）是一类重要的概率模型，也称为随机场和无向图形模型。EBM是非规范化的，因此与其他流行的自规范化概率模型（如隐马尔可夫模型（HMM）、自回归模型、生成对抗网（GAN）和变分自动编码器（VAE））截然不同。近年来，EBM不仅吸引了核心机器学习的兴趣，而且也吸引了语音、视觉、自然语言处理（NLP）等应用领域的兴趣，在理论和算法方面取得了重大进展。据我们所知，目前还没有关于语音和语言处理应用的EBM的评论文章。语音和语言的连续性也带来了特殊的挑战，需要不同于处理固定维数据（例如图像）的处理方法。
本专著的目的是系统介绍基于能量的模型，包括算法进展以及在语音和语言处理中的应用，分为四个主要部分。首先，我们将介绍EBM的基础知识，包括经典模型、由神经网络参数化的最新模型、采样方法以及从经典学习算法到最先进的各种学习方法。接下来的三节将介绍如何在三种不同的场景中应用EBM，即分别为边际分布、条件分布和联合分布建模。1） 序列数据的EBM与语言建模应用，其中我们主要关注序列本身的边际分布；2） 用于建模给定观测序列的目标序列的条件分布的EBM，在语音识别、序列标记和文本生成中的应用；3） EBM用于建模观测序列和目标的联合分布，及其在半监督学习和校准自然语言理解中的应用。此外，我们将介绍一些开源工具包，以帮助读者熟悉开发和应用基于能量的模型的技术。
内政部：10.1561/2000000117
