Coupled generation

Ben Dai; Xiaotong Shen; Wing Wong

doi:10.1080/01621459.2020.1844719

美国统计协会。作者手稿；PMC 2023年1月1日提供。

以最终编辑形式发布为：

美国统计协会杂志，2022年；117(539): 1243–1253.

2021年1月4日在线发布。数字对象标识：10.1080/01621459.2020.1844719

预防性维修识别码：项目经理C9718422

NIHMSID公司：美国国立卫生研究院1774499

PMID：36465716

耦合发电

本代,¹ 沈晓桐,¹和王永雄²

作者信息版权和许可信息 PMC免责声明

关联数据

补充资料: 附录1。
NIHMS1774499-补充-Supp_1.gz（73K）
GUID:6C8FE4EE-9300-4D3D-A192-7C6212D244F8

摘要

实例生成创建代表性示例来解释学习模型，如回归和分类。例如，感兴趣主题的代表性句子专门描述用于句子分类的主题。在这种情况下，除了标记的数据外，还可能存在大量未标记的观察结果，例如，许多未分类的文本语料库（未标记的实例）只有几个分类的句子（标记的示例）可用。在本文中，我们介绍了一种新的生成方法，称为耦合生成器，它基于间接生成器和直接生成器生成给定特定学习结果的实例。间接生成器使用逆原理生成相应的逆概率，从而能够利用未标记的数据生成实例。直接生成器根据实例的学习结果学习实例的分布。然后，耦合发电机从间接发电机和直接发电机中寻找最佳发电机，这两种发电机的设计目的都是为了享受两者的好处，并提供更高的发电精度。对于给定主题的句子生成，我们为间接生成器开发了一个基于嵌入的回归/分类与无条件递归神经网络，而条件递归神经网对于相应的直接生成器来说是自然的。此外，我们推导了间接生成器和直接生成器的有限样本生成误差界，以揭示这两种方法的生成方面，从而解释了耦合生成器的优点。最后，我们将所提出的方法应用于抽象分类的实际基准测试，并证明耦合生成器可以从字典中合成相当好的句子来描述感兴趣的特定主题。

关键词：分类、自然语言处理、数值嵌入、半监督生成、非结构化数据

1 介绍

为给定的结构化信息生成文章或文本是一个重要的人工智能（AI）问题，它会自动模仿某种写作风格。虽然解决这个人工智能问题相当具有挑战性，但我们在本文中处理它的简单版本，我们称之为实例（示例）生成，即生成给定特定结果的代表性实例，以描述和解释相应的学习模型，例如分类和回归。

在许多实际应用中，使用黑盒预测模型（如深度神经网络）提供了较高的经验学习精度[14,15]. 然而，很难理解这种学习模式。从生成的角度来看，实例生成可以回顾性地描述实例和结果之间的关系。它的应用包括句子分类的主题描述、抽象文本摘要[12]、和图像字幕[25]，其中生成的句子呈现主题、文本和图像的描述性示例。在这种情况下，句子生成允许我们在提供结构化信息时撰写新颖的文章和图像字幕。例如，UCI抽象分类基准^¹由文章摘要中的句子组成，这些句子被标记为五个主题类别之一。这里的目标是学习一种句子生成机制，以在给定特定主题的情况下编写一个新颖的摘要，其中生成性能是通过基于测试样本的交叉熵误差来衡量的。

在文献中，尽管实例生成在人工智能中有着广泛的重要应用，但它在很大程度上仍未被探索，尽管已经提出了一些句子生成的方法。例如，计算语言学方法将单词/短语表示为树，以模拟语言依赖性[20]，一种学习方法使用大型文本语料库来学习句子结构，而无需任何语言注释[5]. 在[26]提出了一种句子生成模型，该模型通过对句子的潜在主题进行采样，然后使用递归神经网络（RNN）对句子中的单词进行采样来生成文档。在[37,17]，图像字幕通过卷积神经网络（CNN）和RNN之间的相互作用将图像内容链接到语言模型。然而，在给定结构化信息的情况下，以及结合标记和未标记数据的实例生成方面的工作很少。

主题实例数据的一个主要特征是，未标记数据的数量可能远远大于标记数据。例如，在句子生成中，未分类的句子大约是分类的句子的十倍。这是一种半监督学习的并行情况，不同的重点是利用未标记的数据来提高监督学习的预测准确性[42,18]这与我们这一代人的学习目标形成了鲜明对比。

我们的主要贡献在于开发了一个新的半监督生成框架，用于生成给定结果的实例。在此基础上，我们提出了三种生成方法——间接生成、直接生成和耦合生成。间接生成器使用反向学习原理估计给定实例结果的条件概率分布，从而能够利用未标记的数据（如果可用）。另一方面，直接生成器以有监督的方式估计给定结果的实例的相应条件概率。然后，耦合发电机被设计成可以享受两代人的利益。所提出的生成器在句子生成中进行了说明，其中我们通过连续的next-word-prediction生成句子。具体来说，我们将基于正则化嵌入的回归/分类与间接生成器的无条件RNN结合起来，而将条件RNN用于直接生成器。

为了阐明这三种生成器的生成性能，我们推导了每种方法的有限样本生成误差界。有趣的是，间接生成器的生成误差取决于给定实例的结果的条件密度和边际密度的参数空间的复杂性。类似地，直接生成器的条件密度由给定结果的实例的条件密度决定。因此，间接发电机和直接发电机在使用未标记数据生成数据方面有各自的优势，重要的是，耦合发电机在生成精度方面都具有优势。这一点，再加上句子分类的实际基准，证明了耦合生成在构建相当好的句子来描述特定主题方面的实用性。数值上，该方法优于单独的RNN方法，并且间接生成器可以利用额外的未标记数据进一步提高性能。

本文的结构如下。第2节介绍了基于间接发电和直接发电的耦合发电框架。第3节发展了所提方法的生成性能理论。第4节致力于开发一种新的句子生成方法，通过连续的下一个单词预测给出感兴趣的主题。第5节研究了耦合发电机的运行特性，并将其与直接和间接发电机以及一个竞争对手进行了比较。这个附录包含技术证明。

2 方法

考虑一个生成模型，其目标是生成一个实例X（X）给出结果Y（Y），其中X（X）和Y（Y）表示实例和响应变量，这些变量可以是数字的，也可以是非结构化的，例如无法以预定义方式表示的文本和文档。在本文中，我们重点讨论了基于条件分布的生成模型下的实例生成对_{X（X）|Y（Y）}属于X（X）给出的结果Y（Y）例如，在句子生成中[26]，实例生成生成以下典型示例X（X）给定的特定主题Y（Y），其中X（X）和Y（Y）表示句子及其相关主题。

例如，生成一个标记的训练样本 ${({x个}^{我}, 年^{我})}_{我 = 1}^{n个}$ 以及一个只提供实例的示例 ${({x个}^{j个})}_{j个 = 1}^{\tilde{n个}}$ ，其样本大小 $\tilde{n个}$ 可能大大超过或小于样本量n个在我们的上下文中，我们利用未标记的样本来提高实例生成的生成准确性。

间接发电机。

间接生成器使用的估计值生成实例对_{X（X）|Y（Y）}通过逆关系(1)：估计值对_{Y（Y）|X（X）}基于 ${({x个}^{我}, 年^{我})}_{我 = 1}^{n个}$ 英寸(2)和边缘密度对_X（X）基于综合数据 ${({x个}^{我})}_{我 = 1}^{n个}$ 和 ${({x个}^{j个})}_{j个 = 1}^{\tilde{n个}}$ 英寸(三). 也就是说，

间接 : {\hat{对}}_{X（X） | Y（Y）}^{b条} (x个 ∣ 年) = \frac{{\hat{对}}_{Y（Y） | X（X）} (年 ∣ x个) {\hat{对}}_{X（X）} (x个)}{\int_{x个 \in X（X）} {\hat{对}}_{Y（Y） ∣ X（X）} (年 ∣ x个) {\hat{对}}_{X（X）} (x个) d日 x个},

(1)

{\hat{对}}_{Y（Y） ∣ X（X）} = \underset{对_{Y（Y） | X（X）} \in {如果}_{b条}}{argmin（最小值）} - {n个}^{- 1} \sum_{我 = 1}^{n个} 日志 (对_{Y（Y） ∣ X（X）} (年^{我} ∣ {x个}^{我})) + λ_{b条} J_{b条} (对_{Y（Y） ∣ X（X）}),

(2)

{\hat{对}}_{X（X）} = \underset{对_{X（X）} \in {如果}_{米}}{argmin（最小值）} - {(n个 + \tilde{n个})}^{- 1} (\sum_{我 = 1}^{n个} 日志 (对_{X（X）} ({x个}^{我})) + \sum_{j个 = 1}^{\tilde{n个}} 日志 (对_{X（X）} ({x个}^{j个}))) + λ_{米} J_{米} (对_{X（X）}),

(3)

哪里 ${\hat{对}}_{Y（Y） ∣ X（X）}$ 和 ${\hat{对}}_{X（X）}$ 英寸(1)是正则最大似然估计对_{Y（Y）|X（X）}和对_X（X）,J_b条和J_米例如，是正规化者，我₁-或我₂-神经网络模型中的正则化，λ_b条≥0且λ_米≥0是控制正则化权重的调谐参数，以及 ${如果}_{b条}$ 英寸(2)和 ${如果}_{米}$ 英寸(三)是的参数空间对_{Y（Y）|X（X）}和对_X（X）分别是。请注意 $\int_{x个 \in X（X）} {\hat{对}}_{X（X） ∣ Y（Y）} (x个 ∣ 年) {\hat{对}}_{X（X）} (x个) d日 x个$ 英寸(1)使正常化 ${\hat{对}}_{X（X） ∣ Y（Y）}^{b条}$ 要成为概率密度，尽管当只关注分布的某些方面（如模式或百分位数）而不是分布本身时，没有必要进行归一化。重要的是，间接生成器只利用实例（未标记）数据 ${({x个}^{j个})}_{j个 = 1}^{\tilde{n个}}$ ，但估计中的任何潜在偏差对_X（X）基于 ${({x个}^{j个})}_{j个 = 1}^{\tilde{n个}}$ 可以转化为对_{Y（Y）|X（X）}.

直接发电机。

直接发电机使用对_{X（X）|Y（Y）}生成实例，通过最小化X（X）鉴于Y（Y）基于 ${({x个}^{我}, 年^{我})}_{我 = 1}^{n个}$ :

直接 : {\hat{对}}_{X（X） | Y（Y）}^{（f）} (x个 ∣ 年) = {\hat{对}}_{X（X） | Y（Y）} (x个 ∣ 年), {\hat{对}}_{X（X） ∣ Y（Y）} = \underset{对_{X（X） | Y（Y）} \in {如果}_{（f）}}{argmin（最小值）} - {n个}^{- 1} \sum_{我 = 1}^{n个} 日志 (对_{X（X） ∣ Y（Y）} ({x个}^{我} ∣ 年^{我})) + λ_{（f）} J_{（f）} (对_{X（X） ∣ Y（Y）}),

(4)

哪里 ${如果}_{（f）}$ 是的参数空间对_{X（X）|Y（Y）},J_（f）是一名正规化者，并且λ_（f）≥0是控制正则化权重的调谐参数。

看起来(4)可以通过条件似然扩展以利用额外的未标记数据对_{X（X）|Y（Y）}和混合关系 $\int_{年} 对_{X（X） ∣ Y（Y）} (x个 ∣ 年) 对_{Y（Y）} (年) d日年 = 对_{X（X）} (x个)$ 然而，不幸的是，当包含额外的未标记数据时，混合方法可能会出现渐近偏差，从而降低对_{X（X）|Y（Y）}[8,9,39]. 这是因为当 ${如果}_{（f）}$ 是错误的，而且它的影响甚至可能是最小的，特别是当支持Y（Y）很大。如中的定理所示第4节[39]，监督和半监督最大似然估计可能收敛到不同的值，因此，当模型在其中指定错误时，更多的未标记数据产生更大的估计偏差，如Kullback-Leibler散度所测量的 $对_{X（X）}^{0}$ 不属于参数空间 ${如果}_{（f）} = {对_{X（X）} (x个) = \int_{年} 对_{X（X） | Y（Y）} (x个 ∣ 年) 对_{Y（Y）} (年) d日年; 对_{X（X） | Y（Y）} \in {如果}_{（f）}}$ 或者混合关系不满足。此外，如图1和图2所示[8]和图4.1[7]实证研究表明，当SecStr数据集中标记数据的大小超过30时，基于标记数据和未标记数据的EM算法往往仅基于标记数据而降低性能。因此，对_{X（X）|Y（Y）}基于标记数据的估计比基于标记和未标记数据的评估具有更好的性能。

总之，如何利用未标记的数据来提高发电性能仍是一个悬而未决的问题，这取决于在实践中可能无法验证的模型假设。值得一提的是(4)是一个一般的公式，没有假设任何具体的假设对_X（X）与相关 ${如果}_{（f）}$ 然而如果这种假设在实践中变得可用(4)可以基于它进行推广，以合并未标记的数据以进行改进。目前，我们不会追求这一方面，因为间接方法可以从额外的未标记数据中受益，如定理1在里面第3节.

耦合发电机。

估计的困难程度 ${\hat{对}}_{X（X） ∣ Y（Y）}^{（f）}$ 和的 ${\hat{对}}_{X（X） ∣ Y（Y）}^{b条}$ 可能会有所不同，尤其是当对_X（X）可以从实例数据和未标记数据中很好地估计。根据情况，前者可能比后者更难，反之亦然。这方面的一些理论结果如所示第4.5节然后，我们通过在两者之间选择最大化预测对数似然或最小化负对数似然的一个，提出耦合发电，例如(23)在句子生成示例中。特别是，耦合发电机定义为：，

{\hat{对}}_{X（X） ∣ Y（Y）}^{c（c）} = {\begin{array}{l} {\hat{对}}_{X（X） ∣ Y（Y）}^{（f）} & 如果 {\hat{对}}_{X（X） ∣ Y（Y）}^{（f）} 有 一 较高的 原木类木材 价值 在 一 验证 设置 比 {\hat{对}}_{X（X） ∣ Y（Y）}^{b条}, \\ {\hat{对}}_{X（X） ∣ Y（Y）}^{b条} & 否则。 \end{array}

(5)

概率密度 ${\hat{对}}_{X（X） ∣ Y（Y）}^{c（c）}$ 给出了X（X）鉴于Y（Y）首先，我们可以使用模式生成代表性实例对_{X（X）|Y（Y）}给出一种表示或抽样对_{X（X）|Y（Y）}用于多种表示。第二，区别特征X（X）关于Y（Y）可以通过比较提取 ${\hat{对}}_{X（X） ∣ Y（Y）}^{c（c）}$ 在不同的Y（Y）-回顾性价值观。例如，在分类中Y（Y）=±1，比较 ${\hat{对}}_{X（X） ∣ Y（Y） = 1}^{c（c）}$ 和 ${\hat{对}}_{X（X） ∣ Y（Y） = - 1}^{c（c）}$ 导致区别特征。这方面将在其他地方进行进一步调查。

耦合学习有其独特的特点，尽管它似乎与半监督变分自动编码器有着遥远的联系[18]和逆自回归流[19]. 特别是[19]使用生成模型对_{X（X）|Y（Y）}和对_X（X）增强判别模型对_{Y（Y）|X（X）}将边际分布视为条件分布的混合，而所提出的间接生成器集成了未标记的数据来单独估计边际分布。此外[18]估计X（X） 对_X（X）通过自回归神经网络的一系列潜在因素和不可避免的变换，通过可逆关系连接块。然而，该方法通过贝叶斯定律将两个条件密度联系起来。最后，从理论上证明[19]和[18]仍然未知。

三。理论

本节开发了一种学习理论，用于研究直接、间接和耦合发电机的发电误差。特别地，我们推导了估计量的有限样本生成误差界 ${\hat{对}}_{X（X） ∣ Y（Y）}^{b条}$ , ${\hat{对}}_{X（X） ∣ Y（Y）}^{（f）}$ 、和 ${\hat{对}}_{X（X） ∣ Y（Y）}^{c（c）}$ 第页，共页(1), (4)和(5).

生成的生成错误X（X）鉴于Y（Y）定义为两个条件密度之间的预期Hellinger-距离对_{X（X）|Y（Y）}和q个_{X（X）|Y（Y）}关于Y（Y）:

d日 (对_{X（X） ∣ Y（Y）}, {q个}_{X（X） ∣ Y（Y）}) = {({E类}_{Y（Y）} {小时}^{2} (对_{X（X） ∣ Y（Y）}, {q个}_{X（X） ∣ Y（Y）}))}^{1 / 2} \equiv {({E类}_{Y（Y）} \int {(对_{X（X） ∣ Y（Y）} - {q个}_{X（X） | Y（Y）})}^{2} d日 μ)}^{1 / 2},

哪里μ勒贝格措施实施了吗x个、和 ${E类}_{Y（Y）}$ 是关于以下方面的期望Y（Y）.

三参数空间 ${如果}_{b条}$ , ${如果}_{米}$ 、和 ${如果}_{（f）}$ 定义用于估算对_{Y（Y）|X（X）}英寸(2),对_X（X）英寸(三)、和对_{X（X）|Y（Y）}英寸(4)，每个都可以根据相应的样本大小进行选择。然后，它们的正则参数空间如下所示： ${如果}_{b条, k个} = {对_{Y（Y） | X（X）} \in {如果}_{b条} : J (对_{Y（Y） ∣ X（X）}) \leq k个}$ 对于(2), ${如果}_{米, k个} = {对_{X（X）} \in {如果}_{米} : J (对_{X（X）}) \leq k个}$ 对于(三)、和 ${如果}_{（f）, k个} = {对_{X（X） ∣ Y（Y）} \in {如果}_{（f）} : J (对_{X（X） ∣ Y（Y）}) \leq k个}$ 对于(4). 在此基础上，我们定义了度量熵来度量其复杂性，以用于我们的理论。

这个u个-括号度量熵H（H）(u个, $如果$ )空间的 $如果$ 相对于距离D类定义为u个-的括号 $如果$ 最小尺寸的。A类u个-的括号 $如果$ 是（函数对的）有限集 ${(对_{j个}^{我}, 对_{j个}^{单位}), j个 = 1, \dots, N个}$ 这样，对于任何 $对 \in 如果$ ，有一个j个这样的话 $对_{j个}^{我} \leq 对 \leq 对_{j个}^{单位}$ 具有 $d日 (对_{j个}^{我}, 对_{j个}^{单位}) \leq u个; j个 = 1, \dots, N个$ 。请注意 ${d日}^{2} (对_{Y（Y） ∣ X（X）}, {q个}_{Y（Y） ∣ X（X）}) = {E类}_{X（X）} ({小时}^{2} (对_{Y（Y） ∣ X（X）}, {q个}_{Y（Y） ∣ X（X）}))$ ,小时²(对_X（X）,q个_X（X）)、和 ${E类}_{Y（Y）} {小时}^{2} (对_{X（X） ∣ Y（Y）}, {q个}_{X（X） ∣ Y（Y）})$ ，分别用于 ${如果}_{b条, k个}$ , ${如果}_{米, k个}$ 、和 ${如果}_{（f）, k个}$ .

量化真实密度的近似程度 $对_{Y（Y） ∣ X（X）}^{0}$ 通过 ${如果}_{b条}$ ，我们引入一个距离 $ρ_{b条} (对_{Y（Y） ∣ X（X）}^{0}, 对_{Y（Y） ∣ X（X）}) = {E类}_{X（X）} {E类}_{Y（Y） ∣ X（X）} 克_{α} (对_{Y（Y） ∣ X（X）}^{0} / 对_{Y（Y） ∣ X（X）})$ ，其中克_α(x个) =α⁻¹(x个^α−1）用于α∈ (0, 1). 如中所建议第4节第页，共页[38]，此距离比相应的Hellinger距离强。同样， $ρ_{米} (对_{X（X）}^{0}, 对_{X（X）}) = {E类}_{X（X）} 克_{α} (对_{X（X）}^{0} / 对_{X（X）})$ 和 $ρ_{（f）} ({对_{X（X） ∣ Y（Y）}}^{0}, 对_{X（X） ∣ Y（Y）}) = {E类}_{X（X）} {E类}_{Y（Y） ∣ X（X）} 克_{α} ({对_{X（X） ∣ Y（Y）}}^{0} / 对_{X（X） ∣ Y（Y）})$ 定义为近似真实密度 $对_{X（X）}^{0}$ 和 ${对_{X（X） ∣ Y（Y）}}^{0}$ 通过 ${如果}_{米}$ 和 ${如果}_{（f）}$ 分别为。

让 $对_{Y（Y） | X（X）}^{*} \in {如果}_{b条}$ 和 $对_{X（X）}^{*} \in {如果}_{米}$ 是的两个近似点 $对_{Y（Y） ∣ X（X）}^{0}$ 和 $对_{X（X）}^{0}$ 在那里面 $ρ_{b条} (对_{Y（Y） ∣ X（X）}^{0}, 对_{Y（Y） ∣ X（X）}^{*}) \leq γ_{b条}$ 和 $ρ_{米} (对_{X（X）}^{0}, 对_{X（X）}^{*}) \leq γ_{米}$ 对于某些序列γ_b条≥0且γ_米≥ 0. 当然，γ_b条=0时 $对_{Y（Y） ∣ X（X）}^{0} \in {如果}_{b条}$ 和γ_米=0时 $对_{X（X）}^{0} \in {如果}_{米}$ .

定理1（间接生成器）。

假设存在一些正常数c（c）₁–c（c）₆这样，对于任何ϵ_b条>0和λ_b条≥ 0,

\underset{k个 \geq 1}{啜饮} \int_{2^{- 8} 我_{k个}}^{2^{1 / 2} 我_{k个}^{1 / 2}} {H（H）}^{1 / 2} (u个 / {c（c）}_{三}, {如果}_{b条, k个}) d日 u个 / 我_{k个} \leq {c（c）}_{2} {n个}^{1 / 2}, 我_{k个} = {c（c）}_{1} ϵ_{b条}^{2} + λ_{b条} (k个 - 1),

（6）

并且，对于任何ϵ_米>0和λ_米≥ 0,

\underset{k个 \geq 1}{啜饮} \int_{2^{- 8} 我_{k个}}^{2^{1 / 2} 我_{k个}^{1 / 2}} {H（H）}^{1 / 2} (u个 / {c（c）}_{6}, {如果}_{米, k个}) d日 u个 < 我_{k个} \leq {c（c）}_{5} {(n个 + \tilde{n个})}^{1 / 2}, 我_{k个} = {c（c）}_{4} ϵ_{米}^{2} + λ_{米} (k个 - 1),

(7)

然后

P（P） (d日 ({\hat{对}}_{X（X） ∣ Y（Y）}^{b条}, {对_{X（X） ∣ Y（Y）}}^{0}) \geq 2 (η_{b条} + η_{米})) \leq 8 经验 (- {c（c）}_{7} n个 η_{b条}^{2}) + 8 经验 (- {c（c）}_{8} (n个 + \tilde{n个}) η_{米}^{2}), η_{b条} = 最大值 (ϵ_{b条}, γ_{b条}^{1 / 2}), η_{米} = 最大值 (ϵ_{米}, γ_{米}^{1 / 2}),

(8)

前提是λ_{b条 $最大值 (J_{b条} (对_{Y（Y） ∣ X（X）}^{*}), J_{b条} (对_{Y（Y） ∣ X（X）}^{0}), 1) \leq {c（c）}_{9} η_{b条}^{2}$}和λ_米 $最大值 (J_{米} (对_{X（X）}^{*}), J_{米} (对_{X（X）}^{0}), 1) \leq {c（c）}_{9} η_{米}^{2}$ 、和c（c）₇–c（c）₉是一些正常数。因此， $d日 ({\hat{对}}_{X（X） ∣ Y（Y）}^{b条}, {对_{X（X） ∣ Y（Y）}}^{0}) = {O（运行）}_{对} (η_{b条} + η_{米})$ 作为n个, $\tilde{n个} \to \infty$ 在下 $对_{X（X）, Y（Y）}^{0}$ .

定理1指示间接生成器的生成误差由估计误差控制ϵ_b条和ϵ_米来自(2)和(三)和近似误差γ_b条和γ_米，其中ϵ_b条和ϵ_米可以通过求解熵积分方程得到(6)和(7). 此外，可以通过调整λ_b条和λ_米。请注意η_米可以调整为以下较小的顺序η_b条当未标记数据的大小大大超过标记数据的尺寸时。那么间接方法的泛化误差主要由以下因素决定η_b条换句话说，间接发电机的性能主要取决于对_{Y（Y）|X（X）}.

对于直接发电机，让 ${对_{X（X） ∣ Y（Y）}}^{*} \in {如果}_{（f）}$ 近似于对_{X（X）|Y（Y）}⁰在那里面ρ_（f）(对_{X（X）|Y（Y）}⁰,对_{X（X）|Y（Y）}*) ≤γ_（f）对一些人来说γ_（f）≥ 0.

定理2（直接生成器）。

假设存在一些正常数c₁₀–c₁₂,这样，对于任何ϵ_（f）> 0,和λ_（f）≥ 0,

\underset{k个 \geq 1}{啜饮} \int_{2^{- 8} 我_{k个}}^{2^{1 / 2} 我_{k个}^{1 / 2}} {H（H）}^{1 / 2} (u个 / {c（c）}_{12}, {如果}_{（f）, k个}) d日 u个 / 我_{k个} \leq {c（c）}_{11} {n个}^{1 / 2}, 我_{k个} = {c（c）}_{10} ϵ_{（f）}^{2} + λ_{（f）} (k个 - 1),

(9)

然后

P（P） (d日 ({\hat{对}}_{X（X） ∣ Y（Y）}^{（f）}, {对_{X（X） ∣ Y（Y）}}^{0}) \geq η_{（f）}) \leq 8 经验 (- {c（c）}_{13} n个 η_{（f）}^{2}), η_{（f）} = 最大值 (ϵ_{（f）}, γ_{（f）}^{1 / 2}),

(10)

前提是λ_（f） $最大值 (J_{（f）} ({对_{X（X） | Y（Y）}}^{*}), J_{（f）} ({对_{X（X） | Y（Y）}}^{0}), 1) \leq {c（c）}_{9} η_{（f）}^{2}$ ,和c₁₃> 0是一个常量.因此, $d日 ({\hat{对}}_{X（X） ∣ Y（Y）}^{（f）}, {\hat{对}}_{X（X） ∣ Y（Y）}^{0}) = {O（运行）}_{对} (η_{（f）})$ 作为n个→ ∞ 在下面 $对_{X（X）, Y（Y）}^{0}$ .

与间接生成相比，生成错误η_（f）直接发电量可能比间接发电量大或小得多η_b条取决于 ${如果}_{（f）}$ , ${如果}_{b条}$ ，以及相应的近似误差γ_（f）和γ_b条，何时对_X（X）可以很好地估计。这表明，根据模型假设，其中一个可能优于另一个。

请注意γ_（f）,γ_b条、和γ_米是函数空间逼近能力的逼近误差 ${如果}_{（f）}$ , ${如果}_{b条}$ 和 ${如果}_{米}$ [35,40]. 特别地，当函数空间由ReLU深度神经网络定义以近似Sobolev空间中的函数时，近似误差是可用的，并且与神经网络的规模有关[40].

定理3说耦合发电机的性能并不比间接发电机和直接发电机差(5)用于根据大小的独立交叉验证样本进行选择N个.

定理3（耦合生成）。

低于 $对_{X（X）, Y（Y）}^{0}$ ,作为N→ ∞,中定义的耦合发电机(5)满足 $K ({对_{X（X） ∣ Y（Y）}}^{0}, {\hat{对}}_{X（X） ∣ Y（Y）}^{c（c）}) \leq 最小值 (K ({对_{X（X） ∣ Y（Y）}}^{0}, {\hat{对}}_{X（X） ∣ Y（Y）}^{b条}), K ({对_{X（X） ∣ Y（Y）}}^{0}, {\hat{对}}_{X（X） ∣ Y（Y）}^{（f）}))$ ,其中K(对_{X（X）|Y（Y）},q个_{X（X）|Y（Y）})是p之间的Kullback-Leibler散度_{X（X）|Y（Y）} 和q_{X（X）|Y（Y）}.

在定理3，如果 $K ({对_{X（X） ∣ Y（Y）}}^{0}, 对_{X（X） ∣ Y（Y）}) \leq {c（c）}_{14}^{2} {d日}^{2} ({对_{X（X） ∣ Y（Y）}}^{0}, 对_{X（X） ∣ Y（Y）})$ 对于某个常数c（c）₁₄>0，然后 $d日 ({对_{X（X） ∣ Y（Y）}}^{0}, {\hat{对}}_{X（X） ∣ Y（Y）}^{c（c）}) \leq {c（c）}_{15} 最小值 (d日 ({对_{X（X） ∣ Y（Y）}}^{0}, {\hat{对}}_{X（X） ∣ Y（Y）}^{b条}), d日 ({对_{X（X） ∣ Y（Y）}}^{0}, {\hat{对}}_{X（X） ∣ Y（Y）}^{（f）}))$ ，当似然比有界时发生。

4 给定主题的句子生成

本节推导了句子生成的生成方法，该方法将先前开发的似然方法与语言模型相结合以构成句子。因此，可以生成一个新句子，该句子可能不会出现在训练数据中；看见表3例如。

表3

耦合生成器基于UCI基准文本语料库的一个随机分区生成的摘要，用于句子分类。这里五个句子（1）-（5）对应五个类别：AIM、OWN、CONTRAST、BASIS、MISC，每个句子的前五个单词都是预先指定的。除“改善“（4）中有错误，并且科尔莫戈罗夫（1）和以色列人在（3）中应大写。这些错误可以通过语法检查器更正。

（1）本文扩展了选择规则理论的研究。（2）我们使用以下想法和概念来测试我们的预测 科尔莫戈罗夫 复杂性取决于数据集示例的数量。（3）结果表明： 以色列人 模型可以用来为分类精度提供新的结果。（4）我们表明，实现与学习算法的性能有关 改善 预测的最佳预测器。（5）平衡的效果由高水平的事件和共享的对象来描述.

在单独的窗口中打开

一个完整的句子由词向量表示X（X）_1:T型= (X（X）₁, …,X（X）_T型)'，其中X（X）_t吨是t吨-第个单词，T型是句子特定的长度，′表示向量的转置。为了方便起见，我们写X（X）₁=“启动”和X（X）_T型+1=“END”分别作为句子的第一个单词和最后一个单词的空单词。例如，X（X）₁=“开始”，X（X）₂=``足球'，X（X）_三=“是”，X（X）₄=``a〃，X（X）₅=``流行'，X（X）₆=``sport“，以及X（X）₇=``END〃。与一起X（X）_1:T型，其关联的主题类别Y（Y）= (Y（Y）₁, …,Y（Y）_K)'可用，其中Y（Y）_j个∈{0,1}或 ${Y（Y）}_{j个} \in ℝ$ 最后，我们构造一个字典 $D类 = {(周_{1}, \dots, 周_{| D类 |})}^{'}$ 包含所有合成词，即 ${X（X）}_{t吨} \in D类; t吨 = 1, \dots, T型$ ，带有 $| D类 |$ 表示 $D类 ’ 秒$ 大小。

为了简单起见，我们考虑一个固定的T型，其中可以使用固定长度处理不同长度的句子，如中所示表1.给定主题的句子生成Y（Y）生成一个句子X（X）_1:T型+1使用条件概率P（P）(X（X）_1:T型+1=x个_1:T型+1|Y（Y）=年). 然而，在句子层面上估计这种可能性是不可行的。因此，我们使用概率链规则在单词级别对其进行分解：

日志 (对 ({X（X）}_{1 : T型 + 1} = {x个}_{1 : T型 + 1} ∣ Y（Y） = 年)) = \sum_{t吨 = 1}^{T型} 日志 (对 ({X（X）}_{t吨 + 1} = {x个}_{t吨 + 1} ∣ {X（X）}_{1 : t吨} = {x个}_{1 : t吨}, Y（Y） = 年)) .

(11)

这种分解(11)允许通过学习给定现有单词，通过下一个单词来连续生成句子对(X（X）_t吨+1=x个_t吨+1|x个_1:t吨,年)来自数据；t吨=1, …,T型.

表1

11个与句子相关的下一个字的指令序列。

主题	句子
杂项	SYMBOL的损失界意味着概率收敛.
1	Null Null Null Null NullNull NullNULL Null Null Null nullNull Null START空零零零零开始→ 这个
2	Null Null Null Null Nul Null Nul Null NullNull NullNULL Null Null START→ 损失
三。	空零零零零空零零空空启动损失→ 跳跃
4	Null Null Nul Null NullNull Null Null START损失范围→ 属于
5	Null Null Nul Null NullNull START的损失范围→ 符号
6	Null Null Null Null START SYMBOL的丢失界限→ 暗示
7	Null Null Null START SYMBOL的丢失范围表示→ 汇聚
8	Null Null Null START SYMBOL的损失范围意味着收敛→ 在里面
9	Null Null START SYMBOL的损失范围意味着收敛于→ 可能性
10	空START SYMBOL的损失界表示仅在概率上收敛→。
11	START SYMBOL的损失界仅表示概率收敛。→ 结束

在单独的窗口中打开

然而，估计对(X（X）_t吨+1=x个_t吨+1|x个_1:t吨,年)对于非结构化仍然具有挑战性X（X）_1:t吨因为在任何条件反射事件中都缺乏观察X（X）_1:t吨鉴于Y（Y）即使有大量的培训数据。此外，很难利用未标记的数据进行估算对(X（X）_t吨+1=x个_t吨+1|x个_1:t吨,年).

4.1. 间接发电机

在这种情况下，我们导出了(2)和的(三)通过(11)估计逆概率。明确地，对(x个_t吨+1|x个_1:t吨,年)可以写为

对 ({x个}_{t吨 + 1} ∣ {x个}_{1 : t吨}, 年) = \frac{对 (年 ∣ {x个}_{1 : t吨 + 1}) 对 ({x个}_{t吨 + 1} ∣ {x个}_{1 : t吨})}{\sum_{{x个}_{t吨 + 1} \in D类} 对 (年 ∣ {x个}_{1 : t吨}, {x个}_{t吨 + 1}) 对 ({x个}_{t吨 + 1} ∣ {x个}_{1 : t吨})};

（12）

对于t吨=1, …,T型然后，我们估计逆概率对(年|x个_1:t吨+1)基于标记数据 ${({x个}_{1 : t吨}^{我}, 年^{我})}_{我 = 1}^{n个}$ 和估算对(x个_t吨+1|x个_1:t吨)基于 ${({x个}_{1 : t吨}^{我})}_{我 = 1}^{n个}$ 对于t吨= 1, …,T型^我、和未标记的数据 ${({x个}_{1 : t吨}^{j个})}_{j个 = 1}^{\tilde{n个}}$ 对于t吨= 1, …,T型^j个.

估算对(年|x个_1:t吨)可以继续进行非结构化预测x个_1:t吨。继续，我们画一个句子x个_1:t吨到数字矢量 $E类 ({x个}_{1 : t吨}) \in ℝ^{对}$ 称为大小的数字嵌入对通过预处理嵌入模型，如Doc2Vec[23,24]和BERT[11]. 如果预处理嵌入模型足够 $对 (年 ∣ {X（X）}_{1 : t吨} = {x个}_{1 : t吨}) = 对 (年 ∣ E类 ({X（X）}_{1 : t吨}) = E类 ({x个}_{1 : t吨}))$ [10]，数字嵌入 $E类 ({x个}_{1 : t吨})$ 捕获以词的共现形式表示的词与词之间的关系，这可能会提高非结构化预测因子的可预测性X（X）_1:t吨接下来，我们建模对(年|x个_1:t吨)通过 $对 (年 ∣ E类 ({x个}_{1 : t吨}))$ 什么时候Y（Y）∈｛0，1｝^K是绝对的或 $Y（Y） \in ℝ^{K}$ 具有嵌入标签的连续性Y（Y）:

对 (年 ∣ {x个}_{1 : t吨}) = {\begin{array}{l} 年^{'} σ (（f） (E类 ({x个}_{1 : t吨}))), & 如果 年 \in {0, 1}^{K}, \\ {(2 π)}^{- K / 2} 经验 (- \frac{1}{2} {‖ 年 - （f） (E类 ({x个}_{1 : t吨})) ‖}_{2}^{2}), & 如果 年 \in ℝ^{K}, \end{array}

(13)

哪里K是的尺寸Y（Y）,σ（·）是softmax函数[1]、和（f）是非参数分类或回归函数林[三]或线性函数 $（f） (E类 ({x个}_{1 : t吨})) = θ_{b条} E类 ({x个}_{1 : t吨})$ 具有 $θ_{b条} \in ℝ^{K \times 对}$ 为了进行说明，我们使用线性表示 $（f） (E类 ({x个}_{1 : t吨})) = θ_{b条} E类 ({x个}_{1 : t吨})$ 英寸(13)顺序。现在是成本函数我_b条(θ_b条)英寸(2)成为

我_{b条} (θ_{b条}) = - \frac{1}{n个} \sum_{我 = 1}^{n个} {({T型}^{我})}^{- 1} \sum_{t吨 = 1}^{{T型}^{我}} 日志 (对 (年^{我} ∣ E类 ({x个}_{我 : t吨}^{我})) + λ_{b条} J_{b条} (（f）),

(14)

哪里λ_b条≥0是一个调谐参数，并且J_b条(（f）)≥0是正则化子，例如， $J_{b条} (（f）) = {‖ θ_{b条} ‖}_{如果}^{2}$ 如果 $（f） (E类 ({x个}_{1 : t吨})) = θ_{b条} E类 ({x个}_{1 : t吨})$ ，式中_如果是矩阵的Frobenius范数。

另一方面，下一个单词的概率由RNN以

对 ({x个}_{t吨 + 1} ∣ {x个}_{1 : t吨}) = {o个}_{[{x个}_{t吨 + 1}]} ({x个}_{t吨}, {小时}_{t吨}; θ_{米}), 具有 {小时}_{t吨} = 小时 ({x个}_{t吨}, {小时}_{t吨 - 1}; θ_{米}), {小时}_{0} = 0,

(15)

其中[x个_t吨+1] ={j个:周_j个=x个_t吨+1},o个_j个(x个_t吨,小时_t吨,θ_米)是发生的概率j个-第个单词 $D类$ 、和小时(x个_t吨,小时_t吨+1,θ_米)是一个隐藏状态函数，例如长短期记忆单元（LSTM）[16]，双向装置[32]，一个门控复发单元（GRU）[6]和GPT2[30],θ_米是特定RNN模型的参数，例如， $θ_{米} = ({W公司}_{米}^{o个}, {W公司}_{米}^{x个}, {W公司}_{米}^{小时})$ 在基本RNN中，

o个 ({x个}_{t吨}, {小时}_{t吨}, θ_{米}) = σ ({W公司}_{米}^{o个} {小时}_{t吨}), {小时}_{t吨} = ϕ ({W公司}_{米}^{x个} 1_{[{x个}_{t吨}]} + {W公司}_{米}^{小时} {小时}_{t吨 - 1}), 和 {小时}_{0} = 0,

(16)

哪里σ（·），如前所述，是softmax和ϕ是一个激活函数，如ReLU函数[1], ${W公司}_{米}^{o个} \in ℝ^{{第页}_{米} \times | D类 |}$ , ${W公司}_{米}^{x个} \in ℝ^{| D类 | \times {x个}_{米}}$ 、和 ${W公司}_{米}^{小时} \in ℝ^{{第页}_{米} \times {第页}_{米}}$ 、和第页_米是RNN的潜在因子数。请参见图1用于显示基本RNN的体系结构。

保存图片、插图等的外部文件。对象名为nihms-1774499-f0003.jpg

在单独的窗口中打开

图1

由间接和直接RNN生成器生成的句子(20)和(15)，其中显示RNN体系结构，其中“SYMBOL的瞬时损失界仅表示概率收敛主题“MISC”由单词连续生成，小时_t吨是中RNN的隐藏节点(20)和(15)、和小时₀是初始隐藏状态，在(15)和“MISC”(20).

在地面上(15)，成本函数我_米(θ_米)英寸(三)成为

我_{米} (θ_{米}) = - {(n个 + \tilde{n个})}^{- 1} \sum_{我 = 1}^{n个} {({T型}^{我})}^{- 1} \sum_{t吨 = 1}^{{T型}^{我}} 日志 ({o个}_{[{x个}_{t吨 + 1}^{我}]} ({x个}_{t吨}^{我}, {小时}_{t吨}^{我}, θ_{米})) - {(n个 + \tilde{n个})}^{- 1} \sum_{j个 = 1}^{\tilde{n个}} {({T型}^{j个})}^{- 1} \sum_{t吨 = 1}^{{T型}^{j个}} 日志 ({o个}_{[{x个}_{t吨 + 1}^{j个}]} ({x个}_{t吨}^{j个}, {小时}_{t吨}^{j个}, θ_{米})) + λ_{米} J_{米} (θ_{米}),

(17)

哪里λ_米≥0是一个调谐参数，并且J_米(θ_米)是正则化权重矩阵和激活层的正则化器[22].

最小化(14)和(17)产量估计器θ_b条和θ_米分别是。然后，条件概率估计为 $\hat{对} (年 ∣ {x个}_{1 : t吨 + 1}; θ_{b条}) = σ (θ_{b条} E类 ({x个}_{1 : t吨 + 1}))$ 和 $\hat{对} ({x个}_{t吨 + 1} ∣ {x个}_{1 : t吨}; θ_{米}) = {o个}_{[{x个}_{t吨 + 1}]} ({x个}_{t吨}, {小时}_{t吨 - 1}, θ_{米})$ .将这些估计插入(12)，我们得到了估计的概率，过程总结为，

{\hat{对}}^{b条} ({X（X）}_{t吨 + 1} = x个 ∣ {x个}_{1 : t吨}, 年) = \frac{\hat{对} (年 ∣ {x个}_{1 : t吨}, x个; θ_{b条}) \hat{对} ({X（X）}_{t吨 + 1} = x个 ∣ {x个}_{1 : t吨}; θ_{米})}{\sum_{x个 \in D类} \hat{对} (年 ∣ {x个}_{1 : t吨}, x个; θ_{b条}) \hat{对} ({X（X）}_{t吨 + 1} = x个 ∣ {x个}_{1 : t吨}; θ_{米})} θ_{b条} = \underset{θ_{b条}}{argmin（最小值）} 我_{b条} (θ_{b条}), θ_{米} = \underset{θ_{米}}{argmin（最小值）} 我_{米} (θ_{米}) .

(18)

然后，按如下顺序生成一个句子：

{\hat{x个}}_{t吨 + 1} = \underset{x个 \in D类}{argmax（最大值）} {\hat{对}}^{b条} ({X（X）}_{t吨 + 1} = x个 ∣ {X（X）}_{1 : t吨} = {x个}_{1 : t吨}, Y（Y） = 年); t吨 = 1, \dots, \hat{T型} .

（19）

此生成过程始于x个₁=`START”或预先指定t吨₀-单词 ${x个}_{1 : {t吨}_{0}}$ 并继续进行，直到 ${x个}_{\hat{T型}} = ` ` 结束 ″$ 达到，其中 $\hat{T型}$ 是终止时的索引。值得一提的是(18)规范化概率，但当最大化为(18)在中需要(19).

4.2. 直接发电机

直接发电受条件RNN（C-RNN[37,17])通过估算

对 ({x个}_{t吨 + 1} ∣ {x个}_{1 : t吨}, 年) = {o个}_{[{x个}_{t吨 + 1}]} ({x个}_{t吨}, {小时}_{t吨 - 1}, 年, θ_{（f）}), 具有 {小时}_{t吨} = 小时 ({x个}_{t吨}, {小时}_{t吨 - 1}, θ_{（f）}), {小时}_{0} = {小时}_{0} (年, θ_{（f）}),

（20）

哪里θ_（f）表示RNN的参数，以及小时₀建立在标签信息之上，而不是小时₀=0英寸(16). 如中所示(16)，直接发电机需要附加参数 ${W公司}_{（f）}^{年} \in ℝ^{{第页}_{（f）} \times K}$ 对于 $θ_{（f）} = ({W公司}_{（f）}^{o个}, {W公司}_{（f）}^{x个}, {W公司}_{（f）}^{小时}, {W公司}_{（f）}^{年})$ 从以下方面模拟效果年如下：

o个 ({x个}_{t吨}, {小时}_{t吨}, 年, θ_{（f）}) = σ ({W公司}_{（f）}^{o个} {小时}_{t吨}), {小时}_{t吨} = ϕ ({W公司}_{（f）}^{x个} 1_{[{x个}_{t吨}]} + {W公司}_{（f）}^{小时} {小时}_{t吨 - 1}), 和 {小时}_{0} = ϕ ({W公司}_{（f）}^{年} 年),

(21)

哪里 ${W公司}_{（f）}^{o个} \in ℝ^{{第页}_{（f）} \times | D类 |}$ , ${W公司}_{（f）}^{x个} \in ℝ^{| D类 | \times {第页}_{（f）}}$ , ${W公司}_{（f）}^{小时} \in ℝ^{{第页}_{米} \times {第页}_{（f）}}$ 、和第页_（f）是RNN的潜在因子数。基于此，成本函数(4)成为

我_{（f）} (θ_{（f）}) = - {n个}^{- 1} \sum_{我 = 1}^{n个} {({T型}^{我})}^{- 1} \sum_{t吨 = 1}^{{T型}_{我}} 日志 ({o个}_{[{x个}_{t吨 + 1}^{我}]} ({x个}_{t吨}^{我}, {小时}_{t吨 - 1}^{我}, 年^{我}, θ_{（f）})) + λ_{（f）} J_{（f）} (θ_{（f）}),

(22)

哪里λ_（f）≥0是一个调谐参数，并且J_（f）(θ_（f）)是一个非负正则化子。最小化(22)英寸θ_（f）产生一个估计θ_（f），因此估计概率 ${\hat{对}}^{（f）} (x个 ∣ {x个}_{1 : t吨}, 年) = {o个}_{[x个]} ({x个}_{t吨}, {小时}_{t吨 - 1}, 年, θ_{（f）})$ ，来自(20). 然后，句子生成过程如下所示(19).

值得注意的是，直接和间接生成器可以使用不同的RNN模型分别实现，例如，直接RNN的GPT2(20)而间接RNN的LSTM(15). 此外，不同的RNN模型架构可能会产生不同的实证结果。该方面如所示第5节.

4.3. 耦合发电机

给定估计概率 ${\hat{对}}^{（f）} ({x个}_{t吨 + 1} ∣ {x个}_{1 : t吨}, 年)$ 和 ${\hat{对}}^{b条} ({x个}_{t吨 + 1} ∣ {x个}_{1 : t吨}, 年)$ .耦合发电机在以下两个选项中选择一个 ${\hat{对}}^{（f）}$ 和 ${\hat{对}}^{b条}$ 通过最小化对数似然损失的经验版本来确定验证集，

Ent公司 (\hat{对}) = - {T型}^{- 1} \sum_{t吨 = 1}^{T型} 日志 \hat{对} ({X（X）}_{t吨 + 1} = {x个}_{t吨 + 1} ∣ {X（X）}_{1 : t吨} = {x个}_{1 : t吨}, Y（Y） = 年) .

(23)

4.4. 大规模计算

本节为中的间接发电机开发了一个计算方案(14)–(17)和直接发电机(22)可以通过标准RNN实现进行处理，如[36,29]. 特别是，当通过时间梯度方法使用随机反向传播时，计算复杂度与每个时间步长的参数数量成正比[27].

在下面，我们应用梯度下降[41]或随机梯度下降[31]解决(14). 对于(17)，我们应用了一种经典的反向传播算法。在每种情况下，我们都使用分析梯度表达式进行更新。

间接发电梯度。

的渐变表达式θ_米英寸(17)在中给出[29]，而这是为了θ_b条英寸(14)计算为

\frac{\partial 我_{b条}}{\partial θ_{b条, k个}} = {\begin{array}{l} λ_{b条} θ_{b条, k个} - {n个}^{- 1} \sum_{我 = 1}^{n个} {({T型}^{我})}^{- 1} \sum_{t吨 = 1}^{{T型}^{我}} (年_{k个}^{我} - σ_{k个} (θ_{b条} E类 ({x个}_{1 : t吨}^{我})) E类 ({x个}_{1 : t吨}^{我}), & 年^{我} \in {0, 1}^{K}, \\ λ_{b条} θ_{b条, k个} - {n个}^{- 1} \sum_{我 = 1}^{n个} {({T型}^{我})}^{- 1} \sum_{t吨 = 1}^{{T型}^{我}} (年_{k个}^{我} - {θ^{'}}_{b条, k个} E类 ({x个}_{1 : t吨}^{我})) E类 ({x个}_{1 : t吨}^{我}), & 年^{我} \in ℝ^{K}, \end{array}

(24)

哪里θ_b条,k个表示k个第列，共列θ_b条.

间接发生器梯度下降的细节总结如下。

保存图片、插图等的外部文件。对象名为nihms-1774499-f0001.jpg

保存图片、插图等的外部文件。对象名为nihms-1774499-f0002.jpg

算法1可以通过随机梯度方案进行更新[2]. 引理1描述了算法1.

引理1。

如果成本函数为L_b条 在里面(14)和L_米 在里面(17)连续两次微分，且随机初始化的概率测度相对于Lebesgue测度是绝对连续的。然后,θ_b条 是全球最小值(14),虽然 θ_米 是局部最小值(17)几乎可以肯定，前提是 算法1 足够小.

4.5. 句子生成理论

本节概括了第3节下一个命令的问题。

现在我们使用对_{X（X）|Y（Y）},对_{Y（Y）|X（X）}、和对_X（X）分别代表 ${对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）}}_{t吨 = 1}^{T型}, {对_{Y（Y） ∣ {X（X）}_{1 : t吨}}}_{t吨 = 1}^{T型}$ 、和 ${对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}}}_{t吨 = 1}^{T型}$ 。下一个命令的预期平方海林格尔距离为

d日 (对_{X（X） ∣ Y（Y）}, {q个}_{X（X） ∣ Y（Y）}) = {(\bar{E类} {小时}^{2} (对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）}, {q个}_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）}))}^{\frac{1}{2}},

(25)

哪里 $\bar{E类} (\cdot) = {T型}^{- 1} \sum_{t吨 = 1}^{T型} {E类}_{{X（X）}_{1 : t吨}, Y（Y）} (\cdot)$ .

的度量熵 ${如果}_{b条, k个}$ 由距离定义 $κ^{2} (对_{Y（Y） ∣ X（X）}, {q个}_{Y（Y） ∣ X（X）}) = \bar{E类} {小时}^{2} (对_{Y（Y） ∣ {X（X）}_{1 : t吨}}, {q个}_{Y（Y） ∣ {X（X）}_{1 : t吨}})$ 同样， $κ^{2} (对_{X（X）}, {q个}_{X（X）}) = \bar{E类} {小时}^{2} (对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}}, {q个}_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}})$ 、和d日²(对_{X（X）|Y（Y）},q个_{X（X）|Y（Y）})用于 ${如果}_{米, k个}$ 和 ${如果}_{（f）, k个}$ 分别为。

的近似误差对_Y|X年⁰是 $ρ_{b条} ({对_{Y（Y） ∣ X（X）}}^{0}, 对_{Y（Y） ∣ X（X）}) = \bar{E类} 克_{α} (\frac{对^{0} (Y（Y） ∣ {X（X）}_{1 : t吨 + 1})}{对 (Y（Y） ∣ {X（X）}_{1 : t吨 + 1})})$ 类似地，近似误差 $ρ_{米} ({对_{X（X）}}^{0}, 对_{X（X）}) = \bar{E类} 克_{α} (\frac{对^{0} ({X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨})}{对 ({X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨})})$ 和 $ρ_{（f）} ({对_{X（X） ∣ Y（Y）}}^{0}, 对_{X（X） ∣ Y（Y）}) = \bar{E类} 克_{α} (\frac{对^{0} ({X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）)}{对 ({X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）)})$ 用于对_X（X）⁰和对_{X |年}⁰.

推论1（顺序生成）。

中的所有结果 定理1和2 继续保持距离d(·,·)定义于(25).

接下来我们提供一个理论示例来说明推论1.

理论示例。

假设中的RNN(15)是一个基本的递归网络 $θ_{米} = ({W公司}_{米}^{o个}, {W公司}_{米}^{x个}, {W公司}_{米}^{小时})$ 也就是说， $o个 ({x个}_{t吨}, {小时}_{t吨 - 1}, θ_{米}) = σ ({W公司}_{米}^{o个} {小时}_{t吨 - 1}), {小时}_{t吨} = ϕ ({W公司}_{米}^{x个} 1_{[{x个}_{t吨}]} + {W公司}_{米}^{小时} {小时}_{t吨 - 1})$ 、和 ${小时}_{0} = 0_{{第页}_{米}}$ ，其中 ${W公司}_{米}^{o个} \in ℝ^{{第页}_{米} \times | D类 |}$ , ${W公司}_{米}^{x个} \in ℝ^{| D类 | \times {第页}_{米}}$ 、和 ${W公司}_{米}^{小时} \in ℝ^{{第页}_{米} \times {第页}_{米}}$ ,第页_米是RNN的潜在因素数量，以及ϕ(z（z）)是一个激活函数，例如sigmoid函数ϕ(z（z）)=1/（1+经验（−z（z）))，tanh函数ϕ(z（z）)=棕褐色(z（z）)和整流线性单元（ReLU）ϕ(z（z）) =z（z）₊为了进行说明，我们将重点放在乙状结肠功能上。

中的RNN(20)是那个吗 $o个 ({x个}_{t吨}, {小时}_{t吨 - 1}, θ_{（f）}) = σ ({W公司}_{（f）}^{o个} {小时}_{t吨 - 1})$ , ${小时}_{t吨} = ϕ ({W公司}_{（f）}^{x个} 1_{[{x个}_{t吨}]} + {W公司}_{（f）}^{小时} {小时}_{t吨 - 1})$ 、和 ${小时}_{0} = ϕ ({W公司}_{（f）}^{年} 年)$ .网络参数为 $θ_{（f）} = ({W公司}_{（f）}^{o个}, {W公司}_{（f）}^{x个}, {W公司}_{（f）}^{小时}, {W公司}_{（f）}^{年})$ ，其中 ${W公司}_{（f）}^{o个} \in ℝ^{{第页}_{（f）} \times | D类 |}$ , ${W公司}_{（f）}^{x个} \in ℝ^{| D类 | \times {第页}_{（f）}}$ , ${W公司}_{（f）}^{小时} \in ℝ^{{第页}_{（f）} \times {第页}_{（f）}}$ 、和 ${W公司}_{（f）}^{年} \in ℝ^{{第页}_{（f）} \times K}$ 、和第页_（f）是直接生成中RNN的潜在因子数。

推论2给出了直接和间接发电机的发电误差。

推论2（理论示例）。

对于估计的次字概率 $对_{X（X） ∣ Y（Y）}^{（f）}$ 通过直接发电机(22),我们有这个 $d日 (对_{X（X） ∣ Y（Y）}^{（f）}, 对_{X（X） ∣ Y（Y）}^{0}) = {O（运行）}_{对} (η_{（f）})$ ,哪里

η_{（f）} = 最大值 {{(\frac{Λ_{（f）}}{n个} 日志 (\frac{n个 最大值 ({第页}_{（f）}, 2 {c（c）}_{15}) 2^{T型} {T型}^{- 1 / 2}}{Λ_{（f）}}))}^{\frac{1}{2}}, γ_{（f）}^{\frac{1}{2}}},

$Λ_{（f）} = {第页}_{（f）} (2 | D类 | + {第页}_{（f）} + K)$ , $λ_{（f）} = {c（c）}_{17} η_{（f）}^{2}$ ,和c₁₅> 0和c₁₆> 0是常数 ${E类}_{Y（Y）} ‖ Y（Y） ‖_{2}^{2} \leq {c（c）}_{15}$ .类似地，估计的次字概率 $对_{X（X） ∣ Y（Y）}^{b条}$ 通过间接发电机(14)和(17)满足： $d日 (对_{X（X） ∣ Y（Y）}^{b条}, 对_{X（X） ∣ Y（Y）}^{0}) = {O（运行）}_{对} (η_{b条} + η_{米})$ ,哪里

η_{b条} = 最大值 {{(\frac{Λ_{b条}}{n个} 日志 (\frac{{c（c）}_{16} n个}{Λ_{b条}}))}^{\frac{1}{2}}, γ_{b条}^{\frac{1}{2}}},

η_{米} = 最大值 {{(\frac{Λ_{米}}{n个 + \tilde{n个}} 日志 (\frac{{第页}_{米} (n个 + \tilde{n个}) 2^{T型} {T型}^{- 1 / 2}}{Λ_{米}}))}^{\frac{1}{2}}, γ_{米}^{\frac{1}{2}}},

Λ_b条=千磅, $Λ_{米} = {第页}_{米} (2 | D类 | + {第页}_{米})$ , $λ_{b条} = {c（c）}_{18} η_{b条}^{2}$ , $λ_{米} = {c（c）}_{18} η_{米}^{2}$ ,和c₁₆> 0和c₁₈> 0是常数 $\bar{E类} {‖ E类 ({X（X）}_{1 : t吨}) ‖}_{2}^{2} \leq {c（c）}_{16}$ .

推论2表示间接发电机的发电误差(1)成为 $d日 ({\hat{对}}_{X（X） ∣ Y（Y）}^{b条}, {对_{X（X） ∣ Y（Y）}}^{0}) = {O（运行）}_{对} {(\frac{Λ_{b条}}{n个} 日志 (\frac{n个}{Λ_{b条}}))}^{\frac{1}{2}}$ 什么时候 $(\tilde{n个} + n个) / n个 = O（运行） (\frac{Λ_{米} 日志 ({第页}_{米} n个 / Λ_{米})}{Λ_{b条} 日志 ({c（c）}_{16} n个 / Λ_{b条})})$ ，何时γ_b条=γ_米= 0. 事实上，生成误差主要由其估计误差决定对(Y（Y）|X（X）_1:t吨)，因为对(X（X）_t吨+1|X（X）_1:t吨)可以借助大量未标记的数据很好地估计 $\tilde{n个} ≫ n个$ 在这种情况下，间接法优于直接法，尤其是当∧_b条< Λ_（f）表明间接方法的估计复杂度小于直接方法。有趣的是，直接生成器的生成误差与Hellinger距离下最大似然估计的生成误差一致[34,38]. 关于调谐，∧值较大_b条，∧_米，和∧_（f）增加了用于概率估计的相应函数空间的复杂性，从而减少了生成错误。因此，直接和间接生成器的生成误差实际上取决于参数空间的模型复杂性 ${如果}_{b条}$ 和 ${如果}_{（f）}$ .

为了说明间接发电机和直接发电机各自优势的协同作用，我们考虑了两种情况。第一， $d日 (对_{X（X） ∣ Y（Y）}^{（f）}, 对_{X（X） ∣ Y（Y）}^{0}) = {o个}_{对} (1)$ 但是 $d日 (对_{X（X） ∣ Y（Y）}^{b条}, 对_{X（X） ∣ Y（Y）}^{0})$ 如果是未标记的样本，则有界远离零 ${({X（X）}_{1 : {T型}^{j个}}^{j个})}_{j个 = 1}^{\tilde{n个}}$ 遵循标记样本的不同边缘分布 ${({X（X）}_{1 : {T型}^{我}}^{我})}_{我 = 1}^{n个}$ 第二， $d日 (对_{X（X） ∣ Y（Y）}^{b条}, 对_{X（X） ∣ Y（Y）}^{0}) = {o个}_{对} (1)$ 但是 $d日 (对_{X（X） ∣ Y（Y）}^{（f）}, 对_{X（X） ∣ Y（Y）}^{0})$ 在已标记但未标记的样本中，如果存在新词，则从零开始有界。然而，在这两种情况下， $d日 (对_{X（X） ∣ Y（Y）}^{c（c）}, 对_{X（X） ∣ Y（Y）}^{0}) = {o个}_{对} (1)$ 当Kullback-Leibler散度等于Hellinger距离时。换句话说，只有耦合发电机在这两种情况下的发电误差趋于零。

5 基准

本节在一个基准示例中检查耦合、间接和直接生成器的性能，并与基线方法“Separate RNN”进行比较，该方法适合每个主题的RNN，如[36]. 该基准涉及基于UCI机器学习库中文本语料库的句子分类^²本语料库共有1039个标注句子，这些句子来自30篇文章的摘要和引言，其中五个主题类别分别是AIM（本文的特定目的）、OWN（对本文中自己的作品的描述）、CONTRAST（与其他作品的比较陈述，包括优缺点）、，BASIS（与其他工程的协议声明或其他工程的继续）和MISC（公认的科学背景或其他工程描述）。这些标签来自三个科学领域：计算生物学（PLOS）、arXiv上的机器学习库（arXiv）和心理学期刊判断与决策（JDM）。例如，根据科学主题分类，“SYMBOL的瞬时损失界意味着仅在概率上收敛”等典型句子被标记为“MISC”。除了上述标注的句子外，该语料库还包含了来自《公共科学图书馆》、《科学图书馆文献汇编》和《JDM》中300篇文章的34481个未标注的句子。

在继续之前，我们对文本语料库进行预处理，以过滤掉冗余的每个句子成分，从而将数字嵌入应用于间接生成器。首先，我们将所有数值、符号值和引文分别替换为“NUMBER”、“SYMBOL”和“CITATION”，并删除除逗号、句点和分号之外的所有独立标点符号。对于未标记的句子，我们删除了出现在语料库中少于20次的单词，从而得到了8286个句子的未标记语料库。在此基础上，我们构建了一个由5369个单词组成的词典，这些单词是从有标签和无标签的句子中提取出来的。

为了进行训练，我们根据数据集中所有句子的最大长度生成用于下一个单词预测的字符串。因此，句子中前面的所有标记都有助于预测下一个单词。具体来说，我们创建由连续的前一个单词组成的下一个单词前缀序列，并用空单词“null”填充相同长度的所有单词字符串。下一个命令序列的示例如所示表1以这种方式，我们收集了足够的训练句子，因为空单词不会影响我们的学习过程。现在，从原始的1039个标记句子中生成了28180个标记的next-word-prediction序列，以及从原始的8286个未标记句子中产生的174355个未标记序列。

发电性能由两个常用的指标来衡量，即次字熵损失和双语言评估理解（BLEU）损失[28]在测试样本上，近似于预测的Kullback-Leibler散度和Jaccard距离[13]分别是。给定的句子 ${({x个}_{1 : {\hat{T型}}^{我}}^{我})}_{我 = 1}^{{n个}_{测试}}$ 生成自对和它的指称句 ${({x个}_{1 : {T型}^{我}}^{我})}_{我 = 1}^{{n个}_{测试}}$ 给定一个主题年，熵损失在中定义为(23)，而BLEU_我-损失(我=1，…，4）可以写成

{BLEU公司}_{我} - 损失 (对) = 1 - {n个}_{测试}^{- 1} \sum_{我 = 1}^{{n个}_{测试}} 经验 (最小值 (1 - \frac{{\hat{T型}}^{我}}{{T型}^{我}}, 0)) \frac{| 克_{我} ({x个}_{1 : {T型}^{我}}^{我}) \cap 克_{我} ({x个}_{1 : {\hat{T型}}^{我}}^{我}) |}{| 克_{我} ({x个}_{1 : {\hat{T型}}^{我}}^{我}) |},

哪里n个_测试是测试集中的句子数量，|·|表示测试集的大小和语法_我（·）是我-一个句子的克集合。对于句子“帽子里的猫”，其1克集合是{“the”、“cat”、“in”、“the”、“hat”}，2克集合是{“the cat”、“cat in”、“in the”、“the hat”}，3克集合是{“the cat in”、“cat in the”、“in the hat”}。BLEU公司_我-可以使用Python中的NLTK库计算损失。而熵损失衡量的是参考句子的发生概率，BLEU_我-损失集中在精确匹配我两个句子中的连续单词。此外，我们还考虑SF-BLEU_我-损失评估生成句子的多样性[43]，定义为

平方英尺 - {BLEU公司}_{我} - 损失 (对) = 1 - {n个}_{测试}^{- 1} \sum_{我 = 1}^{{n个}_{测试}} 经验 (最小值 (1 - \frac{{\hat{T型}}^{我}}{{\hat{T型}}_{最小值}^{- 我}}, 0)) \frac{{最大值}_{j个 \neq 我} | 克_{我} ({x个}_{1 : {\hat{T型}}^{我}}^{我}) \cap 克_{我} ({x个}_{1 : {\hat{T型}}^{j个}}^{j个}) |}{| 克_{我} ({x个}_{1 : {\hat{T型}}^{我}}^{我}) |},

哪里 ${\hat{T型}}_{最小值}^{- 我} = \underset{{\hat{T型}}^{j个}; j个 \neq 我}{argmin（最小值）} | {\hat{T型}}^{j个} - {\hat{T型}}^{我} |$ 和高SF-BLEU_我-失分意味着更多样化。

为了进行训练、验证和测试，我们将所有标记的文章随机分成三组，每组的分区率分别为60%、20%和20%。此外，对于一个句子x个_1:T型及其相关主题年在测试集中，五个起始单词x个_1:5与空词相反，空词用于预测句子的其余部分。

考虑语义标签的两种情况：（1）Y（Y）∈｛0，1｝^K是分类的，使用主题类别中的一个热点编码将其编码为0–1向量；(2) $Y（Y） \in ℝ^{K}$ 每个主题都是连续的对=基于Doc2Vec的128维向量。在(2)，每个主题由该主题类别中所有句子在训练数据中的平均嵌入表示。

在以下情况下Y（Y）∈｛0，1｝^K，间接发电机涉及(14)和(17). 对于(14)，我们使用Python库sklearn执行正则多项式逻辑回归^{^三}嵌入式next-word预测序列训练样本研究 $(E类 ({x个}_{1 : t吨}^{我}), 年^{我})$ ，其中 $E类 ({x个}_{1 : t吨}^{我})$ 是Doc2Vec的数字嵌入^⁴大小为对=128，最佳λ_b条通过最小化基于一组网格{.0001、.001、.01、.1、1、10、100}上的验证数据的熵损失来获得。对于(17)间接RNN是基于训练数据中标记和未标记的下一个字预测序列进行训练的。中的间接RNN模型(17)它分为四层，包括一个由5369个节点组成的嵌入层，每个节点对应字典中的一个单词 $D类$ ，一个由128个潜在因素组成的LSTM层，一个输出维数为5369的致密层。请注意(17)固定为λ_米在嵌入层中从0.0001到0.0001，以在训练集中不存在的情况下正则化单词。类似地，直接发电机在(22)，具有与间接RNN相同的配置，期望输入维度为 $| D类 | + K = 5, 374$ 在其嵌入层中。此外，独立RNN与给定每个主题的间接RNN具有相同的结构。

如中所述第4.2节不同的RNN模型体系结构可能会产生不同的经验性能。为此，我们比较了直接RNN的LSTM架构和GPT2架构。特别是，我们考虑具有12层和117M参数的基本GPT2[30]对于直接法，表示为direct-GPT2。LSTM和GPT2之间的一个关键区别在于其屏蔽的自我关注层，它屏蔽了未来的令牌，并通过位于当前位置左侧的令牌传递关注信息。

如果是连续的 $Y（Y） \in ℝ^{对}$ 在数值嵌入后，除了线性回归（与多项式logistic回归相对）(14)使用sklearn对训练数据中标记的嵌入式next-word预测序列执行 $(E类 ({x个}_{1 : t吨}^{我}), 年^{我})$ ，其中每个年^我是一个128维嵌入向量。

所有RNN模型都使用Keras进行训练^⁵批次和历元大小为200和100，优化器为Adam，提前终止可防止过度拟合[4]耐心为20。此外，耦合发电机的调谐方式如下(5).

如中所示表2当只有标记数据可用时，耦合发电机比直接和间接发电机提供更高的精度，这表明了该方法的优点。当与未标记数据结合时，耦合生成器在类别和连续标签方面都优于直接生成器和单独RNN，在这种情况下选择间接生成器。在熵损失方面，间接生成器相对于单独RNN方法和直接生成器的改进量分别为20.3%和14.5%（对于分类情况）和29.1%和16.1%（对于连续情况）。关于BLEU₁–BLEU（BLEU）₄损失，类似的情况也会发生，改善的程度各不相同，最佳改善率约为15.6%。关于未标记数据，对有和无未标记数据的间接生成器进行比较表明，未标记数据确实有助于将间接生成器的性能提高14.5%以上。有趣的是，在熵损失方面，基于精细调谐GPT2的直接生成器优于基于LSTM的直接生成器和间接生成器，而耦合生成器在这两者之间取得了最佳性能。然而，它们在BLEU方面的表现相似_我分数。鉴于SF-BLEU_我分数、句子由直接生成者和间接生成者生成，具有高度的多样性。此外，语义标签Y（Y）在句子嵌入之后，Doc2Vec在间接生成和直接生成方面的表现略逊于其对应的范畴，这表明句子嵌入捕获的语义关系或语言学依赖可能不会产生影响，因为只有五个类别。最后，根据中的建议表3，除了三个语法错误可以通过语法检查器纠正外，基于这五个类别生成的摘要是合理的^⁶.

表2

损失函数中的测试错误–熵、BLEU_我和SF-BLEU_我基于UCI句子分类文本语料库的20个随机分区的各种生成器（括号中的标准错误）。这里，“分离RNN”、“间接”、“直接”、“直接-GPT2”和“耦合”表示基于RNN-LSTM架构的分离RNN、间接和直接生成器、基于RNN-GPT架构的直接生成器和耦合生成器，而间接标签或耦合标签是指没有未标记数据的生成。

方法	熵	BLEU公司₁-损失	BLEU公司₂-损失	BLEU公司_三-损失	BLEU公司₄-损失
*Y（Y）* ：分类标签
单独的RNN	9.317(.040)	0.895(.010)	0.926(.008)	0.954(.007)	0.971(.005)
间接	7.424(.049)	0.768(.003)	0.854(.002)	0.885(.002)	0.914(.002)
间接标签	8.839(.060)	0.831(.008)	0.878(.005)	0.899(.004)	0.923(.003)
直接	9.537(.054)	0.823(.008)	0.872(.005)	0.895(.005)	0.919(.004)
直接-GPT2	8.684(.051)	0.900(.006)	0.954(.002)	0.970(.001)	0.981（.001）
已耦合	7.424（.049）	0.768(.003)	0.854（.002）	0.885(.002)	0.914(.002)
耦合标签	8.644(.050)	0.880(.008)	0.932(.008)	0.949(.007)	0.963(.006)
		SF-BLEU公司₁-损失	SF-BLEU公司₂-损失	SF-BLEU公司_三-损失	SF-BLEU公司₄-损失
单独的RNN		0.076(.010)	0.208(.027)	0.271(.036)	0.303(.043)
方法	熵	BLEU公司₁-损失	BLEU公司₂-损失	BLEU公司_三-损失	BLEU公司₄-损失
间接		0.105(.006)	0.296(.009)	0.416(.012)	0.502(.013)
间接标签		0.138（.008）	0.363（.022）	0.472(.029)	0.545（.036）
直接		0.139(.006)	0.372(.019)	0.487(.026)	0.561(.032)
直接-GPT2		0.053(.006)	0.159(.019)	0.255(.031)	0.320(.040)
已耦合		0.105(.006)	0.296(.009)	0.416(.012)	0.502(.013)
耦合标签		0.082(.011)	0.233(.028)	0.342(.038)	0.417(.045)
方法	熵	BLEU公司₁-损失	BLEU公司₂-损失	BLEU公司_三-损失	BLEU公司₄-损失
*Y（Y）:基于Doc2Vec的连续标签*[23,24]
间接	7.641(.036)	0.768(.005)	0.851(.003)	0.883(.003)	0.912(.003)
间接标签	8.512(.041)	0.912（.010）	0.937（.008）	0.949(.007)	0.960（.005）
直接	9.102(.050)	0.916(.010)	0.939(.007)	0.950(.005)	0.961(.004)
已耦合	7.641(.036)	0.768(.005)	0.851(.003)	0.883(.003)	0.912(.003)
耦合标签	8.512(.041)	0.912(.010)	0.937(.008)	0.949(.007)	0.960(.005)
		SF-BLEU公司₁-损失	SF-BLEU公司₂-损失	SF-BLEU公司_三-损失	SF-BLEU公司₄-损失
间接		0.097(.005)	0.261(.008)	0.361(.010)	0.440(.012)
方法	熵	BLEU公司₁-损失	BLEU公司₂-损失	BLEU公司_三-损失	布鲁₄-损失
间接标记		0.064（.010）	0.165(.026)	0.211(.035)	0.232(.040)
直接		0.079(.014)	0.202(.037)	0.252(.046)	0.271(.050)
已耦合		0.097(.005)	0.261(.008)	0.361(.010)	0.440(.012)
耦合标签		0.064(.010)	0.165(.026)	0.211(.035)	0.232(.040)

在单独的窗口中打开

补充材料

补充1

单击此处查看。^{（7.3K，gz）}

鸣谢

作者感谢编辑、副主编和两位匿名推荐人的宝贵意见和建议。

国家科学基金会资助的部分研究项目为DMS-1712564、DMS-1721216、DMS-1952539、DMS-1852386，国家卫生研究院资助的项目为1R01GM126002、R01HL105397和R01AG065636。

附录

引理1的证明。

请注意我_b条(θ_b条)英寸(14)在中是凸的θ_b条和我_b条(θ_b条)和我_米(θ_米)英寸(17)连续两次微分。然后，结果遵循的定理4[21]. 这就完成了证明。□

定理1的证明。

请注意 ${\hat{对}}_{Y（Y）}^{b条} (年) = \int {\hat{对}}_{Y（Y） ∣ X（X）}^{b条} (年 ∣ x个) {\hat{对}}_{X（X）}^{b条} (x个) d日 x个$ 和

{d日}^{2} ({\hat{对}}_{X（X） ∣ Y（Y）}^{b条}, {对_{X（X） ∣ Y（Y）}}^{0}) = \int {({(\frac{对_{Y（Y）}^{0} (年) {\hat{对}}_{Y（Y） | X（X）}^{b条} (年 ∣ x个) {\hat{对}}_{X（X）}^{b条} (x个)}{{\hat{对}}_{Y（Y）}^{b条} (年)})}^{1 / 2} - {(对_{Y（Y）}^{0} (年) {对_{X（X） ∣ Y（Y）}}^{0} (x个 ∣ 年))}^{1 / 2})}^{2} d日 x个 d日 年 .

此外， $\int {\hat{对}}_{Y（Y） ∣ X（X）}^{b条} (年 ∣ x个) d日年 = 1$ 根据三角不等式

d日 ({\hat{对}}_{X（X） | Y（Y）}^{b条}, {对_{X（X） ∣ Y（Y）}}^{0}) \leq {(\int {({(\frac{对_{Y（Y）}^{0} (年) {\hat{对}}_{Y（Y） | X（X）}^{b条} (年 ∣ x个) {\hat{对}}_{X（X）}^{b条} (x个)}{{\hat{对}}_{Y（Y）}^{b条} (年)})}^{1 / 2} - {({\hat{对}}_{Y（Y） | X（X）}^{b条} (年 ∣ x个) {\hat{对}}_{X（X）}^{b条} (x个))}^{1 / 2})}^{2} d日 x个 d日 年)}^{1 / 2} + {(\int {({({\hat{对}}_{Y（Y） ∣ X（X）}^{b条} (年 ∣ x个) {\hat{对}}_{X（X）}^{b条} (x个))}^{1 / 2} - {({\hat{对}}_{Y（Y） ∣ X（X）}^{b条} (年 ∣ x个) 对_{X（X）}^{0} (x个))}^{1 / 2})}^{2} d日 x个 d日 年)}^{1 / 2} + {(\int {({({\hat{对}}_{Y（Y） | X（X）}^{b条} (年 ∣ x个) 对_{X（X）}^{0} (x个))}^{1 / 2} - {({对_{X（X） | Y（Y）}}^{0} (x个 ∣ 年) 对_{X（X）}^{0} (x个))}^{1 / 2})}^{2} d日 x个 d日 年)}^{1 / 2} = 小时 (对_{Y（Y）}^{0}, {\hat{对}}_{Y（Y）}^{b条}) + 小时 (对_{X（X）}^{0}, {\hat{对}}_{X（X）}^{b条}) + {(E类 ({小时}^{2} ({\hat{对}}_{Y（Y） ∣ X（X）}^{b条}, 对_{Y（Y） ∣ X（X）}^{0})))}^{1 / 2} .

(26)

请注意 ${\hat{对}}_{X（X）, Y（Y）}^{b条} (x个, 年) = {\hat{对}}_{Y（Y） ∣ X（X）}^{b条} (年 ∣ x个) {\hat{对}}_{X（X）}^{b条} (x个)$ .通过三角形不等式，

小时 (对_{Y（Y）}^{0}, {\hat{对}}_{Y（Y）}^{b条}) = {(\int {({(\int 对_{X（X）, Y（Y）}^{0} (x个, 年) d日 x个)}^{\frac{1}{2}} - {(\int {\hat{对}}_{X（X）, Y（Y）}^{b条} (x个, 年) d日 x个)}^{\frac{1}{2}})}^{2} d日 年)}^{\frac{1}{2}} \leq {(\int {({(对_{X（X）, Y（Y）}^{0} (x个, 年))}^{\frac{1}{2}} - {({\hat{对}}_{X（X）, Y（Y）}^{b条} (x个, 年))}^{\frac{1}{2}})}^{2} d日 x个 d日 年)}^{\frac{1}{2}} \leq {(\int {({(对_{X（X）, Y（Y）}^{0} (x个, 年))}^{\frac{1}{2}} - {(对_{X（X）}^{0} (x个) {\hat{对}}_{Y（Y） ∣ X（X）}^{b条} (年 ∣ x个))}^{\frac{1}{2}})}^{2} d日 x个 d日 年)}^{\frac{1}{2}} + {(\int {({({\hat{对}}_{X（X）}^{b条} (x个))}^{\frac{1}{2}} - {(对_{X（X）}^{0} (x个))}^{\frac{1}{2}})}^{2} d日 x个)}^{\frac{1}{2}} \leq 小时 (对_{X（X）}^{0}, {\hat{对}}_{X（X）}^{b条}) + {(E类 ({小时}^{2} (对_{Y（Y） ∣ X（X）}^{0}, {\hat{对}}_{Y（Y） ∣ X（X）}^{b条})))}^{\frac{1}{2}} .

因此， $d日 ({\hat{对}}_{X（X） ∣ Y（Y）}^{b条}, {对_{X（X） ∣ Y（Y）}}^{0}) \leq 2 (小时 ({\hat{对}}_{X（X）}^{b条}, 对_{X（X）}^{0}) + {(E类 ({小时}^{2} ({\hat{对}}_{Y（Y） ∣ X（X）}^{b条}, 对_{Y（Y） ∣ X（X）}^{0})))}^{1 / 2})$ 。因此，

P（P） (d日 ({\hat{对}}_{X（X） ∣ Y（Y）}^{b条}, {对_{X（X） ∣ Y（Y）}}^{0}) \geq 2 (η_{b条} + η_{米})) \leq P（P） (小时 (对_{X（X）}^{0}, {\hat{对}}_{X（X）}) \geq η_{米}) + P（P） ({({E类}_{X（X）} ({小时}^{2} (对_{Y（Y） ∣ X（X）}^{0}, {\hat{对}}_{Y（Y） ∣ X（X）})))}^{\frac{1}{2}} \geq η_{b条}) \equiv 我_{1} + 我_{2} .

To绑定我₁，让

我_{三} = P（P） ({(n个 + \tilde{n个})}^{- 1} \sum_{我 = 1}^{n个 + \tilde{n个}} (日志 (对_{X（X）}^{0} ({X（X）}^{我})) - 日志 (对_{X（X）}^{*} ({X（X）}^{我}))) + λ_{米} J (对_{X（X）}^{0}) + λ_{米} J (对_{X（X）}^{*})) \geq {c（c）}_{9} η_{米}^{2} / 4);

我_{4} = P（P） (\underset{{d日}_{米} (对, 对^{0}) \geq η_{米}}{啜饮} {(n个 + \tilde{n个})}^{- 1} \sum_{我 = 1}^{n个 + \tilde{n个}} (日志 (\frac{对_{X（X）} ({X（X）}^{我})}{对_{X（X）}^{0} ({X（X）}^{我})} - λ_{米} J (对_{X（X）}) + λ_{米} J (对_{X（X）}^{0})) \geq - {c（c）}_{9} η_{米}^{2} / 4),

哪里c（c）₉1−2exp（−τ/2）/（1−经验（−τ/ 2))²>0是由截断常量定义的常量τ> 0. 然后我₁上边界为

P（P） (\underset{{d日}_{米} (对, 对^{0}) \geq η_{米}}{啜饮} {(n个 + \tilde{n个})}^{- 1} \sum_{我 = 1}^{n个 + \tilde{n个}} (日志 (对_{X（X）} ({X（X）}^{我}) / 对_{X（X）}^{*} ({X（X）}^{我}))) - λ_{米} J (对_{X（X）}) + λ_{米} J (对_{X（X）}^{*})) \geq 0) \leq 我_{三} + 我_{4} .

根据马尔可夫不等式，

我_{三} \leq P（P） ({(n个 + \tilde{n个})}^{- 1} \sum_{我 = 1}^{n个 + \tilde{n个}} (日志 (对_{X（X）}^{0} ({X（X）}^{我})) - 日志 (对_{X（X）}^{*} ({X（X）}^{我}))) \geq {c（c）}_{9} η_{米}^{2} / 4 - λ_{米} J (对_{X（X）}^{*})) \leq \prod_{我 = 1}^{n个 + \tilde{n个}} {E类}_{X（X）} {(\frac{对_{X（X）}^{0} ({X（X）}^{我})}{对_{X（X）}^{*} ({X（X）}^{我})})}^{α} 经验 (- \frac{{c（c）}_{9} α}{8} (n个 + \tilde{n个}) η_{米}^{2}) \leq {(1 + α γ_{米})}^{n个 + \tilde{n个}} 经验 (- \frac{{c（c）}_{9} α}{8} (n个 + \tilde{n个}) η_{米}^{2}) \leq 经验 (- \frac{{c（c）}_{9} α}{8} (n个 + \tilde{n个}) η_{米}^{2} + (n个 + \tilde{n个}) α γ_{米}) .

由推论1第页，共页[33], $我_{4} \leq 7 经验 (- {c（c）}_{8} (n个 + \tilde{n个}) η_{米}^{2} / 2)$ ，意味着 $我_{1} \leq 7 经验 (- {c（c）}_{7} (n个 + \tilde{n个}) η_{米}^{2}) + 经验 (- \frac{{c（c）}_{9} α}{8} (n个 + \tilde{n个}) η_{米}^{2} + (n个 + \tilde{n个}) α γ_{米})$ 对于某个常数c（c）₇> 0. 对于我₂，可以通过应用相同的参数来建立类似的概率界定理2并转换角色X（X）和Y（Y）。这导致 $我_{2} \leq 7 经验 (- {c（c）}_{8} n个 η_{b条}^{2}) + 经验 (- \frac{{c（c）}_{9} α}{8} n个 η_{b条}^{2} + n个 α γ_{b条})$ 对于某个常数c（c）₈> 0. 然后，得到所需的结果。□

定理证明2。

表示

我_{5} = P（P） (\underset{d日 (对, 对^{0}) \geq η_{（f）}}{啜饮} ({n个}^{- 1} \sum_{我 = 1}^{n个} (日志 (\frac{{对_{X（X） ∣ Y（Y）}}^{(τ)} ({X（X）}^{我} ∣ {Y（Y）}^{我})}{{对_{X（X） ∣ Y（Y）}}^{*} ({X（X）}^{我} ∣ {Y（Y）}^{我})})) - λ J (对_{X（X） | Y（Y）}) + λ J ({对_{X（X） ∣ Y（Y）}}^{*})) \geq 0),

我_{6} = P（P） ({n个}^{- 1} \sum_{我 = 1}^{n个} (日志 (\frac{{对_{X（X） ∣ Y（Y）}}^{0} ({X（X）}^{我} ∣ {Y（Y）}^{我})}{{对_{X（X） ∣ Y（Y）}}^{*} ({X（X）}^{我} ∣ {Y（Y）}^{我})})) - λ J ({对_{X（X） ∣ Y（Y）}}^{0}) + λ J ({对_{X（X） ∣ Y（Y）}}^{*}) \geq {c（c）}_{9} η_{（f）}^{2} / 4) .

根据最小值的定义η_（f）> 0,

P（P） (d日 ({\hat{对}}_{X（X） ∣ Y（Y）}^{（f）}, {对_{X（X） ∣ Y（Y）}}^{0}) \geq η_{（f）}) \leq 我_{5} + 我_{6},

哪里 $日志 ({如果}_{我}^{(τ)}) = 日志 ({对_{X（X） ∣ Y（Y）}}^{(τ)} ({X（X）}^{我} ∣ {Y（Y）}^{我})) - 日志 ({对_{X（X） ∣ Y（Y）}}^{0} ({X（X）}^{我} ∣ {Y（Y）}^{我}))$ 和

{对_{X（X） ∣ Y（Y）}}^{(τ)} (x个 ∣ 年) = {\begin{array}{l} 经验 (- τ) {对_{X（X） ∣ Y（Y）}}^{*} (x个 ∣ 年), & 如果 对_{X（X） ∣ Y（Y）} (x个 ∣ 年) < 经验 (- τ) {对_{X（X） ∣ Y（Y）}}^{*} (x个 ∣ 年), \\ 对_{X（X） ∣ Y（Y）} (x个 ∣ 年), & 否则 \end{array}

是的左截断对_{X（X）|Y（Y）}(x个|年).

接下来，我们绑定我₅和我₆分别进行。与中相同参数的应用[38]产生这样的结果

我_{5} \leq P（P） ({n个}^{- 1} \sum_{我 = 1}^{n个} (日志 ({对_{X（X） ∣ Y（Y）}}^{0} ({X（X）}^{我} ∣ {Y（Y）}^{我})) - 日志 ({对_{X（X） ∣ Y（Y）}}^{*} ({X（X）}^{我} ∣ {Y（Y）}^{我}))) \geq {c（c）}_{9} η_{（f）}^{2} / 4 - λ_{（f）} J ({对_{X（X） ∣ Y（Y）}}^{*})) \leq P（P） (\prod_{我 = 1}^{n个} {(\frac{{对_{X（X） ∣ Y（Y）}}^{0} ({X（X）}^{我} ∣ {Y（Y）}^{我})}{{对_{X（X） ∣ Y（Y）}}^{*} ({X（X）}^{我} ∣ {Y（Y）}^{我})})}^{α} \geq 经验 (\frac{{c（c）}_{9} α}{8} n个 η_{（f）}^{2})) \leq \prod_{我 = 1}^{n个} {E类}_{Y（Y）} {E类}_{X（X） ∣ Y（Y）} {(\frac{{对_{X（X） ∣ Y（Y）}}^{0} ({X（X）}^{我} ∣ {Y（Y）}^{我})}{{对_{X（X） ∣ Y（Y）}}^{*} ({X（X）}^{我} ∣ {Y（Y）}^{我})})}^{α} 经验 (- \frac{{c（c）}_{9} α}{8} n个 η_{（f）}^{2}) \leq {(1 + α γ_{（f）})}^{n个} 经验 (- \frac{{c（c）}_{9} α}{8} n个 η_{（f）}^{2}) \leq 经验 (- \frac{α}{8} {c（c）}_{9} n个 η_{（f）}^{2} + n个 日志 (1 + α γ_{（f）})) \leq 经验 (- \frac{α}{8} {c（c）}_{9} n个 η_{（f）}^{2} + n个 α γ_{（f）}),

(27)

其中第二个不等式来自 $λ_{（f）} J ({对_{X（X） ∣ Y（Y）}}^{*}) \leq {c（c）}_{9} η_{（f）}^{2} / 8$ 第三个不等式来自马尔可夫不等式。

我们对边界的处理我₆依赖于适当分区上的链接参数 ${如果}_{（f）}$ 和似然比的左截断[38,33]. 现在，考虑一个 ${如果}_{（f）} = \cup_{k个 = 1}^{\infty} \cup_{j个 = 0}^{\infty} {如果}_{k个 j个}$ :

{如果}_{k个 j个} = {对 \in {如果}_{（f）} : 2^{我 - 1} η_{n个}^{2} \leq {d日}^{2} (对^{0}, 对) \leq 2^{我} η_{n个}^{2}, 2^{j个 - 1} J^{0} \leq J (对) \leq 2^{j个} J (对^{0})},

{如果}_{k个 0} = {对 \in {如果}_{（f）} : 2^{我 - 1} η_{n个}^{2} \leq {d日}^{2} (对^{0}, 对) \leq 2^{我} η_{n个}^{2}, J (对) \leq J (对^{0})}; k个 = 1, \dots, j个 = 0, \dots,

哪里 $日志 ({如果}_{我}^{(τ)}) = 日志 ({对_{X（X） ∣ Y（Y）}}^{(τ)} ({X（X）}^{我} ∣ {Y（Y）}^{我})) - 日志 ({对_{X（X） ∣ Y（Y）}}^{0} ({X（X）}^{我} ∣ {Y（Y）}^{我}))$ .那么对于任何η_（f）> 0,

我_{6} \leq P（P） (\underset{d日 (对, 对^{0}) \geq η_{（f）}}{啜饮} ({n个}^{- 1} \sum_{我 = 1}^{n个} 日志 ({如果}_{我}^{(τ)}) - λ_{（f）} J (对_{X（X） ∣ Y（Y）}) + λ_{（f）} J ({对_{X（X） ∣ Y（Y）}}^{0})) \geq - {c（c）}_{9} η_{（f）}^{2} / 4) \leq \sum_{k个 = 1}^{\infty} \sum_{j个 = 0}^{\infty} P（P） (\underset{对 \in {如果}_{k个 j个}}{啜饮} ({n个}^{- 1} \sum_{我 = 1}^{n个} 日志 ({如果}_{我}^{(τ)}) - λ_{（f）} J (对_{X（X） ∣ Y（Y）}) + λ_{（f）} J ({对_{X（X） ∣ Y（Y）}}^{0})) \geq - {c（c）}_{9} η_{（f）}^{2} / 4) \equiv \sum_{k个 = 1}^{\infty} \sum_{j个 = 0}^{\infty} 我_{k个 j个},

(28)

哪里 $我_{k个 j个} = P（P） (\underset{（f） \in {如果}_{k个 j个}}{啜饮} ({n个}^{- 1} \sum_{我 = 1}^{n个} 日志 ({如果}_{我}^{(t吨)}) - λ_{（f）} J (对_{X（X） | Y（Y）}) + λ_{（f）} J ({对_{X（X） ∣ Y（Y）}}^{0})) \geq - {c（c）}_{9} η_{（f）}^{2} / 4)$ .治疗我_千焦，我们控制 $日志 ({如果}^{(τ)})$ 。由第4个引理（共4个）[38],

- \underset{对 \in {如果}_{k个 j个}}{啜饮} E类 (日志 ({如果}^{(τ)})) = - \underset{对 \in {如果}_{k个 j个}}{啜饮} {E类}_{Y（Y）} ({E类}_{X（X） ∣ Y（Y）} (日志 ({如果}^{(τ)}))) \geq {c（c）}_{9} \underset{对 \in {如果}_{k个 j个}}{inf公司} {d日}^{2} (对, 对^{*}) \geq {c（c）}_{9} {(2^{k个 - 1} η_{（f）})}^{2},

(29)

方差有界于

\underset{对 \in {如果}_{k个 j个}}{啜饮} 变量 (日志 ({如果}^{(τ)})) \leq \underset{对 \in {如果}_{k个 j个}}{啜饮} {E类}_{Y（Y）} ({E类}_{X（X） ∣ Y（Y）} (日志 {({如果}^{(τ)})}^{2})) \leq 4 经验 (τ) \underset{对 \in {如果}_{k个 j个}}{啜饮} {E类}_{Y（Y）} {小时}^{2} (对_{X（X） ∣ Y（Y）}^{0}, 对_{X（X） ∣ Y（Y）}) \leq 4 经验 (τ) {(2^{k个} η_{（f）})}^{2} \leq 8 经验 (τ) δ_{k个 j个} / {c（c）}_{9},

(30)

其中第二个不等式来自[38]. 然后，我_千焦由上界

我_{k个 j个} \leq P（P） (\underset{（f） \in {如果}_{k个 j个}}{啜饮} ({n个}^{- 1} \sum_{我 = 1}^{n个} 日志 ({如果}_{我}^{(τ)}) - E类 日志 ({如果}^{(τ)})) \geq - \underset{（f） \in {如果}_{k个 j个}}{啜饮} (E类 日志 ({如果}^{(τ)}) + λ (J ({对_{X（X） ∣ Y（Y）}}^{0}) - J (对_{X（X） ∣ Y（Y）}))) - {c（c）}_{9} η_{（f）}^{2} / 4) \leq P（P） (\underset{（f） \in {如果}_{k个 j个}}{啜饮} ({n个}^{- 1} \sum_{我 = 1}^{n个} 日志 ({如果}_{我}^{(τ)}) - E类 日志 ({如果}^{(τ)})) \geq δ_{k个 j个}) \leq 三 经验 (- 一_{三} n个 δ_{k个 j个}),

(31)

哪里一_三>0是一个常量， $δ_{k个 j个} = {c（c）}_{9} 2^{k个 - 1} η_{n个}^{2} / 2 + λ (2^{j个 - 1} - 1) J ({对_{X（X） ∣ Y（Y）}}^{0})$ , $δ_{k个 0} = {c（c）}_{9} 2^{k个 - 2} η_{n个}^{2} / 2$ ，第二个不等式基于以下假设 $λ J ({对_{X（X） ∣ Y（Y）}}^{0}) \leq {c（c）}_{9} η_{（f）}^{2} / 4$ 和(29)最后一个不等式来自引理2，并且j个-第个(j个≥2）力矩 $E类 ({| 日志 (\frac{{对_{X（X） ∣ Y（Y）}}^{(τ)} (X（X） ∣ Y（Y）)}{{对_{X（X） ∣ Y（Y）}}^{0} (X（X） ∣ Y（Y）)}) |}^{j个})$ 以为界

{E类}_{Y（Y）} {E类}_{X（X） ∣ Y（Y）} (经验 (| 日志 (\frac{{对_{X（X） ∣ Y（Y）}}^{(τ)} (X（X） ∣ Y（Y）)}{{对_{X（X） ∣ Y（Y）}}^{0} (X（X） ∣ Y（Y）)}) |) - 1 - \frac{1}{2} | 日志 (\frac{{对_{X（X） ∣ Y（Y）}}^{(τ)} (X（X） ∣ Y（Y）)}{{对_{X（X） ∣ Y（Y）}}^{0} (X（X） ∣ Y（Y）)}) |) \leq j个! 2^{j个} 一_{1} {E类}_{Y（Y）} {‖ {(对_{X（X） | Y（Y）})}^{1 / 2} - {({对_{X（X） ∣ Y（Y）}}^{0})}^{1 / 2} ‖}_{2}^{2},

哪里一₁=（经验(τ/ 2) − 1 –τ/2）/（1−经验（−τ/2))²>0是一个常数，最后一个不等式来自引理5[34]. 只需验证以下条件（2.4）即可[38]. 以下各项的组合(28)和(31)屈服，屈服 $我_{6} \leq \sum_{k个 = 1}^{\infty} \sum_{j个 = 0}^{\infty} 三经验 (- {c（c）}_{13} n个 δ_{k个 j个}^{2}) \leq 7 经验 (- {c（c）}_{13} n个 η_{（f）}^{2})$ ，其中，连同(27)产生这样的结果 $P（P） (d日 ({\hat{对}}_{X（X） ∣ Y（Y）}^{（f）}, {对_{X（X） ∣ Y（Y）}}^{0}) \geq η_{（f）}) \leq 我_{5} + 我_{6} \leq 7 经验 (- {c（c）}_{13} n个 η_{（f）}^{2}) + 经验 (- \frac{α}{8} {c（c）}_{9} n个 η_{（f）}^{2} + n个 α γ_{（f）})$ 。然后会得到所需的结果。□

定理证明3。

让 ${({X（X）}^{我}, {Y（Y）}^{我})}_{我 = 1}^{N个}$ 作为交叉验证样本。签署人(5),

- \frac{1}{N个} \sum_{我 = 1}^{N个} 日志 {\hat{对}}_{X（X） | Y（Y）}^{c（c）} ({X（X）}^{我} ∣ {Y（Y）}^{我}) \leq 最小值 (- \frac{1}{N个} \sum_{我 = 1}^{N个} 日志 {\hat{对}}_{X（X） | Y（Y）}^{（f）} ({X（X）}^{我} ∣ {Y（Y）}^{我}), - \frac{1}{N个} \sum_{我 = 1}^{N个} 日志 {\hat{对}}_{X（X） | Y（Y）}^{b条} ({X（X）}^{我} ∣ {Y（Y）}^{我})),

然后，期望的结果遵循大数定律，将两边的极限作为N个→ ∞. 这就完成了证明。□

推论1的证明。

对于直接序列生成，我们在定理证明2.表示

我_{7} = P（P） (\underset{d日 (对, 对^{0}) \geq η_{（f）}}{啜饮} \sum_{我 = 1}^{n个} \frac{1}{n个 T型} \sum_{t吨 = 1}^{T型} 日志 (\frac{对^{0} ({X（X）}_{t吨 + 1}^{我} ∣ {X（X）}_{1 : t吨}^{我}, {Y（Y）}^{我})}{对^{*} ({X（X）}_{t吨 + 1}^{我} ∣ {X（X）}_{1 t吨;}^{我}, {Y（Y）}^{我})}) - λ_{（f）} J_{（f）} ({对_{X（X） ∣ Y（Y）}}^{0}) + λ_{（f）} J_{（f）} ({对_{X（X） ∣ Y（Y）}}^{*}) \geq \frac{{c（c）}_{9} η_{（f）}^{2}}{4}),

我_{8} = P（P） (\underset{d日 (对, 对^{0}) \geq η_{（f）}}{啜饮} \sum_{我 = 1}^{n个} \frac{1}{n个 T型} \sum_{t吨 = 1}^{T型} 日志 (\frac{对^{(t吨)} ({X（X）}_{t吨 + 1}^{我} ∣ {X（X）}_{1 : t吨}^{我}, {Y（Y）}^{我})}{对^{0} ({X（X）}_{t吨 + 1}^{我} ∣ {X（X）}_{1 : t吨}^{我}, {Y（Y）}^{我})}) - λ_{（f）} J_{（f）} (对_{X（X） ∣ Y（Y）}) + λ_{（f）} J_{（f）} ({对_{X（X） ∣ Y（Y）}}^{0}) \geq - \frac{{c（c）}_{9} η_{（f）}^{2}}{4}) .

然后 $P（P） (d日 (对_{X（X） ∣ Y（Y）}^{（f）}, 对_{X（X） ∣ Y（Y）}^{0}) \geq η_{（f）}) \leq 我_{7} + 我_{8}$ ，其中对^(τ)(X（X）_t吨+1|X（X）_1:t吨,Y（Y）)是的左截断对(X（X）_t吨+1|X（X）_1:t吨,Y（Y）)定义见定理证明2.

对于我₇,

我_{7} \leq P（P） (\prod_{我 = 1}^{n个} {(\prod_{t吨 = 1}^{T型} \frac{对^{0} ({X（X）}_{t吨 + 1}^{我} ∣ {X（X）}_{1 : t吨}^{我}, {Y（Y）}^{我})}{对^{*} ({X（X）}_{t吨 + 1}^{我} ∣ {X（X）}_{1 : t吨}^{我}, {Y（Y）}^{我})})}^{\frac{α}{T型 - 1}} \geq 经验 (\frac{{c（c）}_{9} α}{8} n个 η_{（f）}^{2})) \leq \prod_{我 = 1}^{n个} E类 {(\prod_{t吨 = 1}^{T型} \frac{对^{0} ({X（X）}_{t吨 + 1}^{我} ∣ {X（X）}_{1 : t吨}^{我}, {Y（Y）}^{我})}{对^{*} ({X（X）}_{t吨 + 1}^{我} ∣ {X（X）}_{1 : t吨}^{我}, {Y（Y）}^{我})})}^{\frac{α}{T型 - 1}} 经验 (- \frac{{c（c）}_{9} α}{8} n个 η_{（f）}^{2}) \leq \prod_{我 = 1}^{n个} \bar{E类} ({(\frac{对^{0} ({X（X）}_{t吨 + 1}^{我} ∣ {X（X）}_{1 : t吨}^{我}, {Y（Y）}^{我})}{对^{*} ({X（X）}_{t吨 + 1}^{我} ∣ {X（X）}_{1 : t吨}^{我}, {Y（Y）}^{我})})}^{α}) 经验 (- \frac{{c（c）}_{9} α}{8} n个 η_{（f）}^{2}) \leq {(1 + α γ_{（f）})}^{n个} 经验 (- \frac{{c（c）}_{9} α}{8} n个 η_{（f）}^{2}) \leq \bar{第页} 经验 (- \frac{α}{8} {c（c）}_{9} n个 η_{（f）}^{2} + n个 α γ_{（f）}) .

对于我₈，让 ${如果}_{t吨}^{(τ)} = 日志 (对^{(τ)} ({X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）) / 对^{0} ({X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）))$ 首先，

E类 ({T型}^{- 1} \sum_{t吨 = 1}^{T型} {如果}_{t吨}^{(τ)}) = {T型}^{- 1} \sum_{t吨 = 1}^{T型} {E类}_{{X（X）}_{1 : t吨}, Y（Y）} ({E类}_{{X（X）}_{t吨 + 1}} ({如果}_{t吨}^{(τ)} ∣ {X（X）}_{1 : t吨}, Y（Y）)) \leq - {c（c）}_{9} {T型}^{- 1} \sum_{t吨 = 1}^{T型} {E类}_{{X（X）}_{1 : t吨}, Y（Y）} ({‖ {(对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）}^{(τ)})}^{\frac{1}{2}} - {(对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）}^{0})}^{\frac{1}{2}} ‖}_{2}^{2}) = - {c（c）}_{9} {d日}^{2} (对_{X（X） ∣ Y（Y）}^{(τ)}, 对_{X（X） ∣ Y（Y）}^{0}) .

对于j个-第个时刻j个≥ 2,

E类 {| {T型}^{- 1} \sum_{t吨 = 1}^{T型} {如果}_{t吨}^{(τ)} |}^{j个} \leq {T型}^{- 1} \sum_{t吨 = 1}^{T型} {E类}_{{X（X）}_{1 : t吨}, Y（Y）} ({E类}_{{X（X）}_{t吨 + 1}} ({| {如果}_{t吨}^{(τ)} |}^{j个} ∣ {X（X）}_{1 : t吨}, Y（Y）)) \leq j个! 2^{j个} {T型}^{- 1} \sum_{t吨 = 1}^{T型} {E类}_{{X（X）}_{1 : t吨}, Y（Y）} ({E类}_{{X（X）}_{t吨 + 1}} ((经验 (| {如果}_{t吨}^{(τ)} | / 2) - 1 - | {如果}_{t吨}^{(τ)} | / 2) ∣ {X（X）}_{1 : t吨}, Y（Y）)) \leq j个! 2^{j个} 一_{三} (\sum_{t吨 = 1}^{T型} {E类}_{{X（X）}_{1 : t吨}, Y（Y）} ({‖ {(对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）}^{(τ)})}^{\frac{1}{2}} - {(对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）}^{0})}^{\frac{1}{2}} ‖}_{2}^{2})) \leq j个! 2^{j个} 一_{1} {d日}^{2} (对_{X（X） ∣ Y（Y）}^{(τ)}, 对_{X（X） ∣ Y（Y）}^{0}),

其中第一个不等式来自Jensen不等式。然后

P（P） (d日 (对_{X（X） ∣ Y（Y）}^{（f）}, 对_{X（X） ∣ Y（Y）}^{0}) \geq η_{（f）}) \leq 6 经验 (- {c（c）}_{7} n个 η_{（f）}^{2}) + 经验 (- \frac{α}{8} {c（c）}_{9} n个 η_{（f）}^{2} + n个 α γ_{（f）}),

(32)

遵循与中相同的参数定理证明2.

对于间接生成，让对_t吨(·) =对(·|X（X）_1:t吨)和 ${E类}_{t吨} (\cdot) = E类 (\cdot ∣ {X（X）}_{1 : t吨})$ 然后，

d日 (对_{X（X） ∣ Y（Y）}^{b条}, 对_{X（X） ∣ Y（Y）}^{0}) = {({T型}^{- 1} \sum_{t吨 = 1}^{T型} {E类}_{{X（X）}_{1 : t吨}} {E类}_{Y（Y） ∣ {X（X）}_{1 : t吨}} {小时}^{2} ({\hat{对}}_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）}^{b条}, 对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）}^{0}))}^{\frac{1}{2}} \leq 2 ({T型}^{- 1} \sum_{t吨 = 1}^{T型} {(E类 (小时 ({\hat{对}}_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}}, 对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}}^{0}) + {({E类}_{t吨} {小时}^{2} {({\hat{对}}_{Y（Y） ∣ {X（X）}_{1 : t吨 + 1}}, 对_{Y（Y） ∣ {X（X）}_{1 : t吨 + 1}}^{0}))}^{\frac{1}{2}})}^{2}))}^{\frac{1}{2}} \leq 2 {(2 {T型}^{- 1} \sum_{t吨 = 1}^{T型} (E类 {小时}^{2} ({\hat{对}}_{{X（X）}_{t吨 + 1} |_{{X（X）}_{1 : t吨}}}, 对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}}^{0}) + E类 {小时}^{2} ({\hat{对}}_{Y（Y） ∣ {X（X）}_{1 : t吨 + 1}}, 对_{Y（Y） ∣ {X（X）}_{1 : t吨 + 1}}^{0})))}^{\frac{1}{2}} \leq 2 \sqrt{2} (d日 (\hat{对_{X（X）}, 对_{X（X）}^{0}}) + d日 (\hat{对_{Y（Y） ∣ X（X）}}, 对_{Y（Y） ∣ X（X）}^{0})),

第一个不等式来自(26)通过更换对（·）作为对_t吨（·），和 ${d日}^{2} (对_{X（X）}, 对_{X（X）}^{0}) = \bar{E类} {小时}^{2} ({\hat{对}}_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}}, 对_{{X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}}^{0})$ , ${d日}^{2} (对_{Y（Y） ∣ X（X）}, 对_{Y（Y） ∣ X（X）}^{0}) = \bar{E类} {小时}^{2} ({\hat{对}}_{Y（Y） ∣ {X（X）}_{1 : t吨 + 1}}, 对_{Y（Y） ∣ {X（X）}_{1 : t吨 + 1}}^{0})$ 因此，

P（P） (d日 (对_{X（X） | Y（Y）}^{b条}, 对_{X（X） | Y（Y）}^{0}) \geq 2 \sqrt{2} (η_{b条} + η_{米})) \leq P（P） (d日 (对_{X（X）}, 对_{X（X）}^{0}) \geq η_{米}) + P（P） (d日 (对_{Y（Y） | X（X）}, 对_{Y（Y） ∣ X（X）}^{0}) \geq η_{b条}) \leq 7 经验 (- {c（c）}_{7} (n个 + \tilde{n个}) η_{米}^{2}) + 经验 (- \frac{α {c（c）}_{9}}{8} (n个 + \tilde{n个}) η_{米}^{2} + α (n个 + \tilde{n个}) γ_{米}) + 7 经验 (- {c（c）}_{8} n个 η_{b条}^{2}) + 经验 (- \frac{α {c（c）}_{9}}{8} n个 η_{b条}^{2} + α n个 γ_{b条}),

最后一个不等式来自(32). 类似地 $P（P） (d日 (对_{X（X）}, 对_{X（X）}^{0}) \geq η_{米})$ 和 $d日 (对_{Y（Y） ∣ X（X）}, 对_{Y（Y） ∣ X（X）}^{0})$ 可以建立。然后，得到所需的结果。□

推论2的证明。

验证中的熵条件就足够了推论1.对于直接发电，让 $对_{X（X） ∣ Y（Y）} = {对 ({X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）; θ_{（f）})}_{t吨 = 1}^{T型}$ 和 ${\bar{对}}_{X（X） ∣ Y（Y）} = {对 ({X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}, Y（Y）; {\bar{θ}}_{（f）})}_{t吨 = 1}^{T型}$ 在里面 ${如果}_{（f）, k个}$ 。那么

κ^{2} (对_{X（X） ∣ Y（Y）}, {\bar{对}}_{X（X） ∣ Y（Y）}) \leq \bar{E类} {‖ σ^{\frac{1}{2}} ({W公司}_{（f）}^{o个} {小时}_{t吨 - 1}) - σ^{\frac{1}{2}} ({\bar{W公司}}_{（f）}^{o个} {\bar{小时}}_{t吨 - 1}) ‖}_{2}^{2} \leq \frac{1}{2} \bar{E类} | | {W公司}_{（f）}^{o个} {小时}_{t吨 - 1} - {\bar{W公司}}_{（f）}^{o个} {\bar{小时}}_{t吨 - 1} | |_{2}^{2} \leq \bar{E类} (| | ({W公司}_{（f）}^{o个} - {\bar{W公司}}_{（f）}^{o个}) {小时}_{t吨 - 1} | |_{2}^{2} + | | {\bar{W公司}}_{（f）}^{o个} ({小时}_{t吨 - 1} - {\bar{小时}}_{t吨 - 1}) | |_{2}^{2}) \leq \bar{E类} ({‖ {W公司}_{（f）}^{o个} - {\bar{W公司}}_{（f）}^{o个} ‖}_{如果}^{2} {‖ {小时}_{t吨 - 1} ‖}_{2}^{2} + {‖ {\bar{W公司}}_{（f）}^{o个} ‖}_{如果}^{2} {‖ {小时}_{t吨 - 1} - {\bar{小时}}_{t吨 - 1} ‖}_{2}^{2}) \leq (\frac{2 k个 {(4 k个)}^{T型 + 1}}{T型 {(4 k个 - 1)}^{2}}) ({‖ {W公司}_{（f）}^{x个} - {\bar{W公司}}_{（f）}^{x个} ‖}_{如果}^{2} + 2 {第页}_{（f）} {‖ {W公司}_{（f）}^{小时} - {\bar{W公司}}_{（f）}^{小时} ‖}_{如果}^{2} + 4 k个 {c（c）}_{Y（Y）} {‖ {W公司}_{（f）}^{年} - {\bar{W公司}}_{（f）}^{年} ‖}_{如果}^{2}) + {第页}_{（f）} {‖ {W公司}_{（f）}^{o个} - {\bar{W公司}}_{（f）}^{o个} ‖}_{如果}^{2} \leq {T型}^{- 1} 最大值 {(2 {第页}_{（f）}, 4 k个 {c（c）}_{15})}^{2} {(4 k个)}^{T型} {‖ θ_{（f）} - {\bar{θ}}_{（f）} ‖}_{2}^{2},

最后一个不等式使用的事实是

{‖ {小时}_{t吨} - {\bar{小时}}_{t吨} ‖}_{2}^{2} \leq \frac{{(4 k个)}^{t吨} - 1}{4 k个 - 1} (2 {‖ {W公司}_{（f）}^{x个} - {\bar{W公司}}_{（f）}^{x个} ‖}_{如果}^{2} + 4 {第页}_{（f）} {‖ {W公司}_{（f）}^{小时} - {\bar{W公司}}_{（f）}^{小时} ‖}_{如果}^{2}) + {(4 k个)}^{t吨} {‖ {W公司}_{（f）}^{年} - {\bar{W公司}}_{（f）}^{年} ‖}_{如果}^{2} ‖ Y（Y） ‖_{2}^{2},

它使用的事实是

{‖ {小时}_{t吨} - {\bar{小时}}_{t吨} ‖}_{2}^{2} \leq {‖ ({W公司}_{（f）}^{x个} - {\bar{W公司}}_{（f）}^{x个}) 1_{[{X（X）}_{t吨}]} + {W公司}_{（f）}^{小时} {小时}_{t吨 - 1} - {\bar{W公司}}_{（f）}^{小时} {\bar{小时}}_{t吨 - 1} ‖}_{2}^{2} \leq 2 {‖ {W公司}_{（f）}^{x个} - {\bar{W公司}}_{（f）}^{x个} ‖}_{如果}^{2} + 4 {第页}_{（f）} {‖ {W公司}_{（f）}^{小时} - {\bar{W公司}}_{（f）}^{小时} ‖}_{如果}^{2} + 4 k个 {‖ {小时}_{t吨 - 1} - {\bar{小时}}_{t吨 - 1} ‖}_{2}^{2},

和 ${‖ {小时}_{0} - {\bar{小时}}_{0} ‖}_{2}^{2} \leq {‖ {W公司}_{（f）}^{年} - {\bar{W公司}}_{（f）}^{年} ‖}_{如果}^{2} ‖ Y（Y） ‖_{2}^{2}$ .

因此， $H（H） (u个, {如果}_{（f）, k个}) \leq Λ_{（f）} 日志 (\frac{三最大值 (2 {第页}_{（f）}, 4 k个 {c（c）}_{15}) {(4 k个)}^{(T型 + 1) / 2} / {T型}^{1 / 2}}{u个})$ 通过设置满足熵条件 $ϵ_{（f）} = {(\frac{Λ_{（f）}}{n个} 日志 (\frac{最大值 ({第页}_{（f）}, 2 {c（c）}_{15}) 2^{T型} / {T型}^{1 / 2} n个}{Λ_{（f）}}))}^{1 / 2}$ .

对于间接生成，只需验证推论2.让 $对_{X（X）} = {{P（P）}_{X（X）} ({X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}; θ_{米})}_{t吨 = 1}^{T型 - 1}$ 和 ${\bar{对}}_{X（X）} = {{P（P）}_{X（X）} ({X（X）}_{t吨 + 1} ∣ {X（X）}_{1 : t吨}; {\bar{θ}}_{米})}_{t吨 = 1}^{T型 - 1}$ 。请注意 ${小时}_{0} = {\bar{小时}}_{0} = 0_{{第页}_{米}}$ 和

κ^{2} (对_{X（X）}, {\bar{对}}_{X（X）}) \leq \bar{E类} ({‖ {W公司}_{米}^{o个} - {\bar{W公司}}_{米}^{o个} ‖}_{如果}^{2} {‖ {小时}_{t吨 - 1} ‖}_{2}^{2} + {‖ {\bar{W公司}}_{米}^{o个} ‖}_{如果}^{2} {‖ {小时}_{t吨 - 1} - {\bar{小时}}_{t吨 - 1} ‖}_{2}^{2}) \leq \frac{2 k个 {(4 k个)}^{T型 + 1}}{T型 {(4 k个 - 1)}^{2}} ({‖ {W公司}_{米}^{x个} - {\bar{W公司}}_{米}^{x个} ‖}_{如果}^{2} + 2 {第页}_{（f）} {‖ {W公司}_{米}^{小时} - {\bar{W公司}}_{米}^{小时} ‖}_{如果}^{2}) + {第页}_{（f）} {‖ {W公司}_{米}^{o个} - {\bar{W公司}}_{米}^{o个} ‖}_{如果}^{2} \leq 2 {第页}_{米} {T型}^{- 1} {(4 k个)}^{T型} {‖ θ_{米} - {\bar{θ}}_{米} ‖}_{2}^{2} .

然后， $H（H） (u个, {如果}_{米, k个}) \leq Λ_{米} 日志 (\frac{三 {第页}_{米} {(4 k个)}^{(T型 + 1) / 2} {T型}^{- 1 / 2}}{u个})$ 通过设置满足熵条件 $ϵ_{米} = {O（运行）}_{对} ({(\frac{Λ_{米}}{n个 + \tilde{n个}} 日志 (\frac{{第页}_{米} (n个 + \tilde{n个}) 2^{T型} {T型}^{- 1 / 2})}{Λ_{米}}))}^{1 / 2})$ .

此外，如果Y（Y）∈ {0,1}^K,

κ^{2} (对_{Y（Y） ∣ X（X）}, {\bar{对}}_{Y（Y） ∣ X（X）}) \leq \bar{E类} {‖ {(σ (θ_{b条} E类 ({X（X）}_{1 : t吨})))}^{\frac{1}{2}} - {(σ ({\bar{θ}}_{b条} E类 ({X（X）}_{1 : t吨})))}^{\frac{1}{2}} ‖}_{2}^{2}, \leq \bar{E类} {‖ σ^{\frac{1}{2}} (θ_{b条} E类 ({X（X）}_{1 : t吨})) - σ^{\frac{1}{2}} ({\bar{θ}}_{b条} E类 ({X（X）}_{1 : t吨})) ‖}_{2}^{2} \leq \frac{1}{2} \bar{E类} {‖ (θ_{b条} - {\bar{θ}}_{b条}) E类 ({X（X）}_{1 : t吨}) ‖}_{2}^{2} \leq \frac{1}{2} {‖ θ_{b条} - {\bar{θ}}_{b条} ‖}_{如果}^{2} \bar{E类} {‖ E类 ({X（X）}_{1 : t吨}) ‖}_{2}^{2} .

同样， $H（H） (u个, {如果}_{b条, k个}) \leq Λ_{b条} 日志 (\frac{三 \sqrt{k个 {c（c）}_{16}}}{u个 \sqrt{2}})$ 通过设置满足熵条件 $ϵ_{b条} = {O（运行）}_{对} ({(\frac{Λ_{b条}}{n个} 日志 (\frac{\sqrt{{c（c）}_{16}} n个}{Λ_{b条}}))}^{1 / 2})$ .

如果 $年 \in ℝ^{K}$ ，然后

κ^{2} (对_{Y（Y） ∣ X（X）}, {\bar{对}}_{Y（Y） ∣ X（X）}) = \bar{E类} (1 - 经验 (- \frac{1}{8} {‖ (θ_{b条} - {\bar{θ}}_{b条}) E类 ({X（X）}_{1 : t吨}) ‖}_{2}^{2})), \leq \frac{1}{8} \bar{E类} {‖ (θ_{b条} - {\bar{θ}}_{b条}) E类 ({X（X）}_{1 : t吨}) ‖}_{2}^{2} \leq \frac{1}{8} {‖ θ_{b条} - {\bar{θ}}_{b条} ‖}_{如果}^{2} \bar{E类} {‖ E类 ({X（X）}_{1 : t吨}) ‖}_{2}^{2},

(33)

这意味着 $H（H） (u个, {如果}_{b条, k个}) \leq Λ_{b条} 日志 (\frac{三 \sqrt{k个 {c（c）}_{16}}}{2 \sqrt{2} u个})$ 熵条件成立时 $ϵ_{b条} = {O（运行）}_{对} ({(\frac{Λ_{b条}}{n个} 日志 (\frac{\sqrt{{c（c）}_{16}} n个}{Λ_{b条}}))}^{1 / 2})$ 这就完成了证明。□

引理2。

让 ${v（v）}_{n个} (（f）) = {n个}^{- 1 / 2} \sum_{我 = 1}^{n个} (v（v） (（f） ({X（X）}^{我}), {（f）}^{0} ({X（X）}^{我})) - E类 v（v） (（f） ({X（X）}^{我}), {（f）}^{0} ({X（X）}^{我})))$ ,假设存在一些通用常数a₂> 0和一个_三> 0,对于j≥ 2,这样的话

E类 {| v（v） (（f） (X（X）), {（f）}^{0} (X（X）)) |}^{j个} \leq 一_{2} j个! 2^{j个} {d日}^{2} (（f）, {（f）}^{0}),

对于任何δ> 0,如果

\int_{δ / 2^{8}}^{2^{1 / 2} δ^{1 / 2}} {H（H）}^{1 / 2} (u个, {V（V）}_{δ}) d日 u个 \leq 一_{三} {n个}^{1 / 2} δ,

哪里 ${V（V）}_{δ} = {v（v） (（f）, {（f）}^{0}) : {d日}^{2} (（f）, {（f）}^{0}) \leq δ, （f） \in 如果}$ ,那么存在一些常数a₄> 0和a₅> 0取决于₂ 和a_三 这样的话

{P（P）}^{*} (\underset{{d日}^{2} (（f）, {（f）}^{0}) \leq δ; （f） \in 如果}{啜饮} {v（v）}_{n个} (（f）) \geq 一_{4} {n个}^{1 / 2} δ) \leq 三 经验 (- 一_{5} n个 δ),

(34)

其中P*是对应于 $对_{X（X）}^{0}$ .

引理2的证明。

结果来自于中的引理5和引理7[38]，通过将引理5中的Hellinger距离替换为通用距离d日(·,·). □

脚注

补充资料

补充资料提供了实际数据应用中使用的Python代码。

笔记

¹ https://archive.ics.uci.edu/ml/datasets/句子+分类

² https://archive.ics.uci.edu/ml/datasets/句子+分类

^三 https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Ridge.html

⁴ https://radimrehurek.com/gensim/models/doc2vec.html

⁵ https://keras.io网址/

⁶ http://www.grammarcackforsentence.com/

工具书类

[1]主教CM。模式识别和机器学习斯普林格，2006年。[谷歌学者]

[2]具有随机梯度下降的大规模机器学习。在2010年COMPSTAT会议记录，第177–186页。施普林格，2010年。[谷歌学者]

[3]布莱曼L。随机森林.机器学习,45(1):5–32, 2001.[谷歌学者]

[4]Caruana R、Lawrence S和Giles CL。神经网络中的过度拟合：反向传播、共轭梯度和提前停止.英寸神经信息处理系统的研究进展，第402-408页，2001年。[谷歌学者]

[5]Cheng J和Lapata M。通过提取句子和单词进行神经摘要.arXiv预打印arXiv:1603.07252, 2016.[谷歌学者]

[6]Cho K、Van Merriénboer B、Gulcehre C、Bahdanau D、Bougares F、Schwenk H和Bengio Y。基于rnn编解码的统计机器翻译短语表示学习.arXiv预打印arXiv:1406.1078, 2014.[谷歌学者]

[7]科兹曼F和科恩I。半监督学习的风险.半监督学习，第56-72页，2006年。[谷歌学者]

[8]Cozman FG、Cohen I和Cirelo M。未标记数据会降低生成分类器的分类性能.英寸佛罗里达州会议，第327–331页，2002年。[谷歌学者]

[9]Cozman FG、Cohen I和Cirelo MC。混合模型的半监督学习《第20届机器学习国际会议论文集》（ICML-03），第99–106页，2003年。[谷歌学者]

[10]戴B、沈X和王杰。嵌入学习.美国统计协会杂志，（出版中），2020年。[谷歌学者]

[11]Devlin J、Chang M-W、Lee K和Toutanova K。伯特：深度双向变换器的语言理解预训练.英寸NAACL-HLT公司, 2018.[谷歌学者]

[12]董磊、杨恩、王伟、魏福、刘X、王毅、高杰、周明和霍华德。用于自然语言理解和生成的统一语言模型预训练.英寸神经信息处理系统的研究进展，第13042–13054页，2019年。[谷歌学者]

[13]Gjorgjioski V、Kocev D和Díeroski S。多标签分类与pcts距离的比较《斯洛文尼亚KDD数据挖掘和数据仓库会议记录》（SiKDD’11），2011年。[谷歌学者]

[14]Goodfellow I、Pouget-Abadie J、Mirza M、Xu B、Warde-Farley D、Ozair S、Courville A和Bengio Y。生成性对抗网络.英寸神经信息处理系统的研究进展，第2672–2680页，2014年。[谷歌学者]

[15]何丹、夏毅、秦涛、王力、于恩、刘廷毅、马伟毅。机器翻译的双重学习.英寸神经信息处理系统的研究进展，第820–828页，2016年。[谷歌学者]

[16]Hochreiter S和Schmidhuber J。长短期记忆.神经计算,9(8):1735–1780, 1997. [公共医学][谷歌学者]

[17]Karphy A和Fei-Fei L。用于生成图像描述的深层视觉语义对齐《IEEE计算机视觉和模式识别会议记录》，第3128–3137页，2015年。[公共医学][谷歌学者]

[18]Kingma DP、Mohamed S、Rezende DJ和Welling M。基于深度生成模型的半监督学习.英寸神经信息处理系统的研究进展，第3581–3589页，2014年。[谷歌学者]

[19]Kingma DP、Salimans T、Jozefowicz R、Chen X、Sutskever I和Welling M。基于逆自回归流的改进变分推理.英寸神经信息处理系统的研究进展，第4743–4751页，2016年。[谷歌学者]

[20]Langkilde I.基于预测的统计句子生成。在计算语言学协会第一届北美分会会议记录，第170-177页。计算语言学协会，2000年。[谷歌学者]

[21]Lee JD、Simchowitz M、Jordan MI和Recht B。梯度下降仅收敛于极小值《学习理论会议》，第1246-1257页，2016年。[谷歌学者]

[22]Merity S、Keskar NS和Socher R。规范和优化LSTM语言模型在2018年国际学习代表大会上。[谷歌学者]

[23]Mikolov T、Sutskever I、Chen K、Corrado GS和Dean J。单词和短语的分布式表示及其组成.英寸神经信息处理系统的研究进展，第3111–3119页，2013年。[谷歌学者]

[24]Mikolov T、Yih W-T和Zweig G。连续空间词表征的语言规律《计算语言学协会北美分会会议：人类语言技术》，第746–751页，2013年。[谷歌学者]

[25]穆拉切里五世和莫特瓦尼五世。图像字幕.arXiv预打印arXiv:1805.09137, 2018.[谷歌学者]

[26]Nallapati R、Melnyk I、Kumar A和Zhou B。Sengen：句子生成神经变分主题模型.arXiv预打印arXiv:1708.00308, 2017.[谷歌学者]

[27]Ollivier Y、Tallec C和Charpiat G。在线训练递归网络，无需回溯.arXiv预打印arXiv:1507.07680, 2015.[谷歌学者]

[28]Papineni K、Roukos S、Ward T和Zhu W-J.Bleu：机器翻译的自动评估方法。在计算语言学协会第40届年会会议记录，第311-318页。计算语言学协会，2002年。[谷歌学者]

[29]Pascanu R、Mikolov T和Bengio Y。递归神经网络训练的难点.英寸机器学习国际会议，第1310–1318页，2013年。[谷歌学者]

[30]Radford A、Wu J、Child R、Luan D、Amodei D和Sutskever I。语言模型是无监督的多任务学习者.OpenAI博客,1(8):9, 2019.[谷歌学者]

[31]施密特·M、勒鲁·N和巴赫·F。用随机平均梯度最小化有限和.数学规划,162(1–2):83–112, 2017.[谷歌学者]

[32]Schuster M和Paliwal KK。双向递归神经网络.IEEE信号处理汇刊,45(11):2673–2681, 1997.[谷歌学者]

[33]沈X。论处罚方法.中国统计学,8(2):337–357, 1998.[谷歌学者]

[34]Shen X和Wong WH。筛选估计的收敛速度.统计年刊，第580-615页，1994年。[谷歌学者]

[35]Smale S和Zhou D-X。学习理论中近似误差的估计.分析和应用,1(01):17–41, 2003.[谷歌学者]

[36]Sutskever I、Martens J和Hinton GE。用递归神经网络生成文本《第28届国际机器学习会议（ICML-11）论文集》，第1017–1024页，2011年。[谷歌学者]

[37]Vinyals O、Toshev A、Bengio S和Erhan D。展示与讲述：一个神经图像字幕生成器《IEEE计算机视觉和模式识别会议记录》，第3156–3164页，2015年。[谷歌学者]

[38]Wong WH、Shen X等。筛极大似然比和收敛速度的概率不等式.统计年刊,23(2):339–362, 1995.[谷歌学者]

[39]Yang T和Priebe CE。模型错误指定对半监督分类的影响.IEEE模式分析和机器智能事务,33(10):2093–2103, 2011. [公共医学][谷歌学者]

[40]雅罗斯基D。深relu网络近似的误差界.神经网络,94:103–114, 2017. [公共医学][谷歌学者]

[41]Yu H-F、Huang F-L和Lin C-J。logistic回归和最大熵模型的双坐标下降法.机器学习,85(12):41–75, 2011.[谷歌学者]

[42]Zhou D、Hofmann T和Schölkopf B。有向图的半监督学习.英寸神经信息处理系统的研究进展，第1633-1640页，2004年。[谷歌学者]

[43]朱毅、卢S、郑L、郭J、张伟、王杰和于毅。Texygen：文本生成模型的基准测试平台2018年第41届ACM SIGIR信息检索研究与开发国际会议，第1097–1100页。[谷歌学者]

耦合发电

本代

沈晓桐

王永雄

关联数据

摘要

1 介绍

2 方法

间接发电机。

直接发电机。

耦合发电机。

三。 理论

定理1（间接生成器）。

定理2（直接生成器）。

定理3（耦合生成）。

评论：

4 给定主题的句子生成

表3

表1

4.1. 间接发电机

4.2. 直接发电机

4.3. 耦合发电机

4.4. 大规模计算

间接发电梯度。

引理1。

4.5. 句子生成理论

推论1（顺序生成）。

理论示例。

推论2（理论示例）。

5 基准

表2

补充材料

补充1

鸣谢

附录

引理1的证明。

定理1的证明。

定理证明2。

定理证明3。

推论1的证明。

推论2的证明。

引理2。

引理2的证明。

脚注

工具书类

三。理论