Wolfram语言

训练网络模仿英语

这个例子演示了如何训练递归神经网络来生成英语文本。

首先,创建300000个训练示例,每个示例由两部小说中的25个角色组成。

以分类问题的形式对数据进行采样:给定一个字符序列,预测下一个字符。

获取文本中所有字符的列表。

建立一个能够同时预测整个序列的网络。请注意,不是使用序列LastLayer在a之前线性图层,一个NetMap操作员使用。因此,网络同时为每个字符预测序列中的下一个字符,而不仅仅是预测序列的最后一个字符。

现在,构建一个“教师强制”网络,以“交错”的方式将目标句子呈现给网络:对于长度为26的句子,将字符1到25呈现给网络,以便网络生成字符2到26的预测,并通过交叉熵损失层造成损失。

根据原始数据的输入序列训练网络。

从结果中提取预测链。

从中构建一个单字符预测链。

测试预测器。

创建一个NetState对象高效生成文本。

根据网络学习的分布生成200个字符。生成的文本与英语相似,但许多单词甚至不是英语,因为它是在一个小语料库(大约200万个字符)上训练的。

相比之下,类似的网络训练了大约10亿个字符。

相关示例

判定元件 锿 前 青年成就组织 让开 pt-br型 zh(德国)