Wolfram神经网络存储库

即时可计算访问神经网络模型

Globe 300维单词向量培训时间： 普通爬行42B

将单词表示为向量

斯坦福大学计算机科学系于2014年发布了该表示法，该表示法使用一种称为Global Vectors（Global Vects）的原始方法进行训练。它将1917495个标记编码为唯一向量，词汇表之外的所有标记编码为零向量。令牌大小写被忽略。

层数：1|参数计数：575248500|培训大小：2 GB|

训练集信息

示例

资源检索

获取预先训练过的网：

在[1]中：=
NetModel[“普通爬行训练的Globe 300维单词向量\42B“]
输出[1]=

基本用法

使用网络获取单词向量列表：

在[2]中：=
vectors=NetModel[“在普通爬行中训练的Globe 300维单词向量\42B“][”你好世界“]
输出[2]=

获取向量的维数：

在[3]中：=
尺寸[矢量]
输出[3]=

在网络链:

在[4]中：=
chain=网络链[｛网络模型[“普通爬行42B训练的Globe 300维单词向量”]，LongShortTermMemoryLayer[10]}]
输出[4]=

特征可视化

创建两个相关单词列表：

在[5]中：=
动物={“短吻鳄”、“蚂蚁”、“熊”、“蜜蜂”、“鸟”、“骆驼”、“猫”、“猎豹”、“鸡”、“黑猩猩”、“奶牛”、“鳄鱼”、“鹿”、“狗”、“海豚”、“鸭子”、“鹰”、“大象”、“鱼”和“飞”}；
在[6]中：=
水果={“苹果”，“杏子”，“鳄梨”，“香蕉”，“黑莓”，“蓝莓”，”樱桃“，”椰子“，”蔓越莓“，”葡萄“，”萝卜“，”芒果“，”甜瓜“，”木瓜“，“桃”，“菠萝”，“覆盆子”，”草莓“，”核桃“，”无花果“}；

使用网络作为特征提取器，可视化单词之间的关系：

在[7]中：=
FeatureSpacePlot[加入[动物，水果]，FeatureExtractor->NetModel[“Globe 300-Dimensional Word Vectors Trained on Common\爬行42B“]]
输出[7]=

单词类比

获取预先训练过的网：

在[8]中：=
net=网络模型[“在普通爬行42B上训练的Globe 300维单词向量”]
输出[8]=

获取单词列表：

在[9]中：=
words=NetExtract[net，“Input”][[“Tokens”]]
输出[9]=

获取向量：

在[10]中：=
vecs=正常@NetExtract[net，“重量”][[1；；-2]]；

创建关键字为单词、值为向量的关联：

在[11]中：=
word2vec=关联线程[words->vecs]；

找出与“king”最接近的八个单词：

在[12]中：=
最近的[word2vec，word2vesc[“国王”]，8]
输出[12]=

男人之于国王，正如女人之于：

在[13]中：=
最近的[word2vec，word2vesc[“国王”]-word2vec[“男人”]+word2vec[“女人”]，5]
输出[13]=

法国之于巴黎，正如德国之于：

在[14]中：=
最近的[word2vec，word2vec[“paris”]-word2vec[“france”]+word2vec[“germany”]，5]
输出[14]=

净信息

检查网络中所有阵列的参数数量：

在[15]中：=
网络信息[NetModel[“普通爬行训练的Globe 300维单词向量\42B“]，“阵列元素计数”]
输出[15]=

获取参数总数：

在[16]中：=
网络信息[NetModel[“普通爬行训练的Globe 300维单词向量\42B“]，“ArraysTotalElementCount”]
输出[16]=

获取层类型计数：

在[17]中：=
网络信息[NetModel[“普通爬行训练的Globe 300维单词向量\42B“]，”层类型计数“]
输出[17]=

导出到MXNet

导出将网络转换为可在MXNet中打开的格式：

在[18]中：=
jsonPath=Export[FileNameJoin[{$TemporaryDirectory，“net.json”}]，NetModel[“Globe 300维单词向量训练通用\爬行42B“]，”MXNet“]
退出[18]=

导出还创建了网络参数包含参数的文件：

在[19]中：=
paramPath=FileNameJoin[{DirectoryName[jsonPath]，“net.params”}]
输出[19]=

获取参数文件的大小：

在[20]中：=
文件字节计数[paramPath]
输出[20]=

大小与资源对象的字节数类似：

在[21]中：=
资源对象[“普通爬行训练的Globe 300维单词向量\42B“][”字节计数“]
输出[21]=

将MXNet网络表示为图形：

在[22]中：=
导入[jsonPath，{“MXNet”，“NodeGraphPlot”}]
输出[22]=

要求

Wolfram语言11.2（2017年9月）或以上

资源历史记录

  • 创建日期：2017年9月26日
  • 最新更新：2018年6月21日

参考