NetInitialize（网络初始化）

NetInitialize（网络初始化）[网]

给出了一个网络，其中所有未初始化的可学习参数都位于网已给定初始值。

NetInitialize（网络初始化）[网,全部]

给出了一个网络，其中所有可学习参数都已给定初始值。

详细信息和选项

  • NetInitialize（网络初始化）[网,全部]覆盖中的任何现有训练或预设可学习参数网.
  • NetInitialize（网络初始化）通常将随机值分配给表示权重的参数，将零分配给表示偏差的参数。
  • 可以包括以下可选参数：
  • 方法 “开明”要使用哪种初始化方法
    随机播种1234伪随机数发生器的种子
  • 的可能设置方法包括：
  • “开明”选择权重以在通过层传播时保持数组的方差,采用何开明等人介绍的方法。(2015)
    “泽维尔”选择权重以在通过层传播时保持数组的方差,采用Xavier Gloot等人介绍的方法。(2014)
    “正交”选择正交矩阵的权重
    “随机”从给定的单变量分布中选择权重
    “身份”选择权重，以便在通过仿射层进行比例缩放时保留阵列的分量
  • 可以使用指定特定方法的子选项方法{"方法",选择1val值1,…}.
  • 对于方法“开明”和“泽维尔”，支持以下子选项：
  • “分发”“正常”任何一个“正常”或“制服”
  • 对于该方法“随机”，支持以下子选项：
  • “重量”常态分配[0,1]用于初始化权重矩阵的随机分布
    “偏见”无用于初始化偏差向量的随机分布
  • 对于该方法“身份”，支持以下子选项：
  • “分发”常态分配[0,0.01]用于向初始单位矩阵中添加噪声以打破对称性的随机分布
  • 对于任何需要分布的子选项，都会显示一个数值标准偏差可以指定，并被视为常态分配[0,标准偏差].
  • 默认情况下，所有方法都将偏差向量初始化为零。
  • 的可能设置随机播种包括：
  • 自动每次调用函数时自动重新设定种子
    继承使用外部种子随机数
    种子使用显式整数或字符串作为种子

示例

全部打开全部关闭

基本示例  (1)

创建未初始化的层：

使用随机权重初始化层：

提取新的初始化权重：

范围  (1)

指定“随机”初始化，对权重和偏差使用标准偏差为2的正态分布：

提取并绘制初始化权重和偏差：

选项  (1)

方法  (1)

定义网络：

使用初始化网络“泽维尔”初始化：

指定“泽维尔”该方法将从均匀分布中进行采样：

绘制第一层中权重的直方图：

指定“泽维尔”方法将从正态分布中进行采样：

绘制第一层中权重的直方图：

属性和关系  (2)

NetTrain公司将自动呼叫NetInitialize（网络初始化）在培训开始之前。在训练之前初始化简单层的权重和偏差：

训练后提取权重和偏差：

创建一个将长度为1的矢量映射到长度为1矢量的网络：

使用初始化网络“身份”方法，该方法会生成一个网络，在数组的组件通过线性层时尝试保留这些组件：

将网络的输出视为其输入的函数：

使用其他方法初始化网络会产生随机线性函数：

可能的问题  (2)

属于某些层的参数具有固定的初始化方法，与方法中的选项NetInitialize（网络初始化）:

默认情况下，NetInitialize（网络初始化）使用随机播种1234，当NetInitialize（网络初始化）重复调用：

使用随机播种自动确保重复调用产生不同的初始化：

整洁的示例  (1)

探索用于权重和偏差的值的大小如何影响将单个值映射到长度为8的向量的简单非线性网络：

Wolfram Research（2016），NetInitialize，Wolfram语言函数，https://reference.wolfram.com/language/ref/NetInitialize.html（2022年更新）。

文本

Wolfram Research（2016），NetInitialize，Wolfram语言函数，https://reference.wolfram.com/language/ref/NetInitialize.html参考.wolfram.com/language/ref/NetInitialize.html（2022年更新）。

CMS公司

沃尔夫拉姆语言。2016年，“NetInitialize”，Wolfram语言与系统文档中心。Wolfram研究。上次修改时间：2022年。https://reference.wolfram.com/language/ref/NetInitialize.html。

亚太地区

沃尔夫拉姆语言。(2016). NetInitialize（网络初始化）。Wolfram语言与系统文档中心。检索自https://reference.wolfram.com/language/ref/NetInitialize.html参考.wolfram.com/language/ref/NetInitialize.html

BibTeX公司

@misc{reference.wolfram_2024_netinitialize，author=“wolfram Research”，title=“{netinitialize}”，year=“2022”，howpublished=“\url{https://reference.wolfram.com/language/ref/netinitialize.html}”]}

BibLaTeX公司

@online{reference.wolfram_2024_netinitialize，organization={wolfram Research}，title={netinitialize}，year={2022}，url={https://reference.jolfram.com/language/ref/netinitialize.html}，note=[访问时间：2024年9月21日]}