规范化层

规范化层[]

表示一个可训练的网络层，该网络层跨第二个维度和后续维度规范化其输入数据，并对第一个维度的每个组件应用独立的缩放和偏移。

规范化层[聚合级别]

在指定的聚合级别上规范化数据，并在其余级别上应用学习到的缩放和偏差。

规范化层[聚合级别,鳞片层]

在指定的缩放级别应用学习的缩放和偏移。

详细信息和选项

  • 规范化层用于将数据标准化为零均值和单位方差，然后进行仿射变换。
  • 这个聚合级别确定要对哪些级别的输入进行聚合以计算平均值和方差统计信息，而鳞片状的确定哪些输入级别具有组件特定的缩放值和应用于它们的偏差。
  • 的可能值聚合级别是：
  • 一骨料水平一只有
    一1;;一2合计水平一1通过一2
    {一1,…}总水平一我
  • 默认聚合级别为2;;全部.
  • 的可能值鳞片层是：
  • “补语”除聚合级别外的所有级别(违约)
    “相同”与聚合级别相同的级别
    秒水平秒只有
    秒1;;秒2水平秒1通过秒2
    {秒1,…}水平秒我
  • 可以包括以下可选参数：
  • “艾司隆”0.001稳定性参数
    学习率乘数自动缩放和/或偏差参数的学习速率乘数
    “无偏见”False（错误）是否按长度减1对标准偏差进行标准化(而不是长度)
  • 具有聚合级别{一1,…,一n个}，通过设置“GroupNumber”{克1,…,克n个}，的一j个级别被拆分为克j个独立规范化的组。标高的尺寸一j个必须是的整数倍克j个.
  • 可以指定以下可学习参数：
  • “偏见”自动可学习偏差参数
    “缩放”自动可学习的缩放参数
  • 使用自动当NetInitialize（网络初始化）或NetTrain公司使用。使用无可以禁用设置、缩放和添加偏移。
  • 如果缩放和偏置参数已初始化或禁用，规范化层[…][输入]显式计算应用层的输出。
  • 规范化层[…][输入]显式计算将层应用于的输出输入.
  • 规范化层[…][{输入1,输入2,…}]显式计算每个输入我.
  • 当无法从更大网络中的其他层推断时，选项“输入”->{d日1,d日2,…}可用于固定的输入尺寸规范化层.
  • NetExtract（网络提取）可以用于从规范化层对象。
  • 规范化层通常用于内部网络链,NetGraph（网络图形）等。
  • 规范化层公开以下端口以用于NetGraph（网络图形）等。：
  • “输入”秩大于1的数组
    “输出”秩大于1的数组
  • 考虑输入数组可以分解为d日一×d日b条×…次阵列x个A类跨聚合级别{一,b条,…}并进入d日我×d日j个×…次阵列x个我跨缩放级别{我,j个,…}.缩放和偏差参数和具有尺寸(d日我×d日j个×…)。然后通过以下方式获得与输入数组维数相同的输出，其中平均数组由方差由.
  • 默认值规范化层[]对应于Ulyanov中的实例规范化 等，“实例规范化：快速风格化的缺失要素”，2016年，通道维度位于第一层，空间维度位于后续层。
  • 规范化层[2;;全部,“相同”,“输入”{n个,自动}]对应于Ba et al.，“layer normalization”，2016中的层归一化，通道维度位于最后一层，时间维度位于第一层。
  • 规范化层[全部,1,“GroupNumber”{n个,1,1,…},“输入”{米*n个,…}]对应于Wu et al.，“group normalization”，2018，第一层为通道维度，后续层为空间维度。
  • 选项[规范化层]给出了构造层的默认选项列表。选项[规范化层[…]]给出了在某些数据上评估层的默认选项列表。
  • 问询处[规范化层[…]]给出了有关层的报告。
  • 问询处[规范化层[…],支柱]给出属性的值支柱属于规范化层[…].可能的属性与的相同NetGraph（网络图形）.

示例

全部打开全部关闭

基本示例  (2)

创建一个规范化层:

创建已初始化的规范化层采用等级为3的数组：

将层应用于输入：

范围  (3)

创建一个实例规范化层，该层获取RGB图像并返回RGB图像：

将层应用于图像：

规范化层自动对输入批执行线程：

创建一个规范化层它获取二维向量序列，并返回按因子2缩放并移位的标准化向量序列:

对一些正弦输入应用层归一化：

可视化规范化前后的值：

创建已初始化的规范化层它采用等级为6的数组，并在所有维度上进行规格化：

将层应用于输入：

选项  (8)

“偏见”  (2)

创建规范化层明确规定偏差：

提取偏差：

创建一个规范化层无任何偏见：

该层没有任何可学习的偏差：

“艾司隆”  （1）

创建一个规范化层使用“艾司隆”明确指定的参数：

提取“艾司隆”参数：

“GroupNumber”  (2)

规范化层计算整个聚合级别的方差和均值：

指定聚合级别必须拆分为两个组：

每组独立归一化：

这相当于在标准化之前重塑输入：

结合更深一层的标准化应用：

创建一个规范化层无任何缩放：

该层没有任何可学习的缩放参数：

“缩放”  (2)

创建一个规范化层明确指定缩放参数：

提取缩放参数：

创建一个规范化层无任何缩放：

该层没有任何可学习的缩放参数：

“无偏见”  （1）

在神经网络应用中，默认方差估计量通常有偏差：

这相当于：

定义一个规范化层使用无偏方差估计器：

方差计算现在等价于方差:

属性和关系  （1）

规范化层一般来说，与标准化:

用单元初始化层“缩放”和零“偏见”:

计算数据标准化：

稳定性参数和有偏方差估计引入了一个差异：

定义一个规范化层无正规化：

结果更接近标准化:

可能的问题  （1）

规范化层在知道其所有输入和输出维度之前，无法初始化：

Wolfram Research（2019），规范化层，Wolfram语言函数，https://reference.wolfram.com/language/ref/NormalizationLayer.html（2020年更新）。

文本

Wolfram Research（2019），规范化层，Wolfram语言函数，https://reference.wolfram.com/language/ref/NormalizationLayer.html（2020年更新）。

CMS公司

沃尔夫拉姆语言。2019.“规范化层”。Wolfram语言与系统文档中心。Wolfram研究。上次修改时间2020年。https://reference.wolfram.com/language/ref/NormalizationLayer.html。

亚太地区

沃尔夫拉姆语言。(2019). NormalizationLayer。Wolfram语言与系统文档中心。检索自https://reference.wolfram.com/language/ref/NormalizationLayer.html

BibTeX公司

@misc{reference.wolfram_2024_normalizationlayer，author=“wolfram Research”，title=“{normalizationlayer}”，year=“2020”，howpublished=“\url{https://reference.wolfram.com/language/ref/NormalizaionLayer.html}”]}

BibLaTeX公司

@online{reference.wolfram_2024_normalizationlayer，organization={wolfram Research}，title={normalizationlayer}，year={2020年}，url={https://reference.jolfram.com/language/ref/NormalizaionLayer.html}，note=[访问时间：2024年6月1日]}