培训停止标准

培训停止标准

是的一个选项NetTrain公司它规定了提前停止训练以防止过度训练的标准。

细节

  • 默认为培训停止标准无，不执行提前停止。
  • 设置培训停止标准“测量”规定在下列情况下应停止培训测量停止改善。的可能值测量包括：
  • “损失”网络训练损失
    钥匙一培训进度测量钥匙
  • 可用的值钥匙取决于培训进度测量通常，关键与度量相同。例如，使用培训进度测量“错误率”,钥匙可以是“错误率”然而，情况并非总是如此。
  • 培训停止标准自动相当于培训停止标准“损失”.
  • 默认情况下，培训停止标准基于验证集的度量和损失。如果验证集的选项NetTrain公司是无，然后将发出警告并使用训练集。如果存在验证集，则每次计算验证损失和度量时都会检查停止标准（默认情况下每轮一次）；否则，每轮检查一次停止标准。
  • 培训停止标准具有多个子选项，可以使用<|“标准”"测量",选择1val值1,选择2val值2,…|>语法。
  • 设置培训停止标准<|“标准”"测量",“耐心”n个|>规定，如果测量看不到n个一排成圆形。的默认值n个为0。
  • 设置培训停止标准<|“标准”"测量",“初始耐心”n个 |>指定仅在以下时间后第一次检查停止条件n个轮。的默认值n个为0。
  • 设置培训停止标准<|“标准”"测量",“改进”v（v）|>指定中的最小更改测量这被认为是一种进步。的可能值改进是：
  • “绝对更改”如果出现以下情况，则停止培训测量提高不到v（v）
    “相对变更”如果出现以下情况，则停止培训测量提高不到一倍v（v）当前最佳值
  • 如果没有给出改进规范，那么“绝对改变”0使用。
  • 表格“相对变更”数量[q个,“百分比”]也可以给出。
  • 也可以使用培训停止标准<|“标准”函数,…|>，其中函数应该返回真的如果培训应该停止。
  • 功能函数提供了与以下键的关联：
  • RoundLoss（圆形损失）训练设备的总损失
    验证损失验证集的总损失
    圆形测量训练集请求测量的关联
    验证测量值验证集的请求测量关联
  • 只有存在验证集时，验证属性才可用。
  • 这个“相对变更”和“绝对改变”选项不能与函数条件一起使用。
  • 如果测量为指定培训停止标准，测量值将用于选择要返回的最佳训练网络NetTrain公司请注意“耐心”,“初始耐心”,“绝对改变”和“相对变更”对该选择没有影响。如果为指定了函数培训停止标准，在选择最佳训练网络时将使用默认行为。

示例

全部打开全部关闭

基本示例  （1）

当验证损失停止改善时，通过停止培训来防止过度拟合。建立一个简单的网络以及一些培训和验证数据：

使用培训停止标准在验证损失停止改善时停止培训：

将此与不提前停止的情况进行比较：

范围  (2)

使用更复杂的标准提前停止。建立一个简单的网络以及一些培训和验证数据：

使用培训停止标准当验证损失的改善程度低于某个绝对值时，停止培训：

使用培训停止标准当验证损失的改善程度低于之前最佳值的某个百分比时，停止培训：

使用培训停止标准当验证损失连续5轮以上没有改善时，停止训练：

使用培训停止标准在验证损失没有改善时停止培训，但仅在200轮培训后开始检查：

使用培训停止标准当验证宏观平均召回停止增加50次时，停止培训：

使用回调函数停止训练。设置网络和数据：

验证损失大于1.75时停止培训：

如果连续20多轮验证损失高于1.75，则停止培训：

属性和关系  (2)

被视为改进的更改方向取决于测量。对于“损失”，减少就是改善。对于其他测量，可以使用“方向”方向的子选项培训进度测量。对于内置测量，将根据需要自动选择方向。

如果第一层激活的L1规范没有增加，则停止训练：

可以使用回调函数指定任何非函数停止条件。设置网络和数据：

如果没有回调函数，请使用培训停止标准当验证损失在50次迭代中没有改善时，停止培训：

这相当于以下具有函数的标准：

Wolfram Research（2019），培训停止标准，Wolfram语言功能，https://reference.wolfram.com/language/ref/TrainingStoppingCriterian.html。

文本

Wolfram Research（2019），培训停止标准，Wolfram语言功能，https://reference.wolfram.com/language/ref/TrainingStoppingCriterian.html。

CMS公司

沃尔夫拉姆语言。2019年，“培训停止标准”，Wolfram语言与系统文档中心。Wolfram研究。https://reference.wolfram.com/language/ref/TrainingStoppingCriterian.html。

亚太地区

沃尔夫拉姆语言。(2019). 培训停止标准。Wolfram语言与系统文档中心。检索自https://reference.wolfram.com/language/ref/TrainingStoppingCriterian.html

BibTeX公司

@misc{reference.wolfram_2024_trainingstoppingcriteria，author=“wolfram Research”，title=“{TrainingStoppingCriterian}”，year=“2019”，howpublished=“\url{https://reference.wolfram.com/language/ref/TrainingStopingCriterion.html}”]}

BibLaTeX公司

@online{reference.wolfram_2024_trainingstoppingcriteria，organization={wolfram Research}，title={TrainingStoppingCriterian}，year={2019}，url={https://reference.wolfram.com/language/ref/TrainingStopingCriterian.html}，note=[访问时间：2024年6月1日]}