简介|点燃文档

点燃2023年峰会-按需观看-立即注册!

编辑

引言

本节介绍如何使用Ignite ML来调整ML算法和[Pipelines](doc:pipeline-api)。内置交叉验证和其他工具允许用户优化算法和管道中的[超参数](文档:超参数调整)。

模型选择是一组工具,可以有效地准备和[评估](doc:evaluator)模型。使用它来分裂数据基于培训和测试数据,并进行交叉验证。

概述

学习预测函数的参数并在相同的数据上验证它是不好的做法。这会导致过盈。为了避免这个问题,最有效的解决方案之一是将部分训练数据保存为验证集。然而,通过对可用数据进行分区并从训练集中排除一个或多个部分,我们大大减少了可用于学习模型的样本数量,并且结果可能取决于对(训练、验证)集的特定随机选择。

这个问题的解决方案是一个称为交叉验证在称为k折叠CV的基本方法中,将训练集拆分为k个较小的集,然后执行以下过程:使用折叠(部分)中的k-1作为训练数据来训练模型,在数据的剩余部分上验证所得到的模型(它被用作计算精度等指标的测试集)。

Apache Ignite提供了交叉验证功能,允许它对要验证的训练器进行参数化,为每一步训练的模型计算指标,并拆分训练数据的折叠次数。