OpenML AutoML基准测试为评估和比较开源AutoML系统提供了一个框架。
该系统是可扩展的因为你可以添加您自己的AutoML框架和数据集。为了对基准进行全面解释并对结果进行评估，你可以阅读我们的纸张.

自动机器学习（AutoML）系统自动构建机器学习管道或以数据驱动、客观和自动的方式构建神经架构。他们自动化程度很高设计机器学习系统，以便开发更好的系统，速度更快。然而，AutoML研究也因以下两个因素而放缓：

• 目前，我们缺乏标准化、易于访问的任务（数据集）基准测试套件，这些任务（数据集中）旨在反映重要的问题领域、实用性和足够的挑战性，以支持对性能结果的严格分析。

• 问题定义中的细微差异，例如超参数搜索空间的设计或时间预算的定义方式，可以极大地改变任务的难度。这一问题使得复制已发表的研究和比较不同论文的结果变得困难。

该工具包旨在通过建立标准化环境来解决这些问题，以便对各种AutoML系统进行深入实验。

网站：https://openml.github.io/automlbenchmark/index.html

文档：https://openml.github.io/automlbenchmark/docs/index.html

安装：https://openml.github.io/automlbenchmark/docs/getting_started/

• 基准测试数据集的固化套件开放多媒体程序库(回归，回归,分类).
• 包括一些基准测试代码流行的AutoML系统回归和分类任务。
• 可以添加新的AutoML系统
• 实验可以在Docker或Singularity容器中运行
• 在本地或AWS上执行实验