T-Cal公司 swMATH ID: 46127 软件作者： Lee，Donghwan；黄新萌；哈米德·哈萨尼；埃德加·多布里班 描述： T-Cal：预测模型校准的最佳测试。机器学习方法的预测精度正在稳步提高，但其不确定性预测的校准带来了重大挑战。许多工作集中于获得校准良好的预测模型，但对模型校准的可靠评估知之甚少。这限制了我们了解用于改进校准的算法何时产生实际效果，以及它们的改进何时仅仅是由于有限数据集中的随机噪声而产生的伪影的能力。在这项工作中，我们将使用有限验证数据集检测预测模型的错误校准视为一个假设测试问题。零假设是预测模型被校准，而另一个假设是校准偏差足够大。我们发现，只有当类的条件概率是预测的足够平滑函数时，才有可能检测到校准错误。当条件类概率为Hölder连续时，我们提出了T-Cal，这是一种基于衰减插件估计的最小极大最优校准测试ℓ2-预期校准误差（ECE）。我们进一步提出了自适应T-Cal，这是一种对未知平滑度具有自适应性的版本。我们通过广泛的实验验证了我们的理论发现，包括一些流行的深层神经网络结构和一些标准的事后校正方法。T-Cal是一种实用的通用工具，它与离散值预测值的经典测试相结合，可用于测试几乎任何概率分类方法的校准 主页： https://arxiv.org/abs/203.01850 源代码： https://github.com/dh7401/T-Cal网址 依赖项： 蟒蛇 关键词： 机器学习；arXiv_状态ML；arXiv_cs。LG公司 相关软件： 引用于： 1文件 1位作者引用 1 马克·提格特 连载1篇 1 计算数学进展 在3个字段中引用 1 概率论与随机过程（60-XX） 1 统计学（62-XX） 1 数值分析（65-XX） 按年份列出的引文