计算机科学>机器学习
标题: 在(几乎)无训练的情况下聚合相关估计
摘要: 许多决策问题无法准确解决,只能使用几种评估算法将分数分配给不同的可用选项。 估计误差可以有各种相关性,从低相关性(例如两种非常不同的方法之间的相关性)到高相关性(例如使用具有不同超参数的给定算法时)。 大多数聚合规则都会受到这种多样性相关性的影响。 在本文中,我们提出了考虑相关性的不同聚合规则,并将其与基于合成数据的各种实验中的朴素规则进行了比较。 我们的结果表明,当充分了解误差之间的相关性时,应首选最大似然聚合。 否则,通常在训练数据有限的情况下,我们建议使用一种称为嵌入式投票(EV)的方法。