计算机科学>机器学习
标题: 令人尴尬的简单数据集提取
摘要: 数据集蒸馏从大型数据集中提取一小组合成训练样本,目的是在对该样本进行训练时,在测试数据上取得具有竞争力的性能。 在这项工作中,我们通过将数据集蒸馏直接视为双层优化问题来解决其核心问题。 通过时间方法重新检查基本反向传播,我们研究梯度中的显著方差、计算负担和长期相关性。 我们引入了一种改进的方法:通过时间的随机截断反向传播(RaT-BPTT)来解决这些问题。 RaT-BPTT结合了截断和随机窗口,有效地稳定了梯度并加快了优化,同时覆盖了长依赖项。 这使我们能够为各种标准数据集基准建立最新的技术。 对蒸馏数据本质的深入研究揭示了明显的相关性。 特别是,与直接提取相同大小的较小数据集相比,提取数据集的子集往往表现出更差的性能。 利用RaT-BPTT,我们设计了一种增强机制,可以生成提取的数据集,这些数据集包含不同数据预算中性能接近最佳的子集。