ProSelfLC公司 swMATH编号： 42462 软件作者： 王新绍、杨华、科迪洛夫、桑哈·苏布拉·穆克吉、大卫·A·克利夫顿、尼尔·M·罗伯逊 描述： ProSelfLC：低温熵态的渐进自标记修正。为了训练鲁棒的深度神经网络（DNN），我们系统地研究了几种目标修改方法，包括输出调节、自标记和非自标记校正（LC）。发现了三个关键问题：（1）Self-LC最吸引人，因为它利用了自己的知识，不需要额外的模型。然而，如何在训练过程中自动确定学习者的信任度在文献中并没有得到很好的回答。（2） 有些方法会对低熵预测进行惩罚，而另一些方法则会奖励低熵预测，这促使我们问哪种方法更好。（3） 使用标准的训练设置，当存在严重噪声时，经过训练的网络置信度较低，难以利用其高熵自知识。为了解决这个问题（1），我们提出了两个公认的命题——深度神经网络在拟合噪声之前学习有意义的模式和最小熵正则化原理——我们提出了一种新的端到端方法ProSelfLC，它是根据学习时间和熵设计的。具体来说，给定一个数据点，如果模型已经训练了足够的时间，并且预测是低熵（高置信度）的，那么我们会逐渐增加对其预测的标签分布的信任，而不是对其注释的标签分布的信任。对于问题（2），根据ProSelfLC，我们实证证明，最好重新定义有意义的低熵状态，并优化学习者。这是对熵最小化的辩护。为了解决这个问题（3），我们先使用低温降低自知熵，然后再利用它来修正标签，以便修改后的标签重新定义低熵目标状态。我们通过在干净和嘈杂环境下以及在图像和蛋白质数据集上的大量实验证明了ProSelfLC的有效性。此外，我们的源代码位于https://github.com/XinshaoAmosWang/ProSelfLC-AT 主页： https://arxiv.org/abs/2207.00118 源代码： https://github.com/XinshaoAmosWang/ProSelfLC-AT 关键词： ProSelfLC公司;机器学习;arXiv_cs。LG公司;人工智能;arXiv_cs。人工智能;计算机视觉;模式识别;arXiv_cs。个人简历;渐进式自我标记更正;鲁棒神经网络;稳健的深度学习;标签修正;噪声标签;缺少标签;半监督学习;顺序变压器;蛋白质转换器;蛋白质分类 相关软件： TensorFlow公司;自动增强;DeepLoc公司 引用于： 0个文档 标准条款 1出版物描述软件 年份 ProSelfLC：低温熵态的渐进自标签修正arXiv公司王新绍、杨华、科迪洛夫、桑哈·苏布拉·穆克吉、大卫·A·克利夫顿、尼尔·M·罗伯逊 2022