LDMNet：低维流形正则神经网络

Wei Zhu、Qiang Qiu、Jiaji Huang、Robert Calderbank、Guillermo Sapiro、Ingrid Daubechies; IEEE计算机视觉和模式识别会议记录，2018年，第2743-2751页

摘要

事实证明，深度神经网络在大型训练集可用的原型任务中非常成功，但当训练数据稀少时，其性能会受到过拟合的影响。许多现有的减少过拟合的方法都依赖于数据。数据相关正则化的动机主要是观察到感兴趣的数据靠近流形，这通常很难显式地参数化。这些方法通常只关注输入数据的几何特征，并不一定鼓励网络生成具有几何意义的特征。为了解决这个问题，我们提出了低维流形正则化神经网络（LDMNet），它结合了一种关注输入数据和输出特征几何结构的特征正则化方法。在LDMNet中，我们通过鼓励输入数据和输出特征的组合来对网络进行正则化，以采样一组低维流形，这些流形可以在没有显式参数化的情况下进行有效搜索。为了实现这一点，我们直接使用流形维数作为变分泛函中的正则项。由此得到的Euler-Lagrange方程是点云上的Laplace-Beltrami方程，可以用点积分方法求解，而不会增加计算复杂度。在实验中，我们表明LDMNet明显优于广泛使用的正则化器。此外，LDMNet可以提取通过不同模式成像的对象的共同特征，这在跨光谱人脸识别等实际应用中非常有用。

相关材料

[pdf格式][arXiv公司][视频]
[围巾]
@会议记录{Zhu_2018_CVPR，
author={朱，魏和邱，强和黄，加吉和卡尔德班克，罗伯特和萨皮罗，吉列尔莫和多贝切斯，英格丽德}，
title={LDMNet:低维流形正则神经网络}，
booktitle＝{计算机视觉和模式识别（CVPR）IEEE会议记录}，
月={6月}，
年份={2018年}
}