用深度生成模型复制ML/MF和AM面膜的神经科学观察结果

最近单元格纸张（Chang&Tsao，2017)报道了一个有趣的发现。对于由预处理的主动外观模型（AAM）生成的面部刺激，灵长类大脑中负责面部识别的区域的神经元的反应与生成面部刺激的AAM的形状变量和外观变量呈强线性关系。在这封信中，我们证明了这种行为可以通过深度生成模型，即生成器网络来复制，该模型假设观测到的信号是由潜在随机变量通过自顶向下的卷积神经网络生成的，我们使用变分自动编码器从预处理AAM模型生成的人脸图像中学习生成网络，并且我们表明，所学习生成网络的推断潜在变量与生成人脸图像的AAM模型的形状和外观变量具有很强的线性关系。与AAM模型不同，AAM模型有一个显式形状模型，其中形状变量生成控制点或地标，生成器网络没有此类形状模型和形状变量。然而，它可以从学习的生成器网络的一些潜在变量捕捉AAM生成的面部图像中的形状变化的意义上学习形状知识。