基于专家混合训练的神经内隐词典学习

王培浩、范志文、陈天龙、王章扬
第39届机器学习国际会议记录，PMLR 162:22613-226242022年。

摘要

与基于离散网格的表示方法相比，用基于坐标的深度全连通网络表示视觉信号在拟合复杂细节和解决反问题方面具有优势。然而，获得这样一个连续的隐式神经表示（INR）需要对大量信号测量进行繁琐的全场景训练，这限制了它的实用性。在本文中，我们提出了一个通用的INR框架，该框架通过从数据收集中学习神经隐式字典（NID）并将INR表示为从字典中采样的小波的函数组合来实现数据和训练效率。我们的NID组装了一组基于协调的子网络，这些子网络经过调整以跨越所需的功能空间。训练后，通过求解编码系数，可以快速而稳健地获得一个看不见的场景表示。为了并行优化大量网络，我们借鉴了专家混合（MoE）的思想，使用稀疏选通机制设计和训练网络。我们的实验表明，NID可以将2D图像或3D场景的重建速度提高2个数量级，输入数据最多减少98%。我们进一步展示了NID在图像修复和遮挡去除中的各种应用，这被认为是香草INR的挑战。我们的代码位于https://github.com/VITA-Group/Neural-Implicit-Dict。

引用本文

BibTeX公司
@诉讼中{pmlr-v162-wang22d，title={通过混合专家培训进行神经隐式词典学习}，author={王，裴浩和范，志文和陈，天龙和王，张扬}，booktitle={第39届机器学习国际会议论文集}，页码={22613--22624}，年份={2022}，editor={乔杜里、卡马利卡和杰尔卡、斯特凡尼和宋、勒和塞佩斯瓦里、塞萨巴和纽、冈和萨巴托、西万}，体积={162}，series={机器学习研究论文集}，月={7月17日--23日}，发布者＝{PMLR}，pdf={https://proceedings.mlr.press/v162/wang22d/wang22.d.pdf},url={https://proceedings.mlr.press/v162/wang22d.html},abstract={用基于坐标的深度全连通网络表示视觉信号，与基于离散网格的表示法相比，在拟合复杂细节和解决反问题方面显示出了优势。然而，获得这种连续的隐式神经表示法（INR）需要对大量信号测量进行繁琐的全场景训练，这限制了其实用性。在本文中，我们提出了一个通用的INR框架，该框架通过从数据收集中学习神经隐式字典（NID）并将INR表示为从字典中采样的小波的函数组合来实现数据和训练效率。我们的NID组装了一组基于协调的子网络，这些子网络经过调整以跨越所需的功能空间。训练后，通过求解编码系数，可以快速而稳健地获得一个看不见的场景表示。为了并行优化一大群网络，我们借鉴了混合专家（MoE）的思想，设计并训练了具有稀疏门控机制的网络。我们的实验表明，NID可以将2D图像或3D场景的重建速度提高2个数量级，输入数据最多减少98%。我们进一步演示了NID在图像修复和遮挡消除中的各种应用，这被认为是对vanilla INR的挑战。我们的代码位于https://github.com/VITA-Group/Neural-Implicit-Dict。}}
尾注
%0会议论文%基于专家混合训练的T神经隐式词典学习%王培浩%一个知文迷%陈天龙%王章扬%第39届机器学习国际会议论文集%C机器学习研究进展%D 2022年%E卡马利卡·乔杜里%E斯特凡妮·杰格尔卡%E乐歌%E Csaba Szepesvari公司%鄂岗牛%E西万·萨巴托%F pmlr-v162-wang22d型%我PMLR%电话22613--22624%U型https://proceedings.mlr.press/v162/wang22d.html%V 162型%X通过基于坐标的深度全连通网络表示视觉信号，与基于离散网格的表示相比，在拟合复杂细节和解决反问题方面具有优势。然而，获得这样一个连续的隐式神经表示（INR）需要对大量信号测量进行繁琐的全场景训练，这限制了它的实用性。在本文中，我们提出了一个通用的INR框架，该框架通过从数据收集中学习神经隐式字典（NID）并将INR表示为从字典中采样的小波的函数组合来实现数据和训练效率。我们的NID组装了一组基于协调的子网络，这些子网络经过调整以跨越所需的功能空间。在训练之后，通过求解编码系数，可以立即且稳健地获取看不见的场景表示。为了并行优化大量网络，我们借鉴了专家混合（MoE）的思想，使用稀疏选通机制设计和训练网络。我们的实验表明，NID可以将2D图像或3D场景的重建速度提高2个数量级，输入数据最多减少98%。我们进一步演示了NID在图像修复和遮挡消除中的各种应用，这被认为是对vanilla INR的挑战。我们的代码位于https://github.com/VITA-Group/Neural-Implicit-Dict。
亚太地区
Wang，P.，Fan，Z.，Chen，T.&Wang，Z.（2022）。通过专家混合训练进行神经内隐字典学习。第39届机器学习国际会议记录，英寸机器学习研究进展162:22613-22624网址：https://proceedings.mlr.press/v162/wang22d.html。

相关材料