论文2023/1917

正则PolyKervNets：优化深度神经网络中私有推理的表达性和效率

摘要

深度神经网络（DNN）中非线性函数（如整流线性单元（ReLUs）和最大池操作）的私有计算在存储、带宽和时间消耗方面提出了重大挑战。为了应对这些挑战，人们对利用多项式激活函数和核卷积作为传统ReLU替代品的隐私保护技术越来越感兴趣。然而，这些替代方法往往在实现更快的私有推理（PI）和牺牲模型准确性之间进行权衡。特别是，当应用于更深层次的网络时，这些方法会遇到训练不稳定性，导致梯度爆炸（导致NaN）或次优近似等问题。在本研究中，我们重点关注PolyKervNets，这是一种在较小网络中提供改进的动态近似的技术，但在较大和更复杂的网络中仍面临不稳定性。我们的主要目标是从经验上探索基于优化的训练方法，以提高PolyKervNets在大型网络中的性能。通过这样做，我们的目标是潜在地消除对传统非线性激活函数的需要，从而提高隐私保护深层神经网络架构的最新水平。