FedDAT：一种多模式异构联合学习基础模型微调方法

摘要

最近，基础模型在多模式学习方面取得了显著的进步。这些模型配备了数百万（或数十亿）个参数，通常需要大量数据进行微调。然而，由于不同的隐私法规，从不同部门收集和集中培训数据变得很有挑战性。联合学习（FL）是一种很有前途的解决方案，它使多个客户能够在不集中其本地数据的情况下协作训练神经网络。为了减轻客户端的计算负担和通信开销，以前的工作针对FL采用了参数高效微调（PEFT）方法。因此，只有一小部分模型参数在联邦通信期间进行了优化和通信。然而，以前的大多数工作都侧重于单一模式，而忽略了一个常见现象，即客户之间存在数据异质性。因此，在这项工作中，我们提出了一个针对异构多模态外语的微调框架，称为联邦双适配器教师（FedDAT）。具体来说，我们的方法利用双适配器教师（DAT）解决数据异构性问题，方法是规范客户端本地更新，并应用相互知识提取（MKD）实现有效的知识转移。FedDAT是第一种能够对各种异构Vision-Language任务的基础模型进行高效分布式微调的方法。为了证明其有效性，我们在四个具有不同类型数据异质性的多模态FL基准上进行了广泛的实验，其中FedDAT大大优于适用于FL的现有集中式PEFT方法。