计算机科学>计算与语言
标题: 通过自我监督的数据选择和合成实现设备上的大型语言模型个性化
摘要: 在边缘设备上部署大型语言模型(LLM)后,这些设备需要从用户生成的对话数据中学习,以实时生成用户特定的个性化响应。 然而,用户生成的数据通常包含敏感和私人信息,如果不禁止,则不建议将此类数据上传到云中进行注释。 虽然可以通过直接要求用户提供首选响应来获得本地注释,但此类注释必须稀疏,以免影响用户体验。 此外,边缘设备的存储通常太有限,无法使用完整的用户生成数据进行大规模微调。 考虑到稀疏注释和有限的设备上存储,如何启用设备上LLM个性化仍是一个悬而未决的问题。 在本文中,我们提出了一种新的框架,以自我监督的方式在线选择和存储最具代表性的数据。 这样的数据占用的内存很小,并且允许不经常请求用户注释以进行进一步微调。 为了提高微调质量,使用LLM生成了多对语义相似的问题文本和预期响应。 我们的实验表明,与普通基线相比,该框架实现了最佳的用户特定内容生成能力(准确性)和微调速度(性能)。 据我们所知,这是第一个在线LLM个性化框架。