水印产品生命周期管理对比学习与权重扰动相结合的分类任务研究

陈西谷,郑晓庆,徐建汉,穆棱·吴,张岑元,黄成松,华彩,黄宣景

摘要
大型预训练语言模型（PLM）取得了显著的成功，由于其昂贵的培训成本，使其具有极高的知识产权价值。因此，模型水印，一种为保护神经模型的知识产权而开发的方法，已经成为一种关键但尚未开发的技术。由于PLM的参数会在下游数据集上进行微调时更新，然后由于灾难性遗忘现象很容易去除嵌入的水印，因此PLM水印问题一直没有得到解决。本研究通过嵌入可由特定输入触发的后门来研究PLM水印的可行性。我们在水印阶段使用对比学习，允许特定输入的表示与其他输入分离，并在微调后映射到特定标签。此外，我们还证明，通过将权重扰动与该方法相结合，可以将水印嵌入到损失区域的平坦区域，从而提高其对水印去除的鲁棒性。在多个数据集上的大量实验表明，嵌入的水印可以在不了解下游任务的情况下稳健地提取，并且成功率很高。
选集ID：
2023.结果-emnlp.239
体积：
计算语言学协会的发现：EMNLP 2023
月份：
十二月
年份：
2023
地址：
新加坡
编辑：
Houda Bouamor公司,胡安·皮诺,卡利卡-巴厘岛
地点：
调查结果
SIG公司：
出版商：
计算语言学协会
注：
页：
3685–3694
语言：
网址：
https://acl选集.org/2023.findings-emnlp.239
内政部：
10.18653/v1/2023.查找-emnlp.239
比比键：
引用（ACL）：
顾晨曦、郑晓庆、徐建汉、吴穆玲、张岑源、黄成松、蔡华和黄宣景。2023基于对比学习和权值扰动相结合的分类任务水印PLM.英寸计算语言学协会的发现：EMNLP 2023，第3685–3694页，新加坡。计算语言学协会。
引用（非正式）：
将对比学习与权重扰动相结合对分类任务中的PLM进行水印（Gu等人，结果2023）
复制引文：
PDF格式：
https://aclantology.org/2023.findings-emnlp.239.pdf
PDF格式 引用 搜索