×
龚茂国;潘，柯;谢、余;秦，A.K。;唐则栋

利用基于关联的自适应噪声施加在深度神经网络中保持差异隐私。 （英语） Zbl 1434.68507号

神经网络。 125, 131-141 (2020).
摘要：近年来，深度学习在人工智能领域取得了显著成果。然而，深度神经网络的训练过程可能会导致个人隐私的泄露。给定目标个体的模型和一些背景信息，对手可以恶意推断目标个体的敏感特征。因此，必须保存训练数据中的敏感信息。差异隐私是提供数据集隐私保障的最先进范例，它可以显著保护隐私和敏感信息免受对手的攻击。然而，现有的基于差异隐私的隐私保护模型并不令人满意，因为传统方法总是在参数中注入相同数量的噪声来保护敏感信息，这可能会影响模型实用性和训练数据隐私保障之间的权衡。本文提出了一种基于相关性分析的通用差异私有深度神经网络学习框架，旨在弥合私有模型和非私有模型之间的差距，同时为敏感信息提供有效的隐私保障。该模型根据不同层神经元与模型输出之间的相关性对梯度进行扰动。具体地说，在反向传播过程中，与模型输出相关性较小的神经元梯度和副变量被添加了更多的噪声。在五个真实数据集上的实验表明，我们的机制不仅弥合了私有和非私有模型之间的差距，而且有效地防止了敏感信息的泄露。

MSC公司：

2017年10月68日 人工神经网络与深度学习
68第27页 数据隐私

关键词：

深度神经网络;差异隐私;相关性分析

软件：

ImageNet公司;达奇;亚当;AlexNet公司;UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit{M.Gong}等人，神经网络。125、131--141（2020年；Zbl 1434.68507）
全文： 内政部

参考文献：

[1] Abadi，M.、Chu，A.、Goodfellow，I.、Mcmahan，H.B.、Mironov，I.和Talwar，K.等人（2016）。具有不同隐私的深度学习。在ACM SIGSAC计算机和通信安全会议上（第308-318页）。
[2] 巴赫，S。；粘合剂A。；蒙塔冯，G。；Klauschen，F。；穆勒，K.R。；Samek，W.，《通过分层相关传播对非线性分类器决策的像素解释》，《公共科学图书馆·综合》，10，7，文章e0130140 pp.（2015）
[3] Bai，Y.，Zhang，Y.、Ding，M.和Ghanem，B.（2018）。利用生成性对抗网络在野外发现微小的面孔。IEEE计算机视觉和模式识别会议（第21-30页）。
[4] Bao，F。；Abdulla，W.H.，基于CASA的语音增强的新比率掩码表示，IEEE/ACM音频、语音和语言处理汇刊，27，1，7-19（2019）
[5] Bourlard，H。；Kamp，Y.，多层感知器和奇异值分解的自动关联，生物控制论，59，4-5，291-294（1988）·Zbl 0651.92006号
[6] 杜瓦，D。；Graff，C.，加州大学欧文分校信息与计算机科学学院UCI机器学习库（2017）
[7] Dwork，C.，《私人数据分析的坚实基础》，《ACM通讯》，54，1，86-95（2011）
[8] Dwork，C.、McSherry，F.、Nissim，K.和Smith，A.D.（2006年）。校准私人数据分析中的噪声灵敏度。密码学理论会议（第265-284页）·Zbl 1112.94027号
[9] 德沃克，C。；Roth，A.，《不同隐私的算法基础》，《理论计算机科学的基础和趋势》，9，3-4，211-407（2014）·Zbl 1302.68109号
[10] 龚，M。；潘，K。；Xie，Y.，基于相关性的回归分析中的差异隐私保护，基于知识的系统，173，140-149（2019）
[11] Graves，A.、Mohamed，A.R.和Hinton，G.（2013年）。基于深度递归神经网络的语音识别。IEEE声学、语音和信号处理国际会议（第6645-6649页）。
[12] 辛顿，G。；邓，L。；Yu，D。；Dahl，G.E。；穆罕默德，A.R。；Jaitly，N.，《语音识别中声学建模的深度神经网络：四个研究小组的共同观点》，IEEE Signal Processing Magazine，29，6，82-97（2012）
[13] 辛顿，G.E。；Osindero，S。；Teh，Y.W.，深度信念网络的快速学习算法，神经计算，18，7，1527-1554（2014）·Zbl 1106.68094号
[14] Jarusek，R。；沃尔纳，E。；Kotyrba，M.，基于神经网络的隐写术的光蒙太奇检测，神经网络，116，150-165（2019）
[15] 约翰逊，A.E.W。；波拉德·T·J。；卢，S。；Lehman，L.W.H。；Mark，R.G.，MIMIC-III，一个可自由访问的重症监护数据库，《科学数据》，第3期，文章160035页（2016）
[16] 金马，D。；Ba，J.，Adam：随机优化方法（国际学习表征会议（2015））
[17] Krizhevsky，A。；Hinton，G.E.，从微小图像中学习多层特征Tech。多伦多大学代表（2009）
[18] Krizhevsky，A.、Sutskever，I.和Hinton，G.E.（2012）。基于深度卷积神经网络的Imagenet分类。在神经信息处理系统国际会议上（第1097-1105页）。
[19] Lee，H.、Grosse，R.、Ranganath，R.和Ng，A.Y.（2009年）。用于分层表示的可扩展无监督学习的卷积深信念网络。在机器学习国际会议上（第609-616页）。
[20] Li，N.、Li，T.和Venkatasubramanian，S.（2007）\（t）-亲密度：隐私超越（k）-匿名性和（l）-多样性。IEEE国际数据工程会议（第106-115页）。
[21] 刘，Y。；Li，N.，《找回隐藏的朋友：针对在线朋友搜索引擎的共谋隐私攻击》，《IEEE信息取证与安全交易》，第14、4、833-847页（2019年）
[22] 刘，Y。；聂，F。；高奇。；高，X。；Han，J。；Shao，L.，用于图像分类的灵活无监督特征提取，神经网络，115，65-71（2019）·Zbl 1434.68427号
[23] Machanavajjhala，A。；Kifer，D。；Gehrke，J.，（L）-多样性：超越隐私（k）-匿名性，ACM数据知识发现交易，1，1，3-8（2007）
[24] McMahan，H.B。；Ramage，D。；塔尔瓦尔，K。；Zhang，L.，《在不失准确性的情况下学习差异私人语言模型》（2017年）
[25] Mcsherry，F.和Talwar，K.（2007年）。通过差异隐私进行机制设计。IEEE计算机科学基础研讨会（第94-103页）·Zbl 1232.68047号
[26] Nassif，A.B。；沙欣，I。；阿提利，I。；Azzeh先生。；Shaalan，K.，《使用深度神经网络的语音识别：系统综述》，IEEE Access，719143-19165（2019）
[27] Omisore，O.M。；韩，S。；任，L。；Elazab，A。；Hui，L。；Abdelhamid，T.，蛇形机器人逆运动学的深度学习阻尼最小二乘（DL-DLS）方法，神经网络，107，34-47（2018）
[28] 潘·W。；Chen，L。；Ming，Z.，通过学习对项目集的成对偏好进行隐式反馈的个性化推荐，知识与信息系统，58，2，295-318（2019）
[29] Phan，N。；吴，X。；Dou，D.，在卷积深度信念网络中保留差异隐私，机器学习，106，9-10，1681-1704（2017）·兹比尔1455.68192
[30] Phan，N.、Wu，X.、Hu，H.和Dou，D.（2017）。自适应拉普拉斯机制：深度学习中的差异隐私保护。IEEE数据挖掘国际会议（第385-394页）。
[31] Phan，N.H.、Yue，W.、Wu，X.和Dou，D.（2016）。深度自动编码器的差异隐私保护：人类行为预测的应用。在AAAI人工智能会议上（第1309-1316页）。
[32] Polyak，B.T.，《加速迭代法收敛的一些方法》，苏联计算数学和数学物理，4，5，1-17（1964）·Zbl 0147.35301号
[33] Sakar，C.O。；塞族，G。；Gunduz，A。；Tunc，H.C。；尼扎姆，H。；Sakar，B.E.，《帕金森病分类语音信号处理算法与可调Q因子小波变换的比较分析》，应用软计算，74255-263（2019）
[34] Shokri，R.和Shmatikov，V.（2015）。隐私保护的深度学习。在Allerton通信、控制和计算会议上（第909-910页）。
[35] 太阳，X。；马，S。；Zhang，Y。；Ren，X.，《为自然语言处理实现更简单、更快的序列标记：基于搜索的概率在线学习框架（SAPO）》，信息科学，478303-317（2019）·Zbl 1443.68190号
[36] Sze，V。；Chen，Y.H.先生。；Yang，T.J.（杨天杰）。；Emer，J.，《深度神经网络的高效处理：教程和调查》，IEEE学报，105，12，2295-2329（2017）
[37] 陶，J。；Dai，W.，用于视觉分类的判别多源自适应多特征联合回归，神经网络，11496-118（2019）
[38] Tien，D.N。；Nguyen，K。；Sridharan，S。；院长，D。；Fookes，C.，深度时空特征融合与紧凑双线性池，用于多模态情感识别，计算机视觉和图像理解，174，33-42（2018）
[39] Wang，C.、Liu，Q.、Wu，R.、Chen，E.、Liu，C.和Huang，X.等人（2018）。推荐系统的置信度矩阵分解。在AAAI人工智能会议上（第434-442页）。
[40] Wong，R.C.、Li，J.、Fu，A.W.和Wang，K.（2006）\（（alpha，k））-匿名：一种增强的（k）-匿名模型，用于隐私保护数据发布。在ACM SIGKDD知识发现和数据挖掘国际会议上（第754-759页）。
[41] Xiao，Y。；陈，J。；王，Y。；曹，Z。；Zhou，J.T。；Bai，X.，使用多视图动态图像进行深度视频的动作识别，信息科学，480，287-304（2019）
[42] Xiao，&Tao，Y.（2007）\（M\）-不变性：实现动态数据集的隐私保护重新发布。《ACM SIGMOD国际数据管理会议记录》（第689-700页）。
[43] 谢林。；Lin，K。；舒，W。；Fei，W。；Zhou，J.，《差异化私有生成对抗网络》（2018）
[44] 徐，C。；Ren，J。；张，D。；Zhang，Y。；秦，Z。；Ren，K.，GANobfuscator：通过差异隐私缓解GAN下的信息泄漏，IEEE信息取证与安全交易，14，9，2358-2371（2019）
[45] Yang，X.先生。；Wang，N。；Song，B。；Gao，X.，BoSR:基于CNN的极光图像检索方法，神经网络，116188-197（2019）
[46] Yann，L。；Lè，B。；Yoshua，B。；Patrick，H.，《基于梯度的学习应用于文档识别》，IEEE会议记录，2278-2324（1998）
[47] 是的，I.C。；hui Lien，C.，《数据挖掘技术对信用卡客户违约概率预测准确性的比较》，专家系统与应用，36，2，2473-2480（2009）
[48] Yoon，J.H。；Lee，C。；杨，M。；Yoon，K.，在线多目标跟踪的结构约束数据关联，国际计算机视觉杂志，127，1，1-21（2019）
[49] 曾，Z。；邓，Y。；李，X。；Naumann，T。；Luo，Y.，基于EHR的计算表型的自然语言处理，IEEE/ACM计算生物学和生物信息学汇刊，16，1，139-153（2019）
[50] Zhang，X.，Ji，S.，Wang，H.，&Wang，T.（2017）。私人但实际的多方深入学习。IEEE分布式计算系统国际会议（第1442-1452页）。
[51] 张杰。；张，Z。；Xiao，X。；Yang，Y。；Winslett，M.，《功能机制：差异隐私下的回归分析》，Proceedings Vldb Endowment，5，11，1364-1375（2012）
[52] 赵，J。；毛，X。；Chen，L.，使用深度1D和2D CNN LSTM网络的语音情感识别，生物医学信号处理和控制，47312-323（2019）
[53] 郑，Z。；吴，X。；翁，J.，《应急神经图灵机及其视觉导航》，神经网络，110，116-130（2019）
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。