班，NhatHai；吴新涛；窦德静 卷积深信念网络中的差异隐私保护。 （英语） 兹比尔1455.68192 机器。学习。 106，编号9-10，1681-1704（2017）. 摘要：当深度神经网络建立在用户的个人和高度敏感数据（例如临床记录、用户档案、生物医学图像等）上时，医学和医疗领域的深度学习的显著发展呈现出明显的隐私问题。然而，关于在深度学习中保护隐私的科学研究很少。在本文中，我们重点开发了一个私有卷积深信度网络（pCDBN），它本质上是一个差异隐私下的卷积深信度网络（CDBN。我们实施\（ε）-差分隐私的主要想法是利用功能机制来扰动传统CDBN基于能量的目标函数，而不是它们的结果。这项工作的一个关键贡献是，我们建议使用切比雪夫展开来推导目标函数的近似多项式表示。我们的理论分析表明，我们可以进一步推导近似的灵敏度和误差界多项式表示。因此，在CDBN中保留差异隐私是可行的。我们将模型应用于健康社交网络（即YesiWell数据）和手写数字数据集（即MNIST数据）中，用于人类行为预测、人类行为分类和手写数字识别任务。理论分析和严格的实验评估表明，pCDBN是非常有效的。它明显优于现有解决方案。 引用于2文件 MSC公司： 2017年10月68日 人工神经网络与深度学习 62H30型 分类和区分；聚类分析（统计方面） 62页第10页 统计学在生物学和医学中的应用；元分析 68第27页 数据隐私 68吨10 模式识别、语音识别 关键词：深度学习；差异隐私；人类行为预测；健康信息学；图像分类 软件：RAPPOR公司；AlexNet公司；ImageNet公司；达奇 PDF格式BibTeX公司 XML格式引用 \textit{N.Phan}等人，马赫。学习。106，编号9--10，1681--1704（2017；Zbl 1455.68192） 全文： 内政部 arXiv公司 参考文献： [1] Abadi，M.、Chu，A.、Goodfellow，I.、McMahan，H.B.、Mironov，I.，Talwar，K.和Zhang，L.（2016）。具有不同隐私的深度学习。arXiv:1607.00133。 [2] Arfken，G.（1985）。物理学家的数学方法（第三版）。剑桥：学术出版社·Zbl 0135.42304号 [3] Armato，A.、Fanucci，L.、Pioggia，G.和Rossi，D.D.（2009）。人工神经元sigmoid函数及其导数的低误差逼近。《电子快报》，45（21），1082-1084·doi:10.1049/el.2009.1704 [4] Bach，S.、Binder，A.、Montavon，G.、Klauschen，F.、Müller，K.R.和Samek，W.（2015）。通过分层相关传播对非线性分类器决策进行像素级解释。公共科学图书馆综合版，10（7），e0130140·doi:10.1371/journal.pone.0130140 [5] Bandura，A.（1989）。社会认知理论中的人类能动性。《美国心理学家》，44（9），1175·doi:10.1037/0003-066X.44.9.1175 [6] Bengio，Y.（2009年）。学习人工智能的深层架构。机器学习基础和趋势，2（1），1-127。doi:10.1561/2200000006·Zbl 1192.68503号 ·doi:101561/2200000006 [7] Bengio，Y.（2017）。交叉验证在深度学习中被大量使用了吗？还是使用起来过于昂贵？夸拉。https://wwwquoracom/Is-cross-validation-heavily-used-in-Deep-Learning或-Is-it-too-expensive-to-be-used。 [8] Bengio，Y.、Lamblin，P.、Popovici，D.、Larochelle，H.、Montreal，U.D.和Quebec，M.（2007）。贪婪的深层网络训练。在NIPS中。 [9] Brownlee，J.（2015）。对抗机器学习数据集中不平衡类的8种策略。http://machinelirningmastership.com/tachics-to-combat-imbalanced-classes-in-your-machine-learning-database/。 [10] Chan，T.H.H.，Li，M.，Shi，E.，&Xu，W.（2012）。不同的私有连续监控来自分布式流的重击手。在PETS’12（第140-159页）中。 [11] Chaudhuri，K.和Monteleoni，C.（2008a）。隐私保护逻辑回归。在NIPS中（第289-296页）。 [12] Chaudhuri，K.和Monteleoni，C.（2008b）。隐私保护逻辑回归。NIPS’08（第289-296页）。 [13] Cheng，Y.，Wang，F.，Zhang，P.，&Hu，J.（2016）。电子健康记录的风险预测：一种深度学习方法。在SDM’16中。 [14] Choi，E.、Schuetz，A.、Stewart，W.F.和Sun，J.（2016）。使用递归神经网络模型早期检测心力衰竭发作。美国医学信息学协会杂志，。doi:10.1093/jamia/ocw112·doi:10.1093/jamia/ocw112 [15] Cormode，G.（2011）。个人隐私与人群隐私：学习攻击匿名化。KDD’11（第1253-1261页）。 [16] Dowlin，N.、Gilad-Bachrach，R.、Laine，K.、Lauter，K.，Naehrig，M.和Wernsing，J.（2016）。加密网：将神经网络应用于高吞吐量和高精度的加密数据。第33届机器学习国际会议论文集，PMLR，机器学习研究论文集（第48卷，第201-210页）。 [17] Dwork，C.和Lei，J.（2009）。不同的隐私和可靠的统计数据。STOC'09（第371-380页）·Zbl 1304.94049号 [18] Dwork，C.、McSherry，F.、Nissim，K.和Smith，A.（2006）。校准私人数据分析中的噪声灵敏度。密码学理论，3876265-284·Zbl 1112.94027号 [19] Erlingsson，U.、Pihur，V.和Korolova，A.（2014年）。Rappor：随机聚合的隐私保护有序反应。在CCS’14中（第1054-1067页）。 [20] Fang，R.、Pouyanfar，S.、Yang，Y.、Chen，S.C.和Iyengar，S.S.（2016）。大数据时代的计算健康信息学：一项调查。ACM计算调查，49（1），12:1-12:36。doi:10.1145/2932707·doi:10.1145/2932707 [21] Gloot，X.、Bordes，A.和Bengio，Y.（2011年）。深度稀疏整流器神经网络。《艾斯塔茨》（第15卷，第275页）·Zbl 1106.68094号 [22] Gottlieb，A.、Stein，G.Y.、Ruppin，E.、Altman，R.B.和Sharan，R.（2013）。根据患者相似性推断医学诊断的方法。BMC医学，11（1），194。doi:10.1186/1741-7015-11-194·doi:10.1186/1741-7015-11-194 [23] Harper，T.（2012）。涉及神经网络的函数逼近器的比较研究。论文，奥塔哥大学理学硕士。http://hdl.handle.net/10523/2397。 [24] Hay，M.、Rastogi，V.、Miklau，G.和Suciu，D.（2010年）。通过一致性提高差异私有直方图的准确性。VLDB捐赠会议记录，3（1），1021-1032·数字对象标识代码：10.14778/1920841.1920970 [25] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2015）。深入研究整流器：在图像网络分类方面超越人类水平的性能。CoRR abs/1502.01852。http://arxiv.org/abs/1502.01852。 [26] Helmstaedter，M.、Briggman，K.L.、Turaga，S.C.、Jain，V.、Seung，H.S.和Denk，W.（2013年）。小鼠视网膜内丛状层的连接体重建。《自然》，500（7461），168-174·doi:10.1038/nature12346 [27] Hinton，G.（2002）。通过最小化对比差异来培训专家产品。神经计算，14（8），1771-1800·Zbl 1010.68111号 ·网址：10.1162/089976602760128018 [28] Hinton，G.E.、Osindero，S.和Teh，Y.W.（2006）。一种深度信念网的快速学习算法。神经计算，18（7），1527-1554。doi:10.1162/neco.2006.18.7.1527·Zbl 1106.68094号 ·doi:10.1162/neco.2006.18.7.1527 [29] Hochreiter，S.和Schmidhuber，J.（1997年）。长短期记忆。神经计算，9（8），1735-1780。doi:10.1116/neco.1997.9.8.1735·doi:10.1162/neco.1997.9.8.1735 [30] Jain，P.、Kothari，P.和Thakurta，A.（2012年）。不同的私人在线学习。COLT’12（第24.1-24.34页）。 [31] Jamoom，E.W.、Yang，N.和Hing，E.（2016年）。采用经认证的电子健康记录系统和医生办公室的电子信息共享：美国，2013年和2014年。NCHS数据简介，236，1-8。 [32] Kifer，D.和Machanavajjhala，A.（2011年）。数据隐私中没有免费午餐。SIGMOD’11（第193-204页）。 [33] Krizhevsky，A.、Sutskever，I.和Hinton，G.E.（2012）。基于深度卷积神经网络的Imagenet分类。《神经信息处理系统进展》（第1097-1105页）·Zbl 1192.68503号 [34] LeCun，Y.、Bengio，Y.和Hinton，G.（2015）。深度学习。《自然》，521（7553），436-444。doi:10.1038/nature14539·doi:10.1038/nature14539 [35] Lecun，Y.、Bottou，L.、Bengio，Y.和Haffner，P.（1998）。基于梯度的学习应用于文档识别。IEEE会议录，86（11），2278-2324。doi:10.1109/5.726791·数字对象标识代码：10.1109/5.726791 [36] Lee，J.和Clifton，C.（2012年）。差异可识别性。第18届ACM SIGKDD知识发现和数据挖掘国际会议，KDD’12，中国北京，2012年8月12-16日（第1041-1049页）。 [37] Lee，T.和Jeng，J.（1998年）。基于切比雪夫多项式的统一模型神经网络用于函数逼近。IEEE系统、人与控制论汇刊，B部分，28（6），925-935·doi:10.1109/3477.735405 [38] Lee，H.、Grosse，R.、Ranganath，R.和Ng，A.Y.（2009年）。用于分层表示的可扩展无监督学习的卷积深信念网络。ICML'09（第609-616页）。 [39] Lei，J.（2011）。不同私有m-估计量。在NIPS中（第361-369页）。 [40] Leung，M.K.K.，Xiong，H.Y.，Lee，L.J.，&Frey，B.J.（2014）。组织调控剪接编码的深度学习。生物信息学，30（12），i121-i129。doi:10.1093/bioinformatics/btu277·doi:10.1093/bioinformatics/btu277 [41] Li，H.、Li，X.、Ramanathan，M.和Zhang，A.（2015）。骨疾病的预测和信息危险因素选择。IEEE/ACM计算生物学和生物信息学汇刊，12（1），79-91。doi:10.1109/TCBB.2014.2330579·doi:10.1109/TCBB.2014.2330579 [42] Li，X.，Du，N.，Li，H.，Li.，K.，Gao，J.，&Zhang，A.（2014）。动态网络中链接预测的深度学习方法。SIAM’14（第289-297页）。 [43] Liu，S.、Liu，S、Cai，W.、Pujol，S、Kikinis，R.和Feng，D.（2014）。通过深度学习早期诊断阿尔茨海默病。在IEEE第十一届生物医学成像国际研讨会上，ISBI 2014，中国北京（第1015-1018页）。doi:10.1109/ISBI.2014.6868045。 [44] Ma，J.、Sheridan，R.P.、Liaw，A.、Dahl，G.E.和Svetnik，V.（2015）。深度神经网络作为定量结构-活性关系的方法。化学信息与建模杂志，55（2），263-274。doi:10.1021/ci500747n。 ·doi:10.1021/ci500747n [45] Mason，J.和Handscomb，D.（2002年）。切比雪夫多项式。博卡拉顿：CRC出版社。https://books.google.com/books？id=8FHf0P3to0UC。 ·兹比尔1015.33001 [46] McSherry，F.和Mironov，I.（2009年）。不同的私人推荐系统。KDD'09，ACM。 [47] McSherry，F.和Talwar，K.（2007a）。通过差异隐私进行机制设计。2007年10月20日至23日，第48届IEEE计算机科学基础年会（FOCS 2007），美国罗得岛州普罗维登斯，会议记录（第94-103页）·Zbl 1232.68047号 [48] McSherry，F.和Talwar，K.（2007b）。通过差异隐私进行机制设计。FOCS’07（第94-103页）·Zbl 1232.68047号 [49] Miotto，R.、Li，L.、Kidd，B.A.和Dudley，J.T.（2016）。深度患者：通过电子健康记录预测患者未来的无监督代表。科学报告，626094。doi:10.1038/srep26094·doi:10.1038/srep26094 [50] Nissim，K.、Raskhodnikova，S.和Smith，A.（2007年）。私人数据分析中的平滑灵敏度和采样。在第三十九届ACM计算理论研讨会论文集（第75-84页）中，ACM·Zbl 1232.68039号 [51] Ortiz，A.、Munilla，J.、Grriz，J.M.和Ramrez，J.（2016）。阿尔茨海默病早期诊断的深度学习架构集成。国际神经系统杂志，26（07），1650025。doi:10.1142/S0129065716500258·doi:10.1142/S012906571650258 [52] Perotte，A.、Pivovarov，R.、Natarajan，K.、Weiskopf，N.、Wood，F.和Elhadad，N.（2014）。诊断代码分配：模型和评估指标。美国医学信息学协会杂志，21（2），231-237。doi:10.1136/amijnl-2013-002159·doi:10.1136/amijnl-2013-002159 [53] Perotte，A.、Ranganath，R.、Hirsch，J.S.、Blei，D.和Elhadad，N.（2015）。使用异质电子健康记录数据和时间序列分析预测慢性肾脏疾病进展的风险。美国医学信息学协会杂志，22（4），872-880。doi:10.1093/jamia/ocv024·doi:10.1093/jamia/ocv024 [54] Phan，N.、Dou，D.、Piniwski，B.和Kil，D.（2015a）。社交受限的波尔兹曼机器：健康社交网络中的人类行为预测。《ASONAM’15》（第424-431页）。 [55] Phan，N.、Dou，D.、Wang，H.、Kil，D.和Piniwski，B.（2015b）。基于本体的深度学习用于健康社交网络中的人类行为预测。第六届ACM生物信息学、计算生物学和健康信息学会议记录（第433-442页）。doi:10.1145/2808719.2808764。 [56] Phan，N.、Dou，D.、Piniwski，B.和Kil，D.（2016a）。健康社交网络中人类行为预测的深度学习方法：社交受限玻尔兹曼机器（SRBM+）。社会网络分析与挖掘，6（1），79:1-79:14。doi:10.1007/s13278-016-0379-0·doi:10.1007/s13278-016-0379-0 [57] Phan，N.、Ebrahimi，J.、Kil，D.、Piniwski，B.和Dou，D.（2016b）。健康社交网络中的主题软件体育活动传播。IEEE智能系统，31（1），5-14·doi:10.1109/MIS.2015.92 [58] Phan，N.、Wang，Y.、Wu，X.和Dou，D.（2016c）。深度自动编码器的差异隐私保护：人类行为预测的应用。AAAI’16（第1309-1316页）。 [59] Plis，S.M.、Hjelm，D.R.、Salakhutdinov，R.、Allen，E.A.、Bockholt，H.J.、Long，J.D.等人（2014年）。神经成像的深度学习：一项验证研究。神经科学前沿，8229。doi:10.3389/fnins.2014年2月29日·doi:10.3389/fnins.2014.00229 [60] Reed，S.E.、Lee，H.、Anguelov，D.、Szegedy，C.、Erhan，D.和Rabinovich，A.（2014）。使用自举在噪声标签上训练深度神经网络。CoRR abs/1412.6596。 [61] Rivlin，T.J.（1990）。切比雪夫多项式形成了代数和数论的近似理论（第二版）。纽约：Wiley·Zbl 0734.41029号 [62] Roumia，M.和Steinhubl，S.（2014）。使用电子健康记录改善心血管结局。当前心脏病学报告，16（2），451。doi:10.1007/s11886-013-0451-6·doi:10.1007/s11886-013-0451-6 [63] Rudin，W.（1976年）。数学分析原理。纽约：McGraw-Hill·Zbl 0346.26002号 [64] Shokri，R.和Shmatikov，V.（2015）。隐私保护的深度学习。CCS’15（第1310-1321页）。 [65] Smolensky，P.（1986）。动力系统中的信息处理：和谐理论的基础。《并行分布式处理：认知微观结构的探索》（第1卷，第194-281页）。 [66] Song，S.、Chaudhuri，K.和Sarwate，A.D.（2013年）。带有差异私有更新的随机梯度下降。《GlobalSIP》（第245-248页）。 [67] Srivastava，N.、Hinton，G.、Krizhevsky，A.、Sutskever，I.和Salakhutdinov，R.（2014）。辍学：防止神经网络过度拟合的简单方法。《机器学习研究杂志》，1929-1958年，第15期。http://jmlr.org/papers/v15/srivastava14a.html。 ·Zbl 1318.68153号 [68] 美国卫生与公共服务部。（2016a）。《卫生信息技术促进经济和临床健康法案》。https://www.hhs.gov/hipaa/for-professionals/specialtopics/HITECH-act-enforcement-interim-final-rule/。 [69] 美国卫生与公共服务部。（2016年b）。1996年健康保险可携带性和责任法案。http://www.hhs.gov/hipaa/。 [70] Vlcek，M.（2012）。激活sigmoid函数的切比雪夫多项式逼近。神经网络世界，4387-393·doi:10.14311/NNW.2012.22.023 [71] Wang，Y.，Wu，X.，&Wu，L.（2013）。差分隐私保护频谱图分析。PAKDD（2）（第329-340页）。 [72] 维基百科。(2016). 激活功能。https://en.wikipedia.org/wiki/Activation_function。 [73] Wu，J.、Roy，J.和Stewart，W.F.（2010年）。使用EHR数据进行预测建模：挑战、策略和机器学习方法的比较。医疗保健，48（6增刊），S106-S113。doi:10.1097/mlr.0b013e3181de9e17·doi:10.1097/mlr.0b013e3181de9e17 [74] Xiao，X.，Wang，G.，&Gehrke，J.（2010）。通过小波变换区分隐私。ICDE’10（第225-236页）。 [75] Xiong，H.Y.、Alipanahi，B.、Lee，L.J.、Bretschneider，H.、Merico，D.、Yuen，R.K.C.等人（2015）。人类剪接密码揭示了对疾病遗传决定因素的新见解。《科学》，347（6218），1254806。doi:10.1126/science.1254806·数字对象标识代码：10.1126/science.1254806 [76] Zhang，J.、Zhang、Xiao，X.、Yang，Y.和Winslett，M.（2012）。功能机制：差异隐私下的回归分析。PVLDB，5（11），1364-1375。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。