×
马克西姆·齐哈诺维奇;马利克·马格顿·伊斯梅尔;穆罕默德·伊沙克;瓦西里斯·齐卡斯

PD-ML-Lite：从轻量级加密中学习私有分布式机器。 （英语） Zbl 07817439号

林志强（编辑）等，《信息安全》。2019年9月16日至18日在美国纽约州纽约市举行的第22届ISC 2019国际会议。诉讼程序。查姆：斯普林格。莱克特。注释计算。科学。11723, 149-167 (2019).
摘要：隐私是分布式学习中的一个主要问题。当前不使用可信外部权威的方法会降低学习算法的准确性（例如，通过添加噪声），或导致高性能损失。我们提出了一种方法来自轻量级加密的私有分布式ML（简而言之，PD-ML-Lite）。我们将我们的方法应用于两种主要的ML算法，即非负矩阵分解（NMF）和奇异值分解（SVD）。我们的协议是通信优化的，实现了与非私有协议相同的准确性，并满足了我们定义的隐私概念，这既直观又可测量。我们使用轻型加密工具（多方安全和和赋范安全和）构建学习算法，而不是将复杂的学习算法包装在一个重型多方计算（MPC）框架中。
我们展示了我们的算法对于主题建模和推荐系统中的NMF以及对于主成分回归和低秩近似中的SVD的实用性和私密性。
关于整个系列，请参见[Zbl 1419.68013号].

MSC公司：

68T05型 人工智能中的学习和自适应系统
68第27页 数据隐私
2010年第68季度 计算模式（非确定性、并行、交互式、概率性等）
94A60型 密码学

软件：

电影镜头;SuLQ公司
PDF格式BibTeX公司 XML格式引用
\文本{M.Tsikhanovich}等人，Lect。注释计算。科学。11723、149-167（2019；Zbl 07817439）
全文： 内政部 arXiv公司

参考文献：

[1] 20个新闻组数据集
[2] Balcan，M.F.、Blum，A.、Fine，S.、Mansour，Y.：分布式学习、通信复杂性和隐私。摘自：学习理论会议，第26-1页（2012）
[3] Blum，A.，Dwork，C.，McSherry，F.，Nissim，K.：实用隐私：SuLQ框架。摘自：第二十四届ACM SIGMOD-SIGACT-SIGART数据库系统原理研讨会论文集，第128-138页。ACM（2005）
[4] Bendlin，R.、Damgard，I.、Orlandi，C.、Zakarias，S.：半同构加密和多方计算。加密电子打印档案，报告2010/514（2010）
[5] Bassily，R.，Freund，Y.：典型的稳定性。arXiv预印arXiv:1604.03336（2016）
[6] Boutsidis，C.，Gallopoulos，E.：基于SVD的初始化：非负矩阵因式分解的先行者。模式识别。41, 1350-1362 (2008) ·兹比尔1131.68084
[7] Bassily，R.、Groce，A.、Katz，J.、Smith，A.：夫妻世界隐私：利用统计数据隐私中的对抗性不确定性。2013年IEEE第54届计算机科学基础年会（FOCS），第439-448页。IEEE（2013）
[8] Bertin-Mahieux，T.，Ellis，D.P.W.，Whitman，B.，Lamere，P.：百万首歌曲数据集。In:ISMIR（2011）
[9] Berry，M.、Mezher，D.、Philippe，B.、Sameh，A.：奇异值分解的并行计算。INRIA博士论文（2003）
[10] Brickell，J.，Shmatikov，V.：隐私成本：匿名数据发布中数据挖掘工具的破坏。In:SIGKDD（2008）
[11] Chen，S.，Lu，R.，Zhang，J.：物联网环境下奇异值分解的灵活隐私保护框架。CoRR，abs/1703.06659（2017）
[12] Condat，L.：快速投影到单纯形和（ell_1）球上。数学。程序。158, 575-585 (2016) ·Zbl 1347.49050号
[13] Cichocki，A.，Zdunk，R.，Amari，S.：非负矩阵和三维张量分解的层次ALS算法。作者：Davies，M.E.，James，C.J.，Abdallah，S.A.，Plumbley，M.D.（编辑）ICA 2007。LNCS，第4666卷，第169-176页。施普林格，海德堡（2007）。https://doi.org/10.1007/978-3-540-74494-8_22 ·Zbl 1172.94390号
[14] Du，S.S.，Liu，Y.，Chen，B.，Li，L.：Maxios：用于协同过滤的大规模非负矩阵分解。摘自：NIPS 2014分布式矩阵计算研讨会（2014）
[15] Damgard，I.，Pastro，V.，Smart，N.P.，Zakarias，S.：基于某种同态加密的多方计算。Cryptology ePrint Archive，报告2011/535（2011）
[16] Dwork，C.，Roth，A.等人：差异隐私的算法基础。已找到。趋势理论。计算。科学。9, 211-407 (2014) ·Zbl 1302.68109号
[17] Demmler，D.，Schneider，T.，Zohner，M.：ABY——高效混合协议安全两方计算框架。参加：2015年2月8日至11日在美国加利福尼亚州圣地亚哥举行的2015年NDSS第22届年度网络和分布式系统安全研讨会（2015）
[18] 单词数据集包
[19] Fernandes，K.，Vinagre，P.，Cortez，P.：一个预测在线新闻流行程度的主动智能决策支持系统。收录人：Pereira，F.、Machado，P.、Costa，E.、Cardoso，A.（编辑）EPIA 2015。LNCS（LNAI），第9273卷，第535-546页。查姆施普林格（2015）。https://doi.org/10.1007/978-3-319-23485-4_53
[20] Gillis，N.：稳健非负盲源分离的逐次非负投影算法。SIIMS（2014）·Zbl 1296.65065号
[21] Gemulla，R.，Nijkamp，E.，Haas，P.J.，Sismanis，Y.：具有分布随机梯度下降的大规模矩阵分解。In:KDD（2011）
[22] Groce，A.D.：统计隐私的新概念和机制。马里兰大学博士论文（2014）
[23] Griffiths，T.L.，Steyvers，M.：寻找科学主题。程序。国家。阿卡德。科学。《美国法典》101（补遗1），5228-5235（2004）
[24] Golub，G.H.，Van Loan，C.F.：矩阵计算，第3卷。JHU出版社（2012）
[25] Han，S.，Ng，W.K.，Yu，P.S.：保私性奇异值分解。In:ICDE会议记录，2009年3月
[26] Ho，N.-D.：非负矩阵分解算法和应用。埃科尔理工学院博士论文（2008年）
[27] Hardt，M.，Roth，A.：超越私有奇异向量计算中的最坏情况分析。参见：STOC会议记录。ACM（2013）
[28] Hua，J.，Xia，C.，Zhong，S.：差分私有矩阵分解。收录于：IJCAI，第1763-1770页（2015年）
[29] Iwen，M.A.，Ong，B.W.：用于大型网络聚合数据分析的分布式增量SVD算法。SIAM J.矩阵分析。申请。37(4), 1699-1718 (2016) ·Zbl 1349.15041号
[30] Jolliffe，I.T.：关于回归中主成分使用的注释。申请。《统计》第31卷，第300-303页（1982年）
[31] Kairouz，P.：统计数据隐私的基本限制。伊利诺伊大学香槟分校博士论文（2016年）
[32] Kim，S.、Kim，J.、Koo，D.、Kim、Y.、Yoon，H.、Shin，J.：通过完全同态加密实现高效的隐私保护矩阵因式分解：扩展抽象。致：亚洲CCS（2016）
[33] Keller，M.，Pastro，V.，Rotaru，D.：超速：让SPDZ再次伟大。加密电子打印档案，2017/1230报告（2017）
[34] Kumar，A.，Sindhwani，V.，Kambadur，P.：用于近可分离非负矩阵分解的快速圆锥壳算法。arXiv预打印arXiv:1210.1190（2012）
[35] Lin，C.-J.：非负矩阵分解的投影梯度法。神经计算。19, 2756-2779 (2007) ·Zbl 1173.90583号
[36] Lee，D.D.，Sebastian Seung，H.：非负矩阵分解算法。In:NIPS（2001）
[37] Limbeck，P.、Suntinger，M.、Schiefer，J.：SARI OpenRec——通过商业事件增强推荐系统的功能。输入：DBKDA（2010）
[38] Liu，Z.，Wang，Y.-X.，Smola，A.J.：快速微分私有矩阵分解。CoRR（2015）
[39] Markovsky，I.：低阶近似：算法，实现，应用。斯普林格，海德堡（2011）
[40] Malin，B.A.，El Emam，K.，O'keefe，C.M.：生物医学数据隐私：问题、观点和最新进展。杰米亚（2013）
[41] Mazloum，S.、Dov Gordon，S.：使用不同的私有访问模式进行安全计算。收录：Lie，D.，Mannan，M.，Backes，M.和Wang，X.（编辑）ACM SIGSAC计算机和通信安全会议，CCS 2018，第490-507页。ACM（2018）
[42] Mazroom，S.，Dov Gordon，S.：具有不同私有访问模式的安全计算。摘自：ACM SIGSAC计算机和通信安全会议记录，第490-507页（2018年）
[43] Movielens 1m数据集
[44] Mohassel，P.，Rindal，P.:（{\rm Aby}^3）：机器学习的混合协议框架。作者：Lie，D.，Mannan，M.，Backes，M.和Wang，X.（编辑）ACM SIGSAC计算机和通信安全会议，CCS 2018，第35-52页。ACM（2018）
[45] Mohassel，P.，Zhang，Y.：SecureML：一个可扩展的隐私保护机器学习系统。摘自：IEEE安全与隐私研讨会，SP 2017，第19-38页（2017）
[46] Nikolaenko，V.，Ioanidis，S.，Weinsberg，U.，Joye，M.，Taft，N.，Boneh，D.：保私性矩阵因式分解。致：SIGSAC（2013）
[47] Nielsen，J.B.，Nordholt，P.S.，Orlandi，C.，Burra，S.S.：实用主动安全两方计算的新方法。加密电子打印档案，2011/091年报告（2011年）
[48] Parlett，B.：对称特征值问题。暹罗（1998）·Zbl 0885.65039号
[49] Rajkumar，A.，Agarwal，S.：多方分类的差异私有随机梯度下降算法。摘自：《人工智能与统计》，第933-941页（2012年）
[50] Röder，M.，Both，A.，Hinneburg，A.：探索主题连贯性度量的空间。摘自：《第八届ACM网络搜索和数据挖掘国际会议论文集》，第399-408页。ACM（2015）
[51] Tsikhanovich，M.、Magdon-Ismail，M.，Ishaq，M.和Zikas，V.：PD-ML-Lite：从轻量级密码学中学习私有分布式机器。CoRR，abs/1901.07986（2019）
[52] Tang，C.，Xu，Z.，Dwarkadas，S.：使用自组织语义覆盖网络的对等信息检索。输入：SIGCOMM（2003）
[53] Vavasis，S.A.：关于非负矩阵分解的复杂性。SIAM J.Optim公司。20(3), 1364-1377 (2009) ·Zbl 1206.65130号
[54] Wellek，S.：《检验等效性和非劣效性的统计假设》，第2版。CRC出版社，博卡拉顿（2010）·Zbl 1219.62002号
[55] Wang，Y.-X.，Fienberg，S.，Smola，A.：免费隐私：后验抽样和随机梯度蒙特卡罗。摘自：第32届国际机器学习会议记录（ICML 2015），第2493-2502页（2015）
[56] Won，H.-S.，Kim，S.-P.，Lee，S.，Choi，M.-J.，Moon，Y.S.：多个分布式节点中的安全主成分分析。安全。Commun公司。Netw公司。9(14), 2348-2358 (2016)
[57] Yi，X.，Allan，J.：利用主题模型进行信息检索的比较研究。收录：Boughanem，M.，Berrut，C.，Mothe，J.，Soule-Dupuy，C.（编辑）ECIR 2009。LNCS，第5478卷，第29-41页。斯普林格，海德堡（2009）。https://doi.org/10.1007/978-3-642-00958-7_6
[58] Youdao，N.：P4P：实用的大规模隐私保护分布式计算，可抵抗恶意用户。在：美国国家环境与环境科学院院刊（2010）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。