×

动态图回归的次线性更新时间随机化算法。 (英语) Zbl 1510.62296号

摘要:数据科学和机器学习中的一个众所周知的问题是线性回归,最近扩展到动态图。现有的更新动态图回归解的精确算法至少需要一个线性时间(就图的大小而言)。然而,这种时间复杂性在实践中可能很难解决。在当前的论文中,我们利用了次采样随机Hadamard变换计数草图提出了一般动态图回归的第一个次线性更新时间随机化算法。假设给定图的(n次)矩阵嵌入(mathbf{M}),其中(d_lln)和(mathbf{M})具有某些性质。设\(r)为\(1\pm\epsilon\)近似的子采样随机Hadamard变换所需的样本数,该近似为\(n)的次线性。我们的第一个算法支持边插入和边删除,并在\(O(rd)\)时间内更新近似解。我们的第二个算法基于计数草图支持边插入、边删除、节点插入和节点删除。它在\(O(q d)\)时间内更新近似解,其中\(q=O\左(\ frac{d^2}{\epsilon^2}\log^6(d/\epsilen)\右)\)。

MSC公司:

62J05型 线性回归;混合模型
15A09号 矩阵反演理论与广义逆
15B34型 布尔矩阵和哈达玛矩阵
62-08 统计问题的计算方法
62小时12分 多元分析中的估计
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 出版商:美国统计协会
[2] M.H.Chehreghani,《关于动态图回归问题的理论》,CoRR abs/1903.10699(2019)。
[3] Durfee,D。;高,Y。;戈兰奇,G。;Peng,R.,全动态谱顶点稀疏器及其应用,(Charikar,M.;Cohen,E.,第51届ACM SIGACT计算理论研讨会论文集,STOC 2019,美国亚利桑那州凤凰城,2019年6月23日至26日(2019),ACM),914-925·Zbl 1433.68291号
[4] Chehreghani,M.H。;Abdessalem,T。;Bifet,A。;Bouzbila,M.,《从大型单一网络中采样信息模式》,《未来世代》。计算。系统。,106, 653-658 (2020)
[5] Chehreghani,M.H。;Bruynooghe,M.,在子树同胚下挖掘有根有序树,Data Min.Knowl。发现。,30, 5, 1249-1272 (2016) ·Zbl 1411.68105号
[6] Chehreghani,M.H。;Chehreghani,M.H。;卢卡斯,C。;Rahgozar,M.,Oinduced:从有根有序树挖掘诱导模式的有效算法,IEEE Trans。系统。人类网络。A部分,41,5,1013-1025(2011)
[7] Ailon,N。;Liberty,E.,使用双BCH码上的rademacher级数进行快速降维,(Teng,S.,第十九届ACM-SIAM离散算法年会论文集,SODA 2008,美国加利福尼亚州旧金山,2008年1月20日至22日(2008),SIAM),1-9·Zbl 1192.68334号
[8] 克拉克森,K.L。;Woodruff,D.P.,输入稀疏时间的低秩近似和回归,J.ACM,63,6,54:1-54:45(2017)·Zbl 1426.65057号
[9] 德里尼亚斯,P。;马奥尼,M.W。;Muthukrishnan,S。;Sarlós,T.,《更快的最小二乘近似》,Numer。数学。,117219-249(2011年)·兹比尔1218.65037
[10] Boutsidis,C。;Gittens,A.,通过子抽样随机哈达玛变换改进矩阵算法,SIAM J.矩阵分析。申请。,34, 3, 1301-1340 (2013) ·Zbl 1286.65054号
[11] Chehreghani,M.H.,用于动态图回归的子样本随机Hadamard变换,(d'Aquin,M.;Dietze,S.;Hauff,C.;Curry,E.;Cudré-Mauroux,P.,CIKM'20:第29届ACM信息和知识管理国际会议,虚拟事件,爱尔兰,2020年10月19-23日(2020),ACM),2045-2048
[12] Rao,C.R。;Mitra,S.K.,矩阵的广义逆及其应用(1971),威利出版社:美国纽约威利出版社·Zbl 0236.15004号
[13] Chehreghani,M.H。;拉戈萨,M。;卢卡斯,C。;Chehreghani,M.H.,《聚类根有序树的启发式算法》,Intell。数据分析。,11, 4, 355-376 (2007)
[14] Saigo,H。;诺沃津,S。;Kadowaki,T。;Kudo,T。;Tsuda,K.,Gboost:图形分类和回归的数学规划方法,马赫。学习。,75, 1, 69-89 (2009) ·Zbl 1470.68167号
[15] Chehreghani,M.H。;Chehreghani,M.H。;卢卡斯,C。;拉戈萨,M。;Ghadimi,E.,《树结构数据分类的高效基于规则的结构算法》,Intell。数据分析。,13, 1, 165-188 (2009)
[16] Kleinberg,J.M。;爱沙尼亚塔尔多斯。,成对关系分类问题的近似算法:度量标记和马尔可夫随机场,J.ACM,49,5,616-639(2002)·Zbl 1326.68336号
[17] 赫伯斯特,M。;Pontil,M.,《用感知器对图进行预测》(Schölkopf,B.;Platt,J.C.;Hofmann,T.,《神经信息处理系统进展》19,《第二十届神经信息处理体系年会论文集》,加拿大不列颠哥伦比亚省温哥华,2006年12月4日至7日(2006年),麻省理工学院出版社),577-584
[18] 赫伯斯特,M。;庞蒂尔,M。;Wainer,L.,《图形在线学习》(Raedt,L.D.;Wrobel,S.,《机器学习》,第二十二届国际会议论文集(ICML 2005),德国波恩,2005年8月7日至11日。机器学习,第二十二届国际会议(ICML 2005)会议记录,德国波恩,2005年8月7日至11日,ACM国际会议记录系列,119(2005),ACM,305-312
[19] 赫伯斯特,M。;杠杆G。;Pontil,M.,大直径图的在线预测,(Koller,D.;Schuurmans,D.;Bengio,Y.;Bottou,L.,神经信息处理系统进展21,第二十二届神经信息处理系统年会论文集,加拿大不列颠哥伦比亚省温哥华,2008年12月8日至11日(2008年),Curran Associates,Inc.),第649-656页
[20] 赫布斯特,M。;Lever,G.,通过最小p-半范数插值预测图的标号,COLT 2009-第22届学习理论会议,加拿大魁北克省蒙特利尔,2009年6月18-21日(2009)
[21] 赫伯斯特,M。;Pasteris,S。;Pontil,M.,预测图标记的切换序列,J.Mach。学习。2003年至2022年第16号决议(2015年)·Zbl 1351.68214号
[22] 卡尔普,M。;Michailidis,G。;Johnson,K.,《关于加性模型的多视角学习》,Ann.Appl。统计,3,1,292-318(2009)·Zbl 1167.62003号
[23] X.Zhu,半监督学习文献调查,2008,
[24] 贝尔金,M。;Niyogi,P。;Sindhwani,V.,《流形正则化:从标记和未标记示例学习的几何框架》,J.Mach。学习。第7号决议,2399-2434(2006)·Zbl 1222.68144号
[25] 格罗弗,A。;Leskovec,J.,node2vec:网络的可扩展特征学习,(Krishnapuram,B.;Shah,M.;Smola,A.J.;Aggarwal,C.C.;Shen,D.;Rastogi,R.,《第22届ACM SIGKDD国际知识发现和数据挖掘会议论文集》,美国加利福尼亚州旧金山,2016年8月13日至17日(2016),ACM,855-864
[26] Z.Yang,W.W.Cohen,R.Salakhutdinov,用图嵌入重新审视半监督学习,In Balcan and Weinberger[40],第40-48页。
[27] M.Niepert,M.Ahmed,K.Kutzkov,学习图的卷积神经网络,In Balcan and Weinberger[40],pp.2014-2023。
[28] 纪念托利·帕森斯的双重特刊·Zbl 0693.05058号
[29] D.Durfee,Y.Gao,G.Goranci,R.Peng,《全动态有效阻力》,CoRR abs/1804.04038(2018)。
[30] L.Chen,G.Goranci,M.Henzinger,R.Peng,T.Saranurak,通过顶点稀疏器的快速动态切割、距离和有效阻力,CoRR abs/2005.02368(2020)。
[31] M.Haghir Chehreghani,动态图上数据挖掘和机器学习的动态算法,WIREs data Min.Knowl。发现.1393。10.1002/宽1393·Zbl 1524.68264号
[32] Leskovec,J。;Kleinberg,J.M。;Faloutsos,C.,《图形演变:致密化和收缩直径》,ACM Trans。知识。发现。数据(TKDD),1,1(2007)
[33] Carl D.Meyer,J.,修改矩阵的广义反演,SIAM J.Appl。数学。,24, 3, 315-323 (1973) ·Zbl 0253.15001号
[34] J.van den Brand,《统一矩阵数据结构:简化和加速迭代算法》,CoRR abs/2010.13888(2020)。
[35] 卢,Y。;Dhillon,P.S。;福斯特博士。;Ungar,L.H.,通过二次抽样随机Hadamard变换的更快岭回归,(Burges,C.J.C.;Bottou,L.;Ghahramani,Z.;Weinberger,K.Q.,《神经信息处理系统进展26:27神经信息处理系统年会2013》。2013年12月5日至8日在美国内华达州太浩湖举行的会议记录。(2013)), 369-377
[36] T.C.Deveci、S.Joakir、A.E.Joetin,节能Hadamard神经网络,CoRR abs/1805.05421(2018)。
[37] 陈,F。;Wang,Y.-C。;王,B。;Kuo,C.-C.J.,《图形表示学习:调查》,APSIPA Trans。信号信息处理。,9,e15(2020)
[38] 蔡,H。;郑维伟。;Chang,K.C.,《图形嵌入的综合综述:问题、技术和应用》,IEEE Trans。知识。数据工程,30,9,1616-1637(2018)
[39] Hamilton,W.L。;Ying,Z。;Leskovec,J.,《大图上的归纳表示学习》,(Guyon,I.;von Luxburg,U.;Bengio,S.;Wallach,H.M.;Fergus,R.;Vishwanathan,S.V.N.;Garnett,R.,《神经信息处理系统进展30:2017年神经信息处理系统年度会议》,2017年12月4日至9日,美国加利福尼亚州长滩(2017),1024-1034
[40] M.Balcan,K.Q.Weinberger(编辑),《第33届国际机器学习会议论文集》,2016年6月19日至24日,美国纽约州纽约市,ICML 2016,第48卷,JMLR研讨会和会议论文集,JMLR.org,2016。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。