研究论文

公共访问

PLANC公司：具有非负约束的并行低秩逼近

作者:

斯里尼瓦斯埃斯瓦尔,

科比 Hayashi公司,

灰色巴拉德,

拉马克里希南坎南,

迈克尔A。马西森,

海森公园作者信息和声明

ACM数学软件交易（TOMS）,体积47,问题三

文章编号：20，页数1-37

https://doi.org/10.1145/3432185

出版:2021年6月26日出版历史

所有格式 PDF格式

摘要

例如，我们考虑大规模密集非负张量数据的低阶近似问题，以发现视频和成像应用中的潜在模式。随着数据集规模的增长，单个工作站在计算时间和可用内存方面都遇到了瓶颈。我们提出了一种分布式内存并行计算解决方案，用于处理海量数据集，跨多个节点的内存加载输入数据，并执行高效且可扩展的并行算法来计算低阶近似。我们提出了一个名为带非负约束的并行低秩近似的软件包，该软件包实现了我们的解决方案，并允许在数据（密集或稀疏、矩阵或任意阶张量）、算法（例如，从乘法更新技术到交替方向乘数法）、，和体系结构（我们在这项工作中利用GPU来加速计算）。我们描述了我们的并行分布和算法，它们小心避免不必要的通信和计算，展示了如何扩展软件以包括新的算法和/或约束，并报告合成和实际数据集的效率和可伸缩性结果。

工具书类

[1]

阿尼马什雷·阿南德库马尔、荣戈、丹尼尔·徐、沙姆·M·卡卡德和马图斯·特尔加斯基。2014.学习潜在变量模型的张量分解。J.马赫。学习。第15号决议（2014年），2773–2832。http://jmlr.org/papers/v15/anandkumar14b.html

数字图书馆

[2]

布雷特·巴德（Brett W.Bader）和塔马拉·科尔达（Tamara G.Kolda）。2007.使用稀疏张量和因子张量进行高效的MATLAB计算。SIAM J.科学。计算。30,1（2007年12月），205-231。

[3]

Grey Ballard、Koby Hayashi和Ramakrishnan Kannan。2018.稠密张量的并行非负CP分解。第25届IEEE高性能计算国际会议论文集（HiPC’18）。22–31.

[4]

格雷·巴拉德（Grey Ballard）、尼古拉斯·奈特（Nicholas Knight）和凯瑟琳·罗斯（Kathryn Rouse）。2018.矩阵化张量乘以Khatri-Rao乘积的通信下限。第32届IEEE国际并行和分布式处理研讨会论文集。557–567.

[5]

Grey Ballard和Kathryn Rouse。2020年。MTTKRP的一般内存依赖性下限。在SIAM科学计算并行处理会议记录中。1–11.

[6]

穆图·巴斯卡兰、贝诺·梅斯特、尼古拉·瓦西拉切和理查德·莱廷。2012.使用稀疏张量进行高效且可扩展的计算。IEEE高性能极限计算会议论文集。IEEE，1-6。检索自https://ieeexplore.ieee.org/abstract/document/6408676。

[7]

凯西·巴塔利诺（Casey Battaglino）、格雷·巴拉德（Grey Ballard）和塔玛拉·科尔达（Tamara G.Kolda）。2018.一个实用的随机CP张量分解。SIAM J.矩阵分析。申请。39, 2 (2018), 876–901. https://doi.org/10.1137/17M1112303

数字图书馆

[8]

Stephen Boyd、Neal Parikh、Eric Chu、Borja Peleato、Jonathan Eckstein等人。2011.通过乘数交替方向方法进行分布式优化和统计学习。已找到。趋势马赫数。学习。3, 1 (2011), 1–122. https://doi.org/10.1561/220000016

数字图书馆

[9]

Rasmus Bro和Claus A.Andersson。1998.提高多路算法的速度：第二部分：压缩。化学计量。智力。实验室系统。42, 1-2 (1998), 105–113. https://doi.org/10.1016/S0169-7439(98)00011-2

[10]

Rasmus Bro和Sijmen De Jong。1997年，一种快速的非负约束最小二乘算法。化学计量学杂志：J.化学计量学。Soc.11，5（1997），393–401。https://doi.org/10.1002/（SICI）1099-128X（199709/10）11:5<393:：AID-CEM483>3.0.CO；2升

[11]

J.Douglas Carroll和Jih-Jie Chang。1970.通过“Eckart-Young”分解的n向推广分析多维标度中的个体差异。《心理测量学》35，3（1970年9月1日），283–319。

[12]

E.Chan、M.Heimlich、A.Purkayastha和R.van de Geijn。2007年。集体沟通：理论、实践和经验。同意。计算：实际。专家。19, 13 (2007), 1749–1783. https://onlinelibrary.wiley.com/doi/abs/10.1002/cpe.1206

数字图书馆

[13]

戈皮纳特·切努帕蒂（Gopinath Chennupati）、拉维蒂亚·万加拉（Raviteja Vangara）、埃里克·斯科（Erik Skau）、赫里斯托·吉杰耶夫（Hristo Djidjev）和博伊安·亚历山德罗夫。2020年。确定潜在特征数量的分布式非负矩阵分解。J.超级计算机。76, (2020), 7458–7488. https://doi.org/10.1007/s11227-020-03181-6

数字图书馆

[14]

Andrzej Cichocki和Anh-Huy Phan。大规模非负矩阵和张量分解的快速局部算法。IEICE传输。基金。电子。Commun公司。计算。科学。E92-A（2009），708–721。第3版。http://dx.doi.org/10.1587/transfun.E92.A.708

[15]

Andrzej Cichocki、Rafal Zdunk和Shun-ichi Amari，2008年。非负矩阵和张量因式分解[课堂讲稿]。IEEE信号处理。Mag.25，1（2008），142–145。https://doi.org/10.109/MSP.2008.4408452

[16]

Petros Drineas、Michael W.Mahoney、S.Muthukrishnan和TamáS Sarlos。2011.更快的最小二乘近似。数字数学117，2（2011），219–249。https://doi.org/10.1007/s00211-010-0331-6

数字图书馆

[17]

N.Benjamin Erichson、Ariana Mendible、Sophie Wihlborn和J.Nathan Kutz。2018.随机非负矩阵分解。模式识别。莱特。104 (2018), 1–7. https://doi.org/10.1016/j.patrec.2018.01.007

数字图书馆

[18]

S.Eswar、K.Hayashi、G.Ballard、R.Kannan、R.Vuduc和H.Park，2020年。分布式内存并行对称非负矩阵分解。《高性能计算、网络、存储和分析国际会议论文集》（SC'20）。IEEE计算机学会，1041-1054。检索自https://dl.acm.org/doi/10.5555/3433701.3433799。

[19]

肖福、程高、海涛伟和黄克军。2019.约束低秩张量分解的块随机随机近端梯度。IEEE声学、语音和信号处理国际会议（ICASSP’19）论文集。IEEE，7485–7489。http://dx.doi.org/10.109/ICASSP.2019.8682465

[20]

拉尔斯·格雷塞迪克（Lars Grasedyck）。2010.张量的层次奇异值分解。SIAM J.矩阵分析。申请。31, 4 (2010), 2029–2054. https://doi.org/10.1137/090764189

数字图书馆

[21]

沃尔夫冈·哈克布什（Wolfgang Hackbusch）。2014.数值张量演算。数字学报23（2014），651–742。

[22]

Lixing Han、Michael Neumann和Upendra Prasad。2009.非负矩阵分解的交替投影Barzilai-Borwein方法。电子。事务处理。数字。分析36，6（2009），54–82。检索自http://etna.mcs.kent.edu/volumes/2001-2010/vol36/abstract.php？vol=36&pages=54-82.

[23]

理查德·哈什曼（Richard A.Harshman）。1970.PARAFAC程序的基础：解释性多模态因子分析的模型和条件。工作文件电话。16, 10,085 (1970), 1–84. http://www.psychology.uwo.ca/faulty/harshman/wpppfac0.pdf

[24]

Ngoc-Diep Ho公司。2008.非负矩阵分解算法和应用。博士论文。卢万天主教大学。检索自https://perso.uclouvain.be/paul.vandooren/ThesisHo.pdf。

[25]

黄克军（Kejun Huang）、尼古拉斯·西迪罗普洛斯（Nicholas D.Sidiropoulos）和阿萨纳西奥斯·利亚瓦斯（Athanasios P.Liavas）。2015.普遍约束矩阵和张量因式分解的高效算法。在第23届欧洲信号处理会议记录（EUSIPCO’15）中。IEEE，2521–2525。http://dx.doi.org/10.109/EUSIPCO.2015.7362839

[26]

黄克军（Kejun Huang）、尼古拉斯·西迪罗普洛斯（Nicholas D.Sidiropoulos）和阿萨纳西奥斯·利亚瓦斯（Athanasios P.Liavas）。2016.约束矩阵和张量因式分解的灵活高效算法框架。IEEE传输。信号处理。64, 19 (2016), 5052–5065. http://dx.doi.org/10.109/TSP.2016.2576427

数字图书馆

[27]

斯蒂芬·杰西（Stephen Jesse）、缪方志（Miaoang Chi）、阿比娜·鲍里塞维奇（Albina Borisevich）、阿列克谢·贝拉尼诺夫（Alexei Belianinov）、谢尔盖·加里宁（Sergei Kalinin）、艾里克·恩德夫（Eirik Endeve）、理查德·阿奇博尔德。2016年。使用扫描Ronchigram数据的多元分析揭示材料功能。微型计算机。小肛门。22（2016年7月），292-293。http://dx.doi.org/10.1017/S1431927616002312

[28]

Ramakrishnan Kannan、Grey Ballard和Haesun公园，2016年。一种用于非负矩阵分解的高性能并行算法。在第21届ACM SIGPLAN并行编程原理与实践研讨会（PPoPP'16）的会议记录中。ACM，第9条，11页。

数字图书馆

[29]

Ramakrishnan Kannan、Grey Ballard和Haesun公园，2018年。MPI-FAUN：基于MPI的交替更新非负矩阵分解框架。IEEE传输。知识。数据工程30，3（2018），544–558。https://www.computer.org/csdl/trans/tk/2018/03/08089433-abs.html

[30]

奥古斯·卡亚。2017.张量分解的高性能并行算法。博士论文。里昂大学。检索自https://tel.archives-ouvertes.fr/tel-01623523。

[31]

奥古斯·卡亚和伊夫斯·罗伯特。2019.使用最优维度树计算稠密张量分解。《算法》81（2019），2092–2121。

数字图书馆

[32]

Oguz Kaya和Bora Uçar。2016.稀疏张量塔克分解的高性能并行算法。第四十五届并行处理国际会议（ICPP’16）会议记录。103–112.

[33]

Oguz Kaya和Bora Uçar。2018.使用维树对稀疏张量进行并行CANDECOMP/PARAFAC分解。SIAM J.科学。计算。40, 1 (2018).

数字图书馆

[34]

Dongmin Kim、Suvrit Sra和Inderjit S.Dhillon。2007.最小二乘非负矩阵逼近问题的快速牛顿型方法。在SIAM国际数据挖掘会议记录中。暹罗，343–354。https://doi.org/10.1137/1.9781611972771.31

[35]

金谷金、何云龙和海森公园，2014年。非负矩阵和张量分解算法：基于块坐标下降框架的统一视图。J.全局优化。58,2（2014年2月），285–319。

数字图书馆

[36]

金谷金和海森公园，2011年。快速非负矩阵分解：一种类似活动集的方法和比较。SIAM J.科学。计算。33, 6 (2011), 3261–3281. https://doi.org/10.1137/10821172

数字图书馆

[37]

Tony Hyun Kim、Yanping Zhang、Jéróme Lecoq、Juergen C.Jung、Jane Li、Hongkui Zeng、Cristopher M.Niell和Mark J.Schnitzer。2016年，对活体小鼠皮层中约100万个神经元的长期光学访问。Cell Rep.17，12（2016），3385–3394。

[38]

T.G.Kolda和B.W.Bader。2009.张量分解和应用。SIAM Rev.51，3（2009年9月），455–500。

数字图书馆

[39]

查尔斯·劳森和理查德·汉森。1995.解决最小二乘问题。第15卷。暹罗。https://doi.org/10.1137/1.9781611971217

[40]

Daniel D.Lee和H.Sebastian Seung。1999.通过非负矩阵分解学习物体的部分。《自然》401，6755（1999），788。https://doi.org/10.1038/44565

[41]

J.Li、J.Choi、I.Perros、J.Sun和R.Vuduc。2017.高阶张量的模型驱动稀疏CP分解。IEEE国际并行和分布式处理研讨会（IPDPS’17）论文集。1048–1057.

[42]

A.P.Liavas、G.Kostoulas、G.Lourakis、K.Huang和N.D.Sidiropoulos。2018.基于Nesterov的非负张量因式分解交替优化：算法和并行实现。IEEE传输。信号处理。66, 4 (2018), 944–953.

数字图书馆

[43]

Athanasios P.Liavas、Georgios Kostoulas、Georgio Lourakis、Kejun Huang和Nicholas D.Sidiropoulos。2017.基于Nesterov的大规模非负张量分解并行算法。IEEE声学、语音和信号处理国际会议论文集（ICASSP’17）。IEEE，5895–5899。https://doi.org/10.109/ICASSP.2017.7953287

[44]

林志仁（Chih-Jen Lin），2007年。非负矩阵分解的投影梯度法。神经计算。19, 10 (2007), 2756–2779. https://doi.org/10.1162/neco/2007.19.10.2756

数字图书馆

[45]

马林健（Linjian Ma）和埃德加·索洛莫尼克（Edgar Solomonik）。2018.通过两两扰动加速交替最小二乘法进行张量分解。检索自https://arxiv.org/abs/1811.10573。

[46]

劳顿·曼宁（Lawton Manning）、格雷·巴拉德（Grey Ballard）、罗摩克里希南·坎南（Ramakrishnan Kannan）和海森公园（Haesun Park），2020年。基于秩二非负矩阵分解的并行层次聚类。第27届IEEE高性能计算国际会议论文集。

[47]

迈克尔·梅里特和张茵。大规模完全非负最小二乘问题的内点梯度法。J.Optimiz。理论应用。126, 1 (2005), 191–202. https://doi.org/10.1007/s10957-005-2668-z

数字图书馆

[48]

Gordon E.Moon、Aravind Sukumaran Rajam、Srinivasan Parthasarathy和P.Sadayappan。2019.PL-NMF：并行局部优化非负矩阵分解。检索自https://arxiv.org/abs/1904.07935。

[49]

Israt Nisa、Jiajia Li、Aravind Sukumaran Rajam、Richard Vuduc和P.Sadayappan。2019.GPU上的负载平衡稀疏MTTKRP。IEEE国际并行和分布式处理研讨会（IPDPS’19）论文集。IEEE，123–133。https://doi.org/10.1109/IPDPS.2019.00023

[50]

彭蒂·帕特罗。1997年。用于三向PARAFAC因子分析的加权非负最小二乘算法。化学计量。智力。实验室系统。38, 2 (1997), 223–242.

[51]

Evangelos E.Papalexakis、Christos Faloutsos和Nicholas D.Sidiropoulos。2012.Parcube：稀疏可并行张量分解。《欧洲机器学习和数据库知识发现联合会议论文集》。施普林格，521–536。https://doi.org/10.1007/978-3642-33460-3_39

[52]

Anh Huy Phan和Andrzej Cichocki。2011.大规模问题的PARAFAC算法。神经计算74，11（2011），1970–1984。

数字图书馆

[53]

Anh-Huy Phan、Petr Tichavsky和Andrzej Cichocki。2013.用于高阶CANDECOMP/PARAFAC张量分解的快速交替LS算法。IEEE传输。信号处理。61,19（2013年10月），4834-4846。

数字图书馆

[54]

Anh-Huy Phan、Petr Tichavsky和Andrzej Cichocki。2013.TENSORBOX：张量分解的MATLAB包。检索自https://github.com/phananhhuy/TensorBox。

[55]

康拉德·桑德森。2010年，犰狳：一个用于快速原型和计算密集型实验的开源C++线性代数库。技术报告。尼科塔。检索自http://arma.sourceforge.net/armadillo_nicta_2010.pdf。

[56]

N.D.Sidiropoulos、L.De Lathauwer、X.Fu、K.Huang、E.E.Papalexakis和C.Faloutsos。2017.信号处理和机器学习的张量分解。IEEE传输。信号处理。65、13（2017年7月），3551–3582。

数字图书馆

[57]

Navjot Singh、Linjian Ma、Hongru Yang和Edgar Solomonik。2019.高斯-奈顿和交替最小二乘法用于CP分解的准确性和可扩展性比较。技术报告。检索自https://arxiv.org/abs/1910.12331。

[58]

S.Smith、A.Beri和G.Karypis。2017.使用加速AO-ADMM的约束张量因式分解。第46届并行处理国际会议（ICPP’17）会议记录。111–120.

[59]

Shaden Smith和George Karypis。2016.分布式稀疏张量因子分解的中等粒度算法。IEEE第30届国际并行和分布式处理研讨会论文集。902–911.

[60]

S.Smith、N.Ravindran、N.D.Sidiropoulos和G.Karypis。2015.SPLATT：高效并行稀疏张量矩阵乘法。IEEE国际并行和分布式处理研讨会论文集。61–70.

[61]

埃德加·索洛莫尼克（Edgar Solomonik）、德文·马修斯（Devin Matthews）、杰夫·哈蒙德（Jeff R.Hammond）、约翰·斯坦顿（John F.Stanton）和詹姆斯·德梅尔（James Demmel）。2014.用于耦合簇计算的大规模并行张量收缩框架。J.平行分布计算。74, 12 (2014), 3176–3190.

数字图书馆

[62]

唐冰、康林耀、夏艳敏和张莉。2018年。GPU使用spark加速了大规模非负矩阵分解。《协作计算国际会议论文集：网络、应用和工作共享》。Springer，189-201。https://doi.org/10.1007/978-3-030-12981-1_13

[63]

Rajeev Thakur、Rolf Rabenseifner和William Gropp。2005年，MPICH中的集体通信操作优化。国际期刊高性能计算。申请。19, 1 (2005), 49–66.

数字图书馆

[64]

乔治·托马西和拉斯穆斯兄弟。2006.拟合PARAFAC模型的算法比较。计算。统计数据分析。50, 7 (2006), 1700–1734. https://doi.org/10.1016/j.csda.2004.11.013

数字图书馆

[65]

Mark H.Van Benthem和Michael R.Keenan。2004.求解大规模非负约束最小二乘问题的快速算法。化学计量学杂志：J.化学计量学。《社会分类》第18卷、第10卷（2004年），第441-450页。https://onlinelibrary.wiley.com/doi/abs/10.1002/cem.889

[66]

Nico Vervliet、Otto Debals和Lieven De Lathauwer。2019.在大规模张量分解中开发高效表示。SIAM J.科学。计算。41,2（2019年），A789–A815。

数字图书馆

[67]

王以宁、董晓宇、亚历山大·斯莫拉和阿尼玛·阿南德库玛。2015.通过草图快速且有保证的张量分解。神经信息处理系统进展。991–999. 检索自https://dl.acm.org/doi/10.5555/2969239.296350。

[68]

马克斯·威林和马克斯·韦伯。2001.正张量因子分解。模式识别。莱特。22, 12 (2001), 1255–1261.

数字图书馆

引用人

Soh Y公司坎南R圣普崔J(2024)大规模并行结构上的加速约束稀疏张量因子分解第53届并行处理国际会议论文集10.1145/3673038.3673128(107-116)在线发布日期：2024年8月12日
https://dl.acm.org/doi/10.1145/3673038.3673128
布雷马一世巴塔拉依MEren M公司斯科E罗梅罗P艾登本兹S亚历山德罗夫B(2023)CPU/GPU体系结构上的分布式内存外NMF超级计算杂志2007年10月17日/11227-023-05587-480:3(3970-3999)在线发布日期：2023年9月8日
https://dl.acm.org/doi/10.1007/s11227-023-05587-4
R部长维维亚诺一世刘X巴拉德G(2023)基于交替最小二乘和QR分解的张量CP分解数值线性代数及其应用10.1002/nla.251130:6在线发布日期：2023年6月5日
https://doi.org/10.1002/nla.2511
显示更多引用者

索引术语

PLANC：具有非负约束的并行低阶近似
1. 软件及其工程
  1. 软件符号和工具
    1. 软件库和存储库
2. 计算理论
  1. 算法的设计和分析
    1. 并行算法
      1. 大规模并行算法

建议

基于多因子范数的低秩张量补全框架
摘要
低秩张量补全旨在利用张量的低秩特性，从部分观测数据中恢复张量的缺失项。由于秩最小化是一个NP-hard问题，凸代理核范数通常是。。。 $_{_{}}$
成像数据中低秩张量补全的全变差张量分解和Tikhonov正则化
摘要
本文的主要目的是研究成像数据中低阶张量补全的张量分解。由于实际成像数据的潜在冗余，低管秩张量因子分解（张量-张量乘积为2。。。
低秩张量完备的统一张量因子分解和张量核范数方法
摘要
低秩张量补全（LRTC）因其强大的恢复缺失项的能力而备受关注。然而，它必须反复计算耗时的奇异值分解（SVD）。要解决。。。

评论

信息和贡献者

问询处

发布于

数学软件上的封面图像ACM事务

ACM数学软件汇刊第47卷第3期

2021年9月

251页

国际标准编号：0098-3500

EISSN公司：1557-7295

内政部：10.1145/3472960

编辑：
白昭君
美国加州大学戴维斯分校
,
沃尔夫冈·班格尔
美国科罗拉多州立大学

版权所有©2021 ACM。

©2021计算机协会。ACM承认，这份稿件是由美国政府的雇员、承包商或附属机构撰写或合著的。因此，美国政府保留非排他性、免版税的权利，仅为政府目的出版或复制本文章，或允许他人这样做。

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2021年6月26日

认可的：2020年10月1日

修订过的：2020年6月1日

收到：2019年8月1日

在TOMS中发布体积47,问题三

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章
研究
推荐

资金来源

能源部

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

6
引文总数
查看引文
430
总下载次数

下载次数（过去12个月）150
下载次数（最近6周）47

反映截至2024年9月17日的下载量

其他指标

查看作者指标

引文

引用人

Soh Y公司坎南R圣普崔J(2024)大规模并行体系结构上的加速约束稀疏张量分解第53届并行处理国际会议记录10.1145/3673038.3673128(107-116)在线发布日期：2024年8月12日
https://dl.acm.org/doi/10.1145/3673038.3673128
布雷马一世巴塔拉依M埃伦·M斯科E罗梅罗P艾登本兹S亚历山德罗夫B(2023)CPU/GPU体系结构上的分布式内存外NMF超级计算杂志2007年10月17日/11227-023-05587-480:3(3970-3999)在线发布日期：2023年9月8日
https://dl.acm.org/doi/10.1007/s11227-023-05587-4
R部长维维亚诺一世刘X巴拉德G(2023)基于交替最小二乘和QR分解的张量CP分解数值线性代数及其应用10.1002/nla.251130:6在线发布日期：2023年6月5日
https://doi.org/10.1002/nla.2511
帕萨拉斯C卡尔松LR兄弟比伦蒂内西P(2022)算法1026：并行交替最小二乘法用于多个同时的正则多元分解ACM数学软件汇刊10.1145/351938348:3(1-20)在线发布日期：2022年9月10日
https://dl.acm.org/doi/10.1145/3519383
达斯H巴拉德G本纳·P(2022)张量序列算法的并行算法SIAM科学计算杂志10.1137/20M1387158年44:1（C25-C53）在线发布日期：2022年1月1日
https://dl.acm.org/doi/10.1137/20M1387158
库尔特·S拉杰·S苏库马拉·拉贾姆A萨达亚潘P(2022)稀疏感知张量分解2022 IEEE国际并行和分布式处理研讨会（IPDPS）10.1109/IPDPS53621.2022.00097(952-962)在线发布日期：2022年5月
https://doi.org/10.109/IPDPS53621.2022.00097

视图选项

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

HTML格式格式

在中查看本文HTML格式格式。

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此文章

媒体

数字

其他

桌子

查看问题目录