郑丽丽；加维什·拉斯库蒂；丽贝卡·威利特；本杰明·马克 多元时间序列中的上下文相关网络：高维模型、方法和风险边界。 （英语） 兹伯利07626731 J.马赫。学习。物件。 22，第216号论文，88页（2021）. 摘要：高维自回归广义线性模型自然而然地出现，用于捕捉当前事件如何触发或抑制未来事件，例如社交网络中一个成员的活动可能会影响其邻居的未来活动。虽然过去的工作侧重于仅基于网络每个节点上事件发生的时间来估计潜在的网络结构，但本文研究了更微妙的估计上下文相关网络的问题，这些网络反映了与事件相关的特征（例如社交媒体帖子的内容）调节节点之间的影响强度。具体来说，我们利用机器学习中合成时间序列和正则化方法的思想，对注释事件数据的高维自回归时间序列进行上下文相关的网络估计。详细考虑了两个模型和相应的估计量：一个适用于分类特征的自回归多项式模型和一个适用于不同类别中混合隶属度特征的逻辑正态模型。重要的是，逻辑正态模型导致了一个凸-负对数似然目标，并捕获了跨类别的依赖性。我们为这两个估值器提供了理论保证，并得到了仿真的支持。我们通过两个实际数据示例和一个合成数据生成模型进一步验证了我们的方法，并展示了这两种方法的优缺点。最后，提出了一种兼具这两种方法优点的混合方法，并以合成数据和实际数据为例进行了说明。 MSC公司： 68T05年 人工智能中的学习和自适应系统 关键词：自回归时间序列；高维广义线性模型；带注释的事件数据；上下文相关网络；成分数据 软件：形状 PDF格式BibTeX公司 XML格式引用 \textit{L.Zheng}等人，J.Mach。学习。第22号决议，第216号论文，88页（2021；Zbl 07626731） 全文： arXiv公司 链接 参考文献： [1] 约翰·艾奇逊。成分数据的统计分析。英国皇家统计学会杂志：B辑（方法学），44（2）：139-1601982·Zbl 0491.62017号 [2] 阿尼马什雷·阿南德库玛、丹尼尔·徐和沙姆·卡卡德。混合模型和隐马尔可夫模型的矩方法。2012年第33-1页，学习理论会议·Zbl 1318.68136号 [3] J Attchison和Sheng M Shen。逻辑正态分布：一些性质和用途。《生物特征》，67（2）：261-2721980·Zbl 0433.62012号 [4] 约翰·培根·肖恩（John Bacon-Shone）。成分数据分析的简短历史。《成分数据分析》，第1-11页，2011年。 [5] Sumanta Basu，George Michailidis，et al.稀疏高维时间序列模型中的正则化估计。《统计年鉴》，43（4）：1535-15672015年·Zbl 1317.62067号 [6] Peter J Bickel、Ya’acov Ritov、Alexandre B Tsybakov等。套索和dantzig选择器的同时分析。《统计年鉴》，37（4）：1705-17322009年·Zbl 1173.62022号 [7] 大卫·布莱和约翰·拉弗蒂。相关主题模型。神经信息处理系统进展，18:1472006·Zbl 1129.62122号 [8] David M Blei、Andrew Y Ng和Michael I Jordan。潜在的dirichlet分配。机器学习研究杂志，3（1月）：993-10222003·Zbl 1112.68379号 [9] Leo Breiman等人，《统计建模：两种文化》（作者进行了评论和反驳）。统计科学，16（3）：199-2312001·Zbl 1059.62505号 [10] Teresa M Brunsdon和TMF Smith。成分数据的时间序列分析。《官方统计杂志》，14（3）：2371998年。 [11] 卫斯理·S·陈。股票价格对新闻和非新闻的反应：头条新闻后的漂移和反转。《金融经济学杂志》，70（2）：223-2602003。 [12] Daryl J Daley和David Vere-Jones。点过程理论简介，第1卷：基本理论和方法。Verlag New York Berlin Heidelberg:施普林格出版社，2003年·Zbl 1159.60003号 [13] 雅各布·德夫林（Jacob Devlin）、张明伟（Ming Wei Chang）、肯顿·李（Kenton Lee）和克里斯蒂娜·图塔诺娃（Kristina Toutanova）。伯特：深度双向变压器语言理解预训练。arXiv预印本arXiv:1810.048052018。 [14] Söeyda Ertekin、Cynthia Rudin、Tyler H McCormick等人，《反应点过程：预测地下电力系统电力故障的新方法》。应用统计年鉴，9（1）：122-1442015·Zbl 1454.62476号 [15] Mehrdad Farajtabar、Jiachen Yang、Xiaojing Ye、Huan Xu、Rakshit Trivedi、Elias Khalil、Shuang Li、Le Song和Hongyuan Zha。通过基于点过程的干预缓解虚假新闻。第34届国际机器学习会议论文集第70卷，第1097-1106页。JMLR公司。org网站，2017年。 [16] 阿尔伯特·费勒（Albert Feller）、马蒂亚斯·库内特（Matthias Kuhnert）、蒂姆·O·斯普伦格（Timm O Sprenger）和伊莎贝尔·M·韦尔佩（Isabell M Welpe）。他们在推特上意见分歧：政治微博的网络结构和讨论主题。2011年第五届AAAI网络日志和社交媒体国际会议。 [17] 拉斐尔·费劳德（Raphael F´eraud）和法布里斯·克莱罗（Fabrice Cl´ero）。一种解释神经网络分类的方法。神经网络，15（2）：237-2462002。 [18] 阿利森·K·弗莱彻（Alyson K Fletcher）和桑迪普·兰根（Sundeep Rangan）。钙成像对神经元连通性的可缩放推断。《神经信息处理系统进展》，第2843-2851页，2014年。 [19] Konstantinos Fokianos，Benjamin Kedem等，分类时间序列的回归理论。统计科学，18（3）：357-3762003·Zbl 1055.62095号 [20] 阿亚瓦迪·加内什、劳伦特·马苏利和唐·托斯利。网络拓扑对流行病传播的影响。InProceedings IEEE第24届IEEE计算机与通信协会年会。，第2卷，第1455-1466页。IEEE，2005年。 [21] 费利佩·格哈德（Felipe Gerhard）、莫里茨·德格（Moritz Deger）和威尔逊·特鲁科洛（Wilson Truccolo）。随机尖峰神经元模型的稳定性和动力学：非线性hawkes过程和点过程glms。《公共科学图书馆·计算生物学》，13（2）：e10053902017年。 [22] Ulrike集团。回归中的变量重要性评估：线性回归与随机森林。《美国统计学家》，63（4）：308-3192009。 [23] Eric C Hall和Rebecca M Willett。从尖峰训练在线学习神经网络结构。2015年第7届国际IEEE/EMBS神经工程会议（NER），第930-933页。IEEE，2015年。 [24] Eric C Hall、Garvesh Raskutti和Rebecca Willett。高维自回归广义线性模型的推断。arXiv预印本arXiv:1605.026932016·Zbl 1432.62228号 [25] 方翰、卢焕然和韩流。高维平稳向量自回归的直接估计。机器学习研究杂志，2015年·Zbl 1351.62165号 [26] 阿兰·霍克斯（Alan G Hawkes）。一些自激和相互激点过程的谱。《生物特征》，58（1）：83-901971·Zbl 0219.60029号 [27] Eric Jang、Shixiang Gu和Ben Poole。使用gumbelsoftmax.arXiv预印本arXiv:1611.011442016进行分类重新命名。 [28] Adam Tauman Kalai、Ankur Moitra和Gregory Valiant。有效地学习两个高斯人的混合。2010年第四十二届ACM计算理论研讨会论文集，第553-562页·Zbl 1293.68229号 [29] 佩特拉·肯·克洛娃、彼得·菲尔兹莫瑟和卡雷尔·赫隆。用向量自回归模型建模合成时间序列。《预测杂志》，34（4）：303-3142015年·Zbl 1376.62105号 [30] David MJ Lazer、Matthew A Baum、Yochai Benkler、Adam J Berinsky、Kelly M Greenhill、Filippo Menczer、Miriam J Metzger、Brendan Nyhan、Gordon Pennycook、David Rothschild等，《虚假新闻科学》。科学，359（6380）：1094-10962018。 [31] 克里斯蒂娜·勒曼和鲁米·戈什。信息传播：对digg和twitter社交网络上新闻传播的实证研究。2010年第四届AAAI网络日志和社交媒体国际会议。 [32] 尤尔·莱斯科维奇（Jure Leskovec）、拉尔斯·贝克斯特罗姆（Lars Backstrom）和乔恩·克莱恩伯格（Jon Kleinberg），《模因追踪与新闻周期的动态》（Meme-tracking and the dynamics of news cycle）。第15届ACM SIGKDD知识发现和数据挖掘国际会议论文集，第497-506页。ACM，2009年。 [33] 李晓东、谢浩然、李晨、王建平和邓晓铁。通过情绪分析，新闻对股价回报的影响。基于知识的系统，69:14-232014。 [34] Scott Linderman、Ryan P Adams和Jonathan W Pillow。多神经元记录中的贝叶斯潜在结构发现。神经信息处理系统进展，第2002-2010页，2016年。 [35] 贾斯汀·利特曼（Justin Littman）、劳拉·鲁贝尔（Laura Wrubel）和丹尼尔·科什内尔（Daniel Kerchner）。2016年美国总统选举推文ID，2016年。统一资源定位地址https://doi.org/10.7910/DVN/PDI7IN。 [36] 卡里姆·卢尼奇（Karim Lounici）、马西米利亚诺·蓬蒂尔（Massimiliano Pontil）、亚历山大·茨巴科夫（Alexandre B Tsybakov）和萨拉·范·德格尔（Sara Van De Geer）。利用多任务学习中的稀疏性。arXiv预打印arXiv:0903.14682009·Zbl 1306.62156号 [37] 斯科特·伦德伯格（Scott M Lundberg）和苏茵·李（Su-In Lee）。解释模型预测的统一方法。《神经信息处理系统进展》，第4765-4774页，2017年。 [38] 本杰明·马克、加维什·拉斯库蒂和丽贝卡·威利特。根据点过程数据进行网络估算。IEEE信息理论汇刊，65（5）：2953-29752018·Zbl 1431.94215号 [39] 保罗·米哈利迪斯和萨曼莎·维奥蒂。数字文化中的可传播奇观：公民表达、虚假新闻以及媒体素养在“后事实”社会中的作用。美国行为科学家，61（4）：441-4542017。 [40] 特伦斯·C·米尔斯。预测组成时间序列。质量与数量，44（4）：673-6902010。 [41] 纪尧姆·奥博金斯基（Guillaume Obozinski）、本·塔斯卡（Ben Taskar）和迈克尔·乔丹（Michael Jordan）。多任务功能选择。加州大学伯克利分校统计部，技术代表，2（2.2），2006年。 [42] Jonathan W Pillow、Jonathon Shlens、Liam Paninski、Alexander Sher、Alan M Litke、EJ Chichilnisky和Eero P Simoncelli。完整神经元群的时空相关性和视觉信号。《自然》，454（7207）：9952008。 [43] Kriti Puniyani、Jacob Eisenstein、Shay Cohen和Eric P Xing。微博中潜在话题的社交链接。NAACL HLT 2010社交媒体世界计算语言学研讨会论文集，第19-20页。计算语言学协会，2010年。 [44] 拉迪姆·雷赫·乌雷克和彼得·索伊卡。大型语料库主题建模软件框架。2010年5月，马耳他瓦莱塔，第45-50页，LREC 2010 NLP框架新挑战研讨会论文集。艾拉。网址：http://is.muni.cz/出版物/884893/en。 [45] 加维什·拉斯库蒂（Garvesh Raskutti）、马丁·温赖特（Martin J Wainwright）和余斌（Bin Yu）。相关高斯设计的受限特征值特性。机器学习研究杂志，11（8月）：2241-22592010·Zbl 1242.62071号 [46] Nalini Ravishanker、Dipak K Dey和Malini Iyengar。死亡率构成时间序列分析。统计学中的传播——理论与方法，30（11）：2281-22912001·Zbl 0993.62076号 [47] Daniel M Romero、Wojciech Galuba、Sitaram Asur和Bernardo A Huberman。社交媒体的影响力和被动性。欧洲数据库机器学习和知识发现联合会议，第18-33页。施普林格，2011年。 [48] 辛西娅·鲁丁（Cynthia Rudin）、大卫·沃尔茨（David Waltz）、罗杰·安德森（Roger N Anderson）、阿尔伯特·博朗格（Albert Boulanger）、安萨夫·萨勒布瓦西（Ansaf Salleb-Auuissi）、麦琪·周（Maggie Chow）、海蒙蒂·杜塔（Haimonti Dutta）、菲利普·格罗斯（Philip N Gross）、伯特·黄（Bert Huang）、史蒂夫·伊罗姆（Steve Ierom）等人。纽约市电网的机器学习。模式分析和机器智能EEE。 [49] Kai Shu、Amy Sliva、Suhang Wang、Jiliang Tang和Huan Liu。社交媒体上的假新闻检测：数据挖掘视角。ACM SIGKDD探索通讯，19（1）：22-362017。 [50] Alexey Stomakhin、Martin B Short和Andrea L Bertozzi。基于交互的时间模式重建社交网络中缺失的数据。反问题，27（11）：1150132011。 [51] 卡罗琳·斯特罗布尔（Carolin Strobl）、安妮·劳雷·布莱斯泰克斯（Anne-Laure Boulesteix）、托马斯·科尼布（Thomas Kneib）、托托马斯·奥古斯丁（Thomas-Augustin）和阿希姆·泽利斯（Achim Zeile。随机森林的条件变量重要性。BMC生物信息学，9（1）：3072008·Zbl 1452.62469号 [52] Alex Tank、Emily B Fox和Ali Shojaie。分类时间序列的Granger因果网络。arXiv预印本arXiv:1706.027812017·Zbl 1468.62310号 [53] 蒂莫西·彼得·威廉姆斯、紫杉丁、丹尼尔·霍布斯、丹尼尔·施密特和道格·阿瑟曼。2013年8月1日，使用社交媒体确定内容项和主题在线重要性的系统和方法。美国专利申请。13/563,667. [54] 马克斯·伍德伯里（Max A Woodbury）、乔纳森·克莱夫（Jonathan Clive）和阿瑟·加森（Arthur Garson Jr.）。数学类型学：获得疾病定义的等级隶属技术。计算机与生物医学研究，11（3）：277-2981978。 [55] Stephen J Wright、Robert D Nowak和M´ario在Figueiredo。可分离近似稀疏重建。IEEE信号处理汇刊，57（7）：2479-24932009·Zbl 1391.94442号 [56] 吴一红，杨鹏坤，等。基于矩去噪方法的高斯混合信号最优估计。《统计年鉴》，48（4）：1981-2007，2020·Zbl 1455.62075号 [57] 韩晓。bert-as服务。https://github.com/hanxiao/bert-as-service网址, 2018. [58] 杨陆兴、杨晓凡、刘继明、朱庆义和甘晨泉。计算机病毒的流行：一种复杂网络方法。应用数学与计算，219（16）：8705-87172013·Zbl 1288.92025号 [59] 杨英祥（Yingxiang Yang）、贾拉尔·埃特萨米（Jalal Etesami）、尼奥·何（Niao He）和内加尔·基亚瓦什（Negar Kiyavash）。多元hawkes过程的在线学习。《神经信息处理系统进展》，第4937-4946页，2017年。 [60] 于明（Ming Yu）、瓦伦·古普塔（Varun Gupta）和姆拉登·科拉尔（Mladen Kolar）。信息级联低阶主题模型的估计。arXiv预印本arXiv:1709.019192017a·Zbl 1498.91331号 [61] 于明（Ming Yu）、瓦伦·古普塔（Varun Gupta）和姆拉登·科拉尔（Mladen Kolar）。信息级联低阶主题模型的估计。arXiv预印本arXiv:1709.019192017b·Zbl 1498.91331号 [62] 于明（Ming Yu）、瓦伦·古普塔（Varun Gupta）和姆拉登·科拉尔（Mladen Kolar）。有保证的学习影响敏感性网络结构。arXiv预印本arXiv:1806.057302018。 [63] 于章和强阳。多任务学习调查。arXiv预印本arXiv:1707.08114，2017。 [64] 柯舟、查洪源、乐松。使用多维hawkes过程学习稀疏低阶网络中的社会传染性。《人工智能与统计》，第641-649页，2013年。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。