{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{-“日期段”：[[2022,12,1]]，“日期-时间”：“2022-12-01T06:03:15Z”，“时间戳”：1669874595098}，“引用-计数”：63，“发布者”：“MDPI AG”，“问题”：“23”，“许可证”：[{“开始”：{:“日期段2-11-29T00:00:00Z“，“时间戳”：1669680000000}，“content-version”：“vor”，“delay-in-days”：0，“URL”：“https:\/\/creativecommons.org\/licenses\/by\/4.0\/”}]，“资助者”：[{“名称”：“首尔科技大学”}]、“content-domain”：{“域”：[]，“crossmark-restriction”：false}，“short-container-title”：[“传感器”]，“抽象”：“在本研究中，我们提出了分布式学习环境中文本流自适应分类模型的动态模型更新方法。特别地，我们提出了两种模型更新策略：（1）整体模型更新和（2）部分模型更新。前者的目标是根据包括最近数据集在内的累积数据集定期重建模型，从而最大限度地提高模型的准确性。它的学习时间随着数据集的增加而增加，但我们通过模型的分布式学习减轻了学习开销。后者仅使用有限数量的最近数据集对模型进行微调，注意数据流依赖于最近的事件。因此，它在保持一定精度的同时加快了学习速度。为了验证所提出的更新策略，我们将其广泛应用于基于CNN、RNN和Bi-LSTM的完全可训练语言模型，以及基于BERT的预训练嵌入模型。通过使用两个真实推文流数据集的大量实验，我们表明，整个模型更新提高了预训练离线模型的分类精度；部分模型更新也对其进行了改进，其精度与整个模型更新相当，同时显著提高了学习速度。我们还通过显示模型学习和推理时间随着工作节点数量的增加而减少来验证所提出的分布式学习体系结构的可扩展性<\/jats:p>“，”DOI“：”10.3390\/s2239298“，”type“：”期刊文章“，”已创建“：｛”日期部分“：[[2022,11,30]，”日期时间“：”2022-11-30T13:46:41Z“，”时间戳“：1669816001000｝，”page“：”9298“，”source“：”Crossref“，”由count引用“：0，”title“：[”分布式学习环境中文本流自适应分类的有效模型更新“]，”prefix“：”10.3390“，“卷”：“22”，“作者”：[{“ORCID”：“http://\/ORCID.org\/0000-0002-7062-4316”，“authenticated-ORCID”：false，“给定”：“Min-Seon”，“family”：“Kim”，“sequence”：“first”，“affiliation”：[]}，{“give”：“Bo-Young”，“家族”：“Lim”，“序列”：“additional”，“从属关系”：[]}，}“ORCID”：“http://www.\/ORCID.org\/0000 0003-4367-4374“，”认证指令“：假，”给定“：”Kisung“，”family“：”Lee“，”sequence“：”additional“，”affiliation“：[]}，{”ORCID“：”http://\/ORCID.org\/00000-0002-1125-6533“，”authenticated-ORCID“：false，”given“：“Hyuk-Yoon”，”faily“：“Kwon”，“sequence”：“additional”，“affiliance”：[]{“member”：“1968”，”published-online“：{”date-parts“：[2022,11,29]]}“，”reference“：[{”key“：”ref_1“，”doi-asserted-by“：”crossref“，“首页“：”401“，”DOI“：”10.1609\/icwsm.v5i1.14102“，”article-title“：”twitter中的事件检测“，”volume“：”5“，”author“：”Weng“，”year“：”2011“，”journal-title”：“Proc。Int.Aaai Conf.Web Soc.Media“}，{“key”：“ref_2”，“doi-asserted-by”：“crossref”，“unstructured”：“Batool，R.，Khattak，A.M.，Maqbool，J.，and Lee，S.（2013年1月16日\u201320）。精确推文分类和情绪分析。2013 IEEE \/ACIS第12届国际计算机和信息科学会议（ICIS）论文集日本新泻。“，”DOI“：”10.1109\/ICIS.2013.6607883“}，{”key“：”ref_3“，”DOI-asserted-by“：”crossref“，“unstructured”：“Shin，H.S.，Kwon，H.Y.，and Ryu，S.J.（2020）。一种基于对比词嵌入的新文本分类模型，用于检测twitter中的网络安全情报。Electronics，9.”，“DOI”：“10.3390\/electronics9091527”}，“{”key“：“ref_4”，“doi-asserted-by“：”crossref“，”unstructured“：”Kim，M.S.，and Kwon，H.Y.（2022年1月17日\u201320）。基于动态模型更新的流式推文分布式分类模型。2022年IEEE大数据和智能计算国际会议（BigComp）会议记录，韩国大邱。“，”DOI“：”10.1109\/BigComp54360.2022.00019“}，{”key“：”ref_5“，”unstructured“：”Nishida，K.，Hoshide，T.，and Fujimura，K.（2020，January 12\u201316）。通过检测单词概率的变化来改进推文流分类。第35届ACM SIGIR信息检索研究与开发国际会议论文集，美国俄勒冈州波特兰“}，{“key”：“ref_6”，“doi-asserted-by”：“crossref”，“unstructured”：“Weiler，A.，Grossniklaus，M.，and Scholl，M.H.（2014年1月28日）。社交媒体流数据中的事件识别和跟踪。EDBT\/ICDT会议记录，希腊雅典。“，”DOI“：”10.1145\/2484702.2484703“}，{”key“：”ref_7“，”DOI-asserted-by“：”crossref“，”first page“：“475”，“DOI”：“10.1007\/s11036-014-0557-0”，“article-title”：“社交数据流实时事件检测”，“volume”：“20”，“author”：“Nguyen”，“year”：“2015”，“journal-title“：”Mob.Net.Appl.“}”，{“key”：”ref _8“，”DOI-asserted-by“：”crossref“，”first page“：”3086“，”DOI“：”10.12928\/telkomnika.v17i6.11711“，”article-title“：”Apache Spark中Twitter数据流的自适应聚类和分类算法“，”volume“：”17“，”author“：”Hasan“，”year“：”2019“，”journal-title”：“telkomnika（Telecomn.Compute.Electron.Control.）”}，{“key”：“ref_9”，“unstructured”：“”Zyblewski，P.、Sabourin，R.和Wo\u017aniak，M.（2019）。《关于数据库中机器学习和知识发现的欧洲联合会议论文集》，斯普林格。“}，{”key“：”ref_10“，”doi-asserted-by“：”crossref“，”unstructured“：”Krawczyk，B.和Cano，A.（2019年1月10日\u201316）。漂移数据流挖掘的自适应集成主动学习。中国澳门国际JCAI学报。“，”doi“：”10.24963\/IJCAI.2019\/383“}”，{“key”：“ref_11”，“doi-assert-by”：“crossref”，“首页”：“115641”，”“doi”：“”10.1016 \/j.eswa.2021.115641“，“article-title”：“在智能家居时间序列数据中嵌入基于实时变化点检测和活动分段应用程序”，“volume”：“185”，“author”：“Bermejo”，”year“：”2021“，”journal-title“：”Expert Syst。申请。“}，{”key“：”ref_12“，”doi-asserted-by“：”crossref“，”first page“：“235”，”doi“：”10.1016\/j.neucom.2022.09.065“，”article-title“：”non-stational data stream classification with online active learning and siaam neural networks“，”volume“：Wang，J.、Kolar，M.、Srebro，N.和Zhang，T.（2017年1月6日\u201311）。高效的稀疏分布式学习。机器学习国际会议记录，PMLR，澳大利亚悉尼。“}，{”key“：”ref_14“，”doi-asserted-by“：”crossref“，”first-pages“：”1205“，”doi“：”10.1109\/JSAC.2019.2904348“，”article-title“：”资源受限边缘计算系统中的自适应联合学习“，”volume“：“：”Chen，Y.，Ning，Y.、Slawski，M.和Rangwala，H.（2020年，2013年1月10日）。具有非iid数据的边缘设备的异步在线联合学习。2020 IEEE国际大数据会议论文集，美国佐治亚州亚特兰大”，“DOI”：“10.1109\/BigData50022.2020.9378161”}，{“key”：“ref_16”，“DOI-asserted-by”：“crossref”，“first page”：”2177“，“DOI:”10.1109\/LWC.2020.3016822“，“article-title”：“边缘设备中自动调制分类的分布式学习”，“volume”：：“9”，“作者：“王”，“年份”：“2020年”，“新闻标题”：“IEEE Wirel。Commun公司。莱特。“}，{”key“：”ref_17“，”unstructured“：”Hsieh，K.，Phanishayee，A.，Mutlu，O.，and Gibbons，P.（2020年1月13日\u201318）。分散式机器学习的非iid数据困境。机器学习国际会议论文集，PMLR，虚拟事件。“}”，{“key”：“ref_18”，“doi-asserted-by”：“crossref”，“unstructure”：“”Abad，M.S.H.、Ozfatura，E.、Gunduz，D.和Ercetin，O.（2020年，2013年1月4日）。跨异构蜂窝网络的分层联合学习。2020-2020年ICASSP IEEE声学、语音和信号处理国际会议（ICASSP）论文集，西班牙巴塞罗那。“，”DOI“：”10.1109\/ICASSP40776.200.9054634“}，{”key“：”ref_19“，”DOI-asserted-by“：”crossref“，”first page“：“94”，“DOI”：“10.1109\/MIS.2020.299442”，“article-title”：“代理体验重播：分布式强化学习的联合蒸馏”，“volume”：“35”，“author”：“Cha”，“year”：“2020”，“journal-title“：”IEEE Intell.Syst.“}”，{“key”：”参考_20“，”doi-asserted-by“：”crossref“，”first page“：”796“，”doi“：”10.1109\/JPROC.2021.3055679“，”article-title“：”通过无线网络进行高效通信和分布式学习：原理和应用“，”volume“：“109”，”author“：”Park“，”year“：”2021“，”journal-title”：“Proc。IEEE“}，{”key“：”ref_21“，”doi-asserted-by“：”crossref“，”unstructured“：”Jiang，Y.，Wang，S.，Valls，V.，Ko，B.J.，Lee，W.H.，Leung，K.K.，and Tassiulas，L.（2022）。模型剪枝可以在边缘设备上实现高效的联合学习。IEEE Trans.Neural Net.Learn.Syst.，1\u201313.“，Y“：”crossref“，”first page“：”3700“，”DOI“：”10.1109\/TSP.2015.2430837“，”article-title“：”通过合作上下文盗贼进行分布式在线学习“，”volume“：“63”，”author“：”Tekin“，“year”：“2015”，”journal-title”：“IEEE Trans。信号处理。“｝，｛”key“：”ref_23“，”非结构化“：”Zhang，W.，Zhao，P.，Zhu，W.，Hoi，S.C.，and Zhang，T.（2017年1月6日\u201311）。网络中的无投影分布式在线学习。国际机器学习会议论文集，PMLR，澳大利亚悉尼。“｝，｛”key“：”ref_24“，”doi asserted by“：”crossref“，”首页“：”1440“，”doi“：”10.1109\/TKDE.2018.2794384“，“文章标题”：“不同私人分布式在线学习”，“卷”：“30”，“作者”：“李”，“年份”：“2018年”，“期刊标题”：”IEEE Trans。知识。Data Eng.“}，{”key“：”ref_25“，”doi-asserted-by“：”crossref“，”first page“：“3486”，”doi“：”10.1109\/TSP.2020.299671“，”article-title“：”Distributed constrained online learning“，“volume”：“68”，“author”：“Paternain”，“year”：“2020”，“journal-title”：“IEEE Trans.Signal Process.“641”，“doi”：“10.1109\/JSAC.2021.3118342“，“article-title”：“动态MEC网络的鲁棒分布式分层在线学习方法”，“volume”：“40”，“author”：“Wu”，“year”：“2021”，“journal-title“：”IEEE J.Sel。公共区域。“}，{”key“：”ref_27“，”first page“：“65”，”article-title“：“数据流挖掘方法中各种概念漂移影响的实证研究”，“volume”：“8”，“author”：“Mittal”，“year”：“2016”，“journal-title”：“Int.J.Intell.Syst.Appl.”}，”{“key”：”ref_2“，”doi-asserted-by“：”crossref“，”非结构化“：”Ed-daoudy，A.，and Maalmi，K.（2018年1月21日\u201323）。机器学习模型在实时流式健康数据事件中的应用，以使用spark预测健康状态。2018年高级电气和通信技术国际研讨会论文集，摩洛哥拉巴特。“，”DOI“：”10.1109\/ISAECT.2018.8618860“}，{“key”：”ref_29“，”DOI-asserted-by“：”crossref“，”first page“：”1“，“DOI”：”10.1016\/j.jnca.2018.05.003“，”article-title“：”multiple agents上深度神经网络的分布式学习“，”volume“：“116”，“author”：“Gupta”，“year”：“2018”，“journal-title”：“j.Netw.Comput.Appl.”}，“key“：”ref_30“，”DOI-asserted-by“：”crossref“，”first page“：”1002“，”DOI“：”10.1109\/TIFS.2019.2931068“，”article-title“：”DP-ADMM:ADMM-based distributed learning with differential privacy“，“volume”：“15”，“author”：“Huang”，“year”：“2019”，“journal-title”：“IEEE Trans。Inf.法医安全。“}，{”key“：”ref_31“，”doi-asserted-by“：”crossref“，”first page“：“3862”，”doi“：”10.1109\/TSP.2022.3192606“，”article-title“：”带分布式在线学习的广度和深度图形神经网络“，”volume“：Zaharia，M.、Chowdhury，M.，Franklin，M.J.、Shenker，S.和Stoica，I.（2010年1月22日\u201325）。Spark：使用工作集的集群计算。第二届USENIX云计算热门话题研讨会论文集（HotCloud 10），美国马萨诸塞州波士顿“}，{“key”：“ref_33”，“doi-asserted-by”：“crossref”，“unstructured”：“D\u00fcnner，C.，Parnell，T.，Atasu，K.，Sifalakis，M.，and Pozidis，H.（2017年1月11日\u201314）。了解并优化apache spark上分布式机器学习应用程序的性能。2017 IEEE国际大数据会议论文集（大数据），美国马萨诸塞州波士顿。“，“DOI”：“10.1109\/BigData.2017.8257942”}，{“key”：“ref_34”，“DOI-asserted-by”：“crossref”，“unstructured”：“Zhao，S.Y.、Xiang，R.、Shi，Y.H.、Gao，P.和Li，W.J.（2017年1月4日\u20139）。范围：用于火花学习的可扩展复合优化。《第三十届AAAI人工智能会议论文集》，美国加利福尼亚州旧金山。“DOI”：“10.1609\/AAAI.v31i1.10920”}，{“key”：“ref_35”，“DOI-asserted-by”：“crossref”，“unstructured”：“Alkhoury，F.，Wegener，D.，Sylla，K.H.，and Mock，M.（2021,15\u201318）.使用Spark在大数据环境中对神经网络进行通信高效的分布式学习。2021 IEEE国际大数据会议论文集，美国佛罗里达州奥兰多。“，”DOI“：”10.1109\/BigData52589.2021.9671506“}，{“key”：“ref_36”，“DOI-asserted-by”：“crossref”，“first page”：《3521》，“DOI”：“10.1073\/pnas.1611835114”，“article-title“：“克服神经网络中的灾难性遗忘”，“卷”：“114”，“作者”：“柯克帕特里克”，“年份”：“2017年”，“新闻标题”：“Proc。国家。阿卡德。科学。美国”}，{“key”：“ref_37”，“非结构化”：“Zenke，F.，Poole，B.和Ganguli，S.（2017年1月6日\u201311）。通过突触智能进行持续学习。国际机器学习会议论文集，PMLR，澳大利亚悉尼。”}，{“key”：“ref_38”，“首页”：“7308”，“文章标题”：“了解培训制度在持续学习中的作用”，“卷”：“33”，“作者”：“Mirzadeh”，“年份”：“2020年”，“新闻标题”：“高级神经信息处理。系统。“}，{”key“：”ref_39“，”doi-asserted-by“：”crossref“，”first page“：“2935”，”doi“：”10.1109\/TPAMI.2017.2773081“，”article-title“：”Learning without遗忘“，”volume“：：“Rebuffi，S.A.、Kolesnikov，A.、Sperl，G.和Lampert，C.H.（2017年1月21日\u201326）。icarl：增量分类器和表示学习。IEEE计算机视觉和模式识别会议记录，美国夏威夷州火奴鲁鲁”，“DOI”：“10.1109\/CVPR.2017.587”}，{“key”：“ref_41”，“DOI-asserted-by”：“crossref”，“unstructured”：“Castro，F.M.，Mar\u00edn-Jim\u00e9nez，M.J.，Guil，N.，Schmid，C.，and Alahari，K.（2018年1月8日\u201314）.端到端的增量学习。欧洲计算机视觉会议记录，德国慕尼黑。“，”DOI“：”10.1007\/978-3-030-01258-8_15“}，{”key“：”ref_42“，”unstructured“：”Chaudhry，A.，Ranzato，M.，Rohrbach，M.和Elhoseiny，M.（2018）.使用A-gem.arXiv.“}”，{“key”：“ref_43”，“DOI-asserted-by”：“crossref”，“unstructure”：“Wang，Z.，Mehta，S.V.，P\u00f3czos，B.，and Carbonell，J.（2020）.记忆有限的高效元终身学习。arXiv公司。“，”DOI“：”10.18653\/v1\/2020.emnlp-main.39“}，{”key“：”ref_44“，”unstructured“：”Shin，H.，Lee，J.K.，Kim，J.，and Kim，J。（2017年1月4日\u20139）。带深度生成重放的持续学习。《神经信息处理系统进展学报》第30期（NIPS 2017），美国加利福尼亚州长滩。“}”，{“key”：“ref_45”，“DOI-asserted-by”：“crossref”，“非结构化”：“Wang，L.，Yang，K.，Li，C.，Hong，L..，Li.，Z.，and Zhu，J.（2021201325年1月9日）。Ordisco：有效利用增量未标记数据进行半监督持续学习。IEEE计算机视觉和模式识别会议论文集，虚拟会议。“，”DOI“：”10.1109\/CVPR46437.2021.00534“}，{”key“：”ref_46“，”unstructured“：”Rusu，A.A.，Rabinowitz，N.C.，Desjardins，G.，Soyer，H.，Kirkpatrick，J.，Kavukcuoglu，K.，Pascanu，R.，and Hadsell，R.（2016）.Progressive neural networks.arXiv.“}”，{“key”：“ref_47”，“DOI-asserted-by”：“crossref”，“unstructure”：“”Mallya，A.和Lazebnik，S.（2018年1月18日\u201323）。数据包网：通过迭代修剪将多个任务添加到单个网络中。IEEE计算机视觉和模式识别会议记录，美国犹他州盐湖城”，“DOI”：“10.1109\/CVPR.2018.00810”}，{“key”：“ref_48”，“DOI-asserted-by”：“crossref”，“unstructured”：“Mallya，A.，Davis，D.和Lazebnik，S.（2018年1月8日\u201314）Piggyback：通过学习掩盖权重，使单个网络适应多个任务。欧洲计算机视觉会议记录，德国慕尼黑。“，”DOI“：”10.1007\/978-3-030-01225-0_5“}，{”key“：”ref_49“，”DOI-asserted-by“：”crossref“，”unstructured“：”Rebuffi，S.A.，Bilen，H.，and Vedaldi，A.（2018年1月18日\u201323）。多域深度神经网络的有效参数化。美国犹他州盐湖城IEEE计算机视觉和模式识别会议论文集。“DOI”：“10.1109\/CVPR.2018.00847“｝，｛”key“：”ref_50“，”doi断言“：”crossref“，”非结构化“：”Ashfahani，A.和Pratama，M.（2019年1月2日\u20134）。自主深度学习：动态环境的持续学习方法。2019 SIAM国际数据挖掘会议论文集，加拿大卡尔加里。“，”doi“：”10.1137\/1.9781611975673.75“}，{“key”：“ref_51”，“unstructured”：“Yoon，J.，Jeong，W.，Lee，G.，Yang，E.，and Hwang，S.J.（2021201314年1月13日）。带加权客户端间转移的联合持续学习。机器学习国际会议论文集，PMLR，虚拟事件。”}，}首页“：”2561“，”DOI“：”10.1007\/s10994-022-06168-x“，”article-title“：”ROSE：“鲁棒在线自调整集成，用于不平衡漂移数据流的持续学习”，“volume”：“111”，“author”：“Cano”，“year”：“2022”，“journal-title”：“Mach”。学习。“}，{”key“：”ref_53“，”doi-asserted-by“：”crossref“，”unstructured“：”Ruder，S.，and Plank，B.（2018）.域移位下神经半监督学习的强基线.arXiv.“，”doi“：”10.18653\/v1\/P18-1096“}“，{“key”：“ref_54”，“doi-assert-by”：“crossref.”，“unstructure”：“Yoo，D.，and Kweon，I.S.（2019，January 16\u201317）.主动学习的学习损失。IEEE计算机视觉和模式识别会议论文集，美国加利福尼亚州长滩。“，“DOI”：“10.1109”，“CVPR.2019.00018”}，{“key”：“ref_55”，“unstructured”：“Smith，J.，Taylor，C.，Baer，S.，and Dovrolis，CAghdam，H.H.、Gonzalez-Garcia，A.、Weijer，J.v.d.和L\u00f3pez，A.M.（11月，1月27日）。深度检测神经网络的主动学习。《IEEE计算机视觉国际会议论文集》，韩国首尔。“}，{”key“：”ref_57“，”doi-asserted-by“：”crossref“，”unstructured“：”Tiwari，P.，Uprety，S.，Dehdashti，S.和Hossain，M.S.（2020）。TermInformer：生物医学文献中的无监督术语挖掘和分析。Neural Compute.Appl.，1\u201314。“，”doi“：”10.1007\/s00521-0520-05335-2Ashfahani，A.和Pratama，M.（2022）。流媒体环境中的无监督持续学习。IEEE传输。神经网络。学习。系统。，1\u201312.“，”DOI“：”10.1109\/TNNLS.2022.3163362“}，{“key”：“ref_59”，“unstructured”：“Devlin，J.，Chang，M.W.，Lee，K.，and Toutanova，K.（2019）.BERT：语言理解深层双向变形金刚的预训练。arXiv.“}Zhu，Y.、Kiros，R.、Zemel，R.和Salakhutdinov，R.，Urtasun，R.以及Torralba，A.和Fidler，S.（2015年1月7日，2013年）。将书籍和电影对齐：通过观看电影和阅读书籍来实现故事般的视觉解释。IEEE国际计算机视觉会议论文集，智利圣地亚哥。“，”DOI“：“10.1109\/ICCV.2015.11”}，{“key”：“ref_61”，“unstructured”：“You，Y.，Li，J.，Reddi，S.，Hseu，J.、Kumar，S.、Bhojanapalli，S..、Song，X.、Demmel，J.和Xieh，C.J.（2019）。深度学习的大批量优化：76分钟内训练伯特。arXiv.”}、{“key”：”ref_62“，”DOI-asserted-by“：”crossref“，”非结构化“：”Chen，X.、Cheng，Y.、Wang，S.、Gan，Z.、Wag，Z.和Liu，J.（2020年）。Earlybert：通过早起彩票进行高效的伯特训练。arXiv公司。“，”DOI“：”10.18653\/v1\/2021.acl-long.171“}，{”key“：”ref_63“，”DOI-asserted-by“：”crossref“，”first page“：“9160”，“DOI”：“10.3390\/su7079160”，“article-title”：“减灾教育（DRR）：加纳2019年基础学校理论与实践的结合”，“volume”：“7”，“author”：“Apronti”，“year”：“2015”，“journal title”：”可持续性“}]，”container-title“：[“Sensors”]，“original-title”：[]，“language”：“en”，“link”：[{“URL”：“https://www.mdpi.com\/1424-8220\/22\/23\/9298\/pdf”，“content-type”：“unspecified”，“content-version”：“vor”，“intended-application”：“similarity-checking”}，“deposed”：{“date-parts”：[2022,11,30]]，“date-time”：”2022-11-30T13:54:27 Z“，”timestamp“：1669816467000}，”score“：1，”resource“：{”primary”：{“URL”：“https:\/\/www.mdpi.com/1424-8220\/22\/23\/9298”}}，“subtitle”：[]，“shorttitle”：[]，“issued”：{“date-parts”：[2022,11,29]]}，”references-count“：63，”journal-issue“：{“issue”：“23”，“published-on-line”：{:“date-ports”：[2022,12]}}、“alternative-id”：[“s22239292”98“]，”URL“：”http://\/dx.doi.org\/10.3390\/s22239298“，”关系“：{}，”ISSN“：[”1424-8220“]，”ISSN-type“：[{”value“：”1424-8120“，”type“:”electronic“}]，”subject“：【】，”published“：{”date-parts“：[2022,11,29]]}}}