×
Vinicius硕士Souza。；Denis M.dos Reis。；安德烈·马莱茨克。；巴蒂斯塔，古斯塔沃E.A.A。

用真实数据对流学习算法进行基准测试面临的挑战。 （英语） 兹比尔1455.68184

数据最小知识。发现。 34，第6期，1805-1858（2020）.
摘要：流数据越来越多地出现在传感器测量、卫星数据馈送、股市和财务数据等实际应用中。这些应用程序的主要特点是数据观测的高速在线到达，以及由于实际环境的动态特性而对数据分布变化的敏感性。数据流挖掘社区仍然面临一些与新提案的比较和评估相关的主要挑战和困难，主要原因是缺乏公开可用的高质量非平稳现实世界数据集。比较文献中提出的流算法并非易事，因为作者并不总是遵循相同的建议、实验评估程序、数据集和假设。在本文中，我们缓解了流分类器和漂移检测器实验评估中与数据集选择相关的问题。为此，我们提出了一个新的公共数据存储库，用于用实际数据对流算法进行基准测试。该存储库包含文献中最流行的数据集和与高度相关的公共卫生问题相关的新数据集，该问题涉及使用光学传感器识别病媒昆虫。这些新数据集的主要优点是预先了解其特性和变化模式，以便充分评估新的自适应算法。我们还对导致数据分布不同类型变化的特征、原因和问题进行了深入讨论，并对文献中现有基准数据集的常见问题进行了批判性审查。

MSC公司：

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分；聚类分析（统计方面）
62升10 顺序统计分析

关键词：

数据流；概念漂移；分类；漂移检测；基准数据

软件：

UCI-毫升；KDD杯；农业部
PDF格式BibTeX公司 XML格式引用
\textit{V.M.A.Souza}等人，Data Min.Knowl。发现。34，第6号，1805--1858（2020；Zbl 1455.68184）
全文： 内政部 arXiv公司

参考文献：

[1] Ajtai M（1988）鸽子洞原理的复杂性。摘自：计算机科学基础年度研讨会，第346-355页
[2] Alippi，C。；Roveri，M.，实时自适应分类器第一部分：检测非平稳变化，IEEE Trans Neural Netw，19，7，1145-1153（2008）
[3] Alon，N。；马蒂亚斯，Y。；Szegedy，M.，《频率矩近似的空间复杂性》，《计算系统科学杂志》，58，1，137-147（1999）·Zbl 0938.68153号
[4] Baena-Garcia M、del Campo-Avila J、Fidalgo R、Bifet A、Gavalda R、Morales-Bueno R（2006）早期漂移检测方法。在：关于从数据流中发现知识的国际研讨会，第77-86页
[5] Bagnall A、Lines J、Vickers W、Keogh E（2019）UEA和UCR时间序列分类库。www.timeseriesclassification.com。2020年3月访问
[6] 巴塞洛梅，LC；Waterhouse，RM；GF梅休；坎贝尔，CL；米歇尔，K。；邹，Z。；拉米雷斯，JL；达斯，S。；Alvarez，K。；Arensburger，P.，致倦库蚊的病原体基因组学和对不同病原体感染反应的荟萃分析，《科学》，330，6000，88-90（2010）
[7] GEAPA巴蒂斯塔；RC普拉蒂；Monard，MC，平衡机器学习训练数据的几种方法的行为研究，ACM SIGKDD Explor Newsl，6，1，20-29（2004）
[8] Batista G、Keogh EJ、Mafra-Neto A、Rowton E（2011）SIGKDD演示：传感器和软件，用于实现计算昆虫学，这是数据挖掘的新兴应用。In:ACM SIGKDD国际知识发现和数据挖掘会议（KDD），第761-764页
[9] Ben-David S、Blitzer J、Crammer K、Pereira F（2007）领域适应表征分析。主题：神经信息处理系统的进展，第137-144页
[10] Bifet，A.，数据流和频繁模式的自适应学习和挖掘，SIGKDD Explor Newsl，11，1，55-56（2009）
[11] Bifet，A。；霍姆斯，G。；柯克比，R。；Pfahringer，B.，MOA：大规模在线分析，J Mach Learn Res，1601-1604年5月11日（2010）
[12] Bifet A，Gavalda R（2007），利用自适应窗口从时变数据中学习。In:SIAM数据挖掘国际会议（SDM），第443-448页
[13] Bifet A、Holmes G、Pfahringer B（2010年B）《利用袋装技术实现不断发展的数据流》。摘自：欧洲机器学习和数据库知识发现联合会议（ECML），第135-150页
[14] Bifet A，Holmes G，Pfahringer B，Kirkby R，GavaldáR（2009），进化数据流的新集成方法。In:ACM SIGKDD国际知识发现和数据挖掘会议（KDD），第139-148页
[15] Bifet A、Read J、Zliobaite I、Pfahringer B、Holmes G（2013），基准数据流分类中的陷阱以及如何避免。摘自：关于数据库中机器学习和知识发现的欧洲联合会议，第465-479页
[16] Bifet A，Zhang J，Fan W，He C，ZhangJ，Qian J，Holmes G，Pfahringer B（2017）进化数据流的极快决策树挖掘。在：ACM SIGKDD国际知识发现和数据挖掘会议（KDD），第1733-1742页
[17] JA Blackard；Dean，DJ，从制图变量预测森林覆盖类型时人工神经网络和判别分析的比较精度，计算电子农业，24，3，131-151（1999）
[18] 布雷曼，L。；弗里德曼，J。；奥申，RA；Stone，CJ，《分类和回归树》（1984），伦敦：查普曼和霍尔/CRC出版社，伦敦·Zbl 0541.62042号
[19] Brzezinski D，Stefanowski J（2011），概念漂移数据流的精度更新集合。In：混合人工智能系统国际会议，pp 155-163
[20] Cattral，R。；Opacher，F。；Deugo，D.，带自动规则泛化的进化数据挖掘，最新高级计算计算通讯，1，1，296-300（2002）
[21] Cha、SH；斯里哈里，SN，《关于测量直方图之间的距离》，Pattern Recogn，35，6，1355-1370（2002）·Zbl 0997.68123号
[22] 查德威克，LE；Williams，CM，大气压力和成分对果蝇飞行的影响，Biol Bull，97，2115-137（1949）
[23] 南部乔杜里。；Motwani，R。；Narasayya，V.，关于连接的随机抽样，ACM SIGMOD记录，28，2，263-274（1999）
[24] 内华达州查拉；贾普科维奇，N。；Kotcz，A.，《从不平衡数据集学习的专题》，ACM SIGKDD Explor Newsl，6，1，1-6（2004）
[25] 陈，S。；He，H.，《非平稳不平衡数据流的增量学习：多重选择性递归方法》，Evol Syst，2，1，35-50（2011）
[26] 陈，Y。；为什么，A。；GEAPA巴蒂斯塔；Mafra-Neto，A。；Keogh，E.，使用廉价传感器对飞行昆虫进行分类，《昆虫行为杂志》，27，5，657-677（2014）
[27] Chen Y、Keogh E、Hu B、Begum N、Bagnall A、Mueen A、Batista GEAPA（2015）《UCR时间序列分类档案》。www.cs.ucr.edu/eamon/time_series_data/。2018年10月访问
[28] Cutwa MM，O'Meara GF（2006）佛罗里达常见蚊子摄影指南。佛罗里达大学佛罗里达医学昆虫学实验室
[29] Dasu T，Krishnan S，Venkatasubramanian S，Yi K（2006）检测多维数据流变化的信息理论方法。参加：统计、计算科学和应用接口研讨会
[30] Datar M、Gionis A、Indyk P、Motwani R（2002），在滑动窗口上维护流统计。摘自：ACM-SIAM离散算法研讨会，第635-644页·Zbl 1093.68673号
[31] 德姆萨尔，J。；Bosnic，Z.，《使用模型解释检测数据流中的概念漂移》，《专家系统应用》，92，546-559（2018）
[32] Ditzler，G。；Polikar，R.，从流不平衡数据中增量学习概念漂移，Trans Knowl data Eng，25，10，2283-2301（2013）
[33] Ditzler，G。；Roveri，M。；Alippi，C。；Polikar，R.，《非平稳环境中的学习：一项调查》，IEEE Comput Intell Mag，10，4，12-25（2015）
[34] Domingos，P.，《关于机器学习的一些有用知识》，Commun ACM，55，10，78-87（2012）
[35] Domingos P，Hulten G（2000）挖掘高速数据流。摘自：ACM SIGKDD知识发现和数据挖掘国际会议，第71-80页
[36] Dua D，Graff C（2017）UCI机器学习库。http://archive.ics.uci.edu/ml。2020年3月访问
[37] 染料，KB；卡波（Capo，R.）。；Polikar，R.，Compose:初始标记非平稳流数据的半监督学习框架，IEEE Trans Neural Netw Learn Syst，25，1，12-26（2014）
[38] 艾森，L。；Moore，CG，《美国大陆的埃及伊蚊：地理范围冷缘的媒介》，《医学昆虫杂志》，50，3467-478（2013）
[39] WJ Faithfull；罗德里格斯，JJ；Kuncheva，LI，组合单变量方法检测多元数据中的集合变化，Inf Fusion，45202-214（2019）
[40] 福塞特，T。；Flach，PA，对Webb和Ting关于ROC分析在不同类别分布下预测分类性能的应用的回应，Mach Learn，58，1，33-38（2005）·Zbl 1469.68082号
[41] Gama，J.，《数据流中的知识发现》（2010），伦敦：查普曼和霍尔/CRC出版社，伦敦·兹比尔1230.68017
[42] 贾马，J。；Gaber，M.，《从数据流中学习：传感器网络中的处理技术》（2007），柏林：施普林格出版社，柏林·兹比尔1153.68361
[43] 贾马，J。；塞巴斯蒂昂，R。；罗德里格斯，PP，《关于评估流学习算法》，《马赫学习》，90，3，317-346（2013）·Zbl 1260.68329号
[44] 贾马，J。；伊利奥贝特。；Bifet，A。；Pechenizkiy，M。；Bouchachia，A.，《概念漂移适应调查》，ACM Compute Surv，46，4，44（2014）·Zbl 1305.68141号
[45] Gama J、Medas P、Castillo G、Rodrigues P（2004）《漂移检测学习》。摘自：巴西人工智能研讨会，第286-295页·Zbl 1105.68376号
[46] Gama J，Medas P，Rodrigues P（2005）从动态数据流中学习决策树。In:ACM应用计算（SAC）研讨会，第573-577页
[47] Ganti V，Gehrke J，Ramakrishnan R（1999）测量数据特征变化的框架。附：ACM SIGMOD-SIGACT-SIGART数据库系统原理研讨会，第126-137页
[48] Gebru，A。；Jansson，S。；伊格内尔，R。；柯克比，C。；Prangsma，JC；Brydegaard，M.，用于确定飞行中蚊子的性别和种类的多波段调制光谱学，《生物光子杂志》，11，8，1-13（2018）
[49] Ghazikhani，A。；蒙塞菲，R。；Yazdi，HS，非平稳和不平衡数据流分类的递归最小二乘感知器模型，Evol-Syst，4，2，119-131（2013）
[50] Gilbert AC、Guha S、Indyk P、Kotidis Y、Muthukrishnan S、Strauss MJ（2002）用于近似直方图维护的快速小空间算法。摘自：ACM计算理论研讨会，第389-398页·Zbl 1192.68962号
[51] 戈登堡，I。；Webb，GI，《量化数字数据中概念漂移和转移的距离度量调查》，知识信息系统，60，591-615（2019）
[52] 戈梅斯，HM；Bifet，A。；里德，J。；巴德达尔，JP；Enembreck，F。；Pfharinger，B。；霍姆斯，G。；Abdessalem，T.，《进化数据流分类的自适应随机森林》，马赫学习，106，9-10，1469-1495（2017）·Zbl 06839933号
[53] Gonçalves，PM Jr；de Carvalho Santos，新加坡；巴罗斯，RS；Vieira，DC，概念漂移探测器的比较研究，Expert Syst Appl，41，1818144-8156（2014）
[54] González，P。；卡斯塔尼奥，A。；内华达州查拉；Coz，JJD，《量化学习综述》，ACM Compute Surv，50，5，74（2017）
[55] Gratz，N.，《白纹伊蚊媒介状态的批判性综述》，《兽医昆虫学》，18，3215-227（2004）
[56] Harries M（1999）《拼接2比较评估：电价》。澳大利亚悉尼新南威尔士大学技术报告1
[57] 哈里斯，MB；Sammut，C。；霍恩，K.，《提取隐藏上下文》，《马赫学习》，32，2，101-126（1998）·Zbl 0912.68163号
[58] Hoens，TR；波里卡尔，R。；内华达州Chawla，《从概念漂移和不平衡的流数据中学习：概述》，Prog Artif Intell，1，1，89-101（2012）
[59] Hotelling H（1992）学生比率的概括。收录：Kotz S，Johnson NL（eds）《统计学的突破：基础和基本理论》。纽约州施普林格，第54-65页
[60] Huang DTJ，Koh YS，Dobbie G，Pears R（2014）《数据流中波动性变化的检测》。摘自：IEEE数据挖掘国际会议（ICDM），第863-868页
[61] Hulten G，Spencer L，Domingos P（2001）挖掘时变数据流。In:ACM SIGKDD国际知识发现和数据挖掘会议（KDD），第97-106页
[62] 伊科诺莫夫斯卡，E。；贾马，J。；Dveroski，S.，《从不断演变的数据流中学习模型树》，data Min Knowl Disc，23，1，128-168（2011）·Zbl 1235.68158号
[63] Katakis，I。；Tsoumakas，G。；Banos，E。；北巴西利亚德斯。；Vlahavas，I.，《自适应个性化新闻传播系统》，《情报信息系统杂志》，第32期，第2期，第191-212页（2009年）
[64] Kelly MG、Hand DJ、Adams NM（1999）《人口变化对分类器性能的影响》。摘自：ACM SIGKDD知识发现和数据挖掘国际会议，第367-371页
[65] 基奥，E。；Kasetty，S.，《关于时间序列数据挖掘基准的必要性：调查和实证》，data Min Knowl Disc，7，4，349-371（2003）
[66] 卡马斯，I。；萨伊德·穆查韦，M。；Hammami，M。；Ghedira，K.，《关于进化数据流和概念漂移适应的讨论和评论》，《进化系统》，9，1，1-23（2018）
[67] Kifer D、Ben-David S、Gehrke J（2004）《检测数据流中的变化》。In:超大数据库（VLDB）国际会议，第180-191页
[68] Killourhy K，Maxion R（2010）为什么我的探测器会这样做？！摘自：入侵检测最新进展国际研讨会，第256-276页
[69] Klinkenberg，R.，《学习漂移概念：示例选择与示例权重》，《智能数据分析》，8，3，281-300（2004）
[70] Klinkenberg R，Joachims T（2000）用支持向量机检测概念漂移。In:机器学习国际会议（ICML），第487-494页
[71] Krawczyk，B。；明库，LL；贾马，J。；Stefanowski，J。；Wo Rozy niak，M.，数据流分析的集合学习：一项调查，Inf Fusion，37132-156（2017）
[72] Kull M，Flach P（2014），数据集转移模式。摘自：ECML-PKDD举办的第一次多情境学习国际研讨会，第1-10页
[73] Kuncheva LI，Sánchez JS（2008）用于具有延迟标记的流数据的最近邻分类器。摘自：IEEE数据挖掘国际会议（ICDM），第869-874页
[74] Kuncheva，LI，使用似然检测器检测流式多元数据中的变化，IEEE Trans-Knowl data Eng，25，5，1175-1180（2013）
[75] Linhart C、Harari G、Abramovich S、Buchris A（2009）《2009年PAKDD数据挖掘竞赛：使用已知方法的新方法》。摘自：太平洋-亚洲知识发现和数据挖掘会议，第99-105页
[76] Li R，Wang S，Deng H，Wang R，Chang KCC（2012）《面向社会用户分析：推断家庭位置的统一和歧视性影响模型》。参加：ACM SIGKDD知识发现和数据挖掘国际会议（KDD），第1023-1031页
[77] Losing V，Hammer B，Wersing H（2015）移动机器人障碍物分类的交互式在线学习。摘自：神经网络国际联合会议，第1-8页
[78] Losing V，Hammer B，Wersing H（2016）KNN分类器，具有针对异质概念漂移的自调整记忆。摘自：IEEE数据挖掘国际会议（ICDM），第291-300页
[79] Maletzke A、Reis DM、Cherman E、Batista GEAPA（2018）关于数据流类比不敏感漂移测试的需求。摘自：不平衡领域学习：理论与应用国际研讨会，第110-124页
[80] Maletzke A、Reis DM、Cherman E、Batista GEAPA（2019）DYS：混合模型量化框架。In:AAAI人工智能会议，第1-9页
[81] Manapragada C、Webb GI、Salehi M（2018）《极快决策树》。摘自：ACM SIGKDD知识发现和数据挖掘国际会议（KDD），第1953-1962页
[82] Masud MM，Gao J，Khan L，Han J，Thurasingham B（2009）《将新类检测与分类结合起来用于概念驱动数据流》。In:关于数据库中的机器学习和知识发现的欧洲联合会议（ECML），第79-94页
[83] Matias Y，Vitter J，Wang M（2000），小波直方图的动态维护。In：超大数据库国际会议，第101-110页
[84] 梅德洛克，JM；汉斯福德，KM；沙夫纳，F。；Versteirt，V。；亨德里克斯，G。；Zeller，H。；Bortel，WV，《欧洲入侵蚊子综述：生态学、公共卫生风险和控制选择》，媒介传播的Zoonot Dis，12，6，435-447（2012）
[85] Mellanby，K.，《湿度与昆虫代谢》，《自然》，138124-125（1936）
[86] Minku，法学博士；白色，AP；Yao，X.，《概念漂移下多样性对在线集成学习的影响》，IEEE Trans Knowl Data Eng，22，5，730-742（2010）
[87] 莫雷诺·托雷斯，JG；Raeder，T。；阿莱兹·罗德里格斯，R。；内华达州查拉；Herrera，F.，关于分类中数据集转移的统一观点，Pattern Recogn，45，1521-530（2012）
[88] Mousson，L。；Dauga，C。；加里格斯，T。；沙夫纳，F。；瓦泽耶，M。；Failloux，AB，基于线粒体DNA变异的埃及伊蚊和白纹伊蚊的系统地理学，Genet Res，86，1，1-11（2005）
[89] Narasimhamurthy AM，Kuncheva LI（2007）生成数据以模拟不断变化的环境的框架。In：国际多会议：人工智能与应用（IASTED），第384-389页
[90] Nishida K，Yamauchi K（2007）使用统计测试检测概念漂移。摘自：发现科学国际会议，第264-269页
[91] 哦，KJ；Kj，K.，使用分段非线性模型分析股市滴答数据，专家系统应用，22，3，249-255（2002）
[92] Page，ES，《连续检查计划》，Biometrika，41，1-2，100-115（1954）·Zbl 0056.38002号
[93] 潘，SJ；Yang，Q.，《迁移学习调查》，IEEE Trans Knowl Data Eng，22，10，1345-1359（2009）
[94] Paupy，C。；Delatte，H。；巴尼，L。；托贝尔，V。；Fontenille，D.，白纹伊蚊，一种虫媒病毒载体：从黑暗到光明，《微生物感染》，11，14-15，1177-1185（2009）
[95] Qi Y，Cinar GT，Souza VMA，Batista GEAPA，Wang Y，Principe JC（2015）使用具有最大相关熵准则的堆叠自动编码器进行有效昆虫识别。In:国际神经网络联合会议（IJCNN），第1-7页
[96] 基奥内罗·坎德拉，J。；杉山，M。；Schwaighofer，A。；劳伦斯，ND，《机器学习中的数据集转换》（2009），剑桥：麻省理工学院出版社，剑桥
[97] Ramamurthy S，Bhatnagar R（2007）使用集成分类器跟踪流数据中的反复概念漂移。In:机器学习和应用国际会议（ICMLA），第404-409页
[98] Reis DM、Maletzke A、Batista GEAPA（2018a），具有重复概念的数据流分类任务的无监督上下文切换。In:ACM应用计算（SAC）研讨会，第518-524页
[99] Reis DM、Flach P、Matwin S、Batista GEAPA（2016）使用增量Kolmogorov-Smirnov测试进行快速无监督在线漂移检测。摘自：ACM SIGKDD知识发现和数据挖掘国际会议（KDD），第1545-1554页
[100] Reis DM、Maletzke A、Silva DF、Batista G（2018b）使用循环上下文进行分类和计数。参加：ACM SIGKDD国际知识发现和数据挖掘会议（KDD），第1983-1992页
[101] 罗德里格斯·卢扬，I。；Fonollosa，J。；Vergara，A。；霍默，M。；Huerta，R.，《关于使用最少实验次数校准用于模式识别的传感器阵列》，《化学智能实验室系统》，130，123-134（2014）
[102] 罗斯，GJ；新墨西哥州亚当斯；丹麦塔苏利斯；Hand，DJ，用于检测概念漂移的指数加权移动平均图，Pattern Recogn Lett，33，2191-198（2012）
[103] Saenko K、Kulis B、Fritz M、Darrell T（2010）《将视觉类别模型应用于新领域》。参加：欧洲计算机视觉会议。施普林格，第213-226页
[104] Sarnelle J，Sanchez A，Capo R，Haas J，Polikar R（2015）量化有限和渐进的概念漂移假设。摘自：神经网络国际联合会议，第1-8页
[105] Schlimmer，JC；Granger，RH，从噪声数据进行增量学习，马赫学习，1，3，317-354（1986）
[106] 邵，J。；黄，F。；杨琼。；Luo，G.，《基于原型的数据流鲁棒学习》，IEEE Trans-Knowl data Eng，30，5，978-991（2018）
[107] Y.Shinkawa。；武田，SI；富冈，K。；松本，A。；Oda，T。；Chiba，Y.，《尖音库蚊复合体内昼夜活动模式的可变性》（双翅目：库蚊科），医学昆虫学杂志，31，1，49-56（1994）
[108] 席尔瓦，DF；VMA Souza；埃利斯，DPW；基奥，EJ；Batista，G.，《探索低成本激光传感器以识别飞行昆虫物种》，《智能机器人系统杂志》，80，1，313-330（2015）
[109] Sobolewski，P。；Wozniak，M.，《利用模拟递归和统计检测器集合进行概念漂移检测和模型选择》，《大学计算科学杂志》，19，4，462-483（2013）
[110] Souza VMA（2016）非平稳数据流分类及其在昆虫识别传感器中的应用。圣保罗大学博士论文
[111] Souza VMA、Silva DF、Batista G（2013）《应用于昆虫识别的数据流分类：初步结果》。In:巴西智能系统会议（BRACIS），第76-81页
[112] Souza VMA、Silva DF、Batista GEAPA、Gama J（2015a）《具有无限延迟标签的进化数据流分类》。In:机器学习和应用国际会议（ICMLA），第214-219页
[113] Souza VMA、Silva DF、Gama J、Batista GEAPA（2015b）非平稳环境和极端验证延迟上的聚类引导的数据流分类。In:SIAM国际数据挖掘会议（SDM），第873-881页
[114] Souza，VMA，《使用智能手机加速计和复杂度不变距离进行沥青路面分类》，Eng-Appl-Artif Intell，74，198-211（2018）
[115] VMA Souza；朱斯蒂（Giusti，R.）。；巴蒂斯塔、AJL、Asfault:使用智能手机和机器学习实时评估路面状况的低成本系统，《普及移动计算》，51，121-137（2018）
[116] Street WN，Kim YS（2001）用于大规模分类的流集合算法（sea）。In:ACM SIGKDD国际知识发现和数据挖掘会议（KDD），第377-382页
[117] Tavallaee M、Bagheri E、Lu W、Ghorbani AA（2009）《KDD cup 99数据集的详细分析》。摘自：IEEE安全与防御应用计算智能研讨会（CISDA），第1-6页
[118] Taylor，LR，《飞行中温度对昆虫影响的分析》，《动物生态学杂志》，32，1，99-117（1963）
[119] Tsymbal，A.，概念漂移问题：定义和相关工作，1-7（2004），都柏林：都柏林三一学院计算机科学系，都柏林
[120] Venkatasubramanian，V。；Rengaswamy，R。；卡武里，SN；Yin，K.，《过程故障检测与诊断综述：第三部分：基于过程历史的方法》，《计算化学工程》，27，3，327-346（2003）
[121] Vergara，A。；Vembu，S.公司。；Ayhan，T。；马萨诸塞州Ryan；霍默，马里兰州；Huerta，R.，《使用分类器集成的化学气体传感器漂移补偿》，Sens Actuator B:Chem，166，320-329（2012）
[122] 比利亚雷亚尔，SM；O.Winokur。；Harrington，L.，《温度和体型对蚊媒埃及伊蚊基本飞行音调变化的影响（双翅目：蚊科）：声诱饵的影响》，《医学昆虫杂志》，54，5，1116-1121（2017）
[123] Vreeken J、Van Leeuwen M、Siebes A（2007）《差异表征》。在：ACM SIGKDD国际知识发现和数据挖掘会议（KDD），第765-774页
[124] Wald，A.，序列分析（1947），霍博肯：威利·Zbl 0029.15805号
[125] 王，S。；Minku，法学博士；Yao，X.，《在线课堂不平衡学习与概念漂移的系统研究》，IEEE Trans Neural Netw Learn Syst，29，10，4802-4821（2018）
[126] Wang S，Minku LL，Yao X（2013）《在线课堂不平衡学习的学习框架》。摘自：IEEE计算智能和集成学习研讨会，第36-45页
[127] 韦伯，GI；Lee，LK；Goethals，B。；Petitjean，F.，从样本数据分析概念漂移和转移，data Min Knowl Disc，32，5，1179-1199（2018）
[128] Widmer，G。；Kubat，M.，《在概念漂移和隐藏背景下的学习》，《马赫学习》，第23、1、69-101页（1996年）
[129] 杨琼。；Wu，X.，《数据挖掘研究中的10个挑战性问题》，《国际科技期刊》，第5期，第4期，第597-604页（2006年）
[130] Zhu X（2010）流数据挖掘存储库。www.cse.fau.edu/xqzhu/Stream.html。2020年3月访问
[131] Zliobaite I（2010）延迟标记的变化：什么时候可以检测到？参见：IEEE数据挖掘研讨会国际会议（ICDMW），第843-850页
[132] Zliobaite I（2013）评估概念漂移适应的电力基准有多好。arXiv预打印arXiv:1301.3524
[133] Zliobaite，I.，结合概念漂移下训练集形成的时间和空间相似性，《智能数据分析》，15，4，589-611（2011）
[134] Zliobaite，I.，测试自适应学习模型的受控排列，知识信息系统，39，3，565-578（2014）
[135] 伊利奥贝特。；Bifet，A。；里德，J。；普法林格，B。；Holmes，G.，《具有时间相关性的流数据分类的评估方法和决策理论》，《马赫学习》，98，3，455-482（2015）·兹比尔1311.62094
[136] Zliobaite I，Kuncheva LI（2009）利用概念漂移确定小样本分类的训练窗口。参见：IEEE数据挖掘研讨会国际会议（ICDMW），第447-452页
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。