数据归一化方法综述

doi:10.3778/j.issn.1002-8331.2207-0179

摘要/摘要

摘要：当今，人工智能已经广泛应用到各个领域中，并取得了显著的效果。数据归一化是人工智能应用落地中的一个重要环节，它有助于避免神经网络因数据量纲的复杂性对数据进行错误建模。在大数据场景下，相当一部分数据是以流的形式先后到达训练点，所以在流场景下数据归一化研究是当前亟待解决的关键问题。目前关于归一化研究的综述较多，大多仅仅针对于批数据的归一化研究，而缺乏对流数据的归一化方法的总结，不具参考性。在批数据归一化研究基础之上，系统化整理并详尽分析了流数据归一化的相关文献，凝练提出了基于流数据的归一化分类方法，并将数据归一化方法划分为批数据的归一化方法和流数据的归一化方法。同时，对这些方法的原理、优势和可以解决的主要问题进行了对比分析，在不同场景下对数据归一化的未来研究方向进行了展望。

关键词: 归一化, 数据流, 深度学习, 数据挖掘

摘要：近年来，人工智能在各个领域得到了广泛的应用，并取得了显著的成果。数据规范化是人工智能应用实现的重要组成部分，有助于避免由于数据维度的复杂性而导致神经网络对数据的错误建模。在大数据场景中，一部分数据以流的形式依次到达训练点。因此，流场景下的数据规范化研究是一个亟待解决的核心问题。目前，对归一化研究的综述很多，其中大多数只关注批量数据的归一化，缺乏对流数据归一化方法的总结，信息量不大。本文系统、详尽地分析了基于批处理数据规范化的流数据规范化文献，浓缩并提出了一种基于流数据的规范化分类方法，并将数据规范化方法分为批处理数据标准化方法和流数据标准化方法。同时，本文对这些方法的原理、优点以及可以解决的主要问题进行了比较分析。最后，展望了不同场景下数据规范化的未来研究方向。

关键词： 标准化，数据流，深度学习，数据挖掘

杨寒雨, 赵晓永, 王磊. 数据归一化方法综述[J] ●●●●。计算机工程与应用, 2023, 59(3): 13-22.

杨汉玉、赵晓勇、王磊。数据规范化方法综述[J]。计算机工程与应用，2023,59（3）：13-22。

参考文献

[1] 黄灿，黄毅.基于物联网大数据的轨道交通信号运维信息融合预警[J]。《可持续计算：信息与系统》，2022,35。
[2] 周宇，曹英楠，王永超.面向大数据的数据处理与分析算法综述[J] ●●●●。南京航空航天大学学报，2021，53（5）：664-676.
周毅，曹永恩，王永川.大数据的数据处理和分析算法概述[J]。南京航空航天大学学报，2021,53（5）：664-676。
[3] 罗S，丁C，程赫，等.基于深度神经网络的致密油藏压裂水平井最终采收率预测[J]。地球能源研究进展，2022,6（2）：111-122。
[4] 肖志伟，冈文杰，袁建清，等.数据预处理和选择对基于深度学习的暖通空调系统能耗预测模型的影响[J]。能源与建筑，2022258。
[5] JO J M.大数据归一化预处理对机器学习性能的有效性[J]。韩国电子通信科学研究所学报，2019,14（3）：547-552。
[6] GARCíA S，LUENGO J，HERRERA F.数据挖掘中的数据预处理[M]。瑞士查姆：施普林格国际出版公司，2015年。
[7] RENUKADEVI P，RAJIV KANNAN A.基于深度学习的半二项式分布猫群优化预测新冠肺炎[J]。计算机系统科学与工程，2023,44（1）：629-645。
[8] IOFFE S，SZEGEDY C.批量规范化：通过减少内部协变量偏移加速深层网络训练[C]//国际机器学习会议，2015:448-456。
[9] LANJEWAR M G，PARATE R K，PARAB J S.用于甲状腺功能减退早期检测的机器学习方法[M]//用于医疗保健的人工智能应用。[S.l.]：CRC出版社，2022:91-108。
[10] PAN J，ZHUANG Y，FONG S.数据归一化对股市预测的影响：使用SVM和技术指标[C]//数据科学中的软计算国际会议。新加坡：Springer，2016:72-88。
[11] JAN A K，DOUGLAS M.用于深度学习的代谢组学数据预处理方法的综合评估[J]。代谢物，2022,12（3）。
[12] 唐C，徐毅，朱强。数据规范化改进了语义标注——罕见疾病名称标注的案例研究[C]//2021 IEEE生物信息学和生物医学国际会议，2021:2609-2611。
[13] RAHM E，DO H H.数据清理：问题和当前方法[J]。IEEE数据工程公告，2000,23（4）：3-13。
[14] BA L J，KIROS J R，HINTON G E.图层归一化[J].arXiv:1607.064502016。
[15] 乌利亚诺夫·D，VEDALDI A，LEMPITSKY V S.实例规范化：快速风格化的缺失成分[J].arXiv:1607.080222016。
[16] 王岩.深度神经网络的归一化技术研究[D] ●●●●。南京：南京邮电大学，2019：1179-1185.
王毅。深度神经网络归一化分析[D]。南京：南京邮电大学，2019:1179-1185。
[17] MEDEIROS D S V，CUNHA NETO H N，LOPEZ M A，等.大规模无线网络数据分析综述：在线流处理、趋势与挑战[J]。《互联网服务与应用杂志》，2020,11（1）。
[18] 詹敏，廖志高，徐玖平.线性无量纲化方法比较研究[J] ●●●●。统计与信息论坛，2016，31（12）：17-22.
ZHAN M，LIAO Z G，XU J P，等.线性无量纲方法的特征分析[J]。统计与信息杂志，2016,31（12）：17-22。
[19] 郭亚军，易平涛.线性无量纲化方法的性质分析[J] 《中国科学院学报》，2008,25（2）：93-100。
郭永杰，YI P T.线性无量纲方法的特征分析[J]。统计研究，2008,25（2）：93-100。
[20] 郑宏宇，邓银燕，贺瑞缠.综合评价中数据变换方法的选择[J] ●●●●。纯粹数学与应用数学，2010，26（2）：319-324.
郑海毅，邓永毅，何瑞川.关于多目标综合评价中目标无量纲方法的选择[J]。《纯粹与应用数学》，2010,26（2）：319-324。
[21]PANDA S K，NAG S，JANA P K。异构多云环境下基于平滑的任务调度算法[C]//2014并行、分布式和网格计算国际会议，2014:62-67。
[22]PANDA S K，JANA P K。异构多云环境下的高效任务调度算法[J]。超级计算杂志，2015,71（4）：1505-1533。
[23]PANDA S K，JANA P K.异构多云环境下的多目标任务调度算法[C]//2015电子设计、计算机网络与自动验证国际会议，2015:82-87。
[24]PATRO S G K，SAHU K K。归一化：预处理阶段[J].arXiv:1503.064622015。
[25]小W A.大脑中持续状态的存在[J]。数学生物科学，1974，19（1/2）：101-120。
[26]LITTLE WA，SHAW G L.神经网络存储容量的分析研究[J]。数学生物科学，1978,39（3/4）：281-290。
[27]HUANG K H，FU Y F，LEE Y T等。A-HA：酒店推荐的混合方法[C]//ACM推荐系统挑战研讨会论文集，2019:1-5。
[28] 郭亚军，宫诚举，李伟伟，等.基于反三角函数的非线性预处理方法[J] 系统工程，2017,35（7）：53-57。
郭永杰，龚春杰，李文伟，等.基于反三角函数的非线性预处理方法[J]。系统工程，2017,35（7）：53-57。
[29]KALMAN B L，KWASNY S C.Why tanh:Selecting a sigmoid function[C]//Proceedings International Joint Conference on Neural Networks，1992:578-581。
[30]张素生，刘建伟，邹X，等.基于自动编码器的在线深度学习[J]。应用情报，2021年。
[31]WU Y，HE K.Group normalization[C]//《欧洲计算机视觉会议论文集》，2018:3-19。
[32]罗平，任杰，彭子正，等.可切换归一化的微分学习到归一化[J].arXiv:1806。10779，2018.
[33]SINGH S，KRISHNAN S.滤波器响应归一化层：消除深度神经网络训练中的批依赖[C]//IEEE/CVF计算机视觉和模式识别会议论文集，2020:11237-11246。
[34]PYLE D.数据挖掘的数据准备[M]。【S.l.】：摩根·考夫曼，1999年。
[35]ZLIOBAITE I，GABRYS B.流数据的自适应预处理[J]。IEEE知识与数据工程汇刊，2012,26（2）：309-321。
[36]HU H，KANTARDZIC M.智能预处理改进了数据流挖掘[C]//2016第49届夏威夷国际系统科学会议（HICSS），2016:1749-1757。
[37]SAHEED Y K，ABIODUN A I，MISRA S，et al.一种基于机器学习的入侵检测方法，用于检测物联网网络攻击[J]。亚历山大工程杂志，2022,61（12）：9395-9409。
[38] 陈玉平，刘波，林伟伟，等.云边协同综述[J] 阿联酋，2021,48（3）：259-268。
陈永平，刘斌，林文伟，等.云计算技术协作研究[J]。计算机科学，2021,48（3）：259-268。
[39]LOPEZ M A，MATTOS D M F，DUARTE O C M B，等.一种快速的无监督网络监测预处理方法[J]。电信年鉴，2019,74（3）：139-155。
[40]GUPTA V，HEWETT R.流数据自适应归一化[C]//2019年第三届国际大数据研究会议论文集，2019:12-17。
[41]GUPTA V.利用人工智能技术进行大数据流分析[D]。卢伯克：德克萨斯理工大学，2019年。
[42] 张友浩，赵鸣，徐梦瑶，等.时序数据挖掘的预处理研究综述[J] ●●●●。智能计算机与应用，2021，11（1）：74-78.
张永和，赵敏，徐敏英，等。时间序列数据挖掘预处理研究综述[J]。智能计算机与应用，2021,11（1）：74-78。
[43]GUPTA M，WADHVANI R，RASOOL A.实时变化点检测：基于深度神经网络的自适应方法，用于检测多元时间序列数据的变化[J]。应用专家系统，2022209。
[44]PASSALIS N，TEFAS A，KANIAINEN J等。用于时间序列预测的深度自适应输入归一化[J]。IEEE神经网络和学习系统汇刊，2019,31（9）：1-6。
[45]OGASAWARA E，MARTINEZ L C，DE OLIVEIRA D，等.自适应归一化：一种新的非平稳时间序列数据归一化方法[C]//2010年神经网络国际联合会议，2010:1-8。
[46]GIAO B C，ANH D T。支持数据规范化的动态时间扭曲下多个时间序列流上数字模式的相似性搜索[J]。越南计算机科学杂志，2016,3（3）：181-196。
[47]SAKURAI Y，FALOUTSOS C，YAMAMURO M.时间扭曲距离下的流监测[C]//2007 IEEE第23届国际数据工程会议，2007:1046-1055。
[48]GONG X，SI Y W，FONG S，et al.NSPRING：支持归一化的SPRING子序列匹配时间序列流[C]//2014 IEEE第15届计算智能与信息学国际研讨会，2014:373-378。