自动语音辨识对抗攻击和防御技术综述

doi:10.3778/j.issn.1002-8331.2202-0196

摘要/摘要

摘要：语音辨识技术是人机交互的重要方式。随着深度学习的不断发展，基于深度学习的自动语音辨识系统也取得了重要进展。然而，经过精心设计的音频对抗样本可以使得基于神经网络的自动语音辨识系统产生错误，给基于语音辨识系统的应用带来安全风险。为了提升基于神经网络的自动语音辨识系统的安全性，需要对音频对抗样本的攻击和防御进行研究。基于此，分析总结对抗样本生成和防御技术的研究现状，介绍自动语音辨识系统对抗样本攻击和防御技术面临的挑战和解决思路。

关键词: 自动语音辨识, 深度学习, 对抗攻击, 对抗防御

摘要：语音识别技术是一种重要的人机交互方式。随着深度学习的不断发展，基于深度学习的语音自动识别系统也取得了重要进展。然而，在基于神经网络的自动语音识别系统中，设计良好的音频对抗示例会导致错误，并给组合语音识别系统的应用带来安全风险。为了提高基于神经网络的自动语音识别系统的安全性，有必要对音频对抗实例的攻击和防御进行研究。首先，分析总结了对抗性示例生成与防御技术的研究现状。然后介绍了自动语音识别系统音频对抗实例的攻击和防御技术以及相关的挑战和解决方案。

关键词： 自动语音识别，深度学习，对抗性攻击，对抗性防御

李克资, 徐洋, 张思聪, 闫嘉乐. 自动语音辨识对抗攻击和防御技术综述[J] ●●●●。计算机工程与应用, 2022, 58(14): 1-15.

李克孜、徐阳、张思聪、颜嘉乐。语音自动识别对抗性示例攻击与防御技术综述[J]。计算机工程与应用，2022，58（14）：1-15。

参考文献

[1] VACHER M，SERIGNAT J F，CHAILLOL S.智能房间环境中的声音分类：使用GMM和HMM方法的方法[C]//第四届IEEE语音技术和人机对话会议（SpeD 2007），2007:135-146。
[2] BANSAL P，KANT A，KUMAR S，等.语音识别HMM/GMM改进混合模型[J]。技术与应用，2008:69。
[3] 邹Q，NI L，王强，等.集成惯性和RGBD传感器的鲁棒步态识别[J]。IEEE Trans-Cybern，2018,48（4）：1136-1150。
[4] SZEGEDY C，LIU W，JIA Y，等.卷积深入研究[C]//IEEE计算机视觉与模式识别会议论文集，2015:1-9。
[5] 何凯，张欣，任S，等。图像识别中的深度剩余学习[C]//IEEE计算机视觉与模式识别会议论文集，2016:770-778。
[6] POVEY D，GHOSHAL A，BOULIANNE G，et al.卡尔迪语音识别工具包[C]//IEEE 2011自动语音识别与理解研讨会，2011。
[7] 韩南A，CASE C，CASPER J，等。深度语音：端到端语音识别的扩展[J].arXiv:1412.55672014。
[8] SU J，VARGAS D V，SAKURAI K。愚弄深层神经网络的单像素攻击[J]。IEEE进化计算汇刊，2019,23（5）：828-841。
[9] 谢C，王杰，张泽，等.语义分割和对象检测的对抗性示例[C]//IEEE国际计算机视觉会议论文集，2017:1369-1378。
[10] 宋丹，伊霍尔特·K，EVTIMOV I，等.目标探测器的物理对抗示例[J].arXiv:1807.077692018。
[11] REN S，DENG Y，HE K，等.利用概率加权词显著性生成自然语言对抗性示例[C]//计算语言学协会第57届年会论文集，2019:1085-1097。
[12] VAIDYA T，ZHANG Y，SHERR M，et al.可卡因面条：利用人类和机器语音识别之间的差距[C]//9 USENIX进攻性技术会议，2015。
[13] CARLINI N，MISHRA P，VAIDYA T，et al.隐藏语音命令[C]//第25届USENIX安全研讨会论文集（SEC'16），2016:513-530。
[14] 张刚，阎C，季X，等.海豚袭击：听不见的语音命令[C]//2017 ACM SIGSAC计算机与通信安全会议论文集，2017:103-117。
[15] SONG L，MITTAL P.无法听到的语音命令[C]//2017 ACM SIGSAC计算机和通信安全会议，2017。
[16] ROY N，HASSANIEH H，CHOUDHURY R R.后门：让麦克风听到听不见的声音[C]//2017年第15届国际年会。
[17] 袁世杰，陈永X，赵毅，等.指挥官松：一种实用对抗语音识别的系统方法[J].arXiv:1801.085352018。
[18] CARLINI N，WAGNER D.音频对抗性示例：针对语音到文本的攻击[C]//2018 IEEE安全和隐私研讨会（SPW），2018:1-7。
[19] ALZANTOT M、BALAJI B、SRIVASTAVA M。你听到了吗？反对自动语音识别的反面例子[J].arXiv:1801.005542018。
[20] SAINATH T N，PARADA C.用于小足迹关键词识别的卷积神经网络[C]//国际语音通信协会第十六届年会，2015。
[21]TAORI R，KAMSETTY A，CHU B，et al.黑匣子音频系统的心理声学问题[C]//2019 IEEE安全与隐私研讨会（SPW），2019:15-20。
[22]KHARE S，ARALIKATTE R，MANI S.使用多目标进化优化的自动语音识别系统的对抗性黑匣子攻击[C]/Interspeech 20192019。
[23]郭C，RANA M，CISSE M，et al.使用输入转换对抗对手图像[C]//国际学习表征会议，2018。
[24]LIN J，GAN C，HAN S.防御量化：当效率满足稳健性时[C]//学习表征国际会议，2018年。
[25]梁斌，李华，苏梅，等.基于自适应降噪的深度神经网络对抗图像检测[J]。IEEE可靠和安全计算汇刊，2021,18（1）：72-85。
[26]GOODFELLOW I J，SHLENS J，SZEGEDY C.解释和利用对抗性示例[J].arXiv:1412.65722014。
[27]PAPERNOT N，MCDANIEL P，WU X，et al.蒸馏作为对抗深度神经网络的对抗性扰动的防御[C]//2016 IEEE安全与隐私研讨会（SP），2016:582-597。
[28]MOOSAVI-DEZFOOLI S M，FAWZI A，FAWZ O，et al.通用对抗扰动[C]//IEEE计算机视觉与模式识别会议论文集，2017:1765-1773。
[29]MOOSAVI-DEZFOOLI S M，FAWZI A，FROSSARD P.Deepfool:愚弄深层神经网络的简单准确方法[C]//IEEE计算机视觉和模式识别会议论文集，2016:2574-2582。
[30]VADILLO J，SANTANA R.语音命令分类中的通用对抗示例[J].arXiv:1911.101822019。
[31]ABDOLI S，HAFEMANN L G，RONY J，等.通用对抗性音频扰动[J].arXiv:1908.031732019。
[32]罗尼·J，哈夫曼·L·G，奥利维拉·L·S，等.基于梯度的高效二级对抗性攻击与防御的解耦方向与准则[J]。2018年IEEE/CVF计算机视觉与模式识别会议。
[33]NEEKHARA P，HUSSAIN S，PANDEY P，等.语音识别系统的通用对抗扰动[J].arXiv:1905.038282019。
[34]YU J L，BO L.归一化的levenshtein距离我-
图[J]。IEEE模式分析和机器智能汇刊，2007,29（6）：1091-1095。
[35]卢Z，韩伟，张勇，等.探索端到端asr模型的目标通用对抗扰动[J].arXiv:2104.027572021。
[36]CHAN W，JAITLY N，LE Q，et al.听、会、拼：一种用于大词汇量会话语音识别的神经网络[C]//2016 IEEE声学、语音和信号处理国际会议（ICASSP），2016:4960-4964。
[37]GRAVES A，FERNáNDEZ S，GOMEZ F，et al.连接主义时间分类：用递归神经网络标记未分段序列数据[C]//第23届国际机器学习会议论文集，2006:369-376。
[38]GRAVES A.递归神经网络的序列转导[J].arXiv:121.37112012。
[39]王德华，董磊，王瑞，等.基于生成性对抗网络的目标语音对抗示例生成[J]。IEEE接入，2020,8:124503-124513。
[40]谢毅，李忠，史C，等.利用生成模型实现快速通用的音频对抗攻击[C]//《AAAI人工智能会议论文集》，2021:14129-14137。
[41]王毅，姚H，赵S.基于自动编码器的维数约简[J]。神经计算，2016184:232-242。
[42]GOODFELLOW I，POUGET-ABADIE J，MIRZA M，et al.生成对抗网络[C]//神经信息处理系统的进展，2014。
[43]YAKURA H，SAKUMA J.物理攻击的鲁棒音频对抗示例[J].arXiv:1810.117932018。
[44]ATHALYE A，ENGSTROM L，ILYAS A，et al.综合强大的对抗性示例[C]//国际机器学习会议，2018:284-293。
[45]QIN Y，CARLINI N，COTTRELL G，et al.用于自动语音识别的不可感知、鲁棒和目标对抗示例[C]//国际机器学习会议，2019:5231-5240。
[46]SCHEIBLER R，BEZZAM E，DOKMANIC I.Pyroomacoustics：用于音频室模拟和阵列处理算法的python包[C]//2018 IEEE声学、语音和信号处理国际会议（ICASSP），2018:351-355。
[47]SZURLEY J，KOLTER J Z.基于感知的对抗性音频攻击[J].arXiv:1906.063552019。
[48]SCH？NHERR L，EISENHOFER T，ZEILER S等。Imperio:自动语音识别系统的鲁棒空中对抗性示例[C]//年度计算机安全应用会议，2020:843-855。
[49]CHEN T，SHANGUAN L，LI Z，et al.变形：将听不见的命令注入空中语音控制系统[C]//NDSS会议记录，2020。
[50]刘X，万K，丁毅，等.加权采样音频对抗性示例攻击[J]。AAAI人工智能会议记录，2020，34（4）：4908-4915。
[51]ESMAEILPOUR M，CARDINAL P，KOERICH A L.走向稳健的语音对文本对抗攻击[J].arXiv:2103。
08095，2021.
[52]SHEN J，NGUYEN P，WU Y，et al.Lingvo:一个用于序列到序列建模的模块化和可扩展框架[J].arXiv:1902.082952019。
[53]SCH？NHERR L，KOHLS K，ZEILER S，等.通过心理声学隐藏对自动语音识别系统的对抗性攻击[J].arXiv:1808.056652018。
[54]RUDIN L I，OSHER S，FATEMI E.基于非线性总变分的噪声去除算法[J]。《物理学D：非线性现象》，1992年，60:259-268。
[55]MURATA T，ISHIBUCHI H.Moga：多目标遗传算法[C]//IEEE进化计算国际会议，1995:289-294。
[56]DEB K，PRATAP A，AGARWAL S，等.一种快速的精英多目标遗传算法：NSGA-II[J]。IEEE进化计算汇刊，2002,6（2）：182-197。
[57]ABDULLAH H，GARCIA W，PEETERS C，等.针对语音和说话人识别系统的实用隐藏语音攻击[J].arXiv:1904.057342019。
[58]陈毅，袁X，张杰，等.恶魔的窃窃私语：针对商业黑匣子语音识别设备的物理对抗性攻击的一般方法[C]//29届USENIX安全研讨会，2020:2667-2684。
[59]ISHIDA S，ONO S.黑盒条件下基于进化多目标优化的语音识别中无需调整的对抗性示例生成[J]。人工生命与机器人，2021,26（2）：243-249。
[60]MADRY A，MAKELOV A，SCHMIDT L，et al.迈向对抗性攻击的深度学习模型[C]//学习代表国际会议，2018。
[61]SUN S，YEH C F，OSTENDORF M，et al.使用对抗性示例进行训练增强，以实现鲁棒语音识别[C]//Interspeech 20182018。
[62]HINTON G，VINYALS O，DEAN J.在神经网络中提取知识[J].arXiv:1503.025312015。
[63]DAS N，SHANBHOGUE M，CHEN S T，et al.慢板：对抗性音频攻击和防御的交互式实验[C]//欧洲会议，ECML PKDD 2018，爱尔兰都柏林，2018年9月10日至14日。
[64]LATIF S，RANA R，QADIR J.对抗性机器学习和语音情感识别：利用生成性对抗网络实现鲁棒性[J].arXiv:1811.114022018。
[65]ESMAEILPOUR M，CARDINAL P，KOERICH A L.针对端到端语音攻击的分类条件防御GAN[C]//ICASSP 2021-2021 IEEE声学、语音和信号处理国际会议（ICASSP），2021:2565-2569。
[66]ESMAEILPOUR M，CARDINAL P，KOERICH A L.保护音频分类免受对手攻击的稳健方法[J]。IEEE信息取证与安全事务，2019,15:2147-2159。
[67]TAMURA K，OMAGARI A，HASHIDA S。针对语音到文本转录神经网络音频对抗示例的新型防御方法[C]//2019 IEEE第11届计算智能与应用国际研讨会（IWCIA），2019:115-120。
[68]YANG C H，QI J，CHEN P Y，et al.使用自关注u-net增强功能表征语音对抗示例[C]//ICASSP 2020-2020 IEEE声学、语音和信号处理国际会议，2020:3107-3111。
[69]RAJARATNAM K，SHAH K，KALITA J.针对自动语音识别检测对手示例的孤立和集成音频预处理方法[C]//计算语言学和语音处理会议（ROCLING），2018年。
[70]SAMIZADE S，TAN Z H，SHEN C，等.基于分类的深度语音识别对抗性示例检测[C]//ICASSP 2020-2020 IEEE声学、语音和信号处理国际会议，2020:3102-3106。
[71]ZENG Q，SU J，FU C，et al.检测音频对抗示例的多版本编程启发方法[C]//2019第49届IEEE/IFIP可靠系统和网络国际会议，2019年。
[72]RAJARATNAM K，KALITA J.针对自动语音识别检测音频对抗示例的噪声淹没[C]//2018 IEEE信号处理与信息技术国际研讨会（ISSPIT），2018。
[73]KWON H，YOON H，PARK K W.海报：通过音频修改检测音频对抗示例[C]//2019年ACM SIGSAC计算机和通信安全会议论文集，2019:2521-2523。
[74]YANG Z，CHEN P Y，LI B，et al.使用时间依赖表征音频对抗性示例[C]//2019年第七届学习表征国际会议。
[75]MA P，PETRIDIS S，PANTIC M.检测视听语音识别中的对手攻击[J].arXiv:1912.086392019。
[76]刘永平，陈晓阳，刘C，等.探究可转移的对抗性示例和黑盒攻击[C]//国际学习代表大会，2017。
[77]CISSE M，ADI Y，NEVEROVA N，等.胡迪尼：愚弄深层结构预测模型[J].arXiv:1707.053732017。
[78]AMODEI D，ANANTHANARAYANAN S，ANUBHAI R，et al.深度语音2:英语和汉语端到端语音识别[C]//国际机器学习会议，2016:173-182。
[79]KREUK F，ADI Y，CISS′E M等。用对抗性例子进行端到端说话人验证[C]//IEEE国际声学、语音和信号处理会议，2018:1962-1966。
[80] 董胤蓬，苏航，朱军.面向对抗样本的深度神经网络可解释性分析[J] 《报告》，2022,48（1）：75-86。
董永平，苏赫，朱洁.深层神经网络的可解释性分析与对抗性实例[J]。自动化学报，2022,48（1）：75-86。
[81]胡S，尚X，秦Z，等.自动语音识别的对抗性示例：攻击与对策[J]。IEEE通信杂志，2019，57（10）：120-126。
[82]ABDULLAH H，WARREN K，BINDSCHAEDLER V，et al.SoK:我们的ASR中的故障：对自动语音识别和说话人识别系统的攻击概述[C]//2021 IEEE安全与隐私研讨会（SP），2021:730-747。
[83] 刘会，赵波，郭嘉宝，等.针对深度学习的对抗攻击综述[J] .《雷击报》，2021,8（2）：202-214。
刘华，赵斌，郭建斌，等。深度学习中的对抗性攻击研究[J]。密码研究杂志，2021,8（2）：202-214。
[84] 潘文雯，王新宇，宋明黎，等.对抗样本生成技术综述[J] 《报告》，2020,31（1）：67-81。
潘文伟，王晓英，宋美林，等.对抗性示例生成研究[J]。软件杂志，2020,31（1）：67-81。
[85] 张思思，左信，刘建伟.深度学习中的对抗样本问题[J] .《经济评论》，2019,42（8）：1886-1904。
张思思，邹X，刘建伟.深度学习中的对抗性示例问题[J]。中国计算机学报，2019,42（8）：1886-1904。
[86] 张树栋，高海昌，曹曦文，等.针对语音识别系统的快速有目标自适应对抗攻击[J] ●●●●。西安电子科技大学学报，2021，48（1）：168-175.
张世德，高慧聪，曹晓伟，等.语音识别中的自适应快速目标对抗攻击[J]。西电大学学报，2021,48（1）：1886-1904。
[87] 王曙燕，金航，孙家泽.GAN公司图像对抗样本生成方法[J] ●●●●。计算机科学与探索，2021，15（4）：702-711.
王世英，金赫，孙建中.基于GAN的图像对抗样本生成方法[J]。计算机科学与技术前沿杂志，2021,15（4）：702-711。
[88] 陈晋音，叶林辉，郑海斌，等.面向语音识别系统的黑盒对抗攻击方法[J] ●●●●。小型微型计算机系统，2020，41（5）：1019-1029.
陈建业，叶丽华，郑海波，等.语音识别系统的黑盒对抗攻击[J]。中国计算机系统杂志，2020,41（5）：1019-1029。