跳到主要内容

基于通信图的物联网僵尸网络攻击检测

摘要

入侵检测系统被提出用于检测僵尸网络攻击。已经提出了各种类型的集中式或分布式基于云的机器学习和深度学习模型。然而,物联网(IoT)的出现带来了互联设备的巨大增长,需要一种不同的方法。在本文中,我们建议在物联网边缘设备上执行检测。建议的体系结构包括物联网边缘设备应用层中的异常入侵检测系统,该系统布置在软件定义的网络中。物联网边缘设备从软件定义的网络控制器请求有关其在网络中的行为的信息。这种行为由通信图表示,对于物联网网络来说是新颖的。这种表示比传统的网络流量分析更好地表征了设备的行为,具有更低的信息量。使用IoT-23数据集模拟了僵尸网络攻击场景。实验结果表明,使用深度学习模型检测攻击具有较高的准确性,该模型具有较低的设备内存需求和显著的训练存储减少。

图形摘要

介绍

从战略角度来看,网络安全是必要的。网络安全公司的报告显示,网络攻击数量每年都在增加。2022年全球网络攻击与2021年相比增加了38%(检查点2023). 多用途恶意软件(僵尸网络和银行木马的一类)占所有攻击的32%。

物联网(IoT)的日益增长的兴趣和不断发展加强了数据和设备的增长。物联网广泛应用于工业生产和社会领域,在便利性、效率和可访问性方面具有显著优势。然而,它的漏洞导致了严重的安全和隐私威胁(Zhou等人。2019).

物联网设备为特定目的收集数据。它们用于温度控制、家庭访问控制、生物特征测量、质量控制、工业过程安全以及许多其他应用。这些数据通常存储在本地网络或云中托管的服务器上。数据可能是机密的,其更改可能会导致损坏。

物联网设备通常安全性较差,容易被用作入侵其所连接系统的后门。这可能会由于数据更改或丢失而导致信息接收受阻。此外,他们可以被招募用于僵尸网络,并积极参与网络攻击。

目前,物联网设备在医疗、工业和军事领域的集成需要更复杂的安全机制,以防止信息被盗并减轻物质和物理损坏。

物联网网络的当前防线是基于机器学习技术的入侵检测系统(IDS),因为这些网络的特定特征:全球连通性、有限的能量和带宽以及异构性(Thakkar和Lohiya2019). IDS对网络流量进行分类,并识别异常模式。通常,他们分析网络中的数据流以检测各种攻击。然而,基于流的方法通常会导致计算开销,并且不能完全捕获通信特征(Daya等人。2019). 网络通信图(CGN)克服了这些限制,是一种在不损害数据机密性的情况下确定连接设备行为的替代方法,因为它们是从控制信息中提取的。因此,通信图分析受到了关注。在这一研究领域,软件定义网络(SDN)通过将通信分离为数据平面和控制平面提供了主要优势。这提高了安全性和网络管理(Sarica和Angin2020)而且还通过通信图简化了行为的表示。

我们提出了一种集成到软件定义网络中的异常入侵检测系统(AIDS)的架构。它使用堆叠的自动编码器对网络上物联网边缘设备的行为进行分类。这种深度学习技术适用于不平衡数据集,例如为僵尸网络检测收集的数据集。此外,研究表明在物联网边缘设备上运行自动编码器的可行性(Luo和Nagarajan2018)尽管计算能力有限。

此深度学习模型托管在物联网边缘设备的应用层中,单独评估其在网络上的行为。每个设备定期扫描其由SDN控制器提供的网络通信图。该系统有一个专用的决策服务器,负责根据预测采取行动。此外,服务器定期重新训练模型,使其适应正常网络流量的演变。

实现了一个基于堆叠自动编码器的模型,无需监督。它具有较低的计算要求,并得到物联网边缘设备的支持。结果与文献中常见的结果相似,但计算资源的使用有所减少。由于训练和检测数据集用于表示网络行为的特征和项目较少,因此生成的CGN文件比原始流量数据集更小。

我们的主要贡献总结如下:

  • 我们提出了一种新的僵尸网络攻击防御方法,该方法通过物联网设备网络流的CGN进行训练。攻击检测过程由边缘设备执行,从而分配计算成本。培训和检测只需要控制信息,以避免违反保密性。

  • 我们发现,CGN减少了从深度和参数较低的深度学习模型中学习网络良性行为所需的存储空间和特征,从而在检测恶意攻击时获得了较高的准确性。此优化允许在边缘设备上执行检测。

  • 我们针对六种流行的恶意软件评估了该模型。我们的实验表明,它的性能符合当前的技术水平。

本文的其余部分组织如下:“目前技术水平“,我们对本文主题的相关工作和最新进展进行了回顾;在第节”目标和方法“,我们描述了研究目标和采用的方法;在第节”贡献“,我们解释了在物联网边缘设备上检测僵尸网络攻击的拟议架构和模型;在第节”评价“,我们展示了实验中取得的结果;在第节”讨论“,我们分析并讨论了模型的有效性;并在第节中”结论”,我们总结了我们的结论。

目前技术水平

通信网络是一组能够相互交换信息的自主操作计算机(Tanenbaum和Wetherall2011). 该定义可以扩展到包括物联网边缘设备。

安全模式

有三个主要的安全目标:网络可用性、信息完整性和机密性(Lu等人。2010). 不同的安全模式用于检测和缓解恶意攻击,如IDS和SDN。最新趋势将这两种模式结合在一起。

IDS是一个自动检测过程,用于监视系统上的事件并查找入侵迹象(Hung-Jen Liao等人。2013). 它以不同于传统防火墙的方式分析流量,找出识别流量异常的特征。IDS可分为两大类(Khraisat等人。2019):(i)签名IDS搜索通过网络传输的数据中以前编目的模式;然而,这些系统的效率越来越低。(ii)艾滋病使用机器学习技术检测网络学习行为的差异。攻击者必须了解正常行为以避免被检测到。

SDN是一种能够设计、实现和管理通信网络的范式,其中控制和数据流被分离到两个不同的平面(Benzekki等人。2016). 控制平面是集中式的,负责制定路由决策和管理网络的逻辑拓扑。数据平面负责根据控制平面的策略传输数据。

它有三层结构(Sarica和Angin2020)(图。1):(i)应用程序:承载应用程序,如IDS,与控制器通信;(ii)控制:包含管理网络概述和路由策略的控制器;(iii)基础设施:将从控制器收到的策略应用于路由设备。

图1
图1

SDN体系结构中的层和攻击向量

SDN能够更好地防范某些类型的攻击(Shinan等人。2021)然而,由于集中式网络管理,控制器是故障的易受攻击点(Ahmed等人。2015).

物联网网络安全

物联网网络包括传感器、执行器、计算节点、接收器和通信器等组件。物联网网络有三个不同的层(霍罗和萨达纳2012; 赵戈2013):(i)应用程序,提供多种可见服务;(ii)感知、收集和发送信息;和(iii)网络协议。

物联网网络的安全要求不同于传统网络。Alaba等人。(2017)提出了与物联网网络安全相关的特定分类,包括四个域(图。2):体系结构、应用程序、通信和数据。

图2
图2

物联网网络安全分类的领域和特征

近年来,对物联网边缘设备的攻击越来越多,人们的注意力集中在诸如其低安全性和漏洞等方面(Mendes等人。2019). 这些设备经常被僵尸网络招募来参与分布式拒绝服务攻击。

通信网络中的威胁

通信网络面临多种威胁,可分为两大类(Pawar和Anuradha2015):被动和主动。

被动攻击分析网络上的数据流,威胁信息的机密性。被动攻击的主要类型是流量分析,其中可以推断出敏感信息(Hafeez等人。2019)以及窃听或嗅探,从通过网络传递的消息中收集信息。

主动攻击威胁信息的完整性和网络服务的可访问性。主要类型有:(i)欺骗:模拟经过身份验证的设备以其名义发送信息(Jindal等人。2014),(ii)修改:消息路由的更改,导致消息传递延迟,(iii)虫洞:记录通过网络传输的数据包并将其发送到新位置(Hu等人。2003),(iv)伪造:生成虚假路由消息,(v)拒绝服务:减少或中断对网络提供的服务的访问,(vi)Sinkhole:网络上的受损设备,吸引流量将其移除(Kibirige和Sanga2015),(vii)Sybil:在对等(P2P)网络上呈现多个身份的恶意设备(Douceur2002),(viii)黑洞:网络路由服务执行的数据包传递中断或延迟,(ix)匆忙:在经过身份验证的设备之前发送消息转发请求,(x)重播:一个上下文中的合法消息被注入到另一个上下文(Malladi等人。2002)和(xi)拜占庭:一组经过认证的设备任意阻止提供的服务(Geetha和Sreenath2016).

扑网

僵尸网络是由僵尸管理员控制的一组受损设备(Choi等人。2007). 它们是通过通信网络连接的异构设备。僵尸网络本身并不是恶意的,它允许在多个设备上协调执行命令。网络犯罪分子利用这些特征进行欺诈。该体系结构已经从P2P配置发展到混合配置,从互联网中继聊天协议发展到超文本传输协议、P2P协议或将两者结合的混合模型。

僵尸网络的组成部分是(Silva等人。2013)(i)易受攻击主机:已感染恶意代码的设备;(ii)机器人程序:获取主机控制权并执行从第三方接收的命令的潜在恶意程序;(iii)僵尸网络管理员:控制僵尸网络并负责向僵尸发送命令的人员;和(iv)命令与控制(C2)基础设施:允许机器人程序管理员与机器人程序通信。利马鲁诺泰和蒙林(2015)将C2架构分解为服务器和协议。

僵尸网络可以有不同的体系结构;如Zeidanloo和Manaf所述(2009)有三种模式:(i)集中式,所有通信都通过C2服务器;(ii)分布式,主机可以同时充当C2和bot;(iii)混合,使用社交网络作为传播命令的手段(图。).

图3
图3

僵尸网络架构的混合模型。C2和僵尸管理员之间通过社交网络进行通信

僵尸网络的生命周期包括五个步骤(Limarunothai和Munlin2015):(i)初始感染:设备被感染后安装代码,将其转换为机器人;(ii)二次注入:下载并安装bot代码;(iii)域名服务器(DNS)查找:C2服务器的互联网协议(IP)地址;(iv)集合:机器人与C2服务器建立连接;和(v)恶意命令:维护和更新。

僵尸网络生命周期的知识对于定义检测方法非常重要(Silva等人。2013). 三种主要机制是:(i)基于DNS的:包括检测机器人对DNS服务进行查询的行为模式;(ii)HoneyNet网络:故意配置漏洞以吸引攻击,尽管它们本身不允许僵尸网络检测(Karim等人。2014)和(iii)IDS。

入侵检测系统

自2015年以来,进行了多项研究(Shinan等人。2021),在位于应用程序或控制层的SDN体系结构上提出AIDS解决方案。Khrasat等人。(2019),Shinan等人。(2021)列举最广泛使用的机器学习方法:(i)有监督:决策树、Naives-Bayes、人工神经网络、支持向量机和K近邻;和(ii)无监督:K-means(聚类)和遗传算法。这些方法的使用频率较低(Murray等人。2014).

机器学习模型传统上应用于数据流的一组特征。有希望的研究表明,网络行为与社交网络的模式类似(Shinan等人。2021; Chowdhury等人。2017; Daya等人。2019). 因此,使用CGN训练新的机器学习模型。节点表示设备,弧描述数据流,每个端口IP地址元组都有一条弧(图。4).

图4
图4

通信图与网络物理架构之间的关系

CGN避免比较数据流(Venkatesh等人。2015)是一种更有效的方法。Chowdhury等人。(2017)提出了八个特征:(i)程度(IDM):设备的输入流数量,在C2服务器上很高;(ii)流出度(ODM):设备流出流的数量,在C2服务器和机器人上较高;(iii)权重度(IWM):设备从其邻居接收的传入数据包总数,其中假设网络上的所有机器人将从C2服务器接收相同数量的数据包;(iv)输出权重度(OWM):设备从其邻居发送的传出数据包总数,假设机器人将向其要攻击的设备发送相同的数据包;(v) 聚类系数(CCM):评估设备相邻节点之间的距离,其中P2P型僵尸网络的值较高;(vi)节点介数(BCM):设备在由每对设备之间的最短路径组成的集合中的次数,其中P2P型僵尸网络中假设值较高;(vii)节点接近度(LCM):所有设备能够到达另一设备的最短距离的平均值,这与P2P僵尸网络有关(Sengupta等人。2021)和(viii)特征向量中心度(EVM):图中设备的重量。

用于异常检测的自动编码器

自动编码器是Rumelhart等人提出的一种机器学习模型。(1986). 它们是经过训练的无监督神经网络,用于提取输入的主要特征,以便进行重建。输入被编码,然后解码,导致信息丢失。输入和输出之间的差异最小化。自动编码器是主成分分析的推广。他们学习的不是线性关系,而是非线性关系(Bank等人。2020)从而实现尺寸缩减。

堆叠式自动编码器是分层式自动编码器。编码器的每一层都是另一个更内部的自动编码器的输入,直到它达到最深层(瓶颈)。类似地,解码器层被视为另一个自动编码器的输出。

Mirsky等人。(2018)、罗和纳加拉扬(2018)、周和帕芬罗斯(2017)提出了检测网络安全领域攻击的模型。Niyaz等人。(2017)描述了使用自动编码器检测SDN网络中的分布式拒绝服务攻击,通过堆叠式自动编码器学习网络的正常行为。该模型最多可对八种不同类型的攻击进行分类,假阳性率很低。他们的实验在识别网络攻击方面达到了99.82%的准确率。

可以在物联网边缘设备(Luo和Nagarajan)上运行自动编码器进行异常检测2018). 当自动编码器的副本被放置在边缘设备上时,边缘计算范式是适用的。此外,机器学习模型可以从数据流量中定期重新训练。此体系结构允许模型随着最新的网络行为发展。

结论摘要

最近的研究倾向于将艾滋病与SDN网络结合起来。以前的论文提出了物联网网络的这种架构,将服务器专用于检测。其他文章提出了无线传感器网络中的艾滋病,其中检测是由物联网边缘设备中的自动编码器执行的。所有提出的模型都会检查数据流流量。据我们所知,尚未建议为物联网网络分析CGN的艾滋病系统。

表1 MLOps生命周期。拟议原型的不同模块和具体目标的详细信息

目标和方法

主要目标是开发集成到SDN中的艾滋病原型,用于检测对物联网网络的僵尸网络攻击。我们使用CGN表示网络行为。我们希望将评估和培训数据量减少至少30%,并达到90%以上的准确性。

该目标被划分为物联网网络的更具体目标:(i)确定将艾滋病集成到SDN架构中的组件,(ii)确定用于僵尸网络攻击检测的CGN的至少六个特征,(iii)评估堆叠自动编码器在检测行为异常时的准确性和精确度,(iv)减少所需资源,(v)验证解决方案是有效的替代方案,以及(vi)探索使用CGN来提高安全性。

为原型选择的生命周期是机器学习模型操作化管理(MLOps),重点是与机器学习工程相关的任务。然而,部署和监控工作尚未涵盖。

根据MLOps方法,任务分布在三条准备管道上:数据、模型和软件。

在数据管道期间获取、探索、验证和准备培训数据。模型训练和网络流量分类所需的数据源是SDN控制器中管理的控制流。首先,通过记录在一段时间间隔内每个ip和端口交换的数据包数量来捕获网络的良性行为。这些捕获包含生成具有网络良性行为的CGN所需的信息,并用作准备训练数据的数据源。在后面的步骤中,控制器维护一个CGN,它将与设备共享该CGN,以对网络上的设备行为进行分类。对于此实验,输入数据源是Aposemat IoT-23数据集(Garcia等人。2020)由来自真实物联网的标记数据流组成。CGN根据该数据集计算并在数据版本控制(DVC)中进行版本控制。

准备、评估和打包机器学习模型,以便在整个模型管道中进行部署。即使没有监督自动编码器,原始标签也被用作基本事实,并且训练过程通过五倍以上的监督度量进行交叉验证。因此,总度量是平均准确度和F1分数。我们一直在寻找最佳的车型配置。因此,使用笛卡尔超参数搜索来生成要评估的组合。所有测试模型均已在mlflow平台上注册,从而确保可追溯性和再现性。

5显示了模型准备工作流。人工智能团队准备分类模型,并在决策服务器中注册。新模型将分发给传感器,传感器将根据更新的模型进行分类。决策服务器根据分类结果评估是否存在模型衰退,并根据可能的偏差向AI团队发出警报,以调整当前模型。

图5
图5

人工智能团队的模型准备工作流程及其对系统的广播

软件管道专门用于开发原型程序。有用于输入数据转换、模型培训和艾滋病集成的组件。

6显示了攻击检测过程的数据流。SDN控制器从控制流生成CGN。它向其流量的每个设备发送特征,以评估其自身的行为。获得的结果将发送到决策服务器,决策服务器可以生成策略来缓解检测到的攻击,并向安全管理员发出警报,以评估检测到的威胁并对其采取行动。

图6
图6

攻击检测系统不同组件之间的数据流

最后,表1显示了MLops针对该原型提出的画布。

贡献

在本节中,我们详细介绍了我们为研究目的开发的IDS原型。我们还没有完全实现IDS的所有组件,但模拟了一个真实的运行时环境。

7显示了建议的体系结构及其功能。它描述了与SDN网络的集成,也表示了MLops生命周期中不同参与者之间的关系。它是连续的和周期性的;因此,数据分析和建模任务与它们在操作环境中的部署交替进行。

图7
图7

基于通信图的僵尸网络攻击检测原型的体系结构和主要特征

模型开发

机器学习模型开发任务从数据准备开始。SDN具有跟踪通信数据流的监控工具。根据收集的信息生成CGN,以提取模型训练数据。我们选择IoT-23数据集作为数据流的来源。它可以公开、免费地用于网络安全研究;它包含不同类型的攻击和真实物联网的正常流量。

从可用数据集中选择了数据子集。我们打算拥有恶意流量,包括与C2的不同通信协议和攻击类型。此外,它们是根据僵尸网络本身的相关性而选择的。这些文件包含来自Mirai、Okiru、GagFyt、Hiajime、MushTik和Hide&Seek恶意软件的流量。Mirai以及Okiru和GagFyt(也称为Qbot或Bashlite)等变体仍然是当今僵尸网络的主流。MushTik和GagFyt使用更轻的IRC协议。Hide&Seek和Hiajime结合了P2P协议。它们中的大多数都有能力实施拒绝服务攻击、加密货币挖矿、信息盗窃和防篡改。

数据准备过程分为三个步骤:(i)将原始捕获结构转换为标准逗号分隔值(CSV)格式,(ii)从CSV数据集计算CGN并提取待训练模型的输入,以及(iii)分析和准备训练数据。

来源信息非常全面。绘制了具有适当特征的CGN,以识别僵尸网络(Chowdhury等人。2017; Daya等人。2019; Venkatesh等人。2015):IDM、ODM、IWM、OWM、CCM、BCM、LCM和EVM。一旦CGN可用,则无需进行重大修改。这足以使特征正常化。

第二个机器学习任务包括定义和训练最优模型。我们提出了全连接堆叠式自动编码器。与其他深度自动编码器相比,这种类型的自动编码器趋向于收敛到局部最小值,并简化了初始化策略。输入层和输出层中的神经元数量等于训练数据中的特征数量。通过实验确定了隐藏层的数量、每个层中的神经元数量以及其他超参数。达到最佳分类精度的配置被认为是最佳的。通常,在深度学习模型中,对隐藏层使用校正线性单元(ReLU)激活函数。我们更喜欢Leaky ReLU激活功能。Xu和Szegedy(2015)验证了泄漏ReLU在分类问题上的性能优于ReLU。瓶颈激活函数是一个传统的sigmoid。通过随机初始化设置初始权重,优化方法为Adam。它在处理稀疏梯度问题时收敛速度很快。采用批量归一化以实现更高的学习率,对初始化不太小心,甚至进行正则化(Ioffe和Weiqing2015). 堆叠式自动编码器仅以正常行为进行训练,提取其主要特征。其目的是最小化输入和重建输出之间的差异。为此,均方误差(参见1)被用作损失函数。

$$\开始{对齐}\text{MSE}\left(X,\hat{X}\right)=\frac{1}{N}\sum_{i=1}^{N}\ left(\hat{x} _ i-x_i\右)^{2}\结束{对齐}$$
(1)

在分析僵尸网络设备的异常行为时,这种差异将是一个异常值。四分位间距(IQR)规则用于确定异常值(见2a个). 因此,异常值为n个大于IQR上限的倍(参见第2页). 我们尝试了以下几个值n个.

$$\开始{aligned}IQR&=Q_3-Q_1\结束{aligned}$$
(2a)
$$\begin{aligned}Outlier\left(x\right)&={\left\{\begin{array}{ll}1,&{}{\text{if}x>Q_{3}+\left(n*IQR\right\结束{对齐}$$
(2b)

模型的培训和验证分批进行,并在mlflow平台上记录实验。

操作

操作任务主要由嵌入edge-devices应用层的SDN和AIDS原型执行。最重要的组件是控制器、监控传感器和决策服务器。

SDN控制器根据转发策略引导流量;它是SDN的核心。应用程序和网络设备之间的任何通信都必须通过控制器,使用传统的基于OpenFlow的协议与设备进行交互。

监测传感器驻留在所有应用层边缘设备上,并执行一组周期性过程:(i)它从SDN网络控制器调用模拟服务,该网络控制器将行为数据转换为待评估的CGN。传感器的机器学习模型对接收到的输入进行分类,并将结果存储在本地。(ii)将要传输的结果发送到决策服务器,这避免了通信开销,但在检测到攻击时会立即发送。此信息不再保留在传感器中;以及(iii)从决策服务器下载模型的最新版本。

这些过程的频率取决于网络的特性。CGN总结了网络上设备的行为。控制器负责创建和更新它。此过程不是即时的,根据节点数量和网络流量增加了所需的时间和资源。我们尚未研究将对控制器的影响降至最低的最佳策略。我们假设了一种策略,控制器在启动时获得CGN,并为每个节点异步并行更新它。更新IDM、IWM、ODM和OWM指标没有相关的资源要求。然而,中心性度量具有显著的计算成本,来自一个节点的流量会影响网络中许多节点的中心性。这些指标的定期更新会减少所需的计算资源。另一方面,延迟更新会恶化CGN中可用的信息。还应考虑到,边缘设备不需要实时提供此信息,以避免网络过载和设备本身的过度功耗。同样的原理也适用于设备与决策服务器进行的通信。众所周知,经验证明,即使数据量较大,发送包含一组信息的单个消息也比发送不同消息更有效。最后,有必要考虑网络行为如何随时间演变,以确定模型再培训的周期。

研究数据集中包含的物联网设备在未受感染时产生的流量非常低。Amazon Echo设备生成的数据包比其他设备多,平均每小时229个数据流。然而,当网络受到Okiru攻击时,流量可能达到每分钟158个。为了检测延迟最短的攻击,将频率设置为两分钟,以便从控制器请求其在网络上的行为。因此,每小时产生30个额外流量。该设备每小时发送一次收集的交通信息。这将物联网设备所需的存储空间限制为6 Kb。最后,考虑到模型衰减的系统警报,计划对行为变化不大的网络进行每周模型更新。罗和纳加拉扬(2018)提出两分钟的流量分类频率,每天发送结果和模型调整。

表2用于实验的数据集。在所需的跟踪时间和存储空间期间捕获的流和数据包

决策服务器收集监控传感器发送的结果,并根据这些结果执行操作。服务器具有以下功能:(i)它接收来自传感器的预测,并将检测到的攻击信息转发给专用服务,以减轻或拦截攻击。目前,只有警报被附加到安全管理员的控制台。然而,用Pyric语言编写的动态安全策略可以自动发布到控制器。(ii)服务器向安全管理员和人工智能团队发出两种类型的警报。首先,当检测到过多的攻击时会生成警报,这些攻击只是由强烈的攻击引起的,或者表明模型正在衰退。其次,在很长一段时间内,攻击检测率很低。这可能与模型的低灵敏度有关;(iii)随机选择网络的部分正常行为,与学习的数据集相结合,丢弃旧的内容。生成的文件是新培训周期的输入;因此,每周对模型进行拟合,以适应网络正常行为的变化。(iv)当精度达到90%以上时,将新模型传播给传感器。模型未更新时,AI团队会收到警报。

表3生成与实验数据集中描述的网络流相关的CGN和度量的时间

评价

在本节中,我们报告了使用IoT-23数据集模拟拟议架构的结果。这是来自物联网设备的不同网络流量的集合,包括23个场景。这些是来自受感染物联网边缘设备的捕获(pcap文件)。通过在原始pcap文件上运行Zeek网络分析仪并为流量分类标签添加两个新列,获得最终数据集。这些文件包含23个特征列。列的列表和描述可在Garcia等人。(2020).

2描述为所执行的实验选择的文件。这些文件被转换成CGN,使用的过程是为每个IP地址和端口生成一行文件,以及CGN中计算的功能。这六个文件包含流行的物联网设备特定恶意软件:Hide&Seek、Mushtik、linux-hiajime、Mirai、Okiru和GagFyt。除Hide&Seek和Mushtik外,它们包含24小时以上产生的流量,这两个地区的流量跟踪时间更长。Mirai和GagFyt包含的数据包数量最多,分别需要3.86和21.5 GB的存储空间。GafFyt是最重要的案例,其中网络流由捕获的2.71亿数据包中的350万条记录表示,存储空间降至411MB。

显示生成每个CGN所需的时间。总时间是渲染图形、计算与节点关联的每个度量并将结果保存在输出文件中所用时间的总和。该表包含每个计算指标的一列。渲染时间取决于Zeek流的数量以及设备和端口的数量。因此,最小时间在文件09_ 01.IoTMalware中获得(156104以3.76 s的速度流动),最大时间在文件36_ 01.IoSalware中得到(13645107以2171.02 s的速度流通)。生成时间以及IDM、ODM、IWM和OWM度量与设备和端口的数量直接相关。36_ 01.IoTMalware文件在所有这些测量中需要最长时间(1437.12 s、62.14 s、63.04 s、62.16 s和64.02 s),而60_ 01.IoTMalware文件消耗的最短时间(0.58 s、0.02 s、0.02 s、0.02 s、0.02 s、0.02 s)。集中度指标不仅取决于设备和端口的数量,还取决于CGN的拓扑结构。36_ 01.IoTMalware文件需要所有这些度量中的最大时间(261550.12 s、32646.82 s和2436.50 s),而60_ 01.IoSalware文件所需的最小时间(4.05 s、3.18 s和2.01 s)。获取36_ 01.IoTMalware文件所需的总时间最长(300492.94 s),获取60_ 01.IoTMalware文件所需时间最短(87.16 s)。

一些中心性度量的生成具有较高的计算成本,例如BCM和CCM(Brandes2001; Kang等人。2011).中间值的计算已近似(Brandes和Pich2007). 我们使用1500个节点样本(枢轴)来估计中间值。即使如此,当节点数很高时,控制器可能无法承受所需的时间(参见图。89). 增长是CGN边数和弧数的指数函数。两者都允许捕获P2P僵尸网络的行为,因此在没有它们的情况下进行了一组实验,以评估对分类准确性的影响。

图8
图8

获得与每个IoT-23数据集中IP端口数量相关的CCM度量所用时间的演变

图9
图9

获得BCM指标所用时间与每个IoT-23数据集中IP端口数量的演变

表4行和存储字节的减少(%)。原始IoT-23数据集与生成的CGN之间的比较
表5 CGN的属性(表示它们所需的节点、弧和行)与实验所用文件中包含的流的比较

存储评估

我们将Zeek格式的原始数据集转换为CSV标准。此外,我们只保持正常流量,因为异常检测机器学习模型只对这些流量进行训练。接下来,我们将这些流表示为CGN。该图包含参与流的每个不同IP地址和端口组合的节点。计算每个节点的中心特征,检查它们之间的关系。结果存储在一个新的CSV文件中,为每个节点插入一行,为每个功能插入一列。因此,这些文件包含一列用于IP地址,另一列用于端口,九列具有标准化中心度指标(IDM、ODM、IWM、OWM、CCM、BCM、LCM、in-EVM和out-EVM),最后是一个标签列。由于IoT-23数据集中包含PCAP捕获,因此本工作未最终考虑CCM,因为始终会获得相同的值。它是根据穿过该节点的可能三角形的分数计算得出的,对于图中的所有节点,该分数为零。

我们比较了这两组文件,以评估表示设备行为所需的记录数量以及字节存储量是否有所减少。4显示了每个文件的比较详细信息。对于文件08-01-01_ IoTMalware(99.54%的行和99.70%的字节)、60-01_ IoSalware(97.46%的行和98.39%的字节)和44-01_ IoTMalware(95.73%的行和97.53%的字节),获得了最佳的缩减率。然而,4个文件中的行数增加,其中07-01_ IoTMalware(−49.48%)的比例最差。结果表明,在所有情况下都节省了存储空间,并且通常减少了行数(见图。10). 75%的文件减少了29.89%以上的元素数量。然而,当通信中涉及的设备和端口大于捕获的流量时,它会增加。这种情况发生在23个评估文件中的4个文件中(17%)。平均节省了59.75%的存储空间,行数减少了33.19%。(参见图。11).

图10
图10

每个实验文件的存储减少细节。原始文件和生成文件之间的行和存储字节的比较

图11
图11

实验数据集的总存储减少。原始数据集和生成数据集之间的行和存储字节的比较

我们评估了控制器以通信图的形式存储网络行为信息所需的存储空间。5详细介绍了用于实验场景的存储空间以及生成的图形的特征。最大的空间缩减是在文件60_ 01.IoTMalware中获得的(从411到7 MB),因为生成的图形比其他文件中的图形密度大。然而,由于网络非常稀疏,文件36_01.IoTMalware几乎没有减少(从1573到1512 MB)。

每个IP地址端口只生成一条记录,因此当相同网络设备之间的交互增加时,文件大小保持不变,从而增加了输出信息相对于输入流的减少百分比。

获得了与之前正常交通情况下获得的结果类似的结果。存储空间减少了49%,在CGN文件的行中减少了46%。图的节点和弧的数量证实了它们是稀疏图,在某些情况下是不相连的。

分类实验

从选定的IoT-23数据集中编制了实验的单输入数据场景。此场景包含IoT设备上流行的恶意软件产生的不同类型攻击的流量。6显示所选文件、包含的恶意软件类型以及CGN中包含的设备和端口数量。在设备和端口之间捕获的大多数通信都位于文件09_ 01.IoTMalware、36_ 01.IoSalware和60_ 01.IoTMalware是恶意的。然而,良性沟通在其余文件中占主导地位。

表6在每个实验文件中检测到的恶意软件。攻击涉及的每个设备的端口数

我们对基于堆叠式自动编码器的机器学习模型进行了实验。虽然这是一个无监督模型,但我们受益于输入数据集已标记的事实,这允许我们使用监督机器学习模型中的特定指标。根据准确度、精密度、召回率和F1得分评估分类性能:

表7训练ML模型最佳配置的笛卡尔搜索超参数和组合值
$$\开始{aligned}{Accuracy}&=\frac{{TP}+{TN}}{{TP}+{FP}+{TN}+{FN}}\end{aligned}$$
(3a)
$$\开始{aligned}{Precision}&=\frac{TP}{{TP}+{FP}}\end{aligned}$$
(3b)
$$\开始{aligned}{Recall}&=\frac{TP}{{TP}+{FN}}\end{aligned}$$
(3c)
$$\开始{对齐}{F1分数}&=\frac{2*{TP}}{\左(2*{TP}\右)+{FP}+{FN}}\end{对齐{$$
(3d)

其中真阳性(TP)是被正确分类为正常的正常行为项目;假阳性(FP)是被错误分类为良性的恶意行为样本;真阴性(TN)是正确归类为攻击的恶意行为元素;和假阴性(FN)是错误归类为正常的异常行为项目。

我们遵循了三条不同的研究路线,全部由360个具有不同超参数组合的测试用例组成。使用笛卡尔搜索来找到最佳搜索。7显示了组合的超参数。使用不同深度和每层单元数的拓扑进行测试。此外,我们评估了瓶颈单元数量和IQR大小变化对结果的影响。此外,使用了不同的时段数和批量大小。

首先,我们使用从CGN获得的所有特征训练模型。在训练前的数据准备过程中,我们放弃了CCM功能。在下文中,我们重复了没有这些指标的培训,省略了CCM和BCM来评估它们对分类的影响。最后,我们使用基于网络流的输入数据集训练模型。最佳结果如表所示8。使用2层拓扑结构(7和5个单元)取得了最佳结果,瓶颈为3个单元。所选的IQR因子对结果影响很小,其他指标将在未来的研究中探索。

表8实验中测试的三条线路获得的最佳结果的配置和评估指标

讨论

本节介绍了我们在本文中的研究结果。

使用CGN训练的基于堆叠自动编码器的模型可以高精度检测僵尸网络攻击。

与传统的基于流的模型相比,它需要更少的训练存储。所需的最大空间取决于网络中设备的数量,而不管它们之间是如何建立连接的。因此,可以轻松计算最大空间,并有助于管理控制器的存储资源,避免空间不足的问题,并减轻增加网络连接密度的负面影响。

控制器发送到设备的数据量很小,仅包含控制平面信息。边缘物联网设备与决策服务器共享的信息也与控制平面相关,因此IDS不会影响数据平面的机密性。

该模型具有很高的分类性能,其拓扑结构简单,由几个隐藏层和每个层中的神经元组成。由于参数数量较少(255),该模型需要的内存较少。度量可以有效地表示网络流量的行为。一些特征足以表示它。因此,不需要使用深层拓扑来获得高精度。此外,由于自动编码器往往会过盈,因此使用浅网络和较少的时段可以获得更好的结果。

主要缺点是计算某些中心性度量的成本,可以通过在模型中省略这些度量来减轻这种成本。用于捕获P2P攻击行为的BCM、CCM和LCM中心性度量因其计算开销而被排除在外,这使得它们的计算在现实世界的控制器中无法承受。在评估模型之前未发现的样本时,分类的准确性和精确度略有降低。我们尚未深入研究放弃指标的影响。进行了一般对比实验。需要一个具体的实验计划来确定影响并探索其他中心性指标。

数据流上使用的拓扑在对正常流量进行分类时显示出非常低的精度。需要更深入的拓扑来改进结果。

最后,将所提出的IDS与其他最先进的工作进行了比较(Saba等人。2021; 巴布和雷迪2020; Tian等人。2021; 林和黄2020; Nguyen等人。2019; Liu等人。2021; Shafee等人。2020; Anthi等人。2019; Huong等人。2021; Zhao等人。2020). 选择它们进行比较的特殊原因是,它们使用不同的分类器对边缘物联网设备进行流量分类,通常是在设备本身上进行的。因此,考虑到准确性和F1得分,将建议的IDS的有效性与最新技术进行比较。

12介绍了三个拟议模型与工作的准确性比较(Saba等人。2021; 巴布和雷迪2020; Tian等人。2021; 林和黄2020; Nguyen等人。2019; Liu等人。2021; Shafee等人。2020). Saba等人。(2021)详细介绍了一种将遗传算法、支持向量机和决策树相结合的模型,获得了99.80%的准确率。Tian等人。(2021)采用了去噪自动编码器,实现了92.92%的准确率。林和黄(2020)Nguyen等人。(2019),Liu等人。(2021)利用各种类型的递归神经网络,结果分别为91.67%、95.6%和92%。最后,Shafee等人。(2020)提出了几个模型,其中98.11%的精度最高。

图12
图12

实验中获得的精度与现有技术的比较

13显示了我们的模型与作品的F1分数的比较(Anthi等人。2019; Huong等人。2021; Zhao等人。2020). Anthi等人。(2019)描述了一个决策树,达到了96.9%的F1核。Huong等人。(2021)提出了一种结合变分自动编码器和递归神经网络的模型,实现了97.9%的F1核。Zhao等人。(2020)使用递归神经网络,结果为99.21%。

图13
图13

实验中获得的F1核与最新技术的比较

我们的工作获得了与当前最先进的还原空间存储工作类似的结果。

结论

在本文中,我们建议使用CGN来表示SDN中物联网设备的行为。研究表明,与传统数据相比,CGN减少了所需的存储量。此外,CGN简化了设备到设备流量的类型化,并且具有很少隐藏层和神经元的实现可以识别具有异常行为的设备。我们利用低内存和计算资源减少的优势,训练了一个基于堆叠自动编码器的机器学习模型,该模型学习网络设备的正常通信模式。这使得可以在边缘进行行为分析,从而分配与检测僵尸网络攻击相关的计算工作量。实验表明,该方法的准确度和精密度与文献中目前所取得的结果相当。下一步是执行一个实验计划,旨在探索中心性度量及其对分类准确性的影响,重点是将其集成到SDN控制器中。

未来,我们计划将艾滋病原型集成到一个真正的SDN中,以探索如何将从攻击开始到采取行动拦截攻击所花费的时间降到最低。减少这种延迟以更接近实时响应,将提高网络安全性和减轻攻击后果的能力。此外,我们希望为每种攻击类型分配不同的类,从而自动生成特定类型的动态安全策略。

数据和材料的可用性

论文中使用的数据集在Garcia等人。(2020).

缩写

辅助设备:

异常入侵检测系统

车身控制模块:

节点介于之间

指挥与控制:

指挥和控制

CCM(中央控制模块):

聚类系数

中广核:

网络通信图

CSV(共赢价值):

逗号分隔值

DNS(DNS):

域名服务器

数字视频编码:

数据版本控制

执行副总裁:

特征向量中心性

财务总监:

假阴性

外交政策:

假阳性

IDM公司:

以度为单位

入侵检测系统:

入侵检测系统

物联网:

物联网

IP地址:

互联网协议

IQR(质量保证报告):

四分位范围

综合工作组:

重量等级

LCM(寿命周期管理):

节点接近度

MLOps(MLOps):

运营化管理

ODM(原始数据管理):

Out度

奥姆:

超重程度

P2P:

对等网络

ReLU公司:

整流线性单元

SDN:

软件定义的网络

总吨位:

真阴性

交易对手:

真阳性

工具书类

  • Ahmed U、Raza I、Hussain SA、Syed A、Amjad A、Muddesar I(2015)《软件定义网络的网络安全建模》,这些网络在受到威胁时会变得强大。J可靠的智能环境1:123–146

    第条 谷歌学者 

  • Alaba FA、Othman M、Hashem IAT、Alotaibi F(2017)《物联网安全:一项调查》。网络计算应用杂志88:10–28

    第条 谷歌学者 

  • Anthi E、Williams L、Słowiáska M、Theodorakopoulos G、Burnap P(2019)智能家居物联网设备的监督入侵检测系统。IEEE互联网事物J 6(5):9042–9053

    第条 谷歌学者 

  • Babu MJ,Reddy AR(2020)Sh-ids:物联网基于启发式的入侵检测系统规范。无线个人通讯112:2023–2045

    第条 谷歌学者 

  • Bank D、Koenigstein N、Giryas R(2020)《自动编码器》。arXiv:2003.05991号

  • Benzekki K、El Fergougui A、Elbelrhiti Elalaoui A(2016)软件定义网络(sdn):一项调查。安全通信网9:5803–5833

    第条 谷歌学者 

  • Brandes U(2001)中间中心性的更快算法。数学社会学杂志25:163–177

    第条 数学 谷歌学者 

  • Brandes U,Pich C(2007),大型网络中的中心度估计。国际分叉混沌杂志17(7):2303–2318

    第条 数学科学网 数学 谷歌学者 

  • 检查点:检查点软件的2023年网络安全报告(2023)。https://pages.checkpoint.com/cyber-security-report-2023.html2023年2月20日访问

  • Choi H,Lee H,Lee H,Kim H(2007)通过监测dns流量中的组活动来检测僵尸网络。摘自:第七届IEEE计算机和信息技术国际会议(CIT 2007),第715-720页

  • Chowdhury S,Khanzadeh M,Akula R(2017)使用基于图形的特征聚类进行僵尸网络检测。大数据杂志4:14

    第条 谷歌学者 

  • Daya AA、Salahuddin M、Limam N、Boutaba R(2019)机器人检测的基于图形的机器学习方法。arXiv公司

  • Douceur JR(2002)sybil攻击。摘自:Springer(编辑)对等系统国际研讨会。计算机科学讲稿:2002年;海德堡,第2429卷

  • Garcia S,Parmisano A,Erquiaga MJ(2020)IoT-23:一个带有恶意和良性物联网网络流量的标记数据集(1.0.0版)。https://www.stratosphereips.org/datasets-iot232022年2月10日访问

  • Geetha A,Sreenath N(2016)拜占庭式攻击及其在移动adhoc网络中的安全措施。国际计算机通信仪器工程杂志(IJCCIE)3(1):42–47

    谷歌学者 

  • Hafeez I、Antikainen M、Tarkoma S(2019)《保护物联网环境免受流量变化的流量分析攻击》。2019年IEEE普及计算和通信国际会议(PerCom研讨会),第196-201页

  • Horrow S,Sardana A(2012)基于云的物联网的身份管理框架。收录于:第一届物联网安全国际会议记录(SecurIT’12),第200–203页

  • Hu YC,Perrig A,Johnson DB(2003)《数据包牵引:无线网络中虫洞攻击的防御》。收录于:IEEE INFOCOM 2003。IEEE计算机和通信协会第二十二届年度联席会议(IEEE分类号03CH37428),第3卷,第1976-1986页

  • Hung-Jen Liao L,Chun-Hung RL,Ying-Chih L,Kuang-Yuan T(2013)《入侵检测系统:综合评述》。网络计算应用杂志36(1):16–24

    第条 谷歌学者 

  • Huong T,Bac T,Long D,Long T,Dan N,Quang L,Cong L,Thang B,Tran K(2021)《使用工业控制系统中的异常检测检测网络攻击:联合学习方法》。计算指数132:103509

    第条 谷歌学者 

  • Ioffe S,Weiqing S(2015)批量规范化:通过减少内部协变量偏移来加速深层网络训练。arXiv公司

  • Jindal K、Dalal S、Sharma KK(2014)分析无线网络中的欺骗攻击。参加:2014年第四届先进计算与通信技术国际会议,第398–402页

  • Kang U,Papadimitriou S,Sun J,Tong H(2011)《大型网络的中心:算法和观测》,第119-130页

  • Karim A、Salleh R、Shiraz M、Shah S、Awan I、Anuar N(2014)《僵尸网络检测技术:回顾、未来趋势和问题》。浙江科技大学学报C 15:943–983

    第条 谷歌学者 

  • Khrasat A、Gondal I、Vamplew P、Kamruzzaman J(2019)《入侵检测系统调查:技术、数据集和挑战》。网络安全2(1):1–22

    第条 谷歌学者 

  • Kibirige G,Sanga C(2015)《无线传感器网络天坑攻击检测调查》,《国际计算科学与信息安全》13:1–9

    谷歌学者 

  • Limarunothai R,Munlin MA(2015)僵尸网络架构和检测技术的趋势和挑战。信息系统通讯杂志5(1):51–57

    谷歌学者 

  • Lin K,Huang W(2020)使用联邦学习进行恶意软件分类。In:2020年第22届先进通信技术国际会议(ICACT),第585-589页

  • Liu Y,Garg S,Nie J,Zhang Y,Xiong Z,Kang J,Hossain M(2021)《工业物联网时间序列数据的深度异常检测:一种高效通信的设备联合学习方法》。IEEE互联网事物J 8(8):6348–6358

    第条 谷歌学者 

  • Lu Z,Lu X,Wang W,Wang C(2010)审查和评估智能电网中通信网络的安全威胁。摘自:2010年军事通信会议,第1830–1835页

  • Luo T,Nagarajan SG(2018)使用物联网无线传感器网络中的自动编码器神经网络进行分布式异常检测。摘自:2018 IEEE国际通信会议(ICC),第1-6页

  • Malladi S,Alves-Foss J,Heckendorn RB(2002)关于防止对安全协议的重播攻击。爱达荷大学计算机科学系

  • Mendes LDP、Aloi J、Pimenta TC(2019)物联网僵尸网络架构分析和最新防御建议。在:2019年第31届国际微电子会议(ICM),第186–189页

  • Mirsky Y,Doitshman T,Elovici Y,Shabtai A(2018)Kitsune:用于在线网络入侵检测的自动编码器集成。arXiv:1802.09089,第665-674页

  • Murray SN、Walsh BP、Kelliher D、O'Sullivan DTJ(2014)使用静态建模和遗传算法对建筑物的热能效率改造进行多变量优化——案例研究。建筑环境75:98–107

    第条 谷歌学者 

  • Nguyen TD、Marchal S、Miettinen H M和Fereidooni Asokan N,Sadeghi AR(2019)DÏot:物联网的联合自学习异常检测系统。In:分布式计算系统国际会议,第756–767页

  • Niyaz Q,Weiqing S,Javaid AY(2017)一种软件定义网络(sdn)中基于深度学习的ddos检测系统。EAI认可的Trans-Secur-Saf 4:2

    谷歌学者 

  • Pawar MV,Anuradha J(2015)《网络安全与网络攻击类型》,《Procedia Comput Sci》48:503–506

    第条 谷歌学者 

  • Rumelhart DE、Hinton GE、Williams RJ(1986)《通过错误传播学习内部表示法》。In:并行分布式处理:认知pp 318–362微观结构的探索

  • Saba T、Sadad T、Rehman A、Mehmood Z、Javaid Q(2021)物联网网络的先进机器学习入侵检测系统。IT教授23(2):58–64

    第条 谷歌学者 

  • Sarica AK,Angin P(2020)基于sdn的物联网中的可解释安全性。传感器20(24):7326

    第条 谷歌学者 

  • Sengupta T,De,S,Banerjee I(2021)使用深度学习的基于接近中心性的p2p僵尸网络检测方法。摘自:第12届计算机通信和网络技术国际会议(ICCCNT),第1-7页

  • Shafee A、Baza M、Talbert DA、Fouda MM、Nabil M、Mahmoud M(2020)《模拟学习生成共享网络入侵检测模型》。In:2020 IEEE第17届年度消费者通信网络会议(CCNC),第1-6页

  • Shinan K、Alsubhi K、Alzahrani A、Ashraf MU(2021)《软件定义网络中基于机器学习的僵尸网络检测:系统综述》。对称13(5):866

    第条 谷歌学者 

  • Silva S、Silva R、Pinto R、Salles R(2013)《僵尸网络:一项调查》。计算净值57:378–403

    第条 谷歌学者 

  • Tanenbaum A,Wetherall D(2011)《计算机网络》,第5版。波士顿皮尔逊

    谷歌学者 

  • Thakkar A,Lohiya R(2019)《物联网入侵检测系统的机器学习和深度学习观点综述:最新更新、安全问题和挑战》。Arch Computat Methods工程28:3211–3243

    第条 谷歌学者 

  • 田平,陈Z,于伟,廖伟(2021):基于异步联合学习的威胁检测:一种dc-adam方法。计算安全108:102344

    第条 谷歌学者 

  • Venkatesh B、Choudhury SH、Nagaraja S(2015)《Botspot:基于图的结构化p2p机器人快速识别》。计算机病毒黑客技术杂志11:247–261

    第条 谷歌学者 

  • Xu B,Szegedy C(2015)卷积网络中整流激活的实证评估。arXiv:1505.00853号

  • Zeidanloo HR,Manaf AA(2009),僵尸网络指挥和控制机制。In:2009年第二届计算机和电气工程国际会议,第564-568页

  • 赵R,尹Y,施Y,薛Z(2020)基于联合学习辅助长短期记忆的智能入侵检测。物理公社42:101157

    第条 谷歌学者 

  • Zhao K,Ge L(2013)物联网安全调查。2013年第九届计算智能与安全国际会议,第663–667页

  • 周伟、贾毅、彭安、张毅、刘鹏(2019)物联网新功能对安全和隐私的影响:新威胁、现有解决方案和有待解决的挑战。IEEE互联网事物J 6(2):1606–1616

    第条 谷歌学者 

  • Zhou C,Paffenroth R(2017)使用鲁棒深度自动编码器进行异常检测。摘自:第23届ACM SIGKDD国际会议记录,第665-674页

下载参考资料

致谢

不适用。

基金

不适用。这项研究没有从公共、商业或非营利部门的任何资助机构获得任何具体资助。

作者信息

作者和附属机构

作者

贡献

所有作者阅读并批准了最终手稿。

通讯作者

与的通信安东尼奥·德尔科特·瓦伦特.

道德声明

竞争性利益

作者声明,他们没有相互竞争的利益。

其他信息

出版说明

Springer Nature在公布的地图和机构关联中的管辖权主张方面保持中立。

权利和权限

开放式访问本文是根据Creative Commons Attribution 4.0国际许可证授权的,该许可证允许以任何媒体或格式使用、共享、改编、分发和复制,只要您对原始作者和来源给予适当的信任,提供指向Creative Commons许可证的链接,并指出是否进行了更改。本文中的图像或其他第三方材料包含在文章的Creative Commons许可证中,除非材料的信用额度中另有说明。如果文章的知识共享许可证中没有包含材料,并且您的预期用途不被法律法规允许或超出了允许的用途,则您需要直接获得版权所有者的许可。要查看此许可证的副本,请访问http://creativecommons.org/licenses/by/4.0/.

转载和许可

关于本文

检查更新。通过CrossMark验证货币和真实性

引用这篇文章

穆尼奥斯,哥伦比亚特区,瓦伦特,A.dC。基于通信图的物联网僵尸网络攻击检测。网络安全 6, 33 (2023). https://doi.org/10.1186/s42400-023-00169-6

下载引文

  • 收到:

  • 认可的:

  • 出版:

  • 内政部:https://doi.org/10.1186/s42400-023-00169-6

关键词