计算机工程与应用››2021,第57卷››发行(8): 126-132.内政部:10.3778/j.issn.1002-8331.2010-0317

模式识别与人工智能 • 上一篇   下一篇

引入注意力机制的多分辨率人体姿态估计研究

张越,黄友锐,刘鹏坤  

  1. 安徽理工大学 电气与信息工程学院,安徽 淮南 232000
  • 出版日期:2021-04-15 发布日期:2021-04-23

基于注意机制的多分辨率人体姿态估计研究

张跃、黄友瑞、刘鹏坤  

  1. 安徽科技大学电气与信息工程学院,安徽淮南232000
  • 在线:2021-04-15 出版:2021-04-23

摘要:

针对人体姿态估计任务中多分辨率特征表征直接融合时存在无法有效利用特征图空间特征信息的问题,基于高分辨率网络(HRNet)进行结构设计,构建出结合了通道域注意力和空间域注意力机制的多分辨率人体姿态估计网络GCT-非本地网络(GNNet)提出了一种基于注意力机制的多分辨率表征融合方法,在不同分辨率表征融合前由空间注意力提取出各分辨率表征更有用的空间特征信息来改进融合单元,使得各分辨率表征间的信息融合效果更佳,最终输出的高分辨率表征含有更丰富的特征信息,同时构造了Gateneck和Gateblock模块,其通过引入通道注意力更明确地对通道关系建模从而高效地提取通道信息。在2017年科科瓦尔女士进行验证,结果显示提出的GNNet SOTA HRNet在相当参数量与运算量的情况下获得了更高的准确度,最大允许偏差1.4个百分点。实验结果表明,所提方法有效地提高了多分辨率特征表征融合效果。

关键词: 卷积神经网络, 人体姿态估计, 多分辨率特征表征融合, 空间域注意力机制, 通道域注意力机制

摘要:

为了解决在人体姿态估计任务中直接融合多分辨率特征表示时无法有效利用特征地图的空间信息的问题,提出了基于高分辨率网络(HRNet)的多分辨率人体姿态估计网络,用于结构设计,即GCT-Nonlocal Net(GNNet),它结合了信道域和空间域注意机制,包含改进的交换单元、Gateneck模块和Gateblock模块。通过在多尺度融合之前添加空间注意机制,改进了交换单元,以从各种特征表示中提取更多有用的空间信息,这使得不同分辨率表示之间的信息融合更好,最终得到包含更丰富表示信息的高分辨率表示。此外,Gateneck模块和Gateblock模块能够更明确地建模渠道关系,通过引入渠道关注机制更有效地提取渠道信息。在MS COCO VAL 2017数据集上的验证结果表明,与最先进的人体姿势估计网络HRNet相比,所提出的GNNet在参数和计算复杂度相似的情况下实现了更高的精度,并且mAP提高了1.4个百分点。因此,改进的交换单元使各种分辨率表示之间的多尺度信息融合更加有效。

关键词: 卷积神经网络, 人体姿势估计, 多分辨率特征表示融合, 空间注意机制, 渠道注意机制