Gait Recognition and Understanding Based on Hierarchical Temporal Memory Using 3D Gait Semantic Folding

doi:10.3390/s20061646

.2020年3月16日；20(6):1646.

doi:10.3390/s20061646。

基于三维步态语义折叠的层次时间记忆步态识别与理解

罗健（Jian Luo）¹, 塔尔迪·贾贾迪²

附属公司

¹湖南师范大学智能计算与语言信息处理湖南省重点实验室，长沙410000，中国。
²英国考文垂Gibbet Hill Road沃里克大学工程学院，CV4 7AL。

PMID： 32188067
PMCID公司： PMC7146167号
内政部： 10.3390/s20061646年

基于三维步态语义折叠的层次时间记忆步态识别与理解

罗健（Jian Luo）等。传感器（巴塞尔）. 2020.

.2020年3月16日；20(6):1646.

doi:10.3390/s20061646。

作者

罗健（Jian Luo）¹, 塔尔迪·贾贾迪²

附属公司

¹湖南师范大学智能计算与语言信息处理湖南省重点实验室，长沙41万。
²英国考文垂Gibbet Hill Road沃里克大学工程学院，CV4 7AL。

PMID： 32188067
PMCID公司： PMC7146167号
内政部： 2006年10月39日

摘要

步态识别与理解系统显示出广泛的应用前景。然而，他们使用来自图像和视频的非结构化数据影响了他们的性能，例如，他们很容易受到多视图、遮挡、衣服和物体携带条件的影响。本文使用一个真实的三维人体结构数据和序列模式学习框架来解决这些问题，该框架具有基于层次时间记忆（HTM）的自顶向下的注意力调节机制。首先，利用实例级人体解析模型和虚拟着装方法的优点，提出了一种精确的二维到三维人体姿势和形状语义参数估计方法。其次，通过步态语义折叠，使用稀疏的二维矩阵对估计的人体参数进行编码，构建结构步态语义图像。为了实现基于时间的步态识别，构建了一个HTM网络来获得序列级步态稀疏分布表示（SL-GSDR）。根据先验知识，通过细化SL-GSDR，引入自顶向下的注意机制来处理包括多视图在内的各种情况。提出的步态学习模型不仅有助于步态识别任务克服实际应用场景中的困难，还为视觉认知提供了结构化的步态语义图像。对CMU MoBo、CASIA B、TUM-IITKGP和KY4D数据集的实验分析表明，在准确性和稳健性方面，性能显著提高。

关键词：步态识别；分层时间记忆；人类认同；语义折叠。

PubMed免责声明

利益冲突声明

作者声明没有利益冲突。资助者在研究的设计、数据的管理、收集和分析、正式分析以及论文的撰写、修订和出版中没有任何作用。

数字

图3
(一,**c（c）**)来自CASIA B步态数据集的RGB步态图像(**e（电子）**,克)使用虚拟着装渲染合成3D步态模型的RGB步态图像，以及(b,d日,**（f）**,小时)相应的语义解析图像。

图9
通过虚拟着装进行三维人体评估的优势：(一)携带球的2D步态图像(b)语义解析的图像(一), (**c（c）**)携带条件类似的三维步态模型估计(一), (d日)的三维实体网格(**c（c）**), (**e（电子）**)骨架信息(**c（c）**), (**（f）**)轮廓差异(b)和(**c（c）**)和(克)移除球后的3D身体网格。

**图11**
各种条件下的1级视点非变异步态识别（%）：探头数据视角为90°。

**图12**
使用不同视图的数据集对GRU-GSFSL进行注意力模型训练的一级识别率（%）。

请参阅PMC中的此图像和版权信息

类似文章

基于自适应隐马尔可夫模型的步态识别。
王X，冯S，闫WQ。王X等。 IEEE/ACM Trans-Comput生物信息。2021年5月-6月；18(3):963-972. doi:10.1010/TCBB.2019.2951146。Epub 2021年6月3日。 IEEE/ACM Trans-Comput生物信息。2021 PMID：31689202
使用无标记2D视频系统估计和验证时间步态特征。
Verlekar TT、De Vroey H、Claeys K、Hallez H、Soares LD、Correia PL。 Verlekar TT等人。生物识别计算方法程序。2019年7月；175:45-51. doi:10.1016/j.cmpb.2019.04.002。Epub 2019年4月2日。生物识别计算方法程序。2019 PMID：31104714
基于三维部分相似匹配的鲁棒任意视角步态识别。
唐杰、罗杰、贾贾迪T、郭飞。唐杰等。 IEEE Trans-Image处理。2017年1月；26(1):7-22. doi:10.1109/TIP.2016.2612823。 IEEE Trans-Image处理。2017 PMID：28113179
哺乳动物嗅觉系统计算模型的性能。
本杰明森·S、赫尔曼·P、兰斯纳·A。 Benjaminsson S等人。作者：Persaud KC、Marco S、Gutiérrez-Gálvez A，编辑。神经形态嗅觉。博卡拉顿（佛罗里达州）：CRC Press/Taylor&Francis；2013年第6章。作者：Persaud KC、Marco S、Gutiérrez-Gálvez A，编辑。神经形态嗅觉。博卡拉顿（佛罗里达州）：CRC Press/Taylor&Francis；2013年第6章。 PMID：26042330 免费书籍和文件。审查。
基于视频传感器的步态识别的类能量图像分析：综述。
Lv Z、Xing X、Wang K、Guan D。 Lv Z等人。传感器（巴塞尔）。2015年1月7日；15(1):932-64. doi:10.3390/s150100932。传感器（巴塞尔）。2015 PMID：25574935 免费PMC文章。审查。

查看所有类似文章

引用人

基于多视角步态能量图像和姿势的渐进和集成学习的性别识别。
Leung TM，Chan KL。 Leung TM等人。传感器（巴塞尔）。2023年11月3日；23(21):8961. doi:10.3390/s23218961。传感器（巴塞尔）。2023 PMID：37960659 免费PMC文章。
基于物联网和深度学习的农民安全系统。
Adhitya Y、Mulyani GS、Köppen M、Leu JS。 Adhitya Y等人。传感器（巴塞尔）。2023年3月8日；23(6):2951. doi:10.3390/s23062951。传感器（巴塞尔）。2023 PMID：36991662 免费PMC文章。
机器视觉在老年人步态脆弱性分类中的应用。
刘毅，何X，王R，滕Q，胡R，清L，王Z，何X，尹B，牟Y，杜Y，李X，王H，刘X，周L，邓L，许Z，肖C，葛M，孙X，江J，陈J，林X，夏L，龚H，余H，董B。刘毅等。前老化神经科学。2021年11月16日；13:757823. doi:10.3389/fnagi.2021.757823。eCollection 2021年。前老化神经科学。2021 PMID：34867286 免费PMC文章。

工具书类

1. Jasvinder P.S.、Sanjeev J.、Sakshi A.、Uday P.S.基于视觉的步态识别：一项调查。IEEE接入。2018;6:70497–70527.
1. H.Yiwei，Z.Junping，S.Hongming，Wang L.用于步态识别中的视特异性特征学习的多任务GANs。IEEE传输。Inf.法医安全。2018;14:102–113.
1. Ben X.、Peng Z.、Lai Z.、Yan R.、Zhai Z.和Meng W.一种用于横视步态识别的通用张量表示框架。模式识别。2019;90:87–98. doi:10.1016/j.patcog.2019.01.017。-内政部
1. 赵浩、何毅、张杰、冯杰：将步态视为一组用于横视步态识别；2019年AAAI人工智能会议记录；美国夏威夷州，HI，2019年1月27日至2月1日；第1-8页。
1. Han J.，Bhanu B.使用步态能量图像进行个人识别。IEEE传输。模式分析。机器。智力。2006;28:316–322. doi:10.1109/TPAMI.2006.38。-内政部-公共医学

MeSH术语

行动
行动
行动
行动
行动
行动

赠款和资金

LinkOut-更多资源

全文源

[1] Jasvinder P.S.、Sanjeev J.、Sakshi A.、Uday P.S.基于视觉的步态识别：一项调查。IEEE接入。2018;6:70497–70527.

[2] Jasvinder P.S.、Sanjeev J.、Sakshi A.、Uday P.S.基于视觉的步态识别：一项调查。IEEE接入。2018;6:70497–70527.

[3] H.Yiwei，Z.Junping，S.Hongming，Wang L.用于步态识别中的视特异性特征学习的多任务GANs。IEEE传输。Inf.法医安全。2018;14:102–113.

[4] H.Yiwei，Z.Junping，S.Hongming，Wang L.用于步态识别中的视特异性特征学习的多任务GANs。IEEE传输。Inf.法医安全。2018;14:102–113.

[5] Ben X.、Peng Z.、Lai Z.、Yan R.、Zhai Z.和Meng W.一种用于横视步态识别的通用张量表示框架。模式识别。2019;90:87–98. doi:10.1016/j.patcog.2019.01.017。-内政部

[6] Ben X.、Peng Z.、Lai Z.、Yan R.、Zhai Z.和Meng W.一种用于横视步态识别的通用张量表示框架。模式识别。2019;90:87–98. doi:10.1016/j.patcog.2019.01.017。-内政部

[7] 赵浩、何毅、张杰、冯杰：将步态视为一组用于横视步态识别；2019年AAAI人工智能会议记录；美国夏威夷州，HI，2019年1月27日至2月1日；第1-8页。

[8] 赵浩、何毅、张杰、冯杰：将步态视为一组用于横视步态识别；2019年AAAI人工智能会议记录；美国夏威夷州，HI，2019年1月27日至2月1日；第1-8页。

[9] Han J.，Bhanu B.使用步态能量图像进行个人识别。IEEE传输。模式分析。机器。智力。2006;28:316–322. doi:10.1109/TPAMI.2006.38。-内政部-公共医学

[10] Han J.，Bhanu B.使用步态能量图像进行个人识别。IEEE传输。模式分析。机器。智力。2006;28:316–322. doi:10.1109/TPAMI.2006.38。-内政部-公共医学

将引文保存到文件

电子邮件引文

添加到集合

添加到我的书目

您保存的搜索

为外部引文管理软件创建文件

您的RSS源

基于三维步态语义折叠的层次时间记忆步态识别与理解

附属公司

基于三维步态语义折叠的层次时间记忆步态识别与理解

作者

附属公司

摘要

利益冲突声明

数字

类似文章

引用人

工具书类

MeSH术语

赠款和资金

LinkOut-更多资源

全文源

摘要

利益冲突声明

数字

类似文章

引用人

工具书类

MeSH术语

相关信息

赠款和资金

LinkOut-更多资源

全文源