×
列奥尼德·西格尔;迈克尔·伊萨德;霍斯特·豪塞克;迈克尔·J·布莱克。

肢体松弛的人：使用非参数信念传播估计3D人体姿势和运动。 （英语） Zbl 1254.68283号

国际期刊计算。视觉。 98，第1期，15-48（2012）.
小结：我们将三维人体姿态估计和跟踪问题表述为图形模型中的推理之一。与传统的运动树表示不同，我们的身体模型是松散连接的身体部分的集合。特别是，我们使用无向图形模型对身体建模，其中节点对应于关节和世界施加的运动、穿透和时间约束的零件和边缘。这些约束使用从运动图像训练数据中学习的成对统计分布进行编码。在这个图形模型中，人体姿势和运动估计被表示为推理，并使用粒子信息传递进行求解(帕马斯).帕马斯是一种非参数置信传播形式，它使用粒子滤波的变体，可以应用于具有循环的一般图形模型。松散的边缘模型和分散的图结构使我们能够将来自“自下而上”的视觉线索（如肢体和头部检测器）的信息纳入推理过程。这些检测器可实现自动初始化，并有助于从瞬态跟踪故障中恢复。我们通过使用一组校准相机在多视图图像中自动跟踪人来说明该方法，并使用HumanEva数据集进行定量评估。

引用于三文件

MSC公司：

68T45型 机器视觉和场景理解

关键词：

关节式姿态估计;铰接式跟踪;人体姿态估计;人体运动跟踪;非参数信念传播

软件：

HumanEva公司;打开CV
PDF格式BibTeX公司 XML格式引用
\textit｛L.Sigal｝等人，《国际计算机杂志》。视觉。98，第1号，第15--48号（2012；Zbl 1254.68283）
全文： 内政部

参考文献：

[1] 阿加瓦尔（A.Agarwal）；Triggs，B.（2006年）。从单目图像恢复三维人体姿势。IEEE模式分析和机器智能汇刊，28（1），44–58·doi:10.1109/TPAMI.2006.21
[2] Andriluka，M.、Roth，S.和；Schiele，B.（2009年）。图形结构回顾：人体检测和关节姿势估计。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上。
[3] Balan，A.、Sigal，L.和；布莱克，M.J.（2005）。基于视频的三维人跟踪的定量评估。IEEE跟踪和监视视觉监视和性能评估研讨会（第349-356页）。2005年10月。
[4] Banerjee，A.、Dhillon，I.S.、Ghosh，J.和；Sra，S.（2005）。使用von Mises-Fisher分布在单位超球面上的聚类。机器学习研究杂志，61345-1382·Zbl 1190.62116号
[5] Bergtholdt，M.、Kappes，J.、Schmidt，S.和；Schnorr，C.（2010）。使用完整图进行基于部件的对象类检测的研究。国际计算机视觉杂志，87（1-2），93-117·doi:10.1007/s11263-009-0209-1
[6] Bhatia，S.、Sigal，L.、Isard，M.和；布莱克，M.J.（2004）。使用空间雕刻和多视图特征模型进行三维人体肢体检测。在IEEE铰接和非刚性运动研讨会上，CVPR'04 CDROM会议记录。
[7] Bregler，C.和；Malik，J.（1998年）。使用扭曲和指数图跟踪人。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第8-15页）。
[8] Bo，L.、Sminchisescu，C.、Kanaugia，A.和；Metaxas，D.（2008）。大规模条件三维预测的快速算法。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上。
[9] Canny，J.（1986年）。边缘检测的计算方法。IEEE模式分析和机器智能汇刊，8679–714·doi:10.10109/TPAMI.1986.4767851
[10] 查姆·T·J；Rehg，J.（1999）。图形跟踪的多假设方法。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第2卷，第239-245页）。
[11] Cheung，G.K.M.、Baker，S.和；Kanade，T.（2003）。关节对象的形状-形状-尺寸及其在人体运动学估计和运动捕捉中的应用。IEEE计算机学会计算机视觉和模式识别（CVPR）会议（第1卷，第77-84页）。
[12] Choo，K.，&；Fleet，D.J.（2001）。人们用混合蒙特卡罗进行跟踪。IEEE计算机视觉国际会议（ICCV）（第2卷，第321-328页）。
[13] Cochran，W.G.（1977年）。取样技术。纽约：Wiley·Zbl 0353.62011号
[14] 科马尼丘·D·；Meer，P.（2002）。均值偏移：一种稳健的特征空间分析方法。IEEE模式分析和机器智能汇刊，24（5），603-619·doi:10.1109/34.1000236
[15] Cooper，G.（1990年）。使用贝叶斯信念网络进行概率推理的计算复杂性。人工智能，42393-405·Zbl 0717.68080号 ·doi:10.1016/0004-3702（90）90060-D
[16] Corazza，S.、Muendermann，L.、Chaudhari，A.、Dematio，T.、Cobelli，C.和；安德里亚奇，T.（2006）。用于研究肌肉骨骼生物力学的无标记运动捕获系统：可视化外壳和模拟退火方法。生物医学工程年鉴34（6），1019–1029·doi:10.1007/s10439-006-9122-8
[17] Deutscher，J.和；里德，I.D.（2005）。通过随机搜索捕获关节体运动。国际计算机视觉杂志61（2），185-205·doi:10.1023/B:VISI.0000043757.18370.9c
[18] Deutscher，J.、Blake，A.和；Reid，I.（2000）。退火粒子滤波的关节运动捕捉。在IEEE计算机学会计算机视觉和模式识别会议（CVPR）上（第2卷，第126–133页）。
[19] Deutscher，J.、Isard，M.和；MacCormick，J.（2002）。从单个曼哈顿图像自动校准相机。欧洲计算机视觉会议（ECCV）（第4卷，第175-188页）·Zbl 1039.68617号
[20] Doucet，A.、Godsill，S.J.和；Andrieu，C.（2000年）。贝叶斯滤波的序贯蒙特卡罗抽样方法。统计与计算，10（3），197-208·doi:10.1023/A:1008935410038
[21] A.Doucet、N.de Freitas和；Gordon，N.（2001年）。序贯蒙特卡罗方法在实践中的应用。工程和信息科学统计。柏林：斯普林格·Zbl 0967.00022号
[22] Eichner，M.和；Ferrari，V.（2009）。更好的图形结构外观模型。在英国机器视觉会议（BMVC）上。
[23] Elgammal，A.，&；Lee，C.（2004）。使用活动流形学习从轮廓推断3D身体姿势。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第2卷，第681-688页）。
[24] Elidan，G.、McGraw，I.和；Koller，D.（2006）。剩余信念传播：异步消息传递的知情调度。2006年7月，第二十二届人工智能不确定性会议论文集。
[25] Felzenszwalb，P.和；Huttenlocher，D.（2005）。用于物体识别的图形结构。国际计算机视觉杂志61（1），55–79·doi:10.1023/B:VISI.0000042934.15159.49
[26] Fergus，R.、Perona，P.和；Zisserman，A.（2003）。基于无监督尺度变分学习的对象类识别。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第2卷，第264-271页）。
[27] Fischler，M.和；Elschlager，R.（1973）。图形结构的表示和匹配。IEEE计算机汇刊，22（1），67-92·doi:10.1109/T-C.1973.223602
[28] Foley，J.、van Dam，A.、Feiner，S.和；Hughes，J.（1990年）。计算机制图：原理与实践。阅读：艾迪森·卫斯理。国际标准图书编号：0-201-12110-7·Zbl 0875.68891号
[29] Forsyth，D.A.、Arikan，O.、Ikemoto，L.、O'Brien，J.和；Ramanan，D.（2006年）。人体运动的计算研究：第1部分，跟踪和运动合成。ISBN:1-933019-30-1，178页。
[30] Gall，J.、Potthoff，J.，Schnoerr，C.、Rosenhahn，B.和；塞德尔，H.-P.（2006）。交互退火粒子过滤器：数学和应用配方（技术报告MPI-I-2006-4-009）。德国萨尔布鲁肯，2006年9月。
[31] Gall，J.、Rosenhahn，B.和；塞德尔，H.-P.（2007）。目标识别和姿态估计的聚类随机优化。在LNCS中：第4713卷。德国模式识别协会（DAGM）年度研讨会（第32-41页）。
[32] Gall，J.、Rosenhahn，B.、Brox，T.和；塞德尔，H.-P.（2010）。人体运动捕捉的优化和过滤——多层框架。国际计算机视觉杂志，87（1），75-92·文件编号：10.1007/s11263-008-0173-1
[33] Gavrila，D.（1999）。人类运动的视觉分析：一项调查。计算机视觉和图像理解，73（1），82–98·Zbl 0924.68174号 ·doi:10.1006/cviu.1998.0716
[34] Gavrila，D.和；Davis，L.（1996年）。基于三维模型的活动人体跟踪：多视图方法。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第73-80页）。
[35] Grauman，K.、Shakhnarovich，G.和；Darrell，T.（2003）。使用基于统计图像的形状模型推断3D结构。在IEEE国际计算机视觉会议（ICCV）上（第641-648页）。
[36] Guan，P.、Weiss，A.、Balan，A.和；布莱克，M.J.（2009）。从单个图像估计人体形状和姿势。在IEEE国际计算机视觉会议（ICCV）上。
[37] Hinton，G.E.（1976年）。利用放松找到木偶。《A.I.S.B.夏季会议进程》（第148-157页）。
[38] Hogg，D.C.（1983年）。基于模型的视觉：一个观察行走者的程序。图像和视觉计算，1,5-20·doi:10.1016/0262-8856（83）90003-3
[39] Horaud，R.、Niskanen，M.、Dewaele，G.和；Boyer，E.（2008）。通过将关节曲面注册到三维点和法线来跟踪人体运动。IEEE模式分析和机器智能汇刊（PAMI）。
[40] Hua，G.，Yang，M.-H.和；Wu，Y.（2005）。学习使用数据驱动的信念传播估计人类姿势。在IEEE计算机学会计算机视觉和模式识别（CVPR）会议上（第2卷，第747-754页）。
[41] Ihler，A.T.、Sudderth，E.B.、Freeman，W.T.和；Willsky，A.S.（2003）。高斯混合乘积的高效多尺度采样。神经信息处理系统进展，16，1-8。
[42] 英特尔开源计算机视觉库。可在http://www.intel.com/research/mrl/research/opencv/ .
[43] Ioffe，S.和；福赛斯博士（2001a）。混合树木的人体跟踪。IEEE计算机视觉国际会议（ICCV）（第1卷，第690-695页）。
[44] Ioffe，S.和；Forsyth，D.（2001b）。寻找人的概率方法。国际计算机视觉杂志，43（1），45-68·Zbl 0972.68605号 ·doi:10.1023/A:1011179004708
[45] Isard，M.（2003）。Pampas：计算机视觉的实值图形模型。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第1卷，第613–620页）。
[46] John，V.、Ivekovic，S.和；Trucco，E.（2009年）。使用HPSO进行铰接人体运动跟踪。在计算机视觉理论和应用国际会议（VISSAPP）上（第531-538页）。
[47] Jordan，M.I.、Sejnowski，T.J.和；Poggio，T.（2001）。图形模型：神经计算的基础。剑桥：麻省理工学院出版社·Zbl 1058.68097号
[48] Ju，S.，Black，M.J.和；Yacoob，Y.（1996）。纸板人：铰接运动的参数化模型。在自动人脸和手势识别国际会议上（第38–44页）。
[49] Kakadiaris，I.A.和；Metaxas，D.（1996）。基于主动多视点选择的遮挡三维人体运动模型估计。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第81-87页）。
[50] Kehl，R.、Bray，M.和；Gool，L.V.（2005）。使用随机采样从多个视图进行全身跟踪。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第2卷，第129-136页）。
[51] Kinoshita，K.、Ma，Y.、Lao，S.和；Kawade，M.（2006）。一个快速可靠的3D头部姿势和视线估计系统。在多模接口国际会议（ICMI）上（第137-138页）。
[52] Kirkpatrick，S.、Gellatt，C.和；维奇，M.（1982年）。通过模拟退火进行优化（技术报告）。IBM Thomas J.Watson研究中心，美国纽约州约克敦高地。
[53] Knossow，D.、Ronfard，R.和；Horaud，R.（2008）。利用极值轮廓的运动学参数化进行人体运动跟踪。国际计算机视觉杂志，79（2），247–269·doi:10.1007/s11263-007-0116-2
[54] Koller，D.、Lerner，U.和；Angelov，D.（1999）。近似推理的通用算法及其在混合贝叶斯网中的应用。第15届人工智能不确定性年会论文集（第324–333页）。
[55] 兰，X，&；Huttenlocher，D.（2005）。超越树：用于2D人体姿势恢复的公共因子模型。IEEE计算机视觉国际会议（ICCV）（第470-477页）。
[56] Lee，C.-S.，&；Elgammal，A.（2007年）。建模视图和姿态流形以进行跟踪。参加IEEE计算机视觉国际会议（ICCV）。
[57] Li，R.，Yang，M.-H.，Sclaroff，S.和；田天平（2006）。使用因子分析器的协调混合对3D人体运动进行单目跟踪。欧洲计算机视觉会议（ECCV）（第2卷，第137-150页）。
[58] Li，R.，Tian，T.-P.，和；Sclaroff，S.（2007）。高维时间序列非线性流形和动力学模型的同时学习。参加IEEE计算机视觉国际会议（ICCV）。
[59] Lu，Z.，Perpinan，M.C.和；Sminchisescu，C.（2007）。使用拉普拉斯特征映射潜在变量模型进行人员跟踪。神经信息处理系统（NIPS）的进展。
[60] MacCormick，J.和；Isard，M.（2000）。分区采样、铰接对象和界面质量手动跟踪。在欧洲计算机视觉会议（ECCV）上（第2卷，第3-19页）。
[61] Marr，D.和；香港西原（1978）。三维结构的空间组织的表示和识别。伦敦皇家学会会刊。B辑，生物科学，200269-294·doi:10.1098/rspb.1978.0020
[62] Moeslund，T.和；Granum，E.（2001）。基于计算机视觉的人体运动捕捉综述。计算机视觉和图像理解，81（3），231-268·Zbl 1011.68548号 ·doi:10.1006/cviu.2000.0897
[63] Mori，G.、Ren，X.、Efros，A.和；Malik，J.（2004）。恢复人体配置：结合分割和识别。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第2卷，第326–333页）。
[64] Navaratnam，R.、Fitzgibbon，A.和；Cipolla，R.（2007）。多值回归的半监督联合流形学习。参加IEEE计算机视觉国际会议（ICCV）。
[65] Nevatia，R.和；宾福德，T.O.（1973）。复杂对象的结构化描述。程序中。第三届国际人工智能联合会议（第641-647页）。
[66] Opelt，A.、Pinz，A.和；Zisserman，A.（2006年）。用于对象检测的边界碎片模型。欧洲计算机视觉会议（ECCV）（第2卷，第575-588页）。
[67] Poppe，R.W.（2007a）。基于视觉的人体运动分析：概述。计算机视觉和图像理解，108（1-2），4-18·doi:10.1016/j.cviu.2006.10.016
[68] Poppe，R.（2007b）。评估基于示例的姿势估计：在HumanEva集合上的实验。关节式人体运动和姿势估计（EHuM2）评估研讨会。
[69] Ramanan，D.、Forsyth，D.和；Zisserman，A.（2005）。摆姿势：通过找到风格化的姿势来追踪人们。IEEE计算机学会计算机视觉和模式识别（CVPR）会议（第1卷，第271-278页）。
[70] D.拉马南；Forsyth，D.（2003）。自下而上查找和跟踪人员。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第2卷，第467–474页）。
[71] Rodgers，J.、Anguelov，D.、Pang，H.-C.和；Koller，D.（2006）。距离扫描数据中的目标姿态检测。IEEE计算机学会计算机视觉和模式识别会议（CVPR）（第2卷，第2445-2452页）。
[72] 罗莎莱斯，R.，&amp；Sclaroff，S.（2000）。推断身体姿势而不跟踪身体部位。IEEE计算机学会计算机视觉和模式识别（CVPR）会议（第2卷，第721-727页）。
[73] 罗莎莱斯，R；Sclaroff，S.（2002）。通过专业地图学习身体姿势。神经信息处理系统进展，151263-1270。
[74] Rosenhahn，B.，Schmaltz，C.，Brox，T.，Weickert，J.，Cremers，D.和；塞德尔，H.-P.（2008）。人机交互的无标记运动捕捉。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上。
[75] Shakhnarovich，G.、Viola，P.和；Darrell，T.（2003）。基于参数敏感散列的快速姿态估计。IEEE计算机视觉国际会议（ICCV）（第2卷，第750-757页）。
[76] Siddiqui，M.和；Medioni，G.（2006年）。强健的实时上肢检测和跟踪。在ACM视频监控国际研讨会上；传感器网络（VSSN）。
[77] Sidenbladh，H.和；布莱克，M.J.（2003）。学习图像和视频中人物的统计数据。国际计算机视觉杂志，54（1-3），183-209·Zbl 1077.68881号 ·doi:10.1023/A:1023765619733
[78] Sidenbladh，H.、Black，M.J.和；Fleet，D.（2000年）。使用2D图像运动对3D人体图形进行随机跟踪。欧洲计算机视觉会议（ECCV）（第2卷，第702-718页）。
[79] Sigal，L.和；布莱克，M.J.（2006a）。从2D图片预测3D人物。LNCS：第4069卷。AMDO 2006–IV铰接运动和可变形物体会议，西班牙马洛卡，7月（第185-195页）。
[80] Sigal，L.和；布莱克，M.J.（2006b）。局部测量，全局推理：遮挡敏感关节姿势估计。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第2卷，第2041–2048页）。
[81] Sigal，L.，Zhu，Y.，Comaniciu，D.，&；布莱克，M.J.（2004年a）。使用图形对象模型跟踪复杂对象。在LNCS中：第3417卷。第一次复杂运动国际研讨会（第227–238页）。柏林：斯普林格。
[82] Sigal，L.、Bhatia，S.、Roth，S.和Black，M.J；Isard，M.（2004年b）。追踪四肢松弛的人。IEEE计算机学会计算机视觉和模式识别（CVPR）会议（第1卷，第421-428页）。
[83] Sigal，L.、Balan，A.和；布莱克，M.J.（2007）。结合了识别性和生成性关节姿势和非刚性形状估计。神经信息处理系统（NIPS）的进展。
[84] Sigal，L.、Balan，A.和；布莱克，M.J.（2010）。HumanEva同步视频和运动捕获数据集以及评估铰接人体运动的基线算法。国际计算机视觉杂志，87（1/2），4–27·doi:10.1007/s11263-009-0273-6
[85] Sminchisescu，C.，&；Triggs，B.（2003年）。使用协方差标度采样估计关节人体运动。《国际机器人研究杂志》，22（6），371-393·doi:10.1177/0278364903022006003
[86] Sminchisescu，C.、Kanaugia，A.、Li，Z.和；Metaxas，D.（2005）。用于三维人体运动估计的鉴别密度传播。IEEE计算机学会计算机视觉和模式识别（CVPR）会议（第1卷，第390-397页）。
[87] Sminchisescu，C.、Kanajujia，A.和；Metaxas，D.（2006年）。学习自顶向下和自下而上的联合过程以进行三维视觉推理。IEEE计算机学会计算机视觉和模式识别（CVPR）会议（第2卷，第1743-1752页）。
[88] Sudderth，E.、Ihler，A.、Freeman，W.和；Willsky，A.（2003）。非参数信念传播。IEEE计算机学会计算机视觉和模式识别（CVPR）会议（第1卷，第605-612页）。
[89] Sudderth，E.、Mandel，M.、Freeman，W.和；Willsky，A.（2004年）。基于非参数置信传播的分布式遮挡推理跟踪。神经信息处理系统进展，171369-1376。
[90] Sun，J.、Shum，H.和；郑南（2002）。基于信念传播的立体匹配。欧洲计算机视觉会议（ECCV）（第510–524页）·Zbl 1039.68730号
[91] 田，T.-P.，&；Sclaroff，S.（2010年）。使用循环图模型进行快速全局最优二维人体检测。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上。
[92] Urtasun，R.和；Darrell，T.（2008）。活动无关人体姿势推断的局部概率回归。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上。
[93] Urtasun，R.、Fleet，D.J.和；Fua，P.（2006）。三维人体跟踪的高斯过程动力学模型。IEEE计算机学会计算机视觉和模式识别（CVPR）会议（第1卷，第238-245页）。
[94] 维奥拉·P·；Jones，M.（2001）。使用简单功能的增强级联进行快速目标检测。在IEEE计算机学会关于计算机视觉和模式识别（CVPR）的会议上（第1卷，第511-518页）。
[95] Wachter，S.和；Nagel，H.（1999）。跟踪单目图像序列中的人。计算机视觉和图像理解，74（3），174-192·doi:10.1006/cviu.1999.0758
[96] Wainwright，M.、Jaakkola，T.和；Willsky，A.（2001）。基于树的重新参数化，用于循环图的近似估计。神经信息处理系统进展，1001–1008。
[97] Wang，P.和；Rehg，J.M.（2006）。用于分析和评估用于图形跟踪的粒子滤波器的模块化方法。IEEE计算机学会计算机视觉和模式识别（CVPR）会议（第1卷，第790-797页）。
[98] 韦伯，M.，威林，M；佩罗纳，P.（2000）。识别模型的无监督学习。在欧洲计算机视觉会议（ECCV）上（第18-32页）。
[99] Weiss，Y.，&；Freeman，W.T.（2001）。任意拓扑高斯图形模型中信念传播的正确性。神经计算，13，2173–2200·Zbl 0992.68055号 ·doi:10.11162/089977601750541769
[100] Wu，Y.，Hua，G.和；Yu，T.（2003）。动态马尔可夫网络跟踪铰接体。IEEE计算机视觉国际会议（ICCV）（第1094-1101页）。
[101] Wywill，G.和；Kunii，T.L.（1985）。构造实体几何的功能模型。可视化计算机，1（1），3–14·doi:10.1007/BF01901265
[102] Xu，X.，&；Li，B.（2007）。使用rao-blackwellised粒子滤波器学习运动相关性以跟踪铰接人体。参加IEEE计算机视觉国际会议（ICCV）。
[103] Yonemoto，S.、Arita，D.和；Taniguchi，R.（2000）。实时人体运动分析和基于IK的人体图形控制。《人体运动（HUMO）研讨会论文集》。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。