拉维·加格;阿纳斯塔西奥斯·罗索斯;卢尔德阿加皮托 一种具有子空间约束的视频配准变分方法。 （英语） Zbl 1304.68175号 国际期刊计算。视觉。 104，第3期，286-314（2013）. 摘要：本文解决了当摄像机查看可变形物体时，非刚性视频配准问题，即从参考帧到序列中每个后续图像的光流计算问题。我们利用同一非刚性表面上不同点的2D轨迹之间的高度相关性，假设序列中任意点的位移可以紧凑地表示为低阶运动基的线性组合。该子空间约束有效地充当了轨迹正则化项，从而导致光流的时间一致性。我们通过惩罚位于低阶流形之外的流场，将其公式化为变分框架内的鲁棒软约束。由此得到的能量泛函可以解耦为亮度恒定性和空间正则化项的优化，从而得到一个有效的优化方案。此外，基于数据项的二元化，我们提出了一种新的向量值图像优化方案。这使得我们可以扩展我们的方法来处理彩色图像，从而显著改善配准结果。最后，我们提供了一个新的基准数据集，该数据集基于风中飘扬的旗帜的运动捕捉数据，具有密集的地面真实光流，用于评估非刚性表面的多帧光流算法。我们的实验表明，我们提出的方法优于最先进的光流和稠密非刚性配准算法。 引用于5文件 MSC公司： 68T45型 机器视觉和场景理解 68吨10 模式识别、语音识别 68单位10 图像处理的计算方法 软件：数据采集模块 PDF格式BibTeX公司 XML格式引用 \textit{R.Garg}等人，《国际计算杂志》。视觉。104、3号、286--314（2013；Zbl 1304.68175） 全文： 内政部 参考文献： [1] Akhter，I.、Sheikh，Y.、Khan，S.和；Kanade，T.（2008）。轨道空间运动产生的非刚性结构。《神经信息处理系统》，第41-48页。 [2] Akhter，I.、Sheikh，Y.、Khan，S.和；Kanade，T.（2011年）。轨迹空间：运动中非刚性结构的双重表示。IEEE模式分析和机器智能汇刊，33（7），1442-1456·doi:10.1109/TPAMI.2010.201 [3] Alvarez L.、Esclarín J.、Lefébure M.、Sánchez J.（1999年）。用于计算光流的PDE模型。第十六届厄瓜多尔共和国会议记录（1349-1356页）。西班牙大加那利拉斯帕尔马斯，1999年9月。 [4] Alvarez，L.、Weickert，J.和；Sánchez，J.（2000年8月）。大位移稠密光流场的可靠估计。国际计算机视觉杂志，39（1），41-56·Zbl 1060.68635号 [5] Aubert，G.、Deriche，R.和；Kornprobst，P.（1999）。通过变分技术计算光流。SIAM应用数学杂志，60（1），156-182·Zbl 0942.35057号 ·doi:10.1137/S0036139998340170 [6] Baker，S.、Scharstein，D.、Lewis，J.、Roth，S.和Black，M；Szeliski，R.（2011）。光流的数据库和评估方法。国际计算机视觉杂志，92，1-31·Zbl 06023231号 ·doi:10.1007/s11263-010-0390-2 [7] Bartoli，A.、Gay-Bellile，V.、Castellani，U.、Peyras，J.、Olsen，S.I.和；Sayd，P.（2008）。从粗到细的低阶结构，便于移动。在IEEE计算机视觉和模式识别会议上，第1-8页。 [8] Blomgren，P.和；Chan，T.（1998）。彩色电视：还原矢量值图像的全变差方法。IEEE图像处理事务，7（3）：304-309，图像处理和分析中偏微分方程和几何驱动扩散专题。 [9] Brand，M.（2001）。视频中的可变形模型。在IEEE计算机视觉和模式识别会议上，第456–463页。 [10] Bregler，C.、Hertzmann，A.和；Biermann，H.（2000）。从图像流中恢复非刚性三维形状。IEEE计算机视觉和模式识别会议，第2卷，第690-696页。 [11] Brox，T.、Bruhn，A.、Papenberg，N.和；Weickert，J.（2004）。基于翘曲理论的高精度光流估计。在T.Pajdla&；J.Matas（编辑），《欧洲计算机视觉会议–ECCV 2004》（第25-36页）。LNCS柏林：施普林格出版社第3024卷第四部分·Zbl 1098.68736号 [12] Brox，T.和；Malik，J.（2011）。大位移光流：变分运动估计中的描述符匹配。IEEE模式分析和机器智能汇刊，33（3），500-513。 [13] Chambolle，A.（2004）。全变差最小化算法及其应用。数学成像与视觉杂志，20,89-97·Zbl 1366.94048号 ·doi:10.1023/B:JMIV.0000011320.81911.38 [14] A.Chambolle，&；Pock，T.（2011）。凸问题的一阶原对偶算法及其在成像中的应用。数学成像与视觉杂志，40（1），120-145·Zbl 1255.68217号 [15] Deriche，R.、Kornprobust，P.和；Aubert，G.（1995）。保持不连续性的光流估计：一种变分方法。《第二届亚洲计算机视觉会议论文集》（第2卷，第290-295页）。新加坡，1995年12月。 [16] Esser，E.，Zhang，X.，&；Chan，T.F.（2010）。成像科学中用于凸优化的一类一阶原对偶算法的一般框架。SIAM成像科学杂志，3（4），1015-1046·Zbl 1206.90117号 ·数字对象标识码：10.1137/09076934X [17] Garg，R.、Pizarro，L.、Rueckert，D.和；Agapito，L.（2010年）。使用子空间约束的非刚性物体的密集多帧光流。在亚洲计算机视觉会议上，第460-473页。 [18] Garg，R.、Roussos，A.和；Agapito，L.（2011）。非刚性序列的鲁棒轨迹空间TV-L1光流。在第八届计算机视觉和模式识别中的能量最小化方法国际会议（EMMCVPR）上，第300-314页。 [19] 霍恩，B.，&；Schunck，B.（1981年）。确定光流。人工智能，17185-203·doi:10.1016/0004-3702（81）90024-2 [20] Irani，M.（2002）。使用子空间约束的多帧对应估计。国际计算机视觉杂志，48（3），173-194·Zbl 1012.68758号 [21] A.Kumar、A.Tannenbaum、A.R.和；Balas，G.J.（1996年4月）。光流：曲线演化方法。IEEE图像处理汇刊，5（4），598–610。 [22] Liu，C.、Yuen，J.和；Torralba，A.（2011年）。SIFT流：跨场景的密集通信及其应用。在IEEE Transational on Pattern Analysis and Machins Intelligence中，33（5），978–994。 [23] Lucas，B.和；Kanade，T.（1981）。一种迭代图像配准技术及其在立体视觉中的应用。在国际人工智能联合会议上。 [24] 纽科姆，R.，洛夫格罗夫，S.，&；Davison，A.（2011）。DTAM：实时密集跟踪和绘图。在计算机视觉国际会议上，第2320–2327页。 [25] Nir，T.、Bruckstein，A.M.和；Kimmel，R.（2008年2月）。超参数变分光流。国际计算机视觉杂志，76205-216。 [26] Papadakis，N.、Corpetti，T.和；Mémin，E.（2007年）。动态一致的光流估计。ICCV（第1-7页）。巴西里约热内卢，2007年10月。 [27] Papenberg，N.、Bruhn，A.、Brox，T.、Didas，S.和；Weickert，J.（2006年4月）。具有理论上合理翘曲的高精度光流计算。国际计算机视觉杂志，67（2），141-158。 [28] 皮萨罗博士；Bartoli，A.（2010年）。基于特征的变形曲面检测与自遮挡推理。在3D数据处理、可视化和传输国际研讨会上，3DPVT'10·Zbl 1235.68283号 [29] 波克，T.，&；Chambolle，A.（2011年）。凸优化中一阶原对偶算法的对角线预处理。在计算机视觉国际会议上，第1762-1769页·Zbl 1255.68217号 [30] Pock，T.、Cremers，D.、Bischof，H.和；Chambolle，A.（2010年）。带凸正则化的变分模型的整体解。SIAM成像科学杂志，3（4），1122-1145·Zbl 1202.49031号 [31] Rakát，L.L.、Roholm，L.、Nielsen，M.和；Lauze，F.（2011）。矢量值图像的TV-L1光流。在第八届计算机视觉和模式识别中能量最小化方法国际会议（EMMCVPR）上，第329-343页。 [32] Ricco，S.和；Tomasi，C.（2012年）。带遮挡的密集拉格朗日运动估计。IEEE计算机视觉和模式识别会议，第1800-1807页。 [33] Rockafellar，R.T.（1997）。凸分析。普林斯顿大学数学里程碑。普林斯顿大学出版社，新泽西州普林斯顿，1997年。重印1970年原版，普林斯顿平装本。 [34] Rudin，L.、Osher，S.和；Fatemi，E.（1992年）。基于非线性全变分的噪声去除算法。物理D，60，259-268·Zbl 0780.49028号 ·doi:10.1016/0167-2789（92）90242-F [35] Sapiro，G.（1997年）。给蛇涂颜色。计算机视觉和图像理解，68（2），247–253。 [36] Schnörr，C.（1994）。通过最小化凸非二次泛函分割视觉运动。第十二届模式识别国际会议论文集（A卷，第661-663页）。以色列耶路撒冷，1994年10月。IEEE计算机学会出版社。 [37] Shi，J.和；Tomasi，C.（1994）。要跟踪的良好功能。在IEEE计算机视觉和模式识别会议上，第593-600页。 [38] Steinbruecker，F.、Pock，T.和；Cremers，D.（2009年）。无翘曲的大位移光流计算。在计算机视觉国际会议上，第1609-1614页。 [39] Stuehmer，J.、Gumhold，S.和；Cremers，D.（2010年）。手持式相机的实时密集几何体。《模式识别》（Proc.DAGM）（第11-20页），2010年9月。 [40] Sun，D.、Roth，S.、Lewis，J.P.和；布莱克，M.（2008）。学习光流。在欧洲计算机视觉会议上，第83-97页。 [41] 田，Y.，&；Narasimhan，S.（2010年）。用于图像失真估计的全局最优数据驱动方法。在IEEE计算机视觉和模式识别会议上，第1277-1284页。 [42] Torresani，L.和；Bregler，C.（2002）。时空跟踪。在欧洲计算机视觉会议上，第801-812页·Zbl 1034.68685号 [43] Torresani，L.、Hertzmann，A.和；Bregler，C.（2008年）。非刚性结构自运动：用层次先验估计形状和运动。PAMI，30（5），878–892。 [44] Torresani，L.、Yang，D.、Alexander，E.和；Bregler，C.（2001）。使用秩约束跟踪和建模非刚性对象。在IEEE计算机视觉和模式识别会议上，第493-500页。 [45] Tschumperlé，D.，&；Deriche，R.（2005）。使用PDE的向量值图像正则化：不同应用的通用框架。IEEE模式分析和机器智能汇刊，27（4），506–517·Zbl 05111099号 ·doi:10.1109/TPAMI.2005.87 [46] Uras，S.、Girosi，F.、Verri，A.和；Torre，V.（1988年）。运动感知的计算方法。生物控制论，60，79–87·doi:10.1007/BF000202895 [47] Varol，A.、Salzmann，M.、Tola，E.和；Fua，P.（2009）。变形表面的无模板单目重建。国际计算机视觉会议，第1811-1818页。 [48] Volz，S.、Bruhn，A.、Valgaerts，L.和；Zimmer，H.（2011）。光流时间相干性建模。在计算机视觉国际会议上，第1116-1123页。 [49] Wedel，A.、Cremers，D.、Pock，T.和；Bischof，H.（2009）。高精度光流的结构和运动自适应正则化。在计算机视觉国际会议上，第1663-1668页。 [50] Wedel，A.、Pock，T.、Braun，J.、Franke，U.和；Cremers，D.（2008）。具有基本矩阵优先的对偶TV-L1流。《新西兰图像与视觉计算》，第1-6页。 [51] Wedel，A.、Pock，T.、Zach，C.、Bischof，H.和；Cremers，D.（2009年）。一种改进的TV-L1光流算法。在视觉运动分析的统计和几何方法中，LNCS（第23-45页）。柏林施普林格。 [52] Weickert，J.（1998年）。关于不连续性保护光流。在S.Orphanoudakis、P.Trahanias、J.Crowley和；N.Katevas（编辑），《计算机视觉和移动机器人研讨会论文集》（第115-122页）。希腊圣托里尼，1998年9月。 [53] Weickert，J.和；Schnörr，C.（2001年12月）。基于PDE的图像运动计算中凸正则化子的理论框架。国际计算机视觉杂志，45（3），245-264·Zbl 0987.68600号 [54] Weickert，J.和；Schnörr，C.（2001年5月）。时空平滑约束下的变分光流计算。数学成像与视觉杂志，14（3），245-255·Zbl 0988.68821号 [55] Werlberger，M.、Trobin，W.、Pock，T.、Wedel，A.、Cremers，D.和；Bischof，H.（2009）。各向异性集线器-L1光流。英国机器视觉会议，第34卷，第1-11页。 [56] White，R.、Crane，K.、Forsyth，D.（2007年）。捕获被遮挡的布料并设置其动画。在ACM图形汇刊中。 [57] Zach，C.、Pock，T.和；Bischof，H.（2007）。一种基于对偶的实时TV-L1光流方法。《模式识别》（Proc.DAGM），第214-223页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。