×

曲线的多视图微分几何。 (英语) Zbl 1398.68577号

摘要:由于提取可靠点特征的方法和射影几何的关键发展,多视图几何领域在重建和校准方面取得了巨大进展。然而,点功能在某些应用程序中不可用,导致非结构化点云重建。当关键点稀少时,一般图像曲线提供了一种补充特征,并产生了3D曲线几何,但面临着点和代数曲线的通常投影几何无法解决的挑战。我们通过为基于一般曲线微分几何的框架奠定理论基础来应对这些挑战,包括静止曲线、遮挡轮廓和非刚性曲线,目标是立体对应、摄像机估计(包括校准、姿势和多视图极线几何),以及给定测量图像曲线的三维重建。通过将先前的结果收集到一个连贯的理论中,可以获得新的结果,从而产生三个贡献。首先,我们从基本空间曲线(切线、曲率、曲率导数、扭转)的微分几何导出图像曲线的微分几何。其次,我们从两条对应的图像曲线的微分几何导出空间曲线的微分几何学。第三,图像曲线的微分运动由摄像机运动和微分几何以及空间曲线的运动导出。这种理论的可用性使得新型的基于曲线的多视图重建和摄像机估计系统能够增强现有的基于点的方法。该理论被用于重建“三维曲线草图”,从局部曲线几何确定相机姿态,并进行跟踪;其他发展也在进行中。

MSC公司:

第68页第45页 机器视觉和场景理解
53A04号 欧氏空间和相关空间中的曲线

软件:

SIFT公司
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Agarwal,S.、Snavely,N.、Simon,I.、Seitz,S.M.和Szeliski,R.(2009年)。在一天内建成罗马。IEEE计算机视觉国际会议记录IEEE计算机协会。
[2] Arnold,R.和Binford,T.(1980)。立体视觉中的几何约束。导弹制导SPIE图像处理进展第238卷(第281-292页)。加利福尼亚州圣地亚哥。
[3] Astrom,K.和Heyden,A.(1996年)。无限小时间情况下的多线性约束。IEEE计算机学会计算机视觉和模式识别会议记录(第833-838页)。旧金山:IEEE计算机学会出版社。
[4] 天文,K;西波拉,R;Giblin,P,广义极线约束,国际计算机视觉杂志,33,51-72,(1999)
[5] 奥斯特罗姆,K;海登,A,图像流的连续时间匹配约束,国际计算机视觉杂志,28,85-96,(1998)
[6] 天文,K;Kahl,F,使用外观轮廓变形的图像序列运动估计,IEEE模式分析和机器智能汇刊,21,114-127,(1999)
[7] Ayache,N.和Lustman,L.(1987)。快速可靠的被动三目立体视觉。会议记录\(1^{st}\)计算机视觉国际会议(第422-427页)。
[8] Baatz,G.、Saurer,O.、Köser,K.和Pollefeys,M.(2012年)。山区地形中图像的大规模视觉地理缩放。第十二届欧洲计算机视觉会议记录(第二卷,第517-530页)。柏林:斯普林格。
[9] Baumela,L.、Agapito,L.,Bustos,P.和Reid,I.(2000年)。使用微分极线方程进行运动估计。第十五届模式识别国际会议论文集3(第848-851页)。
[10] 贝尔蒂尔森,R;Åström,K公司;海登,A,使用因子分解和束平差重建一般曲线,国际计算机视觉杂志,41,171-182,(2001)·Zbl 1012.68712号
[11] 布罗德斯克ỳ, T;Fermüller,C,图像导数的自校准,国际计算机视觉杂志,48,91-114,(2002)·Zbl 1012.68755号
[12] 布罗德斯克,T;Fermüller,C;Aloimonos,Y,《运动的结构:超越外极约束》,《国际计算机视觉杂志》,第37期,第231-258页,(2000年)·Zbl 1012.68678号
[13] Brooks,M.J.、Chojnacki,W.和Baumela,L.(1997)。从瞬时光流确定未校准相机的自我运动。美国光学学会杂志A,14(10), 2670-2677.
[14] Calakli,F.、Ulusoy,A.O.、Restrepo,M.I.、Taubin,G.和Mundy,J.L.(2012)。从多视图航空图像进行高分辨率曲面重建。2012年3DIMPVT(第25-32页)。电气与电子工程师协会。
[15] Carceroni,R.(2001)。从多视图图像序列中恢复非刚性三维运动、形状和反射率:一种差分几何方法。罗切斯特大学博士论文。
[16] Carceroni,R.和Kutulakos,K.(1999)。从多视图图像序列中恢复三维曲线的形状和运动。IEEE计算机学会计算机视觉和模式识别会议记录(第23-25页)。柯林斯堡:IEEE计算机社会出版社。
[17] Chen,T.Y.,&Klette,R.(2014)。多种样式的非真实感动画渲染。图像和视频技术-PSIVT 2013研讨会(第12-23页)。斯普林格。
[18] Cipolla,R.(1991)表面形状的主动视觉推断。牛津大学博士论文。
[19] Cipolla,R.、Au ström,K.和Giblin,P.J.(1995)。曲面边界的运动。IEEE计算机视觉国际会议记录(第269-275页)。波士顿:IEEE计算机学会出版社。
[20] 西波拉,R;Blake,A,《由外轮廓变形产生的表面形状》,《国际计算机视觉杂志》,第983-112页,(1992年)
[21] Cipolla,R.和Giblin,P.(1999)。曲线和曲面的视觉运动剑桥:剑桥大学出版社·兹比尔1007.68001
[22] 西波拉,R;Zisserman,A,图像曲线变形的定性表面形状,国际计算机视觉杂志,8,53-69,(1992)
[23] Cole,F.,Sanik,K.,DeCarlo,D.,Finkelstein,A.,Funkhouser,T.,Rusinkiewicz,S.,&Singh M(2009)线条画描绘形状的效果如何?SIGGRAPH ACM图形事务处理程序.
[24] Diskin,Y;Asari,V,使用单目视觉的场景密集点云表示,电子成像杂志,24,023003,(2015)
[25] do Carmo,M.P.(1976年)。曲线和曲面的微分几何新泽西州:Prentice-Hall·Zbl 0326.53001号
[26] Dornaika,F.和Sappa,A.(2006年)。基于最小二乘回归的图像导数三维运动?(第4153卷,第76页)。,柏林计算机科学讲稿:Springer。
[27] Fabbri,R.(2010)《计算机视觉应用中的多视图微分几何》。美国罗得岛州普罗维登斯布朗大学工程系博士论文,02912。
[28] Fabbri,R.和Kimia,B.B.(2010年)。三维曲线草图:基于灵活曲线的立体重建和校准。IEEE计算机视觉和模式识别会议记录旧金山:IEEE计算机学会出版社。
[29] Fabbri,R.、Kimia,B.B.和Giblin,P.J.(2012年)。使用一阶曲线微分几何进行相机姿态估计。欧洲计算机视觉会议记录。计算机科学课堂讲稿(第231-244页)。斯普林格。
[30] Fathi,H.、Dai,F.和Lourakis,M.(2015)。使用计算机视觉对民用基础设施进行自动化三维重建:成就、机遇和挑战。高级工程信息学.
[31] Faugeras,O.(1990年)。计算机视觉——ECCV 90:第一届欧洲计算机视觉抗体会议,法国,1990年4月23日至27日。《3D曲线的运动及其与光流的关系》,海德堡(第105-117页)。柏林:斯普林格。
[32] Faugeras,O.和Papadopoulo,T.(1992年)。计算机视觉中的几何不变性。基于时空曲面的chap消歧立体匹配(第310-331页)。剑桥:麻省理工学院出版社。
[33] 福格拉斯,O;Papadopoulo,T,曲线运动场理论,国际计算机视觉杂志,10125-156,(1993)
[34] 马萨诸塞州费希勒;Bolles,RC,《随机样本共识:模型拟合的范型及其在图像分析和自动制图中的应用》,ACM通讯,24,381-395,(1981)
[35] Furukawa,Y.和Ponce,J.(2007年)。准确、密集和强大的多视图立体视觉。IEEE计算机学会计算机视觉和模式识别会议记录IEEE计算机学会。
[36] 古川,Y;Ponce,J,《精确、密集和稳健的多视图立体视觉》,IEEE模式分析和机器智能汇刊,321362-1376,(2010)
[37] 古川,Y;塞提,A;彭斯,J;Kriegman,DJ,《基于光滑曲面轮廓的稳健结构和运动》,IEEE模式分析和机器智能汇刊,28,302-315,(2006)
[38] Giblin,PJ;Weiss,RS,表面上的外极曲线,图像和视觉计算,13,33-44,(1995)
[39] Goesele,M.、Snavely,N.、Curless,B.、Hoppe,H.和Seitz,S.(2007年)。用于社区照片收集的多视图立体声。IEEE计算机视觉国际会议论文集(第1-8页)。
[40] Grimson,WEL,人类立体视觉理论的计算机实现,伦敦皇家学会哲学事务系列B,292,217-253,(1981)
[41] Guo,Y.、Kumar,N.、Narayanan,M.和Kimia,B.(2014)。曲线提取的多阶段方法。2014年CVPR.
[42] Habbecke,M.和Kobbelt,L.(2007年)。一种多视点立体重建的表面生长方法。IEEE计算机学会计算机视觉和模式识别会议(第1-8页)。
[43] Harris,C.和Stephens,M.(1988年)。边缘和角点组合检测器。阿尔维视觉会议(第189-192页)。
[44] Hartley,R.I.(1995)。从直线和点重建的线性方法。IEEE计算机视觉国际会议论文集(第882-887页)。波士顿:IEEE计算机学会。
[45] Hartley,R.和Zisserman,A.(2000年)。计算机视觉中的多视图几何纽约:剑桥大学出版社·Zbl 0956.68149号
[46] DJ Heeger;Jepson,AD,恢复刚体运动的子空间方法i:算法和实现,国际计算机视觉杂志,795-117,(1992)
[47] Heinly,J.、Schönberger,J.L.、Dunn,E.和Frahm,J.M.(2015)。在六天内重建世界。计算机视觉和模式识别进展.
[48] 埃尔南德斯·埃斯特班,C;Schmitt,F,3D物体建模的轮廓和立体融合,计算机视觉和图像理解,96,367-392,(2004)
[49] 埃尔南德斯,C;施密特,F;Cipolla,R,圆周运动下摄像机校准的轮廓相干性,IEEE模式分析和机器智能汇刊,29343-349,(2007)
[50] Heyden,A.(2006年)。微分代数多视图约束。第18届模式识别国际会议(ICPR'06)会议记录(第1卷,第159-162页)。华盛顿特区:IEEE计算机协会。
[51] ICCV2007(2007)。2007年10月14日至20日,第11届IEEE计算机视觉国际会议(ICCV 2007)里约热内卢:IEEE计算机学会。
[52] Jain,V.(2009)使用曲线和边的微分几何进行运动分割。美国罗得岛州普罗维登斯布朗大学工程系博士论文,02912。
[53] Jain,V.、Kimia,B.B.和Mundy,J.L.(2007a)。基于亚像素边缘的背景建模。IEEE图像处理国际会议(第四卷,第321-324页)。圣安东尼奥:IEEE。
[54] 耆那教,V;Kimia,BB;Mundy,JL,使用弹性匹配分离运动物体,计算机视觉和图像理解,108,230-242,(2007)
[55] Kahl,F.和Heyden,A.(1998年)。使用两幅图像中的二次曲线对应来估计外极几何。IEEE计算机视觉国际会议记录(第761页)。孟买:IEEE计算机学会出版社。
[56] Kahl,F.和Heyden,A.(2001年)。欧几里得重建和连续运动的自动校准。IEEE计算机视觉国际会议记录(第2卷)。温哥华:IEEE计算机学会出版社。
[57] JY卡明斯基;Shashua,A,一般代数曲线的多视图几何,国际计算机视觉杂志,56,195-219,(2004)·Zbl 1477.68474号
[58] Kanatani,K,通过重整化对光流的3D解释,国际计算机视觉杂志,11267-282,(1993)
[59] Kazhdan,M.、Bolitho,M.和Hoppe,H.(2006)。泊松曲面重建。SGP’06:第四届欧洲制图几何处理研讨会论文集(第61-70页)。Aire-la-Ville:欧洲制图协会。
[60] Koenderink,J.、van Doorn,A.和Wagemans,J.(2013)。SfS?不太可能。。。i-感知, \(4\)(5), 299.
[61] Kowdle,A.、Batra,D.、Chen,W.C.和Chen,T.(2012年)。imodel:交互式联合分割,用于感兴趣的对象三维建模。第11届欧洲计算机视觉趋势和主题会议记录(第二卷,第211-224页)。斯普林格。
[62] Kuang,Y.,&Au ström,K.(2013)。使用点、方向和线在焦距未知的情况下进行姿态估计。计算机视觉国际会议(第529-536页)。电气与电子工程师协会。
[63] Kuang,Y.、Oskarsson,M.和Au ströM,K.(2014)。使用直线重新审视三焦点张量估计。2014年第22届模式识别国际会议(第2419-2423页)。电气与电子工程师协会。
[64] Kunsberg,B.和Zucker,S.W.(2014)为什么阴影对轮廓很重要。视觉神经数学,形态发生学讲稿(第107-129页)。斯普林格·Zbl 1341.68286号
[65] Lebeda,K.、Hadfield,S.和Bowden,R.(2014)。2D或非2D:从运动中弥合跟踪和结构之间的差距。ACCV会议记录.
[66] Li,G.和Zucker,S.W.(2003)。基于轮廓的立体对应的微分几何模型。IEEE计算机视觉变分、几何和水平集方法研讨会论文集,法国尼斯.
[67] 林,WY;Tan,GC;Cheong,LF,当离散遇到微分时,国际计算机视觉杂志,86,87-110,(2009)
[68] Litvinov,V.、Yu,S.和Lhuillier,M.(2012)。从稀疏的视觉特征进行2倍重建。2012年国际3D成像会议(第1-8页)。电气与电子工程师协会。
[69] 李,G;Zucker,SW,基于轮廓的立体通信中的上下文推断,国际计算机视觉杂志,69,59-75,(2006)
[70] Longuet-Higgins,HC,从两个投影重建场景的计算机算法,《自然》,293133-135,(1981)
[71] Longuet-Higgins,HC;Prazdny,K,视网膜运动图像的解释,伦敦皇家学会学报B:生物科学,208385-397,(1980)
[72] Lowe,DG,《从尺度变化关键点获得的独特图像特征》,《国际计算机视觉杂志》,60,91-110,(2004)
[73] Ma,Y.、Soatto,S.、Kosecka,J.和Sastry,S.S.(2004)。3D视觉邀请纽约:Springer·Zbl 1043.65040号
[74] Mattingly,W.A.、Chariker,J.H.、Paris,R.、jen Chang,D.和Pani,J.R.(2015)。用于解剖教学的分支结构的3D建模。视觉语言与计算杂志,29, 54-62.
[75] 马来亚银行,S.(1992)。图像运动重建理论塞考克斯:斯普林格·Zbl 0875.68956号
[76] 门登萨,PRS;黄,KYK;Cipolla,R,圆周运动下轮廓的外极几何,IEEE模式分析和机器智能汇刊,23,604-616,(2001)
[77] Mikolajczyk,K;Schmid,C,尺度和仿射不变兴趣点检测器,国际计算机视觉杂志,60,63-86,(2004)
[78] Mikolajczyk,K;Schmid,C,局部描述符的性能评估,IEEE模式分析和机器智能汇刊,271615-1630,(2005)
[79] Moravec,H.P.(1977年)。朝向自动视觉障碍回避。第五届国际人工智能联合会议记录(第584页)。
[80] 莫雷尔斯,P;Perona,P,基于三维物体的特征检测器和描述符评估,国际计算机视觉杂志,73,263-284,(2007)
[81] Ohta,Y;Kanade,T,Stereo by inter-canline search using dynamic programming,IEEE Transactions on Pattern Analysis and Machine Intelligence,7,139-154,(1985年)
[82] Papadopoulo,T.(1996年)。单目图像序列中三维刚性曲线的运动分析。技术报告RR-2779,博士论文,INRIA。
[83] Papadopoulo,T.和Faugeras,O.D.(1996年)。从透视图像的单眼序列计算一般3D曲线的结构和运动。第四届欧洲计算机视觉会议记录(第696-708页)。伦敦:斯普林格。
[84] Pollefeys,M;古尔,L;Vergauwen,M;Verbist,F;科内利斯,K;顶部,J;Koch,R,手持式相机的视觉建模,国际计算机视觉杂志,59207-232,(2004)
[85] 彭斯,J;Genc,Y,外极几何和线性子空间方法:弱校准的新方法,国际计算机视觉杂志,28,223-243,(1998)
[86] 波里尔,J;波拉德,S,曲线匹配和立体校准,图像和视觉计算,9,45-50,(1991)
[87] Pötsch,K.和Pinz,A.(2011年)。通过立体视频中的3D轮廓云重建进行3D几何形状建模。第16届计算机视觉冬季研讨会,Citeser(第99页)。
[88] Rao,D.、Chung,S.J.和Hutchinson S.(2012年)。CurveSLAM:一种无点特征的基于视觉的导航方法。IEEE/RSJ智能机器人和系统(IROS)(第4198-4204页)。
[89] 密歇根州Restrepo;乌鲁索伊,AO;Mundy,JL,概率体场景基于特征的三维注册评估,ISPRS摄影测量与遥感杂志,98,1-18,(2014)
[90] 雷耶斯,L;Bayro Corrochano,E,使用未校准相机对点、线、二次曲面、平面二次曲线和退化二次曲面进行投影重建,图像和视觉计算,23,693-706,(2005)
[91] Robert,L.和Faugeras,O.D.(1991年)。基于曲线的立体:图形连续性和曲率。计算机视觉与模式识别进展(第57-62页)。
[92] 施密德,C;Zisserman,A,多视图上直线和曲线的几何形状和匹配,国际计算机视觉杂志,4199-233,(2000)·Zbl 1012.68708号
[93] Schneevigt,T.、Schroers,C.和Weickert,J.(2014)。从图像序列进行三维重建的密集管道。模式识别(第629-640页)。斯普林格。
[94] Seitz,S.、Curless,B.、Diebel,J.、Scharstein,D.和Szeliski,R.(2006)。多视图立体重建算法的比较与评价。IEEE计算机学会计算机视觉和模式识别会议记录(第519-528页)。
[95] Shashua,A.(1994)。通过对齐实现视觉识别的三线性。第三届欧洲计算机视觉会议记录(第479-484页)。塞考克斯:斯普林格。
[96] 谢尔曼,D;Peleg,S,轮廓增量匹配立体,IEEE模式分析和机器智能汇刊,121102-1106,(1990)
[97] Shinozuka,Y.和Saito,H.(2014)。使用基于视觉的三维对象跟踪,通过网络与多个客户端共享三维对象。2014年VRIC虚拟现实国际会议记录(第34:1-34:4页)。纽约:ACM。
[98] Simoes,F.、Almeida,M.、Pinheiro,M.和dos Anjos,R.(2012)。困难大尺寸物体的图像三维重建面临的挑战。第十六届虚拟和增强现实研讨会(第74-83页)。
[99] Sinha,S.N.、Pollefeys,M.和McMillan,L.(2004)。动态轮廓的摄像机网络校准。IEEE计算机学会计算机视觉和模式识别会议记录(第195-202页)。IEEE计算机学会。
[100] Spetsakis,M;Aloimonos,JY,视觉运动感知的多帧方法,国际计算机视觉杂志,6245-255,(1991)
[101] Stewénius,H.、Engels,C.和Nistér,D.(2007)。一个有效的微元相机运动的最小解。2007年IEEE计算机视觉和模式识别会议。2007年CVPR(第1-8页)。
[102] Tamrakar,A.(2008年)。基于几何一致性的图像轮廓提取。美国罗得岛州普罗维登斯布朗大学工程系博士论文,02912。
[103] Tamrakar,A.和Kimia,B.B.(2007年)。没有留下分组:从边到曲线碎片。ICCV2007年.
[104] Teney,D.,&Piater,J.(2012),基于采样的多视图重建,无3D边缘对应。诉讼(第160-167页)。华盛顿特区:IEEE。
[105] Tian,T.Y.、Tomasi,C.和Heeger,D.J.(1996)。自我运动计算方法的比较。1996年IEEE计算机学会计算机视觉和模式识别会议论文集CVPR’96(第315-320页)。电气与电子工程师协会。
[106] Triggs,B.(1999)。差异匹配约束。IEEE计算机视觉国际会议记录,KerKyra:IEEE计算机学会出版社。
[107] Usumezbas,A.、Fabbri,R.和Kimia,B.B.(2016年)。从多视图图像曲线到3D图形。欧洲计算机视觉会议记录施普林格。(已提交)。
[108] 瓦尔盖茨,L;布鲁恩,A;Mainberger,M;Weickert,J,估计基本矩阵的密集与稀疏方法,国际计算机视觉杂志,96,212-234,(2012)·Zbl 1235.68293号
[109] van den Hengel,A.(2000年)。在未校准的情况下,根据运动对结构进行稳健估计。阿德莱德大学博士论文。
[110] van den Hengel,A.、Chojnacki,W.和Brooks,M.(2007)。由时变光流确定摄像机的平移速度(第3417卷,第190页)。,柏林计算机科学讲稿:Springer。
[111] Viéville,T.和Faugeras,O.D.(1995年)。使用具有未知且可能变化的固有参数的相机进行运动分析。第五届计算机视觉国际会议记录(第750-756页)。电气与电子工程师协会。
[112] T州维维尔;Faugeras,O,未校准情况下运动方程的一阶展开,计算机视觉和图像理解,64128-146,(1996)
[113] Wang,R.、Choi,J.和Medioni,G.(2014)。使用轮廓一致性从宽基线范围扫描进行三维建模。IEEE计算机视觉与模式识别会议(CVPR)(第4018-4025页)。
[114] 瓦克斯曼,AM;Ullman,S,图像流运动学的表面结构和三维运动,国际机器人研究杂志,472-94,(1985)
[115] KY Wong;Cipolla,R,从未知摄像机位置的轮廓重建雕塑,IEEE图像处理汇刊,13,381-9,(2004)
[116] Wong,K.Y.K.,Mendonça,P.R.S.和Cipolla,R.(2001年)。从轮廓中获取头部模型。在C.Arcelli、L.Cordella和G.S.di Baja(编辑)中,IWVF公司(第787-796页)。意大利卡普里:斯普林格·Zbl 0985.68651号
[117] Yi Ma,S.S.和Koseck,Jana。(1998). 从图像序列中恢复运动:离散视点与差分视点。欧洲计算机视觉会议记录,计算机科学讲稿(第1407卷,第337页)。斯普林格。
[118] 张磊(2013)。线原语及其在几何计算机视觉中的应用。大学计算机科学系博士论文。
[119] Zhung,X.和Haralick,R.M.(1984)。刚体运动和光流图像。第一届人工智能应用会议记录(第366-375页)。IEEE计算机学会。
[120] Zucker,S,《立体、着色和曲面:曲率约束耦合神经计算》,IEEE学报,102,812-829,(2014)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。