On a spatial-temporal decomposition of optical flow

Aniello Raffaele Patrone; Otmar Scherzer

doi:10.3934/ipi.2017036

文章内容

2017年第11卷, 第4版: 761-781. Doi公司：10.3934/ipi.2017036

这个问题上一篇文章提高多频源散射反问题的稳定性下一篇文章

光流的时空分解

1
奥地利维也纳奥斯卡·莫根斯坦广场11090维也纳大学计算科学中心
2
奥地利林茨Altenbergerstraẞe 694040 Johann Radon计算与应用数学研究所（RICAM）

*通讯作者：Aniello Raffaele Patrone
*通讯作者：Aniello Raffaele Patrone

收到日期： 2015年7月

修订日期： 2017年4月

发布时间： 2017年10月

WWTF支持第一作者。

摘要全文（HTML）图(8)/表（3）相关论文引用人

摘要

本文提出了一种用于计算动态图像序列时空光流的分解算法。我们考虑了几个应用，例如时间运动特征的提取和在不同照明条件下动态序列中的运动检测，例如在心理闪烁实验中出现的动态序列。对于数值实现，我们正在求解积分微分的通过定点迭代得到方程。为了进行比较，我们使用了一种标准的依赖时间的光流算法，与我们的方法相比，该算法包括求解时空有差别的等式。

关键词：

时空光流,
分解，分解,
变分法。

数学学科分类：一次：65F22、35A15、68U10。

引文：

全文（HTML）

图1。 $f（x，t）=x（1-x）（1-t）$从（7）开始。的标高线$f美元$由参数化$（\Psi（x，t），t）$

下载：全尺寸图像 PowerPoint幻灯片

图2。 $g（t）=\exp\left\{-\frac{1}{\beta}（1-t）^\beta\right\}$

下载：全尺寸图像 PowerPoint幻灯片

图3。 颜色控制盘

下载：全尺寸图像 PowerPoint幻灯片

图4。 ${\vec u^{\左（2\右）}}$在不同的旋转频率下：$2$,$4$和8美元\次$比原始运动频率更快。$\alpha^{（1）}=1$,$\alpha^{（2）}=\frac{1}{4}$.强度${\vec u^{\左（2\右）}}$旋转频率增加时增加

下载：全尺寸图像 PowerPoint幻灯片

图6。 ${\vec u^{\左（1\右）}}$：摩天轮的移动和人们在前景中行走（左上角）。${\vec u^{\左（2\右）}}$由闪烁的灯光和轮子的反射组成（右上角）。第三幅图像（底部）是参考框

下载：全尺寸图像 PowerPoint幻灯片

图5。 动态序列由立方体和振荡背景的平滑（类似平移）运动组成。振荡周期为四帧，从左下到右上沿对角线方向发生，以每帧帧大小的5%的速率移动。该模型对运动进行分解，获得立方体的全局运动${\vec u^{\左（1\右）}}$（左）和背景运动${\vec u^{\左（2\右）}}$（右）。

下载：全尺寸图像 PowerPoint幻灯片

图8。 闪烁序列中包含信息的两个帧（顶部）、这两个帧之间的差异（左下方）以及${\vec u^{\左（2\右）}}$拟议方法产生的流场（右下）。如第3节和附录A所预测$｛\vec u^｛\left（1\right）｝｝$相反，组件可以忽略不计${\vec u^{\左（2\右）}}$检测整个空白板材的强度变化。

下载：全尺寸图像 PowerPoint幻灯片

图7。 Horn-Schunck的结果

下载：全尺寸图像 PowerPoint幻灯片

表1。 连续记数法

$\vec x=（x_1，x_2）$	二维欧氏空间中的向量
$\partial_k=\frac{\partial}{\parial x_k}$	空间变量微分x_k美元$
$\partial_t=\frac{\partial}{\partic t}$	关于时间的微分
$\nabla=（\partial_1，\partial _2）^T$	空间梯度
$\nabla_3=（\partial_1，\partial _2，\parcial_t）^t$	空间和时间梯度
$\nabla\cdot=\partial_1+\partial _2$	空间发散
$\nabla_3\cdot=\partial_1+\partial _2+\parcial_t$	时空发散
$\vec{n}$	向外指向的法向量$\欧米茄$
$f美元$	输入序列
$f（\cdot，t）$	电影帧
${\vec u^{\左（i\右）}}$	光流模块，$i=1，2$
$\vecu={\vecu^{\左（1\右）}}+{\vecu^{\右（2\右$	光流
$u_j^{\左（i\右）}$	j美元$-的第个光流分量1美元$-第个模块
$\widehat{u}（\cdot，t）=\int_0^t u（\cdop，\tau）\，{\rm{d}}\tau$	的基元$u（美元）$
$\widehat{\wideheat{u}}（\cdot，t）=-\int_t^1\widehat{u}（\ cdot，\tau）\，{\rm{d}}\tau$	第二个原语，共$u（美元）$-请注意$\partial_t\widehat{\wideha{u}}（\cdot，t）=\wideheat{u}（\ cdot，t）$

|显示表格

下载：CSV公司

表2。 离散符号

$f=f（r，s，t）\in\mathbb{r}^{M\次N\次t}$	输入序列
${\vecu^{\左（i\右）}}={\vecu^{\右（i\左）}}（r，s，t；k）\in\mathbb{r}^{M\次N\次t\次k\次2}$	离散光流近似连续流动${\vec u^{\左（i\右）}}$在$（\压裂{r}{M-1}、\压裂{s}{N-1}和\压裂{t}{t-1}）$
$\部分_k^h$	方向上的有限差分逼近x_k美元$
$\部分_小时$	方向上的有限差分逼近$t（美元）$
$\Delta_x=\frac{1}{M-1}$,$\Delta_y=\frac{1}{N-1}$和$\增量_t=\压裂{1}{t-1}$	离散化
$\hat u_j^｛\left（2\right）｝（r，s，t；k）=\Delta_t\sum_｛\tau=1｝^t u_j^｛\left（2\right）｝（r，s，\tau；k）$,$j=1,2$	有限差分逼近$\widehat{u}（\cdot，t）$
$\hat{hat{u}}_j^{\左（2\右）}$	有限差分逼近$\widehat｛\widehat｛u｝｝（\cdot，t）$

|显示表格

下载：CSV公司

表3。 空间和时间平方残差的比较$\mathcal{E}$Weickert-Shnörr和建议的方法之间

	威克特·施诺尔	建议的模型
汉堡出租车	1374.9	1021
橡胶鲸鱼	4459.7	3046.8
绣球花	8533.3	7647.2
狗舞	9995.4	8217.6
行走	8077.5	5944.3

|显示表格

下载：CSV公司

相关论文

引用人

工具书类

[1]	J.Abhau、Z.Belhachmi和O.Scherzer，关于光流分解模型，in计算机视觉和模式识别中的能量最小化方法《计算机科学讲稿》，第5681页，斯普林格·弗拉格，柏林，海德堡，2009126-139。数字对象标识：10.1007/978-3-642-03641-5_10.
[2]	R.安德列夫, 欧·谢泽尔和W.Zulehner先生，同步光流和光源估计：时空离散化和预处理，应用数值数学,96(2015), 72-81. 数字对象标识：2016年10月10日/j.apnum.2015.04.007。
[3]	G.奥伯特和J.F.奥约尔，建模非常震荡的信号。应用于图像处理，申请。数学。最佳方案。,51(2005), 163-182. 数字对象标识：10.1007/s00245-004-0812-z。
[4]	J.F.奥约和A.钱博勒、双范数和图像分解模型，国际期刊计算。愿景,63(2005), 85-104.
[5]	J.F.奥约和S.Kang（南康），彩色图像分解和恢复，视觉杂志。Commun公司。图像表示,17(2006), 916-928. 数字对象标识：2016年10月10日/jvcir.2005.02.001。
[6]	J.F.奥约, G.奥伯特, L.Blanc-Féraud先生和A.Chambolle公司，将图像分解为有界变化分量和振荡分量，数学杂志。图像视觉,22(2005), 71-88. 数字对象标识：10.1007/s10851-005-4783-8。
[7]	J.F.奥约, G.吉尔博亚, T.Chan先生和S.Osher公司、结构纹理图像分解建模、算法和参数选择，国际期刊计算。愿景,67(2006), 111-136.
[8]	S.贝克, D.沙尔斯坦, J.P.刘易斯, S.罗斯, M.J.布莱克和R.Szeliski先生，光流数据库和评估方法，国际期刊计算。愿景,92(2011), 1-31. 数字对象标识：2007年10月17日/11263-010-0390-2。
[9]	M.Bauer先生, 布鲁弗斯先生和W.P.Michor公司，形状空间和微分同胚群的几何概述，数学杂志。图像视觉,50(2014), 60-97. 数字对象标识：10.1007/s10851-013-0490-z。
[10]	B.Berkels、A.Effland和M.Rumpf，图像空间中的时间离散测地路径，SIAM J.成像科学.,8（2015），1457-1488，arXiv:1503.02001年。数字对象标识：10.1137/140970719.
[11]	A.博尔齐, 伊藤（K.Ito）和K.Kunisch公司，确定光流的最佳控制公式，SIAM科学杂志。计算。,24(2002), 818-847. 数字对象标识：10.1137/S1064827501386481。
[12]	A.Bruhn，变分光流计算：精确建模和高效数值2006年，德国萨尔州大学博士论文。
[13]	V.杜瓦尔, J.F.奥约和L.Vese公司，纹理数学建模：应用投影梯度算法进行彩色图像分解，数学杂志。图像视觉,37(2010), 232-248. 数字对象标识：2007年10月10日/10851-010-0203-9。
[14]	M.汉克和欧·谢泽尔，逆问题灯：数值微分，阿默尔。数学。每月,108(2001), 512-521. 数字对象标识：10.2307/2695705.
[15]	B.K.P.喇叭和B.G.Schunck公司，确定光流，人工智能,17(1981), 185-203.
[16]	A.贾恩和L.尤尼斯，一个内核类，允许在由微分同态引起的形状空间中进行快速计算，J.计算。和应用数学。,245(2013), 162-181. 数字对象标识：2016年10月10日/j.cam.2012.10.019。
[17]	C.基里西斯, L·朗和欧·谢泽尔，球面上光流的分解，GEM-国际地理数学杂志,5(2014), 117-141. 数字对象标识：10.1007/s13137-013-0055-8。
[18]	T.Kohlberger，E.Memin和C.Schnörr，使用亥姆霍兹分解的变分密集运动估计，in计算机视觉中的尺度空间方法（L.D.Griffin和M.Lillholm编辑），《计算机科学讲义》，2695，柏林斯普林格，2003432-448。数字对象标识：10.1007/3-540-44935-3_30.
[19]	J.Lee和J.C.Wright，谱码的通用并行块三对角求解器，麻省理工学院等离子体科学与聚变中心，2010年。
[20]	B.麦凯恩, K.诺文斯, D.克兰尼奇和B.加尔文，关于基准光流，计算。视觉图像理解,84(2001), 126-143.
[21]	Y.Meyer，图像处理中的振荡模式和非线性演化方程《大学系列讲座》，第22卷，美国数学学会，普罗维登斯，RI，2001年。数字对象标识：10.1090/ulect/022。
[22]	M.I.米勒和L.尤尼斯，群体行动，同胚和匹配：一个通用框架，国际期刊计算。愿景,41(2001), 61-84.
[23]	J.K.O'Regan，《改变盲视》，《E认知科学》，2007年。
[24]	O.Scherzer、M.Grasmair、H.Grossauer、M.Haltmeier和F.Lenzen，成像中的变分方法《应用数学科学》，第167卷，施普林格，纽约，2009年。数字对象标识：10.1007/978-0-387-69277-7.
[25]	L.Vese公司和S.Osher公司，在图像处理中用总变差最小化和振荡模式建模纹理，科学杂志。计算。,19(2003), 553-572. 数字对象标识：10.1023/A:1025384832106。
[26]	L.Vese公司和S.Osher公司，具有总变化最小化和振荡函数的图像去噪和分解，数学杂志。图像视觉,20(2004), 7-18. 数字对象标识：10.1023/B:JMIV.0000011316.54027.6a。
[27]	C.M.王, K.C.风扇和C.T.王，通过集成多帧信息估计光流，信息科学与工程杂志,24(2008), 1719-1731.
[28]	J.威克特, A.布鲁恩, T.布罗克斯和N.帕彭伯格，小位移变分光流方法综述，注册数学模型及其在医学成像中的应用，施普林格-柏林-海德堡,10(2006), 103-136. 数字对象标识：10.1007/978-3-540-34767-5_5.
[29]	J.威克特和C.施诺尔，基于PDE的图像运动计算中凸正则化子的理论框架，国际期刊计算。愿景,45(2001), 245-264.
[30]	J.威克特和C.施诺尔，具有时空平滑约束的变分光流计算，数学杂志。图像视觉,14(2001), 245-255.
[31]	J.袁, C.舍尔和G.斯特德尔，同时进行高阶光流估计和分解，SIAM科学杂志。和统计计算。,29（2007），2283-2304（电子版）。数字对象标识：10.1137/060660709.
[32]	J.Yuan，G.Steidl和C.Schnörr，图像流的凸霍奇分解，in模式识别，计算机课堂讲稿。科学。，5096，柏林施普林格，2008416-425。数字对象标识：10.1007/978-3-540-69321-5_42.
[33]	J.袁, C.施诺尔和G.斯泰德尔，图像流的凸霍奇分解和正则化，数学杂志。图像视觉,33(2009), 169-177. 数字对象标识：10.1007/s10851-008-0122-1。