\`x^2+y_1+z_12^34\`
高级搜索
高级搜索
高级搜索
这个问题 上一篇文章 下一篇文章
文章内容
文章内容
2023年第17卷, 第1版: 203-229. Doi公司：10.3934/ipi.2022037
这个问题 上一篇文章 分数阶扩散方程变阶检测的封闭方法 下一篇文章 矢量值图像压缩中基于颜色化的各向异性变分模型

求解非线性反问题的数据一致性神经网络

  • 1

    荷兰特温特大学应用数学系

  • 2

    奥地利因斯布鲁克大学数学系

  • 三。

    英国曼彻斯特大学数学系

  • *通讯作者：约翰·施瓦布

    *通讯作者：约翰·施瓦布
收到日期： 2021年5月
修订日期： 2022年5月
提前访问： 2022年7月
发布时间： 2023年2月
摘要 全文（HTML） 图(16)/表(3) 相关论文 引用人
    摘要

  • 数据辅助重建算法结合了训练好的神经网络，是解决逆问题的一种新范式。一种方法是首先应用经典的重建方法，然后应用神经网络来改进其解。经验证据表明，普通的两步方法提供了高质量的重建，但它们缺乏经典正则化方法的收敛性分析。在本文中，我们在经典正则化理论的背景下形式化了这种两步方法的使用。我们提出了可以与经典正则化方法相结合的数据一致性神经网络。这就产生了一种数据驱动的正则化方法，我们为其提供了关于噪声的收敛性分析。数值模拟表明，与标准的两步深度学习方法相比，我们的方法在测试集中的分布外示例方面提供了更好的稳定性，而在从训练集的分布中提取的测试数据上的表现类似。我们的方法为逆问题提供了一种稳定的求解方法，它将已知的非线性正演模型与训练数据中所需解流形的可用信息有效地结合起来。

    数学学科分类：一次：65J20、68T07、65J22；次要：45F05。

    引文：
    舒

    \开始{方程式}\\结束{方程式{
    • 全文（HTML）
  • 加载中

  • 图1。 左边是一个标准的后处理网络。红色框表示输出通常不会在转发操作$\mathcal{F}$下再现数据。右侧是数据一致的网络架构。绿色框说明它确实在转发操作$\mathcal{F}下复制了数据$

    下载：全尺寸图像 PowerPoint幻灯片

    图2。 该图说明了给定数据$y$的解决方案集，以及在应用$\mathcal{F}$的右反转后，网络$\mathbf{U}$对解决方案的输出。由一些迭代方案或闭式算子近似的广义投影算子分别用绿色和蓝色表示

    下载：全尺寸图像 PowerPoint幻灯片

    图3。 第4.1节解释了“凸集投影”问题的数据一致性网络的二维可视化。蓝色区域表示凸集$C$，绿色区域（无限向右延伸）表示$\mathcal的仿射法向锥到$C${P} _C（_C）（z） 美元。数据一致网络的输出由$\Phi_0（z）$表示；可以看出，它是通过获取输入$z$，应用Lipschitz连续神经网络$\mathbf{U}（z）$并将其投影到$\mathcal处的法锥$\matchcal N_C$来获得的{P} _C（_C）（z） 美元。这样可以确保$\mathcal{P} _C（_C）（\Phi_0（z））=\mathcal{P} _C（_C）（z） $，根据数据一致性网络的定义

    下载：全尺寸图像 PowerPoint幻灯片

    图7。 从修改后的测试集重建典型样本。顶部：用8个不同颜色的角度重建正弦图。底部：重建图像（灰度从0到1）

    下载：全尺寸图像 PowerPoint幻灯片

    图4。 从常规测试集重建样本。底部显示了水平中央切片。U-Net和数据一致性网络都提供了近乎完美的重建

    下载：全尺寸图像 PowerPoint幻灯片

    图5。 从修改后的测试集重建样本。底部显示了水平中央切片。数据一致性确保强度仅在饱和水平以上更改

    下载：全尺寸图像 PowerPoint幻灯片

    图6。 从常规测试集重建典型样本。顶部：用8个不同颜色的角度重建正弦图。底部：重建图像（灰度从0到1）

    下载：全尺寸图像 PowerPoint幻灯片

    图8。  

    下载：全尺寸图像 PowerPoint幻灯片

    图9。  

    下载：全尺寸图像 PowerPoint幻灯片

    图10。  

    下载：全尺寸图像 PowerPoint幻灯片

    图11。 与U-Net PSNR值相比，数据一致的PSNR数值相对较高的样本（灰度从0到1）

    下载：全尺寸图像 PowerPoint幻灯片

    图12。 数据一致的PSNR值与U-Net PSNR数值大致相同的样本（灰度从0到1）

    下载：全尺寸图像 PowerPoint幻灯片

    图13。 与U-Net PSNR值（灰度从0到1）相比，数据非变异PSNR数值相对较低的样本

    下载：全尺寸图像 PowerPoint幻灯片

    图14。 与U-Net PSNR值（灰度从0到1）相比，数据非变异PSNR数值相对较高的样本

    下载：全尺寸图像 PowerPoint幻灯片

    图15。 数据不变PSNR值与U-Net PSNR值大致相同的样本（灰度从0到1）

    下载：全尺寸图像 PowerPoint幻灯片

    图16。 与U-Net PSNR值（灰度从0到1）相比，数据非变异PSNR数值相对较低的样本

    下载：全尺寸图像 PowerPoint幻灯片

    表1。 所有模拟实验的U-Net参数详细信息

    支出1$（\mathbf{U}/{\mathit{\boldsymbol{\Phi}}}}_0）$： 费用2美元（\mathbf{U} _1个/{{\mathit{\boldsymbol{\Phi}}}_0^{（1）}）$： 费用2美元（\mathbf{U} _2/{{\mathit{\boldsymbol{\Phi}}}_0^{（2）}）$：
    图像域 图像域 正弦图域
    $\#$培训样本 1024 35584 35584
    $\#$验证样本 256 3522 3522
    $\#$测试样本 1024 3553 3553
    深度 4 4 4
    宽度 2 2 2
    顶层的$\#$频道 8 16 16
    卷积大小 $3\次3$ $3\次3$ $3\次3$
    非线性 ReLU公司 ReLU公司 ReLU公司
    开始学习率 $ 10^{-3} $ $ 10^{-3} $ $ 10^{-3} $
    最终学习率 $ 10^{-4} $ $2\cdot10^{-4}$ $2\cdot10^{-4}$
    批量大小 64 32 32
    $\#$个纪元 1000 25 25
    |显示表格
    下载：CSV文件

    表2。 所有重建方法的PSNR和SSIM的比较

    峰值信噪比 SSIM公司
    伪逆 掌中宽带 数据一致 伪逆 掌中宽带 数据一致
    常规设置 每平方米24.2美元$ 60.6美元\pm2.1$ 66.7美元\pm1.6$ $0.56\pm 0.08$ 1.00美元\pm0.00$ 1.00美元\pm0.00$
    已修改集合 48.0美元\pm7.8$ 36.9美元\pm2.9$ 48.0美元\pm4.4$ 0.99美元\pm 0.01$ 0.92美元\pm0.03$ 0.97美元\pm0.01$
    |显示表格
    下载：CSV文件

    表3。 PSNR、SSIM和数据可靠性的比较$\Vert{\mathbf{F}（\tilde{x}）-\mathbf{F}（x）}\Vert_{ell^2}$对于所有重建方法，其中$\波浪线{x}$是重建和x美元$这是基本事实。注意，理论上伪逆的数据保真度应该为零，因为它是正向算子的右逆。非零值是由该算符计算中的数值不稳定性引起的

    峰值信噪比
    伪逆 一个U-Net 两个U形网 数据一致
    常规设置 23.1美元\下午2.3$ 30.5美元\pm1.5$ 31.0美元\pm1.5$ 30.1美元\pm1.9$
    已修改集合 29.1美元\pm1.6$ 27.5美元\pm1.7$ 28.3美元\pm1.4$ 29.9美元\pm1.2$
    最短持续时间
    伪逆 一个U-Net 两个U形网 数据一致
    常规设置 0.50美元\pm0.07$ 0.82美元\pm0.04$ 0.83美元\pm0.04$ 0.74美元\pm0.07$
    已修改集合 0.71美元\pm0.07$ 0.74美元\pm0.05$ 0.73美元\pm0.05$ 0.75美元\pm0.05$
    数据可靠性
    伪逆 一个U-Net 两个U形网 数据一致
    常规设置 6.1美元\pm3.3$ $\四元4.8\pm1.5$ 3.9美元\pm1.1$ 0.9美元\pm0.4$
    修改后的集合 0.4美元\pm0.2$ 11.9美元\pm5.4$ $8.5\pm2.8$ 0.6美元\百万分之二$
    |显示表格
    下载：CSV文件
    • 相关论文
  • 引用人
  • 工具书类
  • [1] A.Adler、V.Emiya、M.G.Jafari、M.Elad、R.Gribonval和M.D.Plumbley，《音频去噪的约束匹配追踪方法》，2011年IEEE声学、语音和信号处理国际会议（ICASSP）, (2011), 329–332.数字对象标识：10.1109/ICASSP.2011.5946407。
    [2] J.阿德勒和O.Øktem，使用迭代深度神经网络求解不适定逆问题，反向探测。,33（2017），124007数字对象标识：10.1088/1361-6420/aa9581。
    [3] S.安托尔泽, M.哈尔特迈耶和夏瓦，从稀疏数据深入学习光声层析成像，科学与工程中的反问题,27(2019), 987-1005. 数字对象标识：10.1080/17415977.2018.1518444.
    [4] S.Armato三世, G.麦克伦南, L.Bidaut先生, M.McNitt-Gray公司, C.梅耶, A.李维斯, B.赵, D.阿贝尔, C.亨斯克和E.霍夫曼等。，肺图像数据库联盟（LIDC）和图像数据库资源计划（IDRI）：一个完整的CT扫描肺结节参考数据库，医学物理学,38(2011), 915-931. 
    [5] S.Arridge公司, P.马斯, O.Øktem和C.B.舍恩利布，使用数据驱动模型解决反问题，数字学报,28(2019), 1-174. 数字对象标识：10.1017/S096249291900059。
    [6] A.B.巴库辛斯基和M.余。科库林，反问题近似解的迭代方法，施普林格，2004年
    [7] H.H.鲍斯科和J.M.博文，关于求解凸可行性问题的投影算法，SIAM审查,38(1996), 367-426. 数字对象标识：10.1137/S0036144593251710。
    [8] Y.Boink和C.Brune，学习SVD:通过混合自动编码解决逆问题，arXiv公司：1912.10840, (2020).
    [9] Y.波因克, S.马诺哈尔和C.布鲁纳，用于联合光声重建和分割的部分学习算法，IEEE医学影像汇刊,39(2020), 129-139. 数字对象标识：10.1109/TMI.2019.2922026。
    [10] T.A.布巴, G.库蒂尼奥克, M.拉斯斯, März先生, W.萨梅克, S.硅烷和V.斯里尼瓦桑《学习看不见的东西：用于有限角度CT的混合式深度学习小脑框架》，反问题,35(2019), 064002. 数字对象标识：10.1088/1361-6420/ab10ca。
    [11] H.W.Engl、M.Hanke和A.Neubauer，反问题的正则化Kluwer学术出版集团，1996年。
    [12] D.Gilton、G.Ongie和R.Willett，成像逆问题的Neumann网络，IEEE传输。计算。成像,6(2020), 328–343.arXiv公司：1901.03707, (2019).数字对象标识：10.1109次/次.2019.2948732次。
    [13] H.古克, E.弗兰克, B.普法林格和M.J.克里，通过加强lipschitz连续性来规范神经网络，机器学习,110(2021), 393-416. 数字对象标识：10.1007/s10994-020-05929-w。
    [14] I.Gulrajani、F.Ahmed、M.Arjovsky、V.Dumoulin和A.Courville，《改进wasserstein组织的培训》，arXiv预打印，arXiv:1704.00028号, (2017).
    [15] S.J.汉密尔顿和A.豪普特曼，Deep D-bar：利用深度神经网络进行实时电阻抗断层成像，IEEE传输。医学图像。,37(2018), 2367-2377. 数字对象标识：10.1109/TMI.2018.2828303。
    [16] P.C.Hansen，离散反问题：洞察力和算法，SIAM，2010年。数字对象标识：10.1137/1.9780898718836.
    [17] 何凯、张旭、任三生、孙建军，图像识别的深度残差学习，IEEE计算机视觉和模式识别会议记录, (2016), 770–778.数字对象标识：10.1109/CVPR.2016.90。
    [18] S.Honig和M.Werman，利用深层网络进行图像解块，2018年IEEE第25届图像处理国际会议（ICIP）, (2018), 3923–3927.数字对象标识：10.1109/ICIP.2018.8451780。
    [19] M.V.de Hoop、M.Lassas和C.A.Wong，非线性算子函数和非线性逆问题的深度学习结构，数学。统计学习。,4(2021), 1–86.arXiv:1912.11090年, (2019).数字对象标识：10.4171/msl/28。
    [20] K.H.Jin先生, M.T.麦肯, E.弗鲁斯特和M.Unser先生，用于成像逆问题的深度卷积神经网络，IEEE传输。图像处理。,26（2017），4509-4522数字对象标识：10.1109/TIP.2017.2713099。
    [21] B.Kaltenbacher、A.Neubauer和O.Scherzer，非线性不适定问题的迭代正则化方法，，Walter de Gruyter GmbH&Co.KG，柏林，2008年。数字对象标识：10.1515/9783110208276.
    [22] E.Kobler、T.Klatzer、K.Hammernik和T.Pock，变分网络：连接变分方法和深度学习，德国模式识别会议, (2017), 281–293.数字对象标识：10.1007/978-3-319-66709-6。
    [23] A.Kofler、M.Haltmeier、C.Kolbitsch、M.Kacherrieß和M.Dewey，稀疏视图计算机断层扫描的U-Nets级联，医学图像重建机器学习国际研讨会, (2018), 91–99.数字对象标识：10.1007/978-3-030-00129-2_11.
    [24] D.Lee、J.Yoo和J.C.Ye，压缩传感MRI的深度剩余学习，IEEE第十四届国际生物医学成像研讨会（ISBI 2017）, 15–18.数字对象标识：10.1109/ISBI.2017.7950457。
    [25] R.M.莱维特，使用广义Kaiser-Bessel窗口函数的多维数字图像表示，JOSA公司,7(1990), 1834-1846. 数字对象标识：10.1364/JOSAA.7.001834。
    [26] J.Leuschner、M.Schmidt、D.Baguer和P.Maaß，LoDoPaB-CT数据集：低剂量CT重建方法的基准数据集，arXiv:1910.01113, (2019).
    [27] H.李, 夏瓦, S.安托尔泽和M.哈尔特迈耶，NETT：使用深度神经网络解决反问题，反问题，在线优先,36(2020), 065005. 数字对象标识：10.1088/1361-6420/ab6d57。
    [28] S.Lunz、O.Øktem和C.Schönlieb，反问题中的对抗正则化子，神经信息处理系统研究进展，（2018），8507–8516。
    [29] M.Mardani、E.Gong、J.Cheng、S.Vasanawala、G.Zaharchuk、M.Alley、N.Thakur、W.Han、J.Pauly等，压缩传感自动机的深层生成对抗网络MRI，arXiv公司：1706.00051, (2017)
    [30] V.A.莫罗佐夫，解决不正确问题的方法施普林格-弗拉格出版社，1984年。数字对象标识：10.1007/978-1-4612-5280-1.
    [31] S.Mukherjee，S.Dittmer，Z.Shumaylov，S.Lunz，O.洗ktem和C.Schönlieb，反问题的学习凸正则化子，arXiv预打印，arXiv:2008.02839, (2020).
    [32] J.Rick Chang、C.Li、B.Poczos、B.Vijaya和A.Sankaranarayanan，使用深度投影模型解决所有线性反问题的一个网络，IEEE计算机视觉国际会议论文集，（2017），5888–5897。数字对象标识：10.1109/ICCV.2017.627。
    [33] Y.里文森, Z.哥伦布, H.Günaydin先生, Y.Zhang（张）, H.王和A.奥兹坎、深度学习显微镜、，光学,4(2017), 1437-1443. 数字对象标识：10.1364/OPTICA.4.001437。
    [34] O.Ronneberger、P.Fischer和T.Brox，U-net：生物医学图像分割的卷积网络，医学图像计算和计算机辅助干预国际会议, (2015), 234–241.数字对象标识：10.1007/978-3-319-24574-4_28.
    [35] O.Scherzer、M.Grasmair、H.Grossauer、M.Haltmeier和F.Lenzen，成像中的变分方法，Springer，2009年。
    [36] 夏瓦, S.安托尔泽和M.哈尔特迈耶，反问题的深空学习：收敛分析和速率，反问题,35(2019), 025008. 数字对象标识：10.1088/1361-6420/aaf14a。
    [37] 夏瓦, S.安托尔泽和M.哈尔特迈耶，Big in Japan：求解逆问题的正则化网络，数学成像与视觉杂志,62(2020), 445-455. 数字对象标识：2007年10月10日/10851-019-00911-1。
    [38] 孙建军，李海平，徐志忠，等，用于压缩传感MRI的深度ADMM-Net，神经信息处理系统的研究进展, (2016), 10–18.
    [39] A.N.Tikhonov和V.Y.Arsenin，不适定问题的解决方案约翰·威利父子公司，1977年。
    [40] 十、张, J.Wang（王）和李星（L.Xing），通过约束优化减少x射线计算机断层扫描（CT）中的金属伪影，医学物理学,38(2011), 701-711. 数字对象标识：10.1118/1.3533711。
    [41] B.朱, J.Z.刘, S.F.考利, B.R.罗森和M.S.Rosen先生，基于域变换流形学习的图像重建，自然,555(2018), 487-492. 数字对象标识：10.1038/nature25988。
    • 访问历史记录
  • 加载中

数字(16)

桌子(三)

PDF格式
XML格式
出口引文
分享
给朋友发送电子邮件

文章指标

HTML视图(2186) PDF下载(274) 引用人(0)

访问历史记录

作者撰写的其他文章

目录

    /

    返回
    返回
    站点地图版权所有©2024美国数学科学研究所