研究论文

RepCaM：用于神经视频传输的重参数化内容软件调制

作者:

嘉明线路接口单元,

延东郭、和

上杭张作者信息和声明

NOSSDAV’23：第33届数字音频和视频网络和操作系统支持研讨会会议记录

2023年6月

页1-7

https://doi.org/10.1145/3592473.3592567

出版:2023年6月7日出版历史

获取访问权限

摘要

最近，内容软件方法被用来减少带宽和提高互联网视频传输的质量。现有方法针对服务器上的每个视频块训练相应的内容软件超分辨率（SR）模型，并将低分辨率（LR）视频块与SR模型一起流式传输到客户端。以前的工作引入了额外的部分参数来私有化不同视频块的模型。然而，这仍然会导致参数的积累，甚至无法在视频长度增加时进行调制，从而带来额外的传输成本和性能下降。本文介绍了一种新的重参数化内容软件调制（RepCaM）方法，该方法通过端到端的训练策略来调制所有视频块。我们的方法在训练过程中采用额外的并行扫描参数来拟合多个块，同时在推理过程中通过重新参数化去除额外的参数。因此，与原始SR模型相比，RepCaM没有增加额外的模型大小。此外，为了提高服务器上的训练效率，我们提出了一种在线视频补丁采样（VPS）方法来加速训练收敛。我们对VSD4K和新收集的数据集（VSD4K-2022）进行了广泛的实验，在视频恢复质量和传输带宽压缩方面取得了最先进的结果。代码位于：https://github.com/Neural-video-delivery/RepCaM-Pytorch-NOSSDAV2023。

工具书类

[1]

艾里库尔·阿古斯松和拉杜·蒂莫夫特。2017年，NTIRE 2017单图像超分辨率挑战：数据集和研究。在IEEE计算机视觉和模式识别会议（CVPR）研讨会。

[2]

Jose Caballero、Christian Ledig、Andrew Aitken、Alejandro Acosta、Johannes Totz、Zehan Wang和Wenzhe Shi。2017.具有时空网络和运动补偿的实时视频超分辨率。在IEEE计算机视觉和模式识别会议记录。IEEE，4778--4787。

[3]

Kelvin CK Chan、Xintao Wang、Ke Yu、Chao Dong和Chen Change Loy。2020年，《基础VSR：视频超分辨率及其后的关键组件搜索》（BasicVSR：The Search for Essential Components in Video Super-Resolution and Beyond）。arXiv预印arXiv:2012.02181(2020).

[4]

Kelvin CK Chan、Shangchen Zhou、Xiangyu和Chen Change Loy。2021.基本VSR++：通过增强传播和对齐改进视频超分辨率。arXiv预打印arXiv:2104.13371(2021).

[5]

陈佳文、胡苗、罗振晓、王泽龙和吴迪。2020年。SR360：使用超分辨率增强360度视频流。在第30届ACM数字音频和视频网络和操作系统支持研讨会论文集。1--6.

数字图书馆

[6]

Mallesham Dasari、Arani Bhattacharya、Santiago Vargas、Pranjal Sahu、Aruna Balasubramanian和Samir R Das。2020年。使用超分辨率流媒体传输360度视频。在IEEE计算机通信会议。IEEE，1977-1986年。

数字图书馆

[7]

丁晓翰、张湘玉、韩军功和丁桂光。2021.多样分支块：构建卷积作为类似于接收的单元。在IEEE/CVF计算机视觉和模式识别会议论文集。IEEE，10886--10895。

[8]

丁晓翰、张向玉、马宁宁、韩军功、丁桂光、孙建军。2021.Repvgg：再次使vgg型convnet变得伟大。在IEEE/CVF计算机视觉和模式识别会议论文集。IEEE，13733-13742。

[9]

Chao Dong、Chen Change Loy、Kaiming He和Xiaou Tang。2014.学习用于图像超分辨率的深度卷积网络。在欧洲计算机视觉会议记录。施普林格，184-199。

[10]

何开明、张湘玉、任少清、孙建军。2016.图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议记录。IEEE，770--778。

[11]

Mehrdad Khani、Vibhaalakshmi Sivaraman和Mohammad Alizadeh。2021.通过内容自适应超分辨率实现高效视频压缩。在IEEE/CVF计算机视觉国际会议论文集。IEEE，4521-4530。

[12]

金在洪、钟英浩、杨贤浩、叶俊秋和韩东洙。2020.神经增强直播：通过在线学习提高直播视频的接收。在ACM数据通信特别兴趣小组关于计算机通信应用、技术、架构和协议的年度会议记录。美国医学会，107-125。

数字图书馆

[13]

Jiwon Kim、Jung Kwon Lee和Kyong Mu Lee。2016.使用非常深的卷积网络实现精确的图像超分辨率。在IEEE计算机视觉和模式识别会议记录。IEEE，1646-1654年。

[14]

Christian Ledig、Lucas Theis、Ferenc Huszár、Jose Caballero、Andrew Cunningham、Alejandro Acosta、Andrew-Aitken、Alykhan Tejani、Johannes Totz、Zehan Wang等，2017年。使用生成对抗网络的真实感照片单图像超分辨率IEEE计算机视觉和模式识别会议记录。IEEE，4681--4690。

[15]

李文波、周坤、陆琦、蒋念娟、陆江波和贾佳雅。2020年。LAPAR：单图像超分辨率及更高分辨率线性组合像素自适应回归网络。神经信息处理系统研究进展33 (2020).

[16]

李晓琦、刘嘉明、王世尊、程璐、卢明、陈宇荣、姚安邦、郭延东和张尚航。2022.内容软件神经视频交付的高效Meta-Tuning。arXiv预打印arXiv:2207.09691(2022).

[17]

Bee Lim、Sanghyun Son、Heewon Kim、Seungjun Nah和Kyoung Mu Lee。2017.增强的深度残差网络用于单图像超分辨率。在IEEE计算机视觉和模式识别研讨会会议记录。136--144.

[18]

刘嘉明、陆铭、陈开新、李晓琦、王世尊、王肇庆、吴恩华、陈玉荣、张创和吴铭。2021.数据过度拟合：通过内容软件功能调制实现紧凑的神经视频传输。在IEEE/CVF计算机视觉国际会议论文集。IEEE，4631-4640。

[19]

Mehdi SM Sajjadi、Raviteja Vemulapalli和Matthew Brown。2018.帧流视频超分辨率。在IEEE计算机视觉和模式识别会议记录。IEEE，6626--6634。

[20]

石文哲、Jose Caballero、Ferenc Huszár、Johannes Totz、Andrew P Aitken、Rob Bishop、Daniel Rueckert和Zehan Wang。2016年。使用高效的亚像素卷积神经网络实现实时单图像和视频超分辨率IEEE计算机视觉和模式识别会议记录。IEEE，1874-1883年。

[21]

孙树阳（Shuyang Sun）、陈亮（Liang Chen）、格雷戈里·斯拉堡（Gregory Slabaugh）和菲利普·托尔（Philip Torr）。2020年。学习从图像中抽取最有用的训练补丁。arXiv预打印arXiv：2011.12097(2020).

[22]

安德烈亚斯·维特（Andreas Veit）、迈克尔·威尔伯（Michael J Wilber）和谢尔盖·贝隆吉（Serge Belongie）。2016年。剩余网络表现为相对较浅网络的集合。神经信息处理系统的研究进展29 (2016).

[23]

王世尊（Shizun Wang）、卢明（Ming Lu）、陈开新（Kaixin Chen）、李小奇（Xiaoqi Li）、刘嘉明（Jiaming Liu）和郭延东（Yandong Guo）。2022.可扩展单图像超分辨率的自适应补丁退出。arXiv预打印arXiv:2203.11589(2022).

[24]

王世尊、卢明、陈开新、刘嘉明、李小奇、吴明等，2021年。SamplingAug：关于补丁采样增强对单个图像超分辨率的重要性。arXiv预打印arXiv:2111.15185(2021).

[25]

Xuedou Xiao、Wei Wang、Taobin Chen、Yang Cao、Tao Jiang和Qian Zhang。2019.无人机上的传感器增强型神经自适应比特率视频流。IEEE多媒体期刊(2019), 1567--1576.

[26]

Yeo Hyunho、Chan Ju Chong、Youngmok Jung、Juncheol Ye和Dongsu Han。2020年。NEMO：在商品移动设备上实现神经增强视频流。在第26届移动计算与网络国际年会论文集。1--14.

数字图书馆

[27]

Yeo Hyunho、Jung Youngmok、Kim Jaehong、Shin Jinwoo和Han Dongsu。2018.神经自适应内容软件互联网视频交付。在第13届USENIX操作系统设计与实现研讨会。645--661.

[28]

张安兰、王晨东、刘兴、韩波和冯倩。2020年，移动体积视频流通过超分辨率增强。在第18届移动系统、应用和服务国际会议记录。462--463.

数字图书馆

[29]

张玉伦、李昆鹏、李凯、王立晨、钟彬能和傅云。2018年。使用非常深的剩余通道注意网络的图像超分辨率。在欧洲计算机视觉会议记录。施普林格，286--301。

数字图书馆

索引术语

RepCaM：用于神经视频传输的重参数化内容软件调制
1. 信息系统
  1. 信息系统应用
    1. 多媒体信息系统
      1. 多媒体流

建议

内容软件神经视频传输的高效元调整
计算机愿景–ECCV 2022
摘要
最近，深度神经网络（Deep Neural Networks，DNN）被用于减少带宽和提高互联网视频传输质量。现有方法针对服务器上的每个视频块训练相应的内容软件超分辨率（SR）模型，并。。。
阅读更多信息
EVASR：基于边缘的视频交付，具有卓越的解决方案
MMSys’23：第14届ACM多媒体系统会议记录

随着视频内容消费的快速增长，即使在有限的可用网络带宽下，也必须向用户交付高质量的流媒体视频。在本文中，我们提出了EVASR，这是一个执行基于边缘的视频传输到。。。
阅读更多信息
用于内容交付的中间件流量调配
USENIX ATC’20：2020年USENIX USENIX年度技术会议记录

内容交付网络（CDN）每天缓存并交付来自全球数十万服务器的数百万亿用户请求。CDN服务的流量可以划分为数百个流量类别，每个类别具有不同的。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

NOSSDAV’23：第33届数字音频和视频网络和操作系统支持研讨会会议记录

2023年6月

77页

国际标准图书编号：9798400701849

内政部：10.1145/3592473

版权所有©2023 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

赞助商

SIGMM:ACM多媒体特别兴趣小组

合作中

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2023年6月7日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章

会议

NOSSDAV’23号

赞助商：

SIGMM公司

NOSSDAV’23:33数字音频和视频网络和操作系统支持研讨会

2023年6月7日至10日

不列颠哥伦比亚省，加拿大温哥华

接受率

总体接受率363份提交文件中的118份，33%

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
153
总下载次数

下载量（最近12个月）153
下载次数（最近6周）5

其他指标

查看作者指标

引文

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子