嗨,我的名字是乔·恩里克斯。 (听起来有点像英语中的“joo-au”。)我喜欢在机器学习、深度学习和计算机视觉的凸包中工作。也许我最著名的作品正在上映视觉跟踪,但我有许多最喜欢的主题:友好AI,机器人测绘,元学习,持续学习,自主学习优化.

我的天才DPhil学生:

玛丽安·隆加·舒·石田·安德烈亚·昂塞斯库·蒂姆·弗兰兹梅耶·多米尼克·克罗普费尔·亚什·巴加特·什瓦尼购物中心·洛伦扎·普洛斯佩罗·丹尼尔·兹维列夫

(毕业:徐基·曼德拉·帕特里克)

研究

出版物、谈话和源代码

按主题筛选

从扩散模型中提取奖励函数

F.Nuti、T.Franzmeyer和J.F.Henriques

arXiv,2023年

PDF格式 arXiv公司

对比提升:基于慢-快对比融合的三维对象实例分割

Y.Bhalgat、I.Laina、J.F.Henriques、A.Zisserman、A.Vedaldi

arXiv,2023年

PDF格式 arXiv公司
LoCUS:从姿势图像中学习多尺度三维一致性特征

D.Kloepfer、D.Campbell、J.F.Henriques

ICCV,2023年

PDF格式 附录
RbA:分割被所有人拒绝的未知区域

N.Nayal、M.Yavuz、J.F.Henriques、F.Güney

ICCV,2023年

PDF格式 附录 arXiv公司
CASSPR:交叉注意单扫描位置识别

Y.Xia、M.Gladkova、R.Wang、Q.Li、U.Stilla、J.F.Henriques、D.Cremers

ICCV,2023年

PDF格式 附录 arXiv公司
《变形金刚》多视角几何教学的轻触法

Y.Bhalgat、J.F.Henriques、A.Zisserman

CVPR,2023年

PDF格式 arXiv公司
通用前瞻优化器

C.Oncescu、J.Valmadre、J.F.Henriques

2023年ICLR的小论文

PDF格式
了解重要内容:使用任务相关嵌入进行跨领域模拟学习

T.Franzmeyer、P.Torr、J.F.Henriques

2022年神经信息处理系统进展

PDF格式 arXiv公司
SNeS:从不完整数据中学习可能对称的神经表面

E.Insafutdinov、D.Campbell、J.F.Henriques、A.Vedaldi

ECCV,2022年

我们增加神经辐射场,以呈现数据中未显示的部分对称对象的视图,例如仅从一侧看到汽车时。由于阴影和反射破坏了对象的对称性,因此在此过程中,我们将场景分解为几何体、灯光和材质属性。

PDF格式 arXiv公司
使用深度可差分规划师实现现实世界导航

S.Ishida和J.F.Henriques

CVPR,2022年

我们训练机器人代理只使用安全的演示来探索和寻找语义目标,而不会出现危险的试错。我们通过扩展和改进值迭代网络来实现这一点,使机器人能够处理具有高分支因子的迷宫。

PDF格式 arXiv公司
在没有外部奖励的强化学习中学习利他行为

T.Franzmeyer、M.Malinowski和J.F.Henriques

ICLR,2022年

在不确切了解自己的目标的情况下,自主代理如何帮助他人,包括人类?我们探讨了增加他人选择的概念,以便他们能够更容易地追求任意目标,在某些情况下甚至明显优于合作奖励。

PDF格式 arXiv公司

基于自然语言查询的音频检索:一项基准研究

A.S.Koepke、A.Oncescu、J.Henriques、Z.Akata、S.Albanie

IEEE多媒体汇刊,2022年

序列决策者的幻觉攻击及其对策

T.Franzmeyer、J.F.Henriques、J.N.Foerster、P.H.Torr、A.Bibi、C.S.de Witt

arXiv,2022年

PDF格式 arXiv公司
盯着球:视频变形金刚中的轨迹注意力

M.Patrick、D.Campbell、Y.M.Asano、I.M.F.Metze、C.Feichtenhofer、A.Vedaldi、J.F.Henriques

NeurIPS,2021年(口头报告)

我们通过鼓励在运动路径上集中注意力来改进视频变换器(例如用于动作识别)。我们还通过基于正交原型的严格概率近似,将注意力的二次计算复杂度降低到线性。

PDF格式 arXiv公司
基于广义数据转换的多模式自监控

M.Patrick、Y.M.Asano、P.Kuznetsova、R.Fong、J.F.Henriques、G.Zweig、A.Vedaldi

ICCV,2021年

大多数对比性的自我监督方法学习的表征对个别例子来说是独特的,并且对其他几个因素是不变的。我们提出了一个框架来系统地评估独特因素和不变因素的有效组合,从而在许多多模态学习任务中取得优异的性能。

PDF格式 代码 arXiv公司
时空裁剪与参与:改进跨模式视频表示学习

M.Patrick、Y.M.Asano、P.Huang、I.Misra、F.Metze、J.F.Henriques、A.Vedaldi

ICCV,2021年

PDF格式 代码 arXiv公司
量化变换自动编码器:实现深网络中任意变换的等方差

J.Jiao和J.F.Henriques

BMVC,2021年

PDF格式
移动SLAM:非刚性场景中的完全无监督深度学习

D.Xu、A.Vedaldi、J.F.Henriques

IROS,2021年

一个自监督网络,学习将视频分解为摄像机运动、深度、对象分割和6D中的对象运动(平移和旋转)。我们通过在视频的每个补丁中假设一个本地数字世界模型来实现这一点。

PDF格式 arXiv公司
视频文本表示学习的支持瓶颈

M.Patrick、P.Huang、Y.Asano、F.Metze、A.G.Hauptmann、J.F.Henriques、A.Vedaldi

ICLR,2021年

我们研究视频文本神经网络的噪声对比学习。我们发现,将视频检索作为表征瓶颈来学习重建视频字幕会产生更好的语义表征。

PDF格式 arXiv公司
使用自然语言查询的音频检索

A.Oncescu、A.S.Koepke、J.F.Henriques、Z.Akata、S.Albanie

2021年Interspeech(最佳学生论文奖提名)

创建基于内容的音频搜索引擎。类似于谷歌图片,但用于音频。

PDF格式 arXiv公司
QuerYD:具有高质量文本和音频叙述的视频数据集

A.Oncescu、J.F.Henriques、Y.Liu、A.Zisserman、S.Albanie

ICASSP,2021年

这是一个由1400多名志愿者解说员提供的数据集,其中包含超过70个小时的详细口头解说,200个小时的各种YouTube视频。还包括文字记录。基于你描述一下的目标是为视障人士讲述尽可能多的视频,并促进自动讲述。

PDF格式 包含数据集的项目页面 arXiv公司
自动回忆机:内部回放、持续学习和大脑

X.Ji、J.Henriques、T.Tuytelaars、A.Vedaldi

NeurIPS研讨会,2020年

受生物记忆的启发,通过上下文敏感的生成回忆来避免灾难性遗忘。

PDF格式 arXiv公司
通过分割实现360º摄像机对齐

B.Davidson、M.S.Alvi、J.F.Henriques

ECCV,2020年

PDF格式
渐变形状模型

P.Martins、J.F.Henriques和J.Batista

IJCV,2020年

PDF格式
小步大跨越:深度学习的最小牛顿解算器

J.F.Henriques、S.Ehrhardt、S.Albanie、A.Vedaldi

2019年ICCV

我们提出了CurveBall,这是一种用于深层网络的快速二阶优化器,实现简单,不需要超参数调整。

PDF格式 优化器可视化(GIF) PyTorch代码 TensorFlow代码 Matlab代码 幻灯片 附录 arXiv公司
基于不变信息聚类的无监督图像分类与分割

X.Ji、J.F.Henriques、A.Vedaldi

2019年ICCV

这是一个易于实现的相互信息目标,它训练深层网络从头开始执行聚类,没有标签,只有一个超参数。实验包括自监督聚类和图像分割。

PDF格式 PyTorch代码 arXiv公司
具有可微闭式解算器的元学习

L.Bertinetto、J.F.Henriques、P.H.S.Torr、A.Vedaldi

ICLR,2019年

我们提出了一个元学习深度网络,通过插入岭回归量(或另一个经典学习者)来学习快速适应新的示例里面通过使用Woodbury技巧,利用一次性(少量)学习问题的样本大小很小的事实,可以提高效率。其结果是一个非常快速和准确的一次性学习器,具有简单和超参数的实现。

PDF格式 项目页面 PyTorch代码 海报 arXiv公司
MapNet:用于映射环境的异构空间内存

J.F.Henriques、A.Vedaldi

CVPR,2018(口头报告)

SLAM(同步定位和映射)对于机器人来说至关重要,但传统系统无法通过从数据中学习来改进。我们提出MapNet,这是一种端到端可学习的深度网络,通过利用空间内存上的高效操作来解决完整的SLAM问题。

PDF格式 博客帖子 结果视频(真实数据) 结果视频(末日游戏) PyTorch代码 谈话 幻灯片
野外长期跟踪:一个基准

J.Valmadre、L.Bertinetto、J.F.Henriques、R.Tao、A.Vedaldi、A.W.Smeulders、P.H.Torr、E.Gavves

ECCV,2018年

一个拥有超过14小时视频的跟踪基准,专注于“野外”拍摄的各种镜头和长期表现。

PDF格式 包含数据集的项目页面
扭曲卷积:空间变换的有效不变性

J.F.Henriques、A.Vedaldi

ICML,2017(口头报告)

卷积匹配不同翻译的模式。我们将卷积(以及CNN)推广到缩放、旋转等领域,包括3D旋转。我们展示了如何通过在标准卷积之前执行单个固定扭曲,以可忽略的开销实现这种泛化。

PDF格式 幻灯片(视觉解释) arXiv(使用简单微积分证明变量)
基于相关滤波器跟踪的端到端表示学习

J.Valmadre、L.Bertinetto、J.F.Henriques、A.Vedaldi、P.H.S.Torr

CVPR,2017年

本文介绍了CFNet跟踪器,这是一个元学习网络,用于训练和评估相关过滤器学习器,作为其前向传递的一部分。2017年实时视觉对象跟踪(VOT)挑战赛冠军。

PDF格式 项目页面 代码 arXiv公司
ResearchDoom和CocoDoom:通过游戏学习计算机视觉

A.Mahendran、H.Bilen、J.F.Henriques、A.Vedaldi

2017年12月

COCO格式的大型数据集,包含对象类/实例边界框和分段遮罩,以及深度和自我运动,从视频游戏《毁灭》的速度运行中提取。

PDF格式 数据集 代码 arXiv公司
计算机视觉中的循环结构

J.F.亨里克

博士论文,2016年

我的论文包含循环矩阵和机器学习的傅里叶方法的教程介绍。

PDF格式
重访贝叶斯约束局部模型

P.Martins、J.F.Henriques、R.Caseiro、J.Batista

TPAMI,2016年

PDF格式 视频
学习前馈式一次性学习者

L.Bertinetto、J.F.Henriques、J.Valmadre、P.H.S.Torr、A.Vedaldi

NeurIPS,2016年

早期针对一次性学习的元学习工作,其中深层网络预测另一个网络的参数,给出了几个分类任务的示例。

PDF格式 幻灯片 arXiv公司
用于目标跟踪的全卷积暹罗网络

L.Bertinetto、J.Valmadre、J.F.Henriques、A.Vedaldi、P.H.S.Torr

2016年ECCV研讨会

SiamFC跟踪器是基于深度网络的最快视觉跟踪器之一。这个基本体系结构已经被用于许多后续工作和商业部署的系统中。

PDF格式 项目页面 代码 简短的谈话 arXiv公司
基于核相关滤波器的高速跟踪

J.F.Henriques、R.Caseiro、P.Martins、J.Batista

TPAMI,2015年

KCF是一种速度极快的视觉跟踪器(每秒数百帧),特别适合于资源受限的设备。它依赖于快速傅立叶变换,并基于循环矩阵理论进行在线学习。

PDF格式 Matlab代码 C++代码(官方OpenCV类,单尺度) C++代码(多尺度) C++代码(流线型) arXiv公司
超越最短路径:沿样条流采样子空间的无监督域自适应

R.Caseiro、P.Martins、J.F.Henriques和J.Batista

CVPR,2015年

PDF格式
傅里叶域姿态检测器的快速训练

J.F.Henriques、P.Martins、R.Caseiro、J.Batista

NeurIPS,2014年

PDF格式 附录A 附录B(带代码)
似然增强贝叶斯约束局部模型

P.Martins、R.Caseiro、J.F.Henriques、J.Batista

ICIP,2014年(接受论文的前10%)

PDF格式 视频 arXiv公司
超越硬性否定挖掘:通过块循环分解实现高效检测器学习

J.F.Henriques、J.Carreira、R.Caseiro、J.Batista

ICCV,2013(口头报告)

PDF格式 代码 幻灯片 谈话 附录
滚动黎曼流形求解多类分类问题

R.Caseiro、P.Martins、J.F.Henriques、J.Carreira、J.Batista

2013年CVPR(口头报告)

PDF格式
利用核函数开发逐点跟踪循环结构

J.F.Henriques、R.Caseiro、P.Martins、J.Batista

ECCV,2012年

第一个跟踪器基于循环矩阵。较新的版本是KCF公司.

PDF格式 视频 Matlab代码 Python代码 Java代码 附录B 附录C 海报
黎曼流形上的半内禀均值漂移

R.Caseiro、J.F.Henriques、P.Martins、J.Batista

ECCV,2012年

PDF格式
判别贝叶斯主动形状模型

P.马丁斯、R.卡塞罗、J.F.亨里克斯、J.巴蒂斯塔

ECCV,2012年

PDF格式 视频
让形状说话:使用共轭先验进行面部对齐

P.马丁斯、R.卡塞罗、J.F.亨里克斯、J.巴蒂斯塔

BMVC,2012(口头报告)

PDF格式 视频
张量场上的非参数黎曼框架及其在前景分割中的应用

R.Caseiro、P.Martins、J.F.Henriques、J.Batista

模式识别,2012

PDF格式
张量场上的非参数黎曼框架及其在前景分割中的应用

R.Caseiro、J.F.Henriques、P.Martins、J.Batista

ICCV,2011年

PDF格式
通过更新全局最优匹配跟踪流视频

J.F.Henriques、R.Caseiro、J.Batista

ICIP,2010年

PDF格式
使用方向统计从多光谱光源物理模型中学习投射阴影

R.Caseiro、J.F.Henriques、J.Batista

ICIP,2010年

PDF格式

更多

与研究相关

预注册研讨会

一种用于机器学习研究的替代发布模型

预注册分离了假设的生成和确认:

提出一个令人兴奋的研究问题
在没有验证性实验的情况下写一篇论文提案
论文被接受后,运行实验并报告结果

这种模式有几个优点:1)积极和消极结果的健康结合;2) 不起作用的合理想法仍然会被发布,避免了浪费性的复制;3) 论文的评价是基于科学兴趣,而不是是否取得最佳结果;4) 计划研究更容易;和5)统计结果更强。查看以下页面以获取更多信息,包括谈话和预先注册的机器学习论文。

OverBoard公司

用于监控深度学习实验的纯Python仪表板

OverBoard是一个轻量级但功能强大的仪表板,用于监控您的实验。它包括:

带Python语法过滤的超参数表
同一数据的多个视图(即自定义X/Y轴)
超参数可视化(即气泡图)
多次运行的百分比间隔(即阴影图)
自定义可视化(张量和任何熟悉MatPlotLib语法的自定义绘图)
快速客户端呈现(训练代码保持轻量级)
您可以使用以下工具进行安装:管道安装在船外
它唯一的依赖是PyQtGraph(PyQt图表)(conda安装pyqt pyqtgraph-c anaconda)和Python 3。

有趣

不与研究相互排斥

大型语言模型是少快照的发布指示器

S.Albanie、L.Momeni、J.F.Henriques

SIGBOVIK,2023年

我们的研究团队紧跟LLM潮流,手里拿着勺子。这篇文章100%是由自由放养的人类创作的。

PDF格式 arXiv公司
23兆瓦的数据中心是您所需要的全部

S.Albanie、D.Campbell、J.F.Henriques

SIGBOVIK,2022年

深入了解人工智能未来预测的浑水和缩放定律的合法性。

PDF格式 arXiv公司
论自主学习的物种起源

S.Albanie、E.Lu、J.F.Henriques

SIGBOVIK,2021年

在湿滑的科学的启发下,我们开始了一段危险的旅程,用自我监督的方法解释今天的寒武纪大爆炸。

PDF格式 arXiv公司
现状评估:改进科学出版的激进建议

S.Albanie、J.Thewmore、R.McCarith、J.F.Henriques

SIGBOVIK,2020年

通过arXiv提交的作品,以及将可食用物品粘贴到墙上的艺术价值(包括画廊),可以快速前进。

PDF格式 arXiv公司
深度工业间谍

S.Albanie、J.Thewlis、S.Ehrhardt、J.F.Henriques

差点错过2019年SIGBOVIK

有史以来提出的最端到端的网络,也是云计算的一个更阳光的替代方案。险些错过2019年SIGBOVIK的最后期限,收到了最及时的文件2020 SIGBOVIK颁奖典礼。

PDF格式 arXiv公司
替代教师网络:几乎没有监督的学习

S.Albanie、J.Thewlis、J.F.Henriques

西格博维克,2018

包括对无情的教育技术商业策略的讨论,以及与名字与押韵的人一起烤樱桃蛋糕奎尔群.

PDF格式 arXiv公司 代码 SIGBOVIK审查
阻止GAN暴力:生成性非负面网络

S.Albanie、S.Ehrhardt、J.F.Henriques

SIGBOVIK,2017年

试图结束网络攻击网络的疯狂行为(GAN培训)。本文实现了适度的 成功社会的 媒体这意味着所有随后的论文都注定要晦涩难懂(但这并没有阻止我们)。

令人惊讶的是,有一个完全严重的 纸张生成性非不利训练并将我们的笑话作为灵感!(当然,我们完全知道这一点不值得认真对待。)任务完成。

PDF格式 arXiv公司 SIGBOVIK奖 代码