在野外阅读文本

马克斯·贾德伯格，凯伦·西蒙扬，埃内斯托·科托，安德烈亚·维达尔迪，和安德鲁·齐瑟曼

介绍

这项工作的目标是文本定位‐定位和识别自然场景图像中的文本。

1. 技术细节
2. 演示
3. 数据
4. 模型
5. 出版物

技术细节

我们的端到端文本识别管道使用了高召回率区域建议方法的组合，然后是级联分类器和边界框回归器。

文本识别由深度卷积神经网络执行

有关详细信息，请参阅我们的出版物.

演示

您可以试用我们应用于图像检索的文本识别管道。我们有两个不同的演示：

• 用于搜索230万张高分辨率图像的演示（上次更新于2014年）。一些示例查询包括：
  • 好莱坞
  • 鲍里斯·约翰逊
  • 愿景
  • 警方
  • 牛津大学
  • 联合的
• 用于搜索760多万张中分辨率图像的演示（上次更新于2018年）。此演示与其他搜索方式集成，以便您可以执行更深入的查询。一些示例查询包括：
  • 伦敦
  • 新闻
  • 恐怖
  • 体育
  • 现场
  • 标题

数据

我们的文本识别模型经过训练纯粹基于合成数据我们发布了一个9M的综合生成单词图像的图像数据集，用于训练和测试单词识别。

单击此处查看数据集

模型

我们已经发布了ECCV 2014论文中的模型文本识别的深层功能.

点击此处查看ECCV 2014车型

我们还发布了NIPS 2014深度学习研讨会论文的模型用于自然场景文本识别的合成数据和人工神经网络.他们使用MatConvNet公司包含在软件包中的MATLAB工具箱。

单击此处查看NIPS DLW 2014车型

出版物

致谢

所有数据均为2007-2012 BBC版权所有，仅用于技术演示。牛津大学和英国广播公司保留修改或撤回作为现场演示一部分提供的任何数据和/或节目材料的权利。

这项工作得到了EPSRC和ERC拨款VisRec no.228180的支持。我们感谢NVIDIA Corporation对本研究所用GPU的捐赠。我们感谢英国广播公司，特别是罗伯·库珀（Rob Cooper）访问数据和视频处理资源。