机器数感测：用于抽象和关系推理的可视化算术问题数据集

摘要

作为数学思维和智力的综合指标数字感应（Dehaene 2011）将符号概念的归纳与解决问题的能力联系起来。为了赋予机器智能如此关键的认知能力，我们提出了一个数据集，机器数字感知（MNS），包括视觉的使用语法模型和或图（AOG）自动生成的算术问题。这些视觉算术问题是以几何图形的形式出现的：每个问题都有一组几何图形作为上下文，并嵌入数字符号。解决这些问题不是小事；机器不仅要识别数字，还要根据上下文、形状和关系解释数字(例如对称性）以及适当的操作。在这个视觉推理任务中，我们使用四个主要的神经网络模型作为基线对MNS数据集进行基准测试。综合实验表明，当前基于神经网络的模型仍然难以理解数字概念和关系运算。我们证明了一个简单的强制搜索算法可以在没有上下文信息的情况下解决一些问题。重要的是，通过额外的感知模块将几何上下文考虑在内，将以更少的搜索步骤大幅提高性能。总之，我们呼吁大家注意将经典的基于搜索的算法与现代神经网络相融合，以便在未来的研究中发现基本的数字概念。