CURI：不确定性下生产性概念学习的基准

Ramakrishna Vedantam、Arthur Szlam、Maximillian Nickel、Ari Morcos、Brenden M Lake
第38届机器学习国际会议论文集，电话：139:10519-105292021。

摘要

人类可以在一个由无数组成的、富有成果的概念组成的空间中，在巨大的不确定性下学习和推理。例如，如果一个有两个蓝色球体的场景符合“daxy”的条件，则可以推断基本概念可能要求场景“只有蓝色球体”、“只有球体”或“只有两个对象”。相比之下，合成推理的标准基准并没有明确捕获不确定性下的推理概念，也没有评估合成概念的获取。我们引入了一个新的基准——不确定性下的合成推理（CURI），该基准在生产性概念空间中实例化了一系列少量元学习任务，以评估不确定性下系统泛化的不同方面，包括测试解纠缠抽象理解、生产性泛化、，学习布尔运算、变量绑定等。重要的是，我们还贡献了一个独立于模型的“组合性缺口”来评估沿这些轴中的每个轴进行分布外泛化的难度，从而可以客观比较每个组合拆分的难度。对一系列建模选择和分割的评估表明，在建议的基准上有很大的改进空间。

引用本文

BibTeX公司
@会议记录{pmlr-v139-vedantam21a，title={CURI:不确定性下生产性概念学习的基准}，author={维丹塔姆、罗摩克里希纳和斯拉姆、亚瑟和尼科尔、马克西米利安和莫科斯、阿里亚和莱克、布伦登M}，booktitle={第38届机器学习国际会议论文集}，页码＝{10519-10529}，年份={2021}，editor={Meila，Marina和Zhang，Tong}，体积={139}，series={机器学习研究论文集}，月={7月18日至24日}，publisher={PMLR}，pdf={http://processes.mlr.press/v139/vedantam21a/vedantam 21a.pdf}，url={https://procedures.mlr.press/v139/vedantam21a.html}，abstract={人类可以在一个由无数合成的、富有成效的概念组成的空间中，在巨大的不确定性下进行学习和推理。例如，如果一个有两个蓝色球体的场景符合“daxy”的条件，人们可以推理出，潜在的概念可能要求场景具有“只有蓝色球体”或“只有球体”或者“只有两个对象”相比之下，组合推理的标准基准并没有明确捕捉不确定性下的推理概念，也没有评估组合概念的获取。我们引入了一个新的基准——不确定性下的合成推理（CURI），该基准在生产性概念空间中实例化了一系列少量元学习任务，以评估不确定性下系统泛化的不同方面，包括测试解纠缠抽象理解、生产性泛化、，学习布尔运算、变量绑定等。重要的是，我们还贡献了一个独立于模型的“组合性缺口”来评估沿这些轴中的每个轴进行分布外泛化的难度，从而可以客观比较每个组合拆分的难度。对一系列建模选择和分割的评估表明，在建议的基准上有很大的改进空间。}}
尾注
%0会议论文%T CURI：不确定性下生产性概念学习的基准%罗摩克里希纳·维丹塔姆%阿瑟·斯拉姆%马克西米利安镍合金%阿里·莫科斯%布伦登M湖%第38届机器学习国际会议论文集%C机器学习研究进展%D 2021年%E玛丽娜·梅拉%E Tong Zhang先生%F pmlr-v139-vedantam21a型%I项目经理%电话10519-10529%U型https://proceedings.mlr.press/v139/vedantam21a.html%139伏%X人类可以在一个由无数组成的、富有成效的概念组成的空间中，在巨大的不确定性下学习和推理。例如，如果一个有两个蓝色球体的场景符合“daxy”的条件，则可以推断基本概念可能要求场景“只有蓝色球体”、“只有球体”或“只有两个对象”。相比之下，合成推理的标准基准并没有明确捕获不确定性下的推理概念，也没有评估合成概念的获取。我们引入了一个新的基准——不确定性下的合成推理（CURI），该基准在生产性概念空间中实例化了一系列少量元学习任务，以评估不确定性下系统泛化的不同方面，包括测试解纠缠抽象理解、生产性泛化、，学习布尔运算、变量绑定等。重要的是，我们还贡献了一个独立于模型的“组合性缺口”来评估沿这些轴中的每个轴进行分布外泛化的难度，从而可以客观比较每个组合拆分的难度。对一系列建模选择和分割的评估表明，在建议的基准上有很大的改进空间。
亚太地区
韦丹塔姆，R.、斯拉姆，A.、尼科尔，M.、莫科斯，A.和莱克，B.M.（2021）。CURI：不确定性下生产性概念学习的基准。第38届机器学习国际会议论文集，英寸机器学习研究进展139:10519-10529网址：https://proceedings.mlr.press/v139/vedantam21a.html。

相关材料