雨果·拉罗谢尔

大型语言模型（LLM）擅长于少量上下文学习（ICL）——从上下文中提供的几个示例中学习推理… (查看更多)没有任何重量更新。新扩展的上下文窗口使我们能够用数百或数千个例子来研究ICL——多次注射制度。从少镜头到多镜头，我们观察到在各种生成和判别任务中都有显著的性能提升。尽管前景看好，但许多热点ICL可能会因可用的大量人工生成示例而陷入瓶颈。为了减轻这一限制，我们探索了两种新的设置：强化ICL和无监督ICL。强化ICL使用模型生成的思维链原理来代替人类示例。无监督ICL完全删除了提示符中的基本原理，并且仅用特定领域的问题提示模型。我们发现强化和非监督ICL在许多情况下都非常有效，特别是在复杂的推理任务中。最后，我们证明了，与少快照学习不同，多快照学习可以有效地克服预训练偏差，并且可以通过数字输入学习高维函数。我们的分析还揭示了作为下游ICL性能指标的下一次受损预测损失的局限性。

2024-04-17

ArXiv（预打印）

arxiv.org网站

利用物理信息机器学习优化定量脑扩散松弛MRI采集协议。

阿尔瓦罗·普朗切洛·戈梅斯

Maxime Descoteaux公司

贾娜·赫特

德里克·琼斯

C.税收

2024-03-05

医学图像分析（已出版）

基于成对人类偏好学习的密度估计视角

文森特·杜穆林

丹尼尔·约翰逊

巴勃罗·塞缪尔·卡斯特罗

亚恩·多芬

从人类反馈中学习（LHF），特别是从成对偏好中学习，最近已成为tr的一个关键要素… (查看更多)获取大型语言模型（LLM），并已成为许多研究的主题。最新的研究将其定义为一个强化学习问题，其中奖励函数是从两两偏好数据中学习的，LLM被视为一种策略，通常在额外的正则化约束下，用于最大化奖励。我们提出了另一种解释，以成对偏好的生成过程为中心，将LHF视为密度估计问题。我们提供的理论和实证结果表明，对于由偏好行为分布方程定义的一系列生成过程，训练成对偏好的奖励函数可以有效地模拟注释者的隐式偏好分布。最后，我们讨论并展示了关于“注释器错误指定”的发现，即对注释器行为做出错误建模假设的失败案例，导致模型适应性较差，这表明从两两人类偏好中学习的方法可能难以从具有不同观点的注释器群体中学习。

2024-02-27

TMLR（接受）

基于权重融合和精馏的分离降解模型

迪内什·道尔塔尼

现实世界中的图像普遍包含不同种类的退化，例如运动模糊和亮度噪声。计算机视觉识别… (查看更多)基于干净图像训练的模型在退化图像上表现不佳。以前，一些工作探索了如何对退化图像进行图像分类，同时为每个退化训练单个模型。然而，在有限的硬件应用程序上为每个降级托管多个降级模型，并在运行时正确估计降级参数，这变得很有挑战性。本文提出了一种有效地将针对不同退化情况分别训练的多个模型组合成单个模型的方法，以对不同退化类型的图像进行分类。我们提出的方法是四重的：（1）在干净的图像上训练一个基本模型，（2）针对所有给定的图像退化分别对基本模型进行微调，（3）针对单个退化对给定的微调模型进行权重融合，（4）使用蒸馏和交叉熵损失对给定的任务进行微调。在基于JPEG压缩、椒盐噪声、高斯模糊和加性高斯白噪声等退化的分布外泛化中，我们提出的方法在CIFAR-100数据集上的性能比以前最先进的预处理方法要好2.5%，在CIFAR-10数据集上则好1.3%。此外，我们提出的方法可以处理用于训练的退化，而在推理时没有任何关于退化的明确信息。代码将在https://github.com/dineshdaultani/FusionDistillit。

2024-01-01

2024年IEEE/CVF计算机视觉研讨会应用冬季会议（WACVW）（已出版）

通过稀疏表示取消学习

Vedant Shah公司

弗雷德里克·特鲁布尔

阿什什·马利克

迈克尔·柯蒂斯·莫泽

桑吉弗·阿罗拉

本吉奥

阿尼鲁德·戈亚尔

2023-11-26

ArXiv（预打印）

SatBird：基于遥感和公民科学数据的鸟类物种分布建模

梅丽莎·邓

阿姆娜·埃尔穆斯塔法

本杰明·阿克拉

本吉奥

哈格·拉迪

大卫·罗尔尼克

生物多样性正在以前所未有的速度下降，影响了确保粮食、水和人类健康所必需的生态系统服务-… (查看更多)存在。了解物种及其栖息地的分布对于保护政策规划至关重要。然而，物种分布模型（SDM）的传统生态学方法通常侧重于狭小的物种集或狭小的地理区域，并且在物种分布方面仍然存在重大的知识差距。造成这种情况的一个主要原因是，由于传统实地监测所需的工作量和专业知识太大，传统上使用的数据有限。遥感数据的广泛可用性以及越来越多地采用公民科学工具以低成本收集物种观测数据，为改进生物多样性监测和建立复杂生态系统的模型提供了机会。我们引入了一项新的任务，通过从卫星图像中预测物种遭遇率，将鸟类物种映射到其栖息地，并考虑到夏季（繁殖）和冬季，将SatBird（美国位置的卫星数据集）与公民科学数据库eBird中的存在-缺失观测数据得出的标签结合起来。我们还提供了肯尼亚代表低数据制度的数据集。我们还为每个地点提供环境数据和物种分布图。我们在数据集上对一组基线进行基准测试，包括用于遥感任务的SOTA模型。SatBird为全球生态系统的可缩放特性建模提供了可能性。

2023-11-02

ArXiv（预打印）

arxiv.org网站

SatBird：利用遥感和公民科学数据进行鸟类分布建模的数据集

梅丽莎·邓

阿姆娜·埃尔穆斯塔法

本杰明·阿克拉

哈格·拉迪

从干预中发现神经因果结构

南·罗斯玛丽·科

Olexa Bilaniuk公司

阿尼鲁德·戈亚尔

斯特凡·鲍尔

伯恩哈德·舍尔科夫

迈克尔·柯蒂斯·莫泽

克里斯·帕尔

本吉奥

最近令人鼓舞的结果已经引起了人们对从观测数据中发现因果关系的连续优化方法的兴趣。… (查看更多)然而，仅从观测数据获得的基础结构的可识别性存在理论上的局限性。另一方面，干预数据提供了有关潜在数据生成过程的更丰富信息。然而，推广和应用为观测数据设计的方法以包括干预措施是一个具有挑战性的问题。为了解决这个问题，我们提出了一个基于神经网络的通用框架，以开发包含观测数据和干预数据的模型。值得注意的是，我们的方法可以处理干预变量身份未知的具有挑战性的现实场景。我们在从头开始和从部分已知边集恢复图形的背景下评估了我们提出的方法。我们的方法在各种结构学习任务上取得了很好的基准结果，包括从贝叶斯网络知识库中恢复合成图和标准图的结构。

2023-09-10

TMLR（接受）

利用遥感和公民科学数据建立鸟类分布模型

梅丽莎·邓

阿姆娜·埃尔穆斯塔法

本杰明·阿克拉

大卫·罗尔尼克

2023-05-01

ArXiv（预打印）

arxiv.org网站

大型代码语言模型的存储库级提示生成

迪沙·施里瓦斯塔瓦

丹尼·塔洛

随着代码大型语言模型（LLM）的成功及其作为代码助手的使用（例如GitHub Copilot中使用的Codex）… (查看更多)在即时设计过程中引入领域特定知识变得很重要。在这项工作中，我们提出了一个名为Repo-Level Prompt Generator的框架，该框架学习使用提示建议生成特定于示例的提示。提示建议采用整个存储库的上下文，从而将存储库的结构和其他相关文件（例如导入、父类文件）的上下文结合起来。我们的技术不需要访问LLM的权重，因此适用于只有黑盒访问LLM权限的情况。我们使用谷歌代码档案中的代码库对单行代码自动完成任务进行了实验。我们证明，根据我们的即时提案构建的预言比Codex提高了36%，显示了这些提案的质量。此外，我们还表明，当我们训练一个模型来预测一个及时的提案时，我们可以在Codex和其他基线上实现显著的性能提升。我们在以下位置发布代码、数据和经过培训的检查点：https://github.com/shrivastavadisha/repo_level_prompt_generation。

2023-04-24

ICML.cc/2023/会议（海报）

通过学习执行带有外部资源描述的程序来静态预测运行时错误

大卫·比伯

里沙布·戈尔

丹正（Dan Zheng）

丹尼·塔洛

程序的执行行为通常取决于外部资源，例如程序输入或文件内容，因此无法在… (查看更多)挥发。然而，软件开发人员从快速迭代循环中受益匪浅，在这种循环中，自动化工具可以尽早识别错误，甚至在程序可以编译和运行之前。这提出了一个有趣的机器学习挑战：在程序无法执行的“静态”设置中，我们能否预测运行时错误？在这里，我们介绍了一个用于预测运行时错误的真实数据集和任务，我们表明这对于像Transformers这样的通用模型来说是很困难的。我们通过开发一个受解释器启发的架构来完成这项任务，该架构具有模仿程序执行的归纳倾向，该架构对异常处理进行建模，并“学会执行”外部资源内容的描述。令人惊讶的是，尽管只对表示存在/不存在错误和错误类型的标签进行训练，但我们发现该模型还可以预测错误的位置。总之，我们提出了一个与学习程序执行相关的实际且很难解决的挑战问题，并且我们展示了解释器启发的机器学习模型对代码的新功能。

2023-02-01

ICLR.cc/2023/会议（海报）

机器学习中科学严谨性研究综述

D.斯卡利

加里·霍尔特

丹尼尔·戈洛文

尤金·达维多夫

托德·菲利普斯

迪特马尔·埃布纳

迈克尔·杨

Jean-francois克雷斯波

丹·丹尼森

艾米利·福克斯