2024年深度学习数学和科学基础年会
-
议程 9月26日，星期四 上午8:30 办理入住手续和早餐 上午9:30 荣格 | 线性变压器可以在上下文中学习什么 上午10:30 休息 上午11:00 埃尔沙南·莫塞尔 | 为什么选择深度？ 深度推理优势的理论透视 下午12:00 午餐 下午1:00 Jeremias苏拉姆 | 是的，我的深度网络工作！ 但是。。 它学到了什么？ 下午2:00 休息 下午2:30 余斌（Bin Yu） | 通过无限宽度理论和实验对大型深度学习模型进行有效微调 下午3:30 断裂 下午4:00 尼古拉·马特尼 | 是什么让学习控制变得容易还是困难？ 下午5:00 第一天总结 9月27日星期五 上午8:30 入住和早餐 上午9:30 吴景峰 | 重新成像梯度下降：大步长、振荡和加速度 上午10:30 休息 上午11:00 吉塔·库蒂尼奥克 | 可靠的人工智能：从数学基础到下一代人工智能计算 下午12:00 午餐 下午1:00 罗曼·弗什宁 | 合成数据的隐私 下午2:00 会议结论 -
摘要 荣格 杜克大学 线性变压器可以在上下文中学习什么 大型语言模型展示了强大的上下文内学习能力——鉴于提示符中提供的上下文内示例很少，它们的性能可以提高。 最近的研究将线性回归用作理解情境学习的简单设置。 结果表明，变形金刚，特别是线性注意模型，在其正向推理步骤中，对上下文中提供的数据隐式执行梯度下降式算法。 在本次演讲中，我们展示了即使是线性变压器也是非常通用的，可以在更有趣的数据上超越简单的梯度下降。 特别地，我们展示了同一个线性变换器如何同时处理具有不同噪声水平的回归问题，以及它们如何利用任务描述符。 吉塔·库蒂尼奥克 慕尼黑大学 可靠的人工智能：从数学基础到下一代人工智能计算 人工智能目前正在工业、公共生活和科学领域取得一个又一个突破。 然而，目前世界范围内的一个主要缺点是，特别是考虑到《欧盟人工智能法》和七国集团广岛人工智能进程等法规，这种方法缺乏可靠性。 在本次演讲中，我们将首先强调数学观点在这一高度热门的研究方向中的作用，并概述我们在泛化界限和可靠解释方法方面的最新进展。 然后，我们讨论了影响AI可靠性的可计算性方面的基本限制，并通过揭示与下一代AI计算的有趣联系，展示了解决这一严重障碍的方法，从而也触及了当前AI技术的巨大能源问题。 尼古拉·马特尼 宾夕法尼亚大学 是什么让学习控制变得容易还是困难？ 设计同时具有高性能、自适应性和可证明安全性的自治系统仍然是一个悬而未决的问题。 在本次演讲中，我们将认为，为了实现这一目标，需要新的理论和算法工具，将鲁棒控制的稳定性、鲁棒性和安全性保证与机器和强化学习的灵活性、适应性和性能相结合。 我们将在以下案例研究的背景下，强调我们在开发用于安全控制的鲁棒学习的理论基础方面的进展：（i）表征学习控制的基本极限，（ii）开发具有有限样本复杂性保证的新型鲁棒模仿学习算法，如果时间允许， （iii）利用来自不同但相关任务的数据进行有效的多任务学习以进行控制。 在所有情况下，我们都将强调鲁棒学习、鲁棒控制和鲁棒稳定性之间的相互作用，以及它们对基于学习的控制算法的样本复杂性和泛化性的影响。 埃尔沙南·莫塞尔 麻省理工学院 为什么是深度？ 深度推理优势的理论透视 理论能帮助解释深网在真实数据上的成功吗？ 探索这个问题的一个途径是问我们是否能找到 1.自然数据模型，其中： 2.推理在计算和统计上都很有效， 3.推理需要深度（或其他复杂度度量），并且 4.可以从数据中有效地学习推理过程。 由于在理论计算机科学中证明显式对象的深度下限是困难的，也许最困难的任务是建立3。 我将讨论一些最近的工作，这些工作试图为树上的广播模型建立1-4，其中推理过程是信念传播。 基于： https://arxiv.org/pdf/2402.13359 https://dl.acm.org/doi/abs/10.1145/3564246.3585155 https://proceedings.neurips.cc/paper_files/paper/2022/hash/77e6814d32a86b76123bd10aa7e2ad81-Abstract-Conference.html https://proceedings.mlr.press/v125/moitra20a.html https://arxiv.org/pdf/1612.09057
杰里米亚斯·苏拉姆 约翰霍普金斯大学 耶，我的深度网络工作了！ 但是……它学到了什么？ 现代机器学习方法正在彻底改变我们对数据的处理方式，从TikTok视频推荐到癌症研究中的生物标记物发现。 然而，这些深层模型的复杂性使其更难理解 什么功能 这些依赖于数据的模型是在计算，以及它们检测到并认为对给定任务重要的特征。 在本次演讲中，我将回顾两种方法，通过学习的近端网络，在成像逆问题的背景下，在无监督的环境下，使一般深度学习模型更易于解释， 以及在计算机视觉的监督分类问题中，通过打赌测试概念的语义重要性。 罗曼·弗什宁 加州大学欧文分校 合成数据的隐私 本演讲提出了合成数据的隐私-效用权衡的一般定义。 一个悬而未决的问题是根据底层空间的几何形状来计算这种权衡。 我将谈谈在这方面取得的一些适度进展。 这是与March Boedihardjo和Thomas Strohmer的联合工作。 吴景峰 加州大学伯克利分校 重新成像梯度下降：大步长振荡和加速度 梯度下降（GD）及其变体在机器学习，特别是深度学习中至关重要。 传统观点认为步长越小越稳定，但实际上，尽管初始不稳定，步长越大通常收敛速度越快，泛化效果越好。 本演讲深入探讨了将恒定步长应用于具有线性可分离数据的逻辑回归的GD的动力学，其中恒定步长eta太大，以至于损失最初会振荡。 我们证明GD在O（eta）步中快速退出初始振荡阶段，并随后达到O（1/（t eta））收敛速度。 我们的结果表明，给定T步的预算，GD可以在不使用动量或可变步长调度程序的情况下，以eta=Theta（T）的激进步长实现O（1/T^2）的加速损失。 这表明，大步长GD通过进入初始不稳定状态来实现加速优化。 基于从线性模型中获得的新见解，我将进一步讨论大步长对GD训练非线性神经网络的可证明益处。 余斌（Bin Yu） 加州大学伯克利分校 通过无限宽度理论和实验对大型深度学习模型进行有效微调 在本次演讲中，我们将描述我们最近的工作，这些工作使用无限宽度理论和广泛的实验来获得关于低阶适应（LoRA）三个方面的实践经验，以有效微调大型深度学习模型： 1.学习率参数化：我们表明，对于A和B具有相同学习率的标准LoRA是次优的，因为它导致低效的微调（在大型模型中），并且我们提出了一个简单的修改：为矩阵B设置更大的学习率，以实现更高效的特征学习。 2.学习率转移：我们表明，原则上减少大型预训练模型的模型大小仍然保留用于微调的最佳超参数，扩展了Yang等人（2022）关于模型预训练的先前工作。 特别地，我们引入了一种新的非均匀下采样方法，通过将无限宽神经网络理论的结果与经典统计采样理论相结合来减小模型大小。 3.初始化的影响：我们简要讨论了初始化如何影响LoRA微调动力学，并表明一种初始化方案（A集为随机，B集为0）通常比另一种初始化方法（B集为零，B随机）具有更好的性能。 本次演讲基于与伯克利加州大学的尼基尔·戈什和苏菲安·哈尤的合作。 -
参与和资金 参加会议分为以下四类。 个人的参与类别通过其邀请函进行沟通。 A组——组织者和演讲者 经济舱：对于距离目的地三小时或三小时以下的航班，允许的最高服务等级为经济舱。 高级经济舱：对于每个航段到目的地的总飞行时间（不包括连接时间）超过三小时但少于七小时的航班，允许的最高服务级别为高级经济舱。 商务舱：在国际旅行（或前往夏威夷/阿拉斯加）时，旅行者可以乘坐商务舱乘坐7小时或更长时间的航段。 如果路线超出预算，将预订高级经济舱或混合舱机票。
B组-资助参与者 基金会将安排并支付往返机票或火车前往会议以及酒店住宿和当地费用报销。 所有航班都将预订经济舱机票。 C组-无资金参与者 C组的个人将不会得到财政支持，但鼓励他们享用所有会议主办的餐点。 D组-远程参与者 D组人员将远程参加会议。 -
旅游和酒店 航空和铁路 对于受资助的个人，基金会将安排并支付从其家乡到会议的往返旅行。 所有旅行和酒店安排都必须通过西蒙斯基金会首选的旅行社预订。 如果这些规格合理且在预算范围内，将考虑旅行规格，包括首选航空公司。 未通过首选机构预订的旅行安排，包括三角旅行和预算外的路线/首选航空公司，必须事先获得西蒙斯基金会的批准，并且必须通过基金会的旅行社获得报销报价。 所有与机票旅行更改相关的费用均由参与者支付，不可报销。 请联系基金会的旅行社寻求进一步帮助。 个人和租车 单程250英里以上的私人汽车和租车旅行需要事先通过电子邮件获得西蒙斯基金会的批准。 租车必须事先获得西蒙斯基金会的批准。 James NoMad酒店提供代客泊车服务。 请注意，使用酒店车库时没有进出权限，因此鼓励参与者步行或乘坐公共交通工具前往西蒙斯基金会。 酒店 需要酒店住宿的受资助个人由基金会在the James NoMad hotel最多住宿三晚，在会议前一天到达，会议后一天离开。 额外的住宿费用由与会者自行承担。 要安排住宿，请在邀请中包含的链接处注册。 James NoMad酒店 东经29街22号 纽约州纽约市10016 （28街和29街之间）
https://www.jameshotels.com/new-york-nomad/ -
报销 概述： 受资助的个人将获得餐费和当地费用（包括地面交通费）的报销。 会议结束后，应通过基金会的在线费用报销平台提交费用。 与西蒙斯基金会主办会议（例如，在另一机构举行的卫星协作会议）无关的会议产生的费用，西蒙斯基金不会报销，应由其他来源支付。 以下是关键的报销要点； 在会议开始前大约2周，将提供一份完整的政策，以及分发的最终物流电子邮件。 餐： 每日用餐限额为125美元； 超过24美元的费用需要分项收据。 基金会不提供每日餐费，只报销以下金额的实际餐费。 早餐20美元 午餐30美元 晚餐75美元
允许的餐费 旅行日的膳食（当你乘飞机或火车旅行时）。 会议当天不提供膳食，例如晚餐。 由同会参与者组成的团体晚宴由单人支付，每人最多可报销75美元，该金额将计入每个人每日125美元的用餐限额。
不允许的餐费 基金会提供的以外的膳食（早餐、午餐、休息和/或晚餐）。 在与西蒙斯基金会协调活动无关的日子用餐。 迷你吧费用。 优步、Lyfts、出租车等，往返于曼哈顿的餐馆。 将为有行动限制的人提供住宿。
地面运输： 地面交通费用将报销在曼哈顿期间的旅行日（即往返机场或火车站的旅行）以及地铁和公交车费用。 往返卫星会议的交通费用不予报销。 -
出勤和建筑协议 出勤 预计所有会议日都将有现场与会者和发言人出席。 希望在下午2:00结束的会议日抵达酒店和旅行支持的与会者将被要求远程出席。 新冠肺炎疫苗接种 进入西蒙斯基金会和Flatiron Institute大楼的个人必须接种新冠肺炎疫苗。 入口和建筑通道 客人到达后，必须出示带照片的身份证才能进入西蒙斯基金会和熨斗研究所大楼。 在会议接待处办理入住手续后，客人将能够出示会议名字徽章，以便重新进入大楼。 如果你忘记带名字徽章，你需要提供带照片的ID。 西蒙斯基金会（Simons Foundation）和弗莱特铁学院（Flatiron Institute）的建筑不被视为“开放校园”，会议参与者只能进入会议地点。 未经事先批准，所有其他区域均禁止进入。 如果您需要私人空间进行电话或远程会议，请至少提前48小时联系您的会议经理，以便他们可以在基金会的房间预订系统中为您预订空间。 客人和儿童 会议参与者必须在会议之前或之后提前24小时通知在西蒙斯基金会与他们会面的任何客人。 不鼓励外部客人参加会议活动，包括用餐。 除了西蒙斯基金会和熨斗研究所的工作人员外，不允许未直接收到西蒙斯基金会所发出的会议邀请的特别会议参与者。 18岁以下的儿童不允许参加西蒙斯基金会的会议。 此外，西蒙斯基金会不提供儿童保育设施或任何形式的支持。 将为哺乳期父母提供特殊住宿。 -
联络