跳到主要内容

注：这些页面广泛使用了最新的XHTML和CSS标准。在任何符合标准的现代浏览器中，它们都应该看起来很棒。不幸的是，它们在较旧的浏览器（如Netscape 4.x和IE 4.x）中可能看起来很糟糕。此外，许多帖子使用MathML，目前只有Mozilla支持。我最好的建议（你会的感谢当我在网上浏览越来越多使用新标准的网站时，我是要升级到最新版本的浏览器。如果这不可能，考虑转向标准兼容和开源Mozilla公司浏览器。

2024年4月10日

类别理论者的机器学习工作

发布人：John Baez

前特斯拉工程师乔治摩根已经成立了一家名为Symbolica公司利用范畴理论改进机器学习。

当马斯克和他的人工智能主管安德烈·卡佩西（Andrej Karpathy）不听摩根（Morgan）的担忧，即当前的深度学习技术无法“扩展到无限并解决所有问题”时，摩根离开了特斯拉（Tesla），创办了Symbolica。亿万富翁维诺德·科斯拉（Vinod Khosla）给了他200万美元，以证明类别理论的想法可能有所帮助。

科斯拉后来说：“他说得很可信。所以我们说，‘去雇佣范畴理论领域最优秀的人。’”他说，虽然他仍然相信OpenAI在构建大型语言模型方面的持续成功，但他对摩根的想法“相对乐观”，这将是一个“重大贡献”如果它按预期工作，则发送给AI。所以他又投资了3000万美元。

不用说，这引发了很多问题。一些类别理论家担心炒作。我更担心的是，如果这项技术真的奏效了，会发生什么！

但也许最直接的问题是，Symbolica正在聘请类别理论家。它已经雇佣了一些人，而且这里有6个以上的招聘广告。他们正在英国和澳大利亚招聘员工。

若范畴理论家在这一领域找到了工作，他们还不如阅读n个-品类咖啡馆。以下是这6个职位-您可以在链接中看到更详细的描述：

关于数学的更多信息，看看这些文件.

发布于2024年4月10日下午4:29 UTC

此条目的TrackBack URL:https://golem.ph.utexas.edu/cgi-bin/MT-3.0/dxy-tb.fcgi/3524



6条评论和0条回溯

关于：类别理论者的机器学习工作

他们知道这听起来有多愚蠢吗？

“当前的深度学习技术无法“扩展到无限大并解决所有问题，”

科斯拉后来说：“他说得很可信。所以我们说，‘去雇佣这个范畴理论领域最优秀的人。’”

发布人：zzz于2024年4月10日9:19 PM|永久链接|对此的答复

关于：类别理论者的机器学习工作

为了防止不清楚，“他说得很可信”并不是指摩根说“当前的深度学习技术无法扩展到无限大并解决所有问题”，而是指摩根和他的研究团队如何制定计划，在人工智能中使用范畴理论。

发布人：约翰·贝兹2024年4月10日11:35 PM|永久链接|对此进行答复

关于：类别理论者的机器学习工作

也许你需要解释一下什么是愚蠢的部分

发布人：米切尔·波特，2024年4月11日12:00 AM|永久链接|对此的答复

关于：类别理论者的机器学习工作

现实世界中的任何事物都无法扩展到无穷大。

“雇佣这个领域最好的人……”是MBA的说法，因为我不知道这个项目到底是什么。

发布人：zzz于2024年4月11日凌晨1:05|永久链接|对此进行答复

关于：类别理论者的机器学习工作

引言中没有很多细微差别，但神经网络体系结构的样本复杂性是一个经过深入研究的问题，它有效地回答了这个问题：有效地学习一项任务需要多少数据点。

当涉及到某些类型的任务（即组操作）时，像变形金刚这样的架构会设法学习适当的等方差（请参阅https://arxiv.org/abs/2210.02984)。对于其他的（即内函子的初始/最终余代数，它们是结构化（co）递归的范畴语义），它们失败了（参见https://arxiv.org/abs/2305.14699或https://arxiv.org/abs/2402.05785)。

因此，事实上，扩展神经网络是一个大问题，许多资金/资源正被用于努力做好这件事，正如今天的LLM数量所表明的那样。几乎毫无例外，算法/结构化学习任务是在没有严格定义这些算法或结构的情况下进行的。

发布人：Bruno Gavranovic于2024年4月11日下午6:35|永久链接|对此的答复

关于：类别理论者的机器学习工作

你好，约翰，

谢谢你分享工作公告。我们正在开始一些非常令人兴奋的事情，作为团队的研究负责人，我们——Paul Lessard和Bruno Gavranović——认为我们会提供澄清。

Symbolica不是起动利用范畴理论改进ML。相反，Symbolica成立于约2年前，其200万种子基金旨在解决符号推理问题，但当时，它实现这一目标的途径并不是通过分类深层学习（CDL）。最初的计划是使用超图重写作为提高学习效率的手段。然而，这种方法最终被证明是不可行的。

Symbolica大约五个月前开始转向CDL。布鲁诺刚刚完成了他的博士论文，为这一主题奠定了基础，我们将组织的大部分工作转向了这一研究方向。特别是，我们开始：a） 完善开发和应用CDL的路线图，以及b） 与谷歌DeepMind的研究人员合作撰写一份立场文件，你在下面引用了这篇文章。

在过去的几个月里，我们对适用性的预感实际上是令人兴奋和可行的研究方向。我们已经取得了惊人的进展，甚至进行了我们计划在上述立场文件中倡导的一些研究。真的，我们发现了认真对待类别在深度学习领域能给你带来多少好处。

DL的许多进步都是关于创建识别数据中健壮和通用模式的模型（例如，请参阅Transformers/Attention机制）。从很多方面来说，这正是CT的意义所在：它是许多科学家（包括我们自己）了解我们周围世界不可或缺的工具：在数据中找到可靠的模式，同时也可以交流、验证和解释我们的推理。

与此同时，Symbolica的研究工程团队在实现一个特定的深度学习模型方面取得了显著、独立和具体的进展，该模型对文本数据进行操作，但不像大多数GPT风格的模型那样以自回归的方式进行操作。

这些进展向维诺德和其他投资者发出了关键信号，导致3100万美元融资回合的结束。

我们现在正在开发一个将二者结合起来的研究项目，利用结构理论的见解，例如范畴代数，作为形式化我们的过程的手段找到数据中的结构。这有双重后果：推动模型识别数据中更稳健的模式，但也有可解释和可验证的模式。

综上所述：

a） 正如该帖子可能暗示的那样，推动应用范畴理论并不是基于一种奇想，

但事实并非如此

b） Symbolica正在开发一个严肃的研究项目，致力于将范畴理论应用于深度学习，而不仅仅是雇佣范畴理论家

所有这些都是为了增加额外的背景，以评估公司、其团队和我们的方向，这在最近出版的技术文章中没有出现。

我们强烈鼓励感兴趣的各方查看所有的招聘广告，这些广告都是我们根据特定角色定制的。大致上，在CDL团队中，我们正在寻找

1） 在范畴理论方面的专业知识，以及对深度学习的强烈兴趣，或

2） 在深度学习方面的专业知识，以及对范畴理论的浓厚兴趣。

所有级别的资历。

很高兴回答任何其他问题/想法。

Bruno Gavranović，

保罗·莱萨尔

发布人：Bruno Gavranovic，2024年4月11日下午4:57|永久链接|对此的答复

发布新评论