逻辑、数学和人工智能

在许多方面莱纳特他的一生试图直接继承亚里士多德和莱布尼兹道格在四十年的时间里，致力于开发他的CYC系统，其根本目的是使用逻辑框架，其形式或多或少与亚里士多德和莱布尼茨的逻辑框架相同，以捕捉世界上发生的事情。这是一次崇高的努力，也是一个令人印象深刻的长期智力坚韧的例子。虽然我自己从来没有真正使用过CYC，但我认为这是一个了不起的实验——如果没有其他东西能够最终证明，在有效地表示和推理世界时，除了逻辑之外，构建框架的重要性。

道格·莱纳（Doug Lenat）开始研究人工智能的时候，没有人真正知道什么是可能的，甚至是容易做到的。人工智能（无论这意味着什么）只是一种聪明的算法，还是一种新型的计算机？或者，这只是一个“工程问题”，只需要将一个更大更好的“专家系统”整合在一起？这里有各种各样的神秘感，还有很多关于人工智能的骗人把戏。你看到的演示真的证明了什么吗，或者它真的只是一个微不足道的（如果可能是无意的）作弊？

我第一次见到道格·莱纳是在20世纪80年代初。我刚刚开发了我的SMP（“符号操作程序”）系统，这是数学软件和现代Wolfram语言我也曾接触过“做人工智能”的商业活动（事实上，我们的风投甚至推动我的第一家公司采用了一个可疑的名称“Inference Corporation”，并带有“=>”徽标）。我不得不说，当我第一次见到道格时，我非常不屑一顾。他告诉我他有一个节目“AM”代表“自动数学家”，这是他斯坦福大学CS博士论文的主题），他可以发现，事实上已经发现了非平凡的数学定理。

“什么定理？”我问。“你放进了什么？你得到了什么？”我想对许多人来说，搜索定理的概念看起来会很了不起，而且会立即令人兴奋。但我不仅自己建立了一个系统，以计算形式系统地表示数学，我还枚举大型简单程序集合就像细胞自动机一样。我戳了戳道格所说的他所做的事，然后不服地走了。就在同一时间，我碰巧拜访了一个顶尖的大学人工智能小组，他们告诉我，他们有一个将西班牙语故事翻译成英语的系统。“我能试试吗？”我问道，暂时不去想这听起来像科幻小说。“我真的不懂西班牙语”，我说，“我可以从几个单词开始吗？”“不”，他们说，“这个系统只对故事有效。”“一个故事需要多长时间？”我问。他们说：“事实上，这必须是一个特殊的故事。”。“什么类型的？”我问道。还有几次迭代，但最终还是成功了：“系统”将一个特定的故事从西班牙语翻译成了英语！我不确定我的回答中是否包含咒骂，但我想知道这应该是什么样的科学、技术或其他什么。当道格告诉我他的“自动数学家”时，我担心我会找到这种东西。

几年后，我可能会说，我认为AM本可以尝试做一些有效且有趣的事情，如果不明显可行的话。给定一个特定的公理系统，很容易机械地生成无限的“真定理”集合——实际上填充元数学空间但现在的问题是：这些定理中哪一个会人类数学家发现“有趣”? 目前尚不清楚答案与“数学社会史”有多大关系，还有多少与“抽象原则”有关。我一直在近年来对此进行了大量研究（尤其是因为我认为它在实践中可能有用），并对它与数学本质的关系得出了一些相当深入的结论。但我现在确实想知道，道格多年前的作品在多大程度上可能（或可能不）包含了启发式，即使现在也值得尝试。

CYC公司

20世纪80年代初至中期，我曾多次在一家名为思维机器（我是其中的一名顾问），在各种活动中都或多或少地涉及到了人工智能。在那些日子里，人工智能社区相当小，有些分散，美国的学术部分主要集中在麻省理工学院、斯坦福大学和CMU。我的印象是，道格从来都不是那个社区的中心，但不知怎么地，他是一个“著名的成员”，他把自己的工作与数学联系在一起，被视为人工智能领域的“高端工作”。

1984年，我写了一篇关于科学美国人关于“计算机软件”（是的，当时软件很流行）。我的文章题为“科学和数学中的计算机软件”，下一篇文章是Doug写的，题为“智能系统的计算机软件”。我文章顶部的总结是：“计算提供了一种描述和研究科学和数学系统的新方法。计算机模拟可能是预测某些复杂系统如何演化的唯一方法。”道格的文章摘要写道：“智能解决问题的关键在于减少对解决方案的随机搜索。要做到这一点，智能计算机程序必须挖掘与人类相同的潜在“能量来源”。”。我想，在接下来的四十年中，我们俩在很多方面都在努力实现这些总结的承诺。

道格文章中的一个关键点，我完全同意，那就是要创建一个可以有效识别为“人工智能”的东西，以某种方式拥有大量内置的世界知识是至关重要的。但应该如何做到这一点呢？知识应该如何编码？它应该如何使用？

道格的文章科学美国人说明了他的基本思想：

以逻辑陈述的形式对世界知识进行编码。然后找出方法将这些陈述拼凑起来得出结论。从某种意义上说，这是一种非常经典的形式化世界的方法，至少在概念上亚里士多德和莱布尼兹当然，它现在正在使用计算机——既作为存储逻辑语句的一种方式，也作为从中寻找推论的一种方法。

起初，我认为道格觉得主要的问题是如何“寻找正确的推论”。给出了一整组逻辑语句，他在问如何将这些语句组合在一起以回答某个特定的问题。本质上，这就像数学定理证明如何将公理结合起来来证明一个特定的定理？尤其是对于当时的计算机和算法来说，这在几乎任何现实情况下都是一个令人畏惧的问题。

但人类是如何做到的呢？道格想象的是，关键因素是启发式：猜测一个人如何“向前跳”而不必进行系统方法似乎暗示的那种艰苦搜索的策略。道格开发了一个他称之为的系统欧里斯科这实现了一系列启发式——道格预计，这些启发式不仅可以用于数学，而且基本上可以用于任何事情，或者至少可以用于任何人类思维有效的事情。是的，EURISKO不仅包括启发式，还至少包括一些用于创建新启发式的启发式，等等。

但好吧，所以道格认为EURISKO可以用来“推理”任何事情。因此，如果它拥有人类所拥有的那种知识，那么杜格认为，它应该能够像人类一样进行推理。换句话说，它应该能够提供某种能够匹配人类思维的“真正的人工智能”。

有各种特定的知识领域需要考虑。但道格特别希望推进似乎最具影响力的方向，并解决常识知识和常识推理的问题。因此，道格开始了一个终身项目，以逻辑陈述的形式尽可能多地编码知识。

1984年，Doug的项目（现命名为CYC）成为MCC（微电子和计算机技术公司）在奥斯汀，TX是一个刚刚成立的行业政府财团，旨在应对来自日本“第五代计算机项目”这让美国研究机构感到震惊，因为他们投入了大量资源来“解决人工智能”（实际上，他们强调了许多与道格相同的基于规则的技术）。在MCC，道格有足够的资源雇佣数十名员工，从事预计数千人年的工作。

我很长一段时间没有听到太多关于CYC的消息，尽管在1988年Mathematica发布后不久明斯基我沉思着，我们似乎在为数学知识做什么，而CYC希望为常识知识做什么。我认为马文不相信道格对CYC的技术部分是正确的（是的，他们没有尽可能多地使用马文的理论）。但在那些年里，马文似乎觉得CYC是少数几个真正有意义的AI项目之一。事实上，在我的档案中，我发现了1992年马文发来的一封相当迷人的电子邮件，其中附有一份科幻小说（标题为图灵选项)他正在写的东西哈里·哈里森其中提及CYC：

2024年6月19日

布莱恩和本到达实验室时，电脑正在运行
但树机器人被折叠起来，一动不动。“罗宾，
激活。”

…

“罗宾必须使用不同的进步概念
不同类型的问题。以及不同类型的子目标
减少这些不同的差异。”

“这难道不需要大量的知识吗？”

“这将是独立的，这也是人类教育的一个原因
这么久。但是Robin应该已经包含了大量
这种信息是他CYC-9知识的一部分-
底座。”

…

“现在存在一个程序模型，用于
人类个体，基于中描述的原型人类
CYC-9知识库第6.001节。正在自定义
基于示例人员Brian Delaney的参数
在就业、健康和安全记录中描述
Megalobe公司。”

随后是短暂的沉默。然后声音继续。

“与这些模型相比，Delaney模型被认为是不完整的
其他人，如亚伯拉罕·林肯总统
3596.6兆字节的描述性文本，或James指挥官
邦德，他有16.9兆字节。”

后来，小说中的一个人物评论道：“即使我们一开始什么都没有，但
旧的Lenat语言——Haase代表语言，我们仍然远远领先于任何动物进化的速度。”(肯·哈斯是马文的学生，他批评并扩展了道格关于启发式的工作。）

1996年，我再次接触CYC，与一本叫做HAL的遗产-道格和我贡献了-为纪念AI虚构的生日而出版在电影里2001但大多数人工智能整体处于低迷状态，几乎没有人认真对待。有时我会听到有关CYC的抱怨，主要是来自政府和军方的接触。在学者中，道格偶尔会出现，但更残酷的是，他最著名的是他的名字被用作“敌意”单位-透镜，据说“像法拉第一样，它被认为太大了，不适合实际使用，所以通常用微透镜表示敌意”。

道格遇见沃尔夫拉姆|阿尔法

许多年过去了。我当然没有忘记道格或CYC。有几次，人们建议以某种方式将CYC与我们的技术联系起来。但什么都没有发生。然后在2009年春天，我们即将发布Wolfram|Alpha公司看起来我终于有了一些可以和道格谈论的有意义的事情。

我发了一封相当试探性的电子邮件：

道格迅速回应道：

这绝对是一种“你在我的地盘上”的回应。我也不知道道格会怎么样。但几天后，我们与道格和现在的Cycorp团队的一些高级成员进行了长时间通话。道格做了一些让我印象深刻的事情。他没有吹毛求疵地说Wolfram | Alpha“不是人工智能”，而是说“我们多年来一直在尝试做这样的事情，现在你已经成功了”。这是一场伟大的、甚至鼓舞人心的智慧展示。无论我对CYC和Doug的其他作品有何看法（我从来没有形成过非常明确的观点），这对我来说都让Doug坚定地成为值得尊重的人。

道格写了一篇题为“我对Wolfram Alpha印象深刻”，并立即开始邀请我们参加他参与的各种AI和行业pooh-bah活动。

道格似乎真的很高兴我们在与他长期目标如此接近的事情上取得了如此大的进展。我和他谈了我们方法之间的比较。我说，他只是在进行“纯粹的人性化推理”，就像中世纪那样。但是，我说，“从某种意义上说，我们作弊了”。因为我们把现代发明的所有东西都用在了科学、数学等领域。如果他想弄清楚某个机械系统的行为方式，他必须进行推理：“如果你把这个往下推，它就会拉起，然后这个就会滚动”，等等，我们只需要把一切都转化为数学（或类似的东西），然后用方程等系统地求解。

另外还有一点：我们并没有试图仅仅用逻辑来代表世界，我们使用了计算的全部能力和丰富性。在谈到太阳系时，我们不仅仅说“火星是太阳系中的一颗行星”；我们有一个计算其详细运动的算法，等等。

道格和CYC也强调了似乎出现在我们“常识”中的零碎知识。但我们对系统的、可计算的知识感兴趣。我们不只是想要一些关于动物的分散的“共同事实”。我们需要系统的数百万物种的特性我们有非常通用的计算方法来表示事物：不仅仅是单词或标记，还有系统的方法来捕获计算结构，无论它们是实体、图形、公式、图像、时间序列或几何形式，还是其他什么。

我认为Doug将CYC视为他想象的人类大脑工作方式的某种形式化理想化：提供了一个框架，可以将大量（相当无差别的）关于世界的知识“注入”其中。在某种程度上，这是一个非常“纯人工智能”的概念：建立一个通用的类似大脑的东西，然后“它只做剩下的事”。但道格仍然认为，这件事必须按照逻辑进行操作，而输入其中的知识也必须由逻辑形式的知识组成。

虽然道格的出发点是人工智能和逻辑，但我的出发点则是一些不同的东西——实际上计算量很大。我一直认为逻辑并不特别：它是一种描述某些类型事物的特殊形式系统，但没有任何普遍性。对我来说，真正普遍的概念是计算。这就是我一直使用的基础。这就是现代Wolfram语言的由来，它的特点是全尺寸计算语言。

有一个原则基础。但这不符合逻辑。这是一种更通用、更结构化的东西：任意的符号表达和它们的转换。在过去四十年的大部分时间里，我都在为我们在这个世界上遇到的所有概念和结构建立连贯的计算表示法。目标是要有一种有效的语言，一种符号，能够以精确的计算方式表示事物。但是，要真正拥有使用该表示进行计算的内置能力。不是想知道如何把逻辑语句串在一起，而是想做任何可能需要做的计算来得到答案。

但除了他们的技术愿景和架构之外，CYC和Wolfram语言之间存在一定的并行性。这两个项目都很庞大。两者都已经发展了四十多年。这两位领导人一直由一个人领导。是的，Wolfram语言肯定是两者中较大的一种。但在技术项目范围内，CYC仍然是一个非常杰出的例子，证明了愿景的持久性和持久性，并取得了真正令人印象深刻的成就。

晚年

在Wolfram | Alpha出现后，我开始与Doug进行更多互动，尤其是因为我经常来奥斯汀参加SXSW会议，而且当我这样做的时候，通常会特意联系道格。CYC能使用Wolfram|Alpha和Wolfram语言吗？我们能以某种方式将我们的技术与CYC联系起来吗？

当我与Doug谈话时，他倾向于淡化CYC的常识方面，而不是谈论防御、情报分析、医疗保健等应用程序。他热情地告诉我有关CYC所掌握的特定知识。但我不得不一次又一次地告诉他，实际上我们在这些领域已经有了系统的数据和算法。我常常对此感到有点难过。就好像他一直在一个接一个地辛勤地种植庄稼，而我们却得到了一台巨大的工业机器。

2010年，我们创造了一个“系统数据时间表和可计算知识的发展“poster和CYC是20世纪80年代开始的六个条目之一（例如，与网络一起）。道格和我继续谈论如何合作，但什么也没发生。一个问题是不对称性：道格可以随时玩沃尔夫拉姆|Alpha和沃尔夫拉姆语言。但我从未真正尝试过CYC。道格曾数次承诺API密钥，但都没有兑现。

最后，道格对我说：“听着，我担心你会认为这是假的。”。尤其是在了解道格的历史时，我试图向他保证，我的目标不是评判。或者，正如我在2014年的一封电子邮件中所说：“请不要担心，我们会认为这是‘假的’。我感兴趣的是从你所做的事情中发现好的东西，而不是批评它的缺陷。”

但第二年我在SXSW的时候，道格还有其他东西想给我看。那是一个数学教育游戏。道格似乎对它的视频游戏设置感到异常兴奋，其中包括3D太空船场景。我的儿子克里斯托弗在那里，礼貌地问我这是不是默认的统一场景。我一直在说，“道格，我以前看过视频游戏；给我看看人工智能！”但道格似乎对此不再感兴趣，最终说游戏没有使用CYC，尽管仍然（有点）使用了“基于规则的人工智能”。

不过，我已经和道格谈过了，我认为这是CYC在Wolfram|Alpha环境中的一个明显而强大的应用：解决数学单词问题。假设有一个问题，比方说，以方程式的形式，我们几乎可以解决任何扔给我们的问题。但如果有一个单词问题，比如“如果玛丽有7个弹珠，3个掉进了排水沟，她现在有多少个？”我们就没有机会了。因为要解决这个问题，需要对世界有常识性的认识，而Wolfram|Alpha不是关于这个问题的。但这正是CYC应该做的。遗憾的是，尽管有很多提醒，我们还是没能尝试一下。（是的，我们在Wolfram|Alpha中建立了各种简单的语言模板现在有LLM.)

与其他因素无关，道格让CYC和Cycorp运营了这么多年，这让人印象深刻。但当我在2015年见到他时，他热情地告诉我，我对他说的话在我看来是他围绕CYC所做的一笔太棒了的交易。不久之后，有人奇怪地试图向我们出售CYC技术，我认为我们的团队在那之后不会再进行互动。

不过，我个人继续与道格互动。我给他寄了东西写了数学的形式化。他回答说，指给我看他在上午做的事情。在沃尔夫拉姆十周年纪念|阿尔法Doug给我发了一张很好的纸条，说“如果你想合作，比如把Winograd句子对赶出公园，请告诉我。”我不得不说，我想知道什么是“Winograd句子对”。这感觉像是很久以前人工智能时代的某种挑战（显然这与识别代词参考有关，当然这在现代英语用法中变得更加困难）。

当我今天写这篇文章的时候，我意识到我在2016年犯了一个错误。多年来，我一直在思考我所称的“符号话语语言”——一种可以代表“日常话语”的计算语言的延伸。并受到区块链和计算契约思想的刺激——我终于2016年写了一些关于这个的东西现在我意识到我忽略了给Doug发送一个链接。这是一个遗憾，因为也许它最终会让我们连接我们的系统。

现在有了LLM

道格是一个相信形式主义，特别是逻辑的人。我的印象是，他总是认为像神经网络这样的方法实际上没有机会“解决人工智能问题”。但是现在我们有LLM那么，它们是如何与CYC的想法相适应的呢？

LLM的一个惊喜是，实际上，它们似乎经常使用逻辑，即使它们的设置中没有显式涉及逻辑的内容。但是（就像我一样在别处描述)我敢肯定，事实上，LLM通过观察人们所做陈述的大量示例并识别其中的模式，已经像亚里士多德一样“发现”了逻辑。以类似的方式，法学硕士“发现”了许多常识和推理。他们只是在遵循他们所看到的模式，但实际上可能是按照我所说的“语义语法“决定”语义运动规律“这足以经常取得一些令人印象深刻的类似常识的结果。

我怀疑，许多输入CYC的声明现在可以通过LLM相当成功地生成。也许有一天，会有足够好的“LLM科学”来识别LLM在常识领域所能做的背后的机制，也许它们甚至会看起来有点像CYC中的内容，以及它如何使用逻辑。但从某种意义上说，LLM在常识领域的成功强烈表明，你根本不需要深层次的“结构化逻辑”。虽然，是的，与直接的符号方法相比，LLM可能效率低得多，可靠性也可能低得多。

顺便说一句，对于计算语言和计算来说，这是一个非常不同的故事。LLM是基于语言和通过它找到的模式的。但是，可以通过结构化计算语言访问的计算是非常不同的。它是关于在某种意义上完全非人类的过程，涉及更深入地遵循一般形式规则以及更结构化的数据类型等。LLM可能能够像人类一样进行基本逻辑。但在人类必须系统地使用正式工具进行认真计算的情况下，这是不可能的。就LLM代表“统计人工智能”而言，CYC代表一定程度的“符号人工智能”。但是计算语言和计算走得更远，LLM不能也不应该遵循，而且应该遵循把它们称为工具。

Doug似乎一直对人工智能的前景持乐观态度。2013年，他给我写信：

我最后一次收到道格的邮件是在2023年1月10日，他告诉我，他认为我很好谈论将我们的技术连接到ChatGPT然而，他说，他发现“这些模型训练的是信念而不是正确性，这越来越令人担忧”，然后举了一个ChatGPT搞错数学单词问题的例子。
他的电子邮件结束：

遗憾的是，我们再也没有聊过。我们现在有一个积极致力于符号话语语言的团队，就在上周，我向他们提到了CYC，并哀叹我从未尝试过。然后在周五，我听说道格去世了。一位杰出的人工智能先驱，在其职业生涯的整个过程中坚定不移地追求自己的愿景，但为时过早。