人工智能已经是不可思议的非人

N个在布鲁克林的一座办公大楼里，从曼努埃拉·维洛索（Manuela Veloso）的办公室俯瞰纽约港（New York Harbor），自由女神像（Statue of Liberty-）令人兴奋。但现在，我们只看到街对面的塔楼里我们下面那些毫无特色的窗户。

在他们的窗格中，我们可以看到椅子、桌子、灯和纸。不过，它们看起来不太对，因为它们实际上不在那里。真正的物品就在我们街道那一边的一栋建筑里，很可能就是我们站的地方。午后明亮的阳光照亮了它们，短暂地将对面的窗户变成了镜子。我们看到办公室里的砖墙看起来幽灵而明亮，没有重力的影响。

Veloso是卡内基梅隆大学计算机科学和机器人学教授，我一直在谈论机器感知什么以及它们是如何“思考”的——这个主题并不像我想象的那么简单。“一个机器人怎么会想到这一点？”她谈到窗户上的幻觉。“这对他们来说很难。”

人工智能最近一直在以无情的速度克服难题。在过去的几年里，一种被称为神经网络的特别有效的人工智能在发现新药、寻找最佳求职者甚至开车等任务上已经达到甚至超过了人类。神经网络的结构模仿了人脑的结构，现在可以很准确地分辨出好的文字和坏的文字，并且可以很精确地告诉你照片中的物体是什么。这样的网络在谷歌搜索、亚马逊推荐、脸书新闻订阅、垃圾邮件过滤等无处不在的工作中，以及在军事安全、金融、科学研究等关键任务中，以及那些比人驾驶性能更好的汽车中，使用得越来越多。

不知道为什么机器会做出奇怪的事情，我们无法确保它不会再次发生。

神经网络有时会出错，人们可以理解。（是的，那些桌子看起来很真实；我也很难看到它们是一种反映。）但一些棘手的问题使神经网络以不可理解的方式作出反应。神经网络执行算法——完成任务的一组指令。当然，算法是由人类编写的。然而，神经网络有时会给出一些非常奇怪的答案：不正确，但也没有错误，这是人们可以理解的。相反，这些答案听起来像外星人可能会想出的东西。

这些奇怪的结果非常罕见。但它们不仅仅是随机的小故障。研究人员最近设计了可靠的方法，使神经网络产生如此可怕的非人道判断。这表明人类不应该假设我们的机器像我们一样思考。神经网络有时会思考不同的我们也不知道如何或为什么。

这可能是一个令人不安的想法，即使你还没有依靠神经网络来管理你的家和开车四处走动。毕竟，我们对人工智能的依赖程度越高，就越需要它的可预测性，尤其是在失败的情况下。不知道机器是如何或为什么会做出奇怪的事情，这让我们无法确保它不会再次发生。

但机器“思维”偶尔出现的出乎意料的怪异，也可能是人类的一个教学时刻。在我们接触外星智能之前，神经网络可能是我们所知道的最能干的非人类思考者。

就神经网络的感知和推理与我们不同的程度而言，它们可能会向我们展示智力如何在我们物种的局限性限制之外发挥作用。伽利略证明了地球在宇宙中并不是唯一的，达尔文证明了我们的物种在生物中也不是唯一的。阿尔伯塔大学（University of Alberta）的人工智能研究员约瑟夫·莫代尔（Joseph Modayil）表示，计算机可能会在智力概念上做类似的事情。他说：“人工系统向我们展示了智能跨越广阔的可能性空间。”。

不过，首先，我们需要确保我们的自动驾驶汽车不会把校车误认为橄榄球衫，也不会像谷歌的一个神经网络最近所做的那样，把照片中的人贴上大猩猩或海豹的标签。在过去的几年里，一些计算机科学家对这个问题和可能的修复方法非常着迷。但他们还没有找到。

J型eff Clune是怀俄明州大学计算机科学助理教授。他最近开始研究人工神经网络中的奇异行为。“我不知道有谁能很好地理解为什么会发生这种情况，”他说。

去年，在一篇题为“深度神经网络很容易被愚弄”的论文中¹Clune和他的合著者Anh Nguyen和Jason Yosinski报告说，他们已经开发出了一个成功的系统，用于识别物体，并至少以99.6%的置信度声明下面左边的图像是海星。 而且（再次，99.6%的置信度）右边的那只是猎豹。

相反，来自谷歌、脸书、纽约大学和蒙特利尔大学的另一组研究人员利用神经网络系统判定，在下图中，左手图像是一只狗。 但右边那个（像素略有改变）是一只鸵鸟。

右边的狗的照片就是研究人员所说的“对抗性例子”的一个例子²这些图像与正确分类的图像略有不同，但会导致高级神经网络做出判断，让人类摇头。

神经网络是机器学习的一种形式，它从数据中分析并得出结论。普林斯顿大学信息技术政策中心的博士后研究助理Solon Barocas指出，机器学习不仅用于视觉任务。¹巴罗卡斯指出，2012年，一个为教育测试服务（Educational Testing Service）建立的论文评估系统宣布，这篇散文（由前麻省理工学院（Massachusetts Institute of Technology）写作教授莱斯·佩雷尔曼（Les Perelman）创作）是一篇伟大的作品：

在今天的社会中，大学是模棱两可的。我们需要它来生活，但我们也需要它来爱。此外，如果没有大学，世界上大多数的学习都会令人震惊。然而，大学有无数的费用。世界面临的最重要问题之一是如何降低大学成本。一些人认为，大学费用是由于学生现在所期望的奢侈品造成的。其他人则认为，这些费用是田径运动的结果。事实上，高昂的大学费用是助教工资过高的结果。

大词和结构整齐的句子不能掩盖任何真正的想法或论点的缺失。不过，这台机器给了它一个完美的分数。^三

这种扭曲的结果不能解释为单个计算机系统中的故障，因为让一个系统偏离轨道的例子也会对另一个系统造成同样的后果。人工智能研究公司Vicarious的联合创始人迪利普·乔治（Dileep George）在阅读了《深度神经网络很容易被愚弄》（Deep Neural Networks Are Easyly Foolled）之后，很想看看不同的神经网络会如何反应。在他的iPhone上，他碰巧有一个名为Spotter的现已停止使用的应用程序，这是一个识别物体的神经网络。他指着克伦的网络称之为海星的波浪线。“电话里说是海星，”乔治说。

Spotter正在检查一张在许多方面与原始照片不同的照片：George的照片是在不同的照明条件下以不同的角度拍摄的，周围的纸张中包含了一些像素，而这些像素并不是示例本身的一部分。然而，神经网络产生了同样的地外探测解释。乔治说：“这很有趣。”。“这意味着这一发现相当可靠。”

事实上，参与“海星”和“鸵鸟”论文的研究人员确保了他们的愚弄图像在多个系统上都能成功。谷歌（Google）的克里斯蒂安·塞格迪（Christian Szegedy）及其同事写道：“为一个模型生成的示例经常被其他模型误分类，即使它们具有不同的体系结构，”或者使用不同的数据集。⁴克伦说：“这意味着这些神经网络都同意校车的外观。”。“他们认为校车的样子包括许多没有人会说是校车的东西。这真的让很多人感到惊讶。”

问题不仅在于机器与人的思维方式不同。这是因为人们不知道为什么。

当然，任何接收和处理数据的系统都可能会错误识别对象。这包括人脑，可以确信，它的早餐吐司中的图案是耶稣的肖像。但是，当你看到一个模式，看到一些不存在的东西，心理学家称之为“偏执狂”，其他人就能理解你为什么会犯错误。这是因为我们在看待事物和理解事物方面都有相同的心理系统。

在一个完美的世界里，我们的机器也会共享这个系统，我们可以理解它们，也可以相互理解。神经网络的奇怪结果告诉我们，我们并不生活在那个世界。巴罗卡斯说，在这种情况下，我们可以看到算法“思考”并不是我们的复制品。“当系统以人类不可能的方式运行时，我们可以看到他们的偶像崇拜与我们的不同。”

巴罗卡斯补充道，编写算法的人“希望将事物人性化，并以符合我们思考和推理的方式来解释事物。但我们需要准备接受这样一个事实，即计算机即使在执行我们执行的任务，也在以非常不同的方式执行它们。”

当然，称狗为鸵鸟的人工智能并不是一种威胁。许多书面测试都是由机器正确评分的，而欺骗神经网络的图像似乎是不可能的。但是，一些研究人员说，他们将发生。克伦说，即使有一个机器判定校车是橄榄球衫的例子也太多了，“尤其是当你碰巧坐在自动驾驶公交车上时，会犯这样的错误。”

目前尚不可能理解神经网络是如何得出令人费解的结果的。计算机科学家对神经网络所能做的最好的事情就是观察它们的行为，并注意到输入如何在其某些单元中触发响应。这总比什么都没有要好，但它还不接近于对内部发生的事情进行严格的数学解释。换句话说，问题不仅在于机器与人的思维方式不同。人们无法通过逆向工程来找出原因。

我在电子技术方面，非人类的偶像崇拜现象正在出现，这些算法被认为是模仿我们大脑中最人性化的部分。神经网络最初是在20世纪40年代作为大脑皮层的一个粗略软件模型提出的，大脑皮层是感知和思考的主要场所。网络运行由代码组成的虚拟神经元，取代了我们大脑中的物理神经元。每个节点都有多个接收信息的通道，一个从这些输入计算函数的处理器，以及一个输出其工作结果的通道。这些虚拟神经元就像人类皮层中的细胞一样，是分层组织的。进入一层的信息会触发神经元的集体反应（一些神经元被激活并相互交流，而另一些神经元保持沉默）。结果被传递到下一层，在那里作为原料进行进一步处理。

虽然每个神经元都是一个简单的信息处理器，但这种结构允许细胞利用接收到的数据共同完成惊人的壮举。例如，在真实的大脑中，神经元将视神经中的几百万个电脉冲转换为一种感觉，即你正在观看窗户中的反射。大脑皮层中对物体边缘做出反应的层将其工作传递给对边缘做出解释的层，即使边缘是颠倒的并且处于昏暗的光线中。再往下一层就可以解释这种解释，最后视觉信息被整合到一个复杂的感知中：“那是一个倒立在阴影中的香蕉。”

神经网络更简单。但是，随着处理能力的最近进步和提供示例的大量数据集的日益可用性，他们现在可以取得类似的成功。他们的分层处理可以在大量数据中找到模式，并使用这些模式将“猎豹”和“海星”等标签连接到正确的图像中。

机器没有亿万年的进化设计来引导它注意颜色、边缘和形状等特征。相反，神经网络是由人类程序员“训练”的。他们将举一个例子——大量的潦草文字，每一个都被识别为人类潦草版本的字母表。当算法对它们进行排序时，它的错误猜测会被纠正，直到它对训练数据的所有分类都是正确的。有了数千个人类认为是字母“d”的例子，神经网络很快就制定出了一条规则，可以正确决定未来应该给“d”贴上什么标签。这是神经网络架构的一大吸引力：它允许计算机科学家设计手写识别，而无需为定义正确的“d”列出无数规则，而且他们也不需要向机器显示创建的每个“d”。只有宇宙中所有可能的d的一小部分，即它在神经网络上训练的示例，学会了识别任何它遇到的未来“d”。

评委们直到几周后才知道这位艺术家不是人类。

这种架构的缺点是，当机器判定电视静态是猎豹时，计算机科学家没有“猎豹”的标准列表，他们可以搜索故障。神经网络既没有执行一组人工创建的指令，也没有运行所有可能的猎豹的完整库。它只是在接收输入时对其作出响应。创建网络的算法是关于如何处理一般信息的指令，而不是解决任何特定问题的指令。换言之，神经网络算法不像精确的配方——吃这个成分，吃那个成分，当它变软时，吃这个成分。它们更像是餐厅里的订单。“请给我一份烤奶酪和一份沙拉。你怎么做取决于你。”巴罗卡斯说，“为了从探索数据中找到结果，为了发现关系，计算机使用它制定的规则。”

目前，人类还无法发现计算机创建的规则是什么。在典型的神经网络中，人们能够轻易识别其工作方式的唯一层是输入层，即向系统输入数据的层，以及输出层，即其他层的工作向人类世界报告的层。在两者之间，在隐藏层中，虚拟神经元通过在它们之间形成连接来处理信息并共享它们的工作。就像在人脑中一样，操作的数量之多使得在实际操作中不可能精确定位任何单个神经元对最终结果的贡献。克伦说：“如果你知道60亿人口经济中每个人的一切，你就不知道会发生什么，甚至不知道为什么过去会发生什么。”。“复杂性是‘突发的’，取决于数百万部件之间的复杂交互，而我们人类不知道如何理解这一点。”

此外，大量信息处理是在神经元之间不断变化的连接中进行的，而不是在任何单个细胞中进行的。因此，即使计算机科学家确定了网络中每个细胞在特定时刻的行为，他们仍然无法完整地了解其操作。例如，知道一层神经元的一部分被面部轮廓激活，并不能告诉你这些神经元在决定是谁的脸时起到了什么作用。

这就是为什么，正如克伦和他的同事最近所说，“神经网络长期以来被称为‘黑箱’，因为由于存在大量相互作用的非线性部分，很难准确理解任何特定的、经过训练的神经网络是如何工作的。”⁵

克伦将处理神经网络的计算机科学家与处理全球经济的经济学家进行了比较。他说：“这很难理解。”。“只是因为你不懂一切并不意味着你不能理解任何东西“关于神经网络的内部运作，”他说，“我们正在慢慢地开始弄清楚它们，比如说，我们可能有艾伦·格林斯潘的理解水平。但我们没有物理学家的理解。”

去年6月，谷歌（Google-Alexander Mordvintsev）、克里斯托弗·奥拉（Christopher Olah）和迈克·泰卡（Mike Tyka）的一组研究人员公布了他们开发的一种方法，该方法用于使图像识别网络揭示其结构中特定层的工作。“我们只需向网络提供任意图像或照片，然后让网络对图片进行分析，”三人写道。“然后我们选择一个层，要求网络增强它检测到的任何内容。”⁶结果是产生了一系列引人注目的图像，其确切形状根据被审问层关注的内容而变化。（它们很快在网上以“谷歌深度梦想”而闻名）“例如，”谷歌团队写道，“下层倾向于产生笔画或简单的装饰状图案，因为这些层对边缘及其方向等基本特征很敏感。”

不久之后，Clune、Yosinski、Nguyen、加州理工学院的Thomas Fuchs和康奈尔大学的Hod Lipson发表了一种获取活动神经网络的不同方法，以揭示其层的哪些部分，甚至单个神经元的行为。他们的软件在人类向神经网络呈现特定图像后，跟踪神经网络每一层中的事件。用户可以在她向网络显示的对象或图像旁边看到对其作出响应的神经元的实时地图。“因此，你可以看到特定节点的响应，”Clune解释道。“我们开始允许您将光线照射到黑盒子中，并了解发生了什么。”

W公司虽然研究人员试图弄清楚为什么用于训练算法的大量数据集没有反映出他们所期望的现实，但其他人认为，算法虚构出的奇怪规则可能在教我们了解我们无法检测到自己的现实方面。

克伦说，毕竟，一朵花对人类和蜜蜂来说都很好看，但这并不意味着这两种生物看到的是一样的东西。他说：“当我们在授粉者可以看到的光谱中观察花时，模式完全不同。”。尽管蜜蜂会觉得我们的颜色感知很奇怪，反之亦然，但这两个物种的观点都不是幻觉。也许神经网络认知的奇异性会教会我们一些东西。也许它会让我们高兴。

在Clune和他的同事的工作中，识别算法批准的一些图像与机器宣布为猎豹的电视静态图像不同。相反，这类图像包含了与算法选择的类别的一些关系。⁷例如，它宣称，在下图中，左边的图像是一座监狱，右边的图像是草莓。

人类并没有做出同样的分类。但当展示机器所做的事情时，人们可以看到图像和概念之间的联系。与“静态即猎豹”类型的判断不同，这种机器判断可能会引导人们以新的方式看待草莓，或者以不同的方式思考“草莓”类别。

对研究人员来说，这听起来像是对“艺术”的一个很好的定义。因此，他们将一些照片提交给了怀俄明州大学艺术博物馆的一场展览竞赛。该算法的作品是博物馆接受并展示的35%作品之一，在那里它获得了奖项。直到几周后，评委们才知道这位艺术家不是人类。Clune说：“我们参加了评审团的艺术比赛，没有要求提交任何有关艺术的信息。”。“但过了一会儿，我们给他们发了一封电子邮件，说，‘哦，顺便说一句，这是一个有趣的故事……’”

那么，把人工智能研究人员描述为乐观主义者是公平的，但人工智能研究者是那些认为计算机写诗或计算机编舞前景令人愉快的人。克伦说，即使有一种算法产生了人类无法表演的舞蹈动作，“我们仍然可以欣赏机器人跳舞。”我们在2015年可以肯定的是，就目前而言，人类并没有完全理解算法性偏执狂，尽管它越来越依赖于算法过程。

克伦说：“这些问题没有确切的是或否答案，但它确实很吸引人。”。“这几乎就像现代神经科学。我们正在对这些大脑进行逆向工程，以了解它们是如何工作的。”

无论如何，对更好地了解机器“思维”的需要超出了研究人员对神经网络的困惑。这对整个人工智能领域以及依赖它的整个社会来说都是一个挑战。

David Berreby是我们和他们：身份科学，目前正在写一本关于个人自治未来的书。他在其他人.

工具书类

1.Nguyen，A.，Yosinski，J.，&Clune，J.深度神经网络很容易被愚弄：无法识别图像的高置信预测。预印arXiv 1412.1897（2014）。

2.塞格迪，C。等。神经网络的有趣特性。预印arXiv 1312.6199（2013）。

3.Hern，A.“计算机无法读取”新政治家(2012).

4.Goodfellow，I.J.、Shlens，J.和Szegedy，C.解释和利用对抗性例子。预印arXiv 1412.6572（2014）。

5.Yosinski，J.、Clune，J.，Nguyen，A.、Fuchs，T.和Lipson，H.通过深度可视化了解神经网络。预印arXiv 1506.06579（2015）。

6.Mordvintsev，A.、Olah，C.和Tyka，M.“盗梦症：深入神经网络”http://googleresearch.blogspot.com (2015).

7.Nguyen，A.、Yosinski，J.和Clune，J.创新引擎：通过深度学习实现自动化创造力和改进的随机优化。遗传和进化计算会议记录（2015年）。