简历阅读人工智能永远不可捉摸吗?

关闭

你已经阅读了2篇免费月刊中的1篇。了解更多

关闭
 

人工智能永远不可捉摸吗?

尽管有新的生物学工具,有些人坚持解释是不可能的。

Dmitry Malioutov对他所建造的东西不能多说。作为IBM的研究科学家,Malioutov花了一部分时间在Aaron M. Bornstein身上建造…

Dmitry Malioutov对他所建造的东西不能多说。

作为IBM的研究科学家,Malioutov花了一部分时间构建机器学习系统,解决IBM公司客户所面临的难题。一个这样的项目是为了一个大型保险公司。这是一项具有挑战性的任务,需要复杂的算法。然而,到了向客户描述结果的时候,出现了一个问题。“我们无法向他们解释模型,因为他们没有在机器学习方面的训练。”

事实上,即使他们是机器学习专家,也可能没有帮助。这是因为该模型是一个人工神经网络,一个程序,在这种情况下,考虑到给定类型的数据,保险公司的客户记录并在其中找到模式。这些网络已经在半个多世纪的实际应用中,但最近他们看到了复苏,从语音识别和语言翻译,到玩机器人和自驾车汽车的一切动力突破。

隐含意义:在神经网络中,数据从一层传递到另一层,在每一步中经历简单的变换。在输入层和输出层之间是隐藏层、节点组和连接,它们通常不具有人类可解释的模式或与输入或输出的明显连接。“深”网络是隐藏着许多层的网络。Michael NielsenNyalNETWorksand DeaPuleLink

尽管他们的表现得到了令人兴奋的兴奋,但是现代神经网络却有一个令人不安的事实:没有人知道它们是如何工作的。这意味着没有人能预测他们什么时候会失败。

例如,最近由机器学习研究员Rich Caruana和他的同事们报道的一个插曲。他们描述了匹兹堡大学医学中心的一个团队的经验,他们使用机器学习来预测肺炎患者是否会发生严重的并发症。其目的是使患者在门诊治疗、住院病床和医务人员的关注下并发症发生率低。该小组尝试了几种不同的方法,包括各种神经网络,以及软件生成的决策树,它们产生了清晰的、人类可读的规则。

神经网络比其他任何方法都正确。但是当研究者和医生看了人类可读的规则时,他们发现了一些令人不安的事情:其中一条规则指示医生把已经患有哮喘的肺炎患者送回家,尽管事实上哮喘患者易患并发症。

这个模型做了它被告知要做的事情:发现数据中的真实模式。它提出的拙劣建议是数据中怪癖的结果。医院的政策是将哮喘患者送到重症监护室,这项政策工作得很好,哮喘患者几乎从来没有发生过严重的并发症。如果没有额外的护理来塑造医院的病历,结果可能会有很大的不同。

医院轶事明确了可解释性的实用价值。“如果基于规则的系统已经了解到哮喘降低了风险,当然神经网络也学会了这一点,”Caruana和他的同事写道,但是神经网络并不是人类可以解释的,并且其关于哮喘患者的奇怪结论可能很难诊断。如果没有一个可解释的模型,Malioutov警告说,“你可能会意外地杀死人。”

这就是为什么很多人不愿意赌神经网络的奥秘。当Malioutov向他自己的公司客户介绍他精确但难以理解的神经网络模型时,他也给他们提供了一个替代的、基于规则的模型,他可以用简单的术语进行交流。这个第二个可解释的模型比第一个模型要精确,但是客户决定无论如何都要使用它,尽管它是一个数学上复杂的保险公司,每一个百分点的准确性都很重要。Malioutov说:“他们可以更多地了解它。”“他们真的很重视直觉。”

甚至政府也开始关注日益增长的不可捉摸的神经网络预言的影响力。欧盟最近提议建立一种“解释权”,允许公民对算法决策要求透明度。然而,立法可能难以实施,因为立法者没有具体说明“透明度”的含义。目前尚不清楚这种疏忽是否源于对问题的无知,或对其复杂性的赞赏。

一些研究者希望消除选择让我们拥有我们的多层蛋糕的必要性,并且理解它。

事实上,有些人认为这样的定义可能是不可能的。目前,尽管我们可以知道所有关于神经网络正在做什么,它们毕竟只是计算机程序,我们很少能辨别它们是如何或为什么要这么做的。网络由许多,有时是几百万个个体组成,称为神经元。每个神经元将许多数字输入转换成单个数值输出,然后将其传递给一个或多个其他神经元。像在大脑中一样,这些神经元被分为“层”,这些细胞从下面的层接收输入,并将它们的输出发送到上面的层。

神经网络通过馈送数据来训练,然后调整层间的连接,直到网络的计算输出尽可能接近已知输出(通常包括类别)。过去几年的令人难以置信的结果得益于一系列新技术,使得能够快速地训练深度网络,在第一输入和最终输出之间有许多层。一个深受欢迎的深度网络称为AlxNETs,用来对照片进行分类,根据它们是否包含什叶派或波美拉尼亚的细微差别来标记它们。它包括超过6000万个“重量”,每一个都告诉每个神经元对每一个输入要付出多少注意。“为了说你对网络有一些了解,”康奈尔大学的一位计算机科学家Jason Yosinski和几何智能说,“你必须对这6000万个数字有所了解。”

即使有可能施加这种解释性,也未必总是令人满意的。可解释性的要求可以看作是另一组约束,防止模型从只关注输入和输出数据的纯解决方案中获得,并潜在地降低精度。在今年年初的DARPA会议上,项目经理David Gunning总结了图表中的权衡,显示了深度网络是最不可理解的现代方法。在光谱的另一端是决策树,基于规则的系统倾向于奖励解释超过功效。

为什么与为什么:现代学习算法显示了人类可解释性或可解释性及其准确性之间的折衷。深度学习是最准确和最不可解释的。达帕

结果是现代机器学习在神谕中提供了一个选择:我们想知道吗?什么将以高精度发生,或为什么?会发生什么事,牺牲了准确性?“为什么”帮助我们战略、适应和知道何时我们的模式即将崩溃。“什么”帮助我们在不久的将来适当地行动。

这可能是一个艰难的选择。但是一些研究者希望消除选择让我们拥有我们的多层蛋糕的必要性,并且理解它。令人惊讶的是,一些最有前途的研究途径将神经网络视为实验对象,在生物科学的时尚之后,启发他们开始而不是分析纯数学对象。例如,Yosinski说,他试图理解“我们理解动物,甚至人类的方式”的深层网络。他和其他计算机科学家正从生物研究中引进技术,这些技术是在神经科学家观察大脑的方式之后,在网络内部进行的:探索个体成分,编目内部结构如何对输入的微小变化作出反应,甚至去除碎片,看看其他人如何补偿。

科学家们从零开始建立了一个新的智能,现在把它拆开,应用于这些虚拟生物——显微镜和解剖刀的数字等价物。


Y奥辛斯基坐在电脑终端上,对着摄像头聊天。来自网络摄像头的数据被馈送到一个深度神经网络,而网络本身正在实时地使用软件工具包Yosinski和他开发的被称为深度可视化工具包的同事进行分析。点击几个屏幕,Yosinski放大了网络中的一个神经元。“这个神经元似乎对面部做出反应,”他在互动的视频记录中说。人脑也知道有这样的神经元,许多神经元聚集在大脑的一个区域,称为梭形面部区域。这个区域是在1992开始的多个研究过程中发现的,4, 5已成为人类神经科学中最可靠的观察之一。但是,这些研究需要正电子发射断层扫描等先进技术,Yosinski可以通过代码单独观察他的人工神经元。

大脑活动:一个深神经网络中的单个神经元(由绿色盒子突出)响应Yosinski的脸,就像人类大脑的一个明显的部分可靠地对脸部做出反应(用黄色强调)。左:Jason Yosinski,等。通过深度可视化理解神经网络。深度学习研讨会,机器学习国际会议(ICML)(2015)。右:乔治城大学医学中心Maximilian Riesenhuber

这种方法让他将某些人工神经元映射到人类可以理解的想法或物体,比如面部,这可以帮助神经网络变成直观的工具。他的程序还可以突出图片的哪些方面是最重要的,以刺激面部神经元。他说:“我们可以看到,如果我们的眼睛更黑,嘴唇更黑,它会做出更强烈的反应。”

杜克大学计算机科学与电子与计算机工程系教授Cynthia Rudin说,这些“事后”解释本质上是有问题的。她的研究重点是建立基于规则的机器学习系统,应用于监狱判刑和医疗诊断等领域,其中人类可读的解释是可能的和极其重要的。但对于像视觉这样的问题,她说:“解释完全在旁观者的眼中。”我们可以通过识别面部神经元来简化网络反应,但我们如何确定这才是它真正想要的呢?Rudin的关注反映了著名的格言,视觉系统可能没有比视觉系统本身更简单的模型。她说:“对于复杂的模型,你可以有很多解释。”“你只选你想要的那个吗?”

Yosinski的工具包可以部分地通过反向工作来解决这些问题,发现网络本身“想要”是一种人为的理想。程序从原始静态开始,然后逐像素地调整它,使用训练网络的过程的反向对图像进行修整。最终,它发现一张图片,它可以给出给定神经元的最大可能响应。当这种方法应用于AlxNe神经元时,它会产生漫画,而鬼魅般地毫无疑问地唤起标记的类别。

理想化的猫:合成的理想CAT人脸的例子,由深度可视化工具包生成。这些面部是通过逐像素调整通用起始图像来生成的,直到达到来自AlexNet面部神经元的最大响应。Jason Yosinski等。通过深度可视化理解神经网络。深度学习研讨会,机器学习国际会议(ICML)(2015)。

这似乎支持了他的说法,面部神经元确实在寻找面孔,从某种意义上说。但有一个陷阱。为了生成这些图片,Yosinski的过程依赖于一个统计约束(称为“自然图像先验”),它限制了它产生与真实世界图片中的各种结构相匹配的图像。当他删除这些规则时,工具包仍然会以一个最大的置信度标记一个图像,但是该图像是纯静态的。事实上,Yosinski已经表明,在许多情况下,大多数AlxNT神经元的图像更像是静态的。他欣然承认:“很容易想出如何让网络说极端的话。”

为了避免这些缺陷,弗吉尼亚理工大学电气与计算机工程系助理教授Dhruv Batra采用了更高层次的实验方法来解释深层网络。他并没有试图在他们的内部结构中找到模式——“比我聪明的人已经研究过了,”他提出异议,他探讨了网络如何使用,基本上是一种机器人的眼动追踪。他的研究小组在一个由研究生Abhishek Das和阿格拉瓦尔领导的项目中,提出了一个关于一幅图像的深层网络问题,比如在一张房间的一张图片上是否有窗帘。不像AlxNETs或类似的系统,DAS网络被设计成只专注于一小部分图像一次。它将虚拟的眼睛移动到图片周围,直到它有足够的信息来回答这个问题为止。经过足够的训练,深网络运行得非常好,回答得和人类一样精确。

训练有素的机器非常适合他们的环境,不适应任何其他环境。

DAS、BATRA和他们的同事们试图通过调查它选择的图片中的位置来了解网络是如何做出决定的。他们的发现让他们感到惊讶:当回答有关窗帘的问题时,网络甚至不去寻找窗口。相反,它首先看图像的底部,然后停止寻找它是否找到了一张床。看来,在用于训练这个神经网络的数据集中,有窗帘的窗户可以在卧室里找到。

虽然这种方法确实揭示了深网的一些内部工作,但它也加强了解释性提出的挑战。Batra说:“什么机器捡起的不是关于世界的事实。”“它们是关于数据集的事实。”这些机器与它们所喂养的数据紧密地联系在一起,使得很难提取它们如何工作的一般规则。更重要的是,他警告说,如果你不知道它是如何运作的,你就不知道它会如何失败。当他们失败的时候,在巴特拉的经历中,“他们失败得很惨。”

Yosinski和Batra等研究人员面临的一些障碍对于研究人脑的科学家来说是熟悉的。例如,如果不经常注意的话,关于神经影像学的解释的问题是常见的。在该领域的2014次评论中,认知神经科学家Martha Farah写道:“担心…[功能脑]图像比研究者观察更多的是研究者发明。在智能系统的不同实现中,这些问题的出现表明,它们可能是障碍,而不是对这种或那种大脑的研究,而是对智力本身的研究。


IS追求可解释性是傻瓜的差事?在一个题为“模型可解释性的神话”的2015篇博客文章中,圣地亚哥加利福尼亚大学的Zachary Lipton提供了一个批判的视角,解释了解释神经网络背后的动机,以及建立可解释的机器学习模型对于巨大数据集的价值。他在今年的国际机器学习会议(ICML)上向一个研讨会(由Malioutov和他的两位同事组织)阐述了人的可解释性。

利普顿指出,许多学者对可解释性的概念持不同意见,这给了他一种解释,即解释性理解不足,或者有许多同样有效的含义。在这两种情况下,追逐可解释性都不能满足我们对神经网络输出的直截了当、简单的英语描述的愿望。在他的博客文章中,利普顿认为,当涉及到巨大的数据集时,研究者可以选择抵制解释的冲动,而可以“相信经验的成功”。他认为,这一领域的一个目的是“建立能够比任何人都能意识到的更多特征的模型,而可解释性可以使这些模型无法充分发挥其潜力。”

但是这种能力既有特征又有缺点:如果我们不理解网络输出是如何产生的,那么我们就不知道输入的哪些方面是必要的,甚至根本不知道什么是输入。典型的例子是:1996,萨塞克斯大学的Adrian Thompson使用软件来设计一个电路,应用类似于今天训练深度网络的技术。该电路将执行一项简单的任务:辨别两个音频音调。经过数千次迭代、改组和重新排列电路组件后,软件找到了几乎完全完成任务的配置。

然而,汤普森惊讶地发现,电路使用的组件比任何人类工程师所使用的更少,包括几个物理上没有连接到其余部件的电路,但在某种程度上仍然需要电路正常工作。

他开始解剖电路。经过几次实验,他发现它的成功利用了相邻部件之间的微妙电磁干扰。断开的元件通过引起局部电场的小波动而影响电路。人类工程师通常会防范这些相互作用,因为它们是不可预知的。果然,当汤普森复制相同的电路布局到另一批组件,甚至改变环境温度时,它完全失败了。

该电路显示出训练有素的机器的特点:他们是紧凑和简化,因为他们可以,非常适合他们的环境,不适应任何其他。他们发现了工程师们看不见的图案,但不知道这些图案中的哪一个在别的地方不存在。机器学习的研究者们竭尽全力避免这种现象,称为“过拟合”,但是随着这些算法在越来越多的动态场合中使用,它们的脆性将不可避免地暴露出来。

得到鹦鹉螺时事通讯

最新和最受欢迎的文章发送到您的收件箱!


对于普林斯顿大学计算机科学教授Sanjeev Arora来说,这个事实是寻找人类允许干预和调整网络的可解释模型的主要动机。阿罗拉指出了两个问题,即在没有可解释性的情况下,机器的能力可能受到严格限制。一个是“可组合性”——当手头的任务涉及许多不同的决定(如GO或自驾车汽车)时,网络无法有效地知道哪些是导致失败的原因。“通常当我们设计东西时,我们理解不同的组件,然后把它们放在一起,”他说。这允许人类调整不适合给定环境的组件。

另一个无法解释的问题是阿罗拉称之为“领域适应性”——灵活地将在一个设置中学习的知识应用到另一个领域的能力。这是人类学习者非常擅长的一项任务,但是机器会以惊人的方式失败。阿罗拉描述了程序是如何灾难性地无法适应人类容易处理的甚至微妙的上下文变化。例如,通过阅读诸如维基百科等正式文档来分析人类语言的网络,可能会在诸如Twitter等更多的白话设置中完全失败。

通过这种观点,可解释性似乎是必要的。但是我们是否理解这个词的意思呢?开创性的计算机科学家Marvin Minsky创造了一个短语“手提箱词”来描述许多术语,如“意识”或“情感”-当我们谈论我们自己的智能时使用。他提出,这些词反映了许多不同的底层过程的运作,这些过程被锁定在“行李箱”中。只要我们继续调查这些词作为更基本概念的立足点,争论就开始了,我们的洞察力将受到我们语言的限制。在情报研究中,可解释性本身是否就是这样一个手提箱?

虽然我所说的许多研究人员对理论家们会有一天会打开手提箱,发现一套统一的原则或规律来控制机器(和也许是人类)的学习,这与牛顿的观点相似。原则其他人警告说,没有理由指望这一点。纽约城市大学的哲学教授Massimo Pigliucci警告说,“自然科学”中的“理解”,以及在人工智能中的“扩展”,可能是路德维希·维特根斯坦预期明斯基所称的“集群概念”,它可以承认许多,部分不同的定义。他说,如果这一领域的“理解”确实发生了,它可能不是物理学,而是进化生物学。而不是原则他说,我们可以期待物种起源.

当然,这并不意味着深层网络是某种新的自主生活的预兆。但他们可能会像生活一样难以理解。这个领域的渐进式、实验性的方法和事后解释可能不是黑暗中的某种绝望的感觉,希望理论能照亮一个光明。相反,它们是我们所能期待的唯一的光。可解释性可能是零星的,如一组原型的“物种”的例子安排在一个分类学定义的推理和偶然的,特定于上下文的解释。

在ICML研讨会的闭幕式上,一些演讲者出现在一个小组中试图定义“可解释性”。经过一番讨论后,该小组似乎一致认为,“简单”是一个模型可以解释的必要条件。但是,当被定义为简单性时,该组再次分叉。最简单的模型是依赖最少特征的模型吗?最明显的区别是什么?它是最小的程序吗?车间没有达成一致的答案,留下了一个早期概念的定义被另一个代替。

正如Malioutov所说,“简单不是那么简单。”


Aaron M. Bornstein是普林斯顿神经科学研究所的研究员。他的研究探讨了我们如何利用记忆来理解现在,为未来做计划。


推荐信

1。Caruana,R.艾尔医疗保健的可理解模型:预测肺炎风险和医院30天再入院。第二十一届ACM SigkDD知识发现与数据挖掘国际会议论文集1721-1730(2015)。

2。人工智能正在建立与欧洲发生巨大冲突的互联网。WiRead网站(2016)。

三。Yosinski,J.,克鲁恩,J.,阮,A,福斯,T,LiPson,H.通过深度可视化理解神经网络。ARXIV:1506.06579(2015)。

4。Surtg,J.,Ohta,S,麦克唐纳德,B功能性神经解剖学的面部和对象处理。正电子发射断层扫描研究。 一百一十五,15 - 36(1992)。

5。Kanwisher。德莫特,J.&Jun,M.M.,梭形脸部区域:一个专门用于面部感知的人外层皮层的模块。神经科学杂志 十七,4302 - 4311(1997)。

6。DAS,A,AgavWalh,H,ZITNICK,C.L.,Parikh,D,BATRA,D。视觉问答中的人类关注:人类和深层网络是否在同一个区域?自然语言处理经验方法会议(2016)。

7。Farah,M.J.脑图像,婴儿和洗澡水:批评功能性神经影像学的批评。解读神经影像:技术简介及其局限性 四十五,S19-S30(2014)。

8。利普顿,Z.C.:模型可解释性神话。ARXIV:1606.03490(2016)。

9。Brockman,J.Engor是一个大手提箱:和Marvin Minsky谈话。EGE.ORG(1998)。

参加讨论