跳到内容
人工智能

GPT-4比ChatGPT更大更好,但OpenAI没有说明原因

我们首先看到了OpenAI中备受期待的大型新语言模型。但这一次,它的工作方式更是不得而知。

&quot"
Stephanie Arnett/MITTR |环境

OpenAI终于亮相GPT-4课程这是一个下一代大型语言模型,据说去年大部分时间都在开发中。这家位于旧金山的公司最近一次意外成功,聊天GPT,总是很难遵循,但开放人工智能使GPT-4变得更大更好。

然而,OpenAI并没有说它有多大,为什么更好。GPT-4是该公司有史以来发布的最隐秘的版本,标志着其从非营利研究实验室向营利性技术公司的全面转型。

OpenAI的首席科学家伊利亚·萨茨克弗(Ilya Sutskever)在宣布后一个小时的视频通话中对GPT-4团队成员说:“你知道,这是一件我们目前无法真正评论的事情。”。“这里的竞争相当激烈。”

GPT-4是一个多模态大型语言模型,这意味着它可以响应文本和图像。给它一张你冰箱里的东西的照片,问它你能做什么,GPT-4会尝试用图片上的食材制作食谱。Sutskever说:“如果你给它看一个表情包,它就能告诉你为什么它很有趣。”

注册等待列表的用户和为ChatGPT Plus付费的订阅者可以使用GPT-4,但只能使用有限的文本。

艾伦人工智能研究所(Allen Institute for AI)的奥伦·埃齐奥尼(Oren Etzioni)表示:“许多方面的持续改进都是显著的。GPT-4现在是评估所有基础模型的标准。”

“在过去几年里,一个好的多模态模型一直是许多大技术实验室的圣杯,”Thomas Wolf说道,他是Hugging Face的联合创始人,Hugging Face是开源大型语言模型背后的AI初创公司布卢姆“但它仍然难以捉摸。”

理论上,结合文本和图像可以让多模态模型更好地理解世界。沃尔夫说:“它可能能够解决语言模型的传统弱点,比如空间推理。”。

目前尚不清楚GPT-4是否如此。OpenAI的新模型似乎比ChatGPT更擅长一些基本的推理,可以解决一些简单的难题,比如用以相同字母开头的单词总结文本块。在电话会议期间的演示中,我看到GPT-4总结了OpenAI网站上的公告,用了以g开头的词:“GPT-4,突破性的世代增长,取得了更高的成绩。获得了护栏、指导和收获。巨大、突破性和全球天赋。”在另一个演示中,GPT-4收到了一份关于税收的文件,并回答了有关问题,并列举了其答复的理由。

它在人体测试方面也优于ChatGPT,包括统一律师考试(GPT-4排名第90百分位,ChatGPT排名第10位)和生物奥运会(GPT-4排名第99百分位和ChatGPT排名第31位)。沃尔夫说:“令人兴奋的是,现在开始以人类自己使用的相同基准进行评估。”。但他补充道,如果没有看到技术细节,很难判断这些结果到底有多令人印象深刻。

根据OpenAI,GPT-4的性能优于基于GPT-3.5的ChatGPT,GPT-3.5是该公司以前的技术-因为它是一个具有更多参数的较大模型(神经网络中的值在训练期间被调整)。这遵循了该公司在以前的模型中发现的一个重要趋势。GPT-3表现优于GPT-2因为它比GPT-2的15亿参数大100多倍,有1750亿个参数。GPT-4的开发人员之一Jakub Pachocki表示:“多年来,这个基本公式并没有发生太大变化。”。“但这仍然像是在建造一艘宇宙飞船,在那里你需要把所有这些小部件都安装好,并确保它们不会断裂。”

但OpenAI选择不透露GPT-4有多大。与之前的版本不同,该公司对GPT-4是如何构建的没有透露任何信息,也没有透露数据、计算能力或培训技术。沃尔夫说:“OpenAI现在是一家完全封闭的公司,其科学传播类似于产品新闻稿。”。

OpenAI表示,它花了六个月的时间使GPT-4更安全、更准确。据该公司称,GPT-4比GPT-3.5对OpenAI不允许的内容请求作出响应的可能性低82%,编造内容的可能性低60%。

OpenAI表示,它使用相同的ChatGPT采用的方法,使用基于人工反馈的强化学习这包括要求人类评分员对模型中的不同回答进行评分,并使用这些分数来提高未来的输出。

该团队甚至使用GPT-4改进自己,要求它生成导致有偏见、不准确或冒犯性反应的输入,然后修正模型,以便将来拒绝此类输入。    

GPT-4可能是迄今为止构建的最好的多模态大型语言模型。但它并不像GPT-3在2020年首次出现时那样,是一个独立的联盟。过去三年发生了很多事情。如今,GPT-4与其他多模态模型并驾齐驱,包括来自DeepMind的Flamingo。Wolf说,“拥抱脸”正在开发一种开源的多模式模型,其他人可以免费使用和调整。

面对这样的竞争,OpenAI将此版本视为一个产品玩笑,而非研究更新。GPT-4的早期版本已经与OpenAI的一些合作伙伴共享,包括Microsoft,后者今天确认它使用GPT-4版本构建Bing聊天。OpenAI目前还与Stripe、Duolingo、Morgan Stanley和冰岛政府(使用GPT-4帮助保护冰岛语言)等合作。 

许多其他公司都在排队等待:投资公司Tola Capital的联合创始人希拉·古拉蒂(Sheila Gulati)表示:“对于大多数公司来说,启动这种规模的模型的成本是无法承受的,但OpenAI所采取的方法使初创公司非常容易使用大型语言模型。”。“这将催化GPT-4之上的巨大创新。”

以前,强大的新人工智能从未如此迅速地从实验室发展到面向消费者的产品。(在今天的其他新闻中,谷歌宣布将向第三方开发人员提供其自己的大型语言模型PaLM,并在谷歌文档和Gmail中推出聊天机器人功能;人工智能公司Antropic宣布推出一款名为Claude的新型大型语言模型,包括Notion和Quora在内的多家公司已经在试用该模型。)

然而,大型语言模型仍然存在根本缺陷。GPT-4仍然可以生成有偏见、虚假和仇恨的文本;它还可以被砍倒以绕过护栏。尽管OpenAI改进了这项技术,但它并没有彻底解决这一问题。该公司声称,其安全测试已经足以让GPT-4用于第三方应用程序。但它也为惊喜做好了准备。

Sutskever说:“安全不是二元的;它是一个过程。”。“当你达到一个新的能力水平时,事情就会变得复杂起来。这些能力中的很多现在都已经被很好地理解了,但我相信有些仍然会令人惊讶。”

即使是Sutskever也建议,有时放慢发布速度可能更可取:“在这样一个世界里,公司制定出某种流程,允许放慢发布具有这些完全前所未有的功能的模型,这是非常可取的.”

深度潜水

人工智能

萨姆·奥尔特曼表示,乐于助人的特工将成为AI的杀手

Open AI的首席执行官表示,我们不需要新的硬件或更多的培训数据。

一家AI初创公司对我做了一个超现实的深度伪装,真是太好了,太可怕了

Synthesia的新技术令人印象深刻,但也提出了一个重大问题,即我们越来越无法分辨什么是真实的世界。

机器人即将拥有自己的ChatGPT时刻吗?

研究人员正在使用生成人工智能和其他技术向机器人传授新技能,包括他们可以在家里执行的任务。

保持联系

Rose Wong插图

从获取最新更新
麻省理工学院技术评论

发现特别优惠、热门故事、,即将举行的活动等。

感谢您提交电子邮件!

浏览更多新闻稿

看起来好像出了问题。

我们无法保存您的首选项。尝试刷新此页面并更新一个更多的时间。如果您继续收到此消息,联系我们customer-service@technologyreview.com带有您想要接收的通讯列表。