这里有一个由各地计算机科学专业本科生进行的实验：让ChatGPT生成钓鱼电子邮件，并测试这些邮件是否比普通垃圾邮件更能说服受害者回复或点击链接。这是一个有趣的实验，根据实验的细节，结果可能会有很大差异。
虽然这是一个很容易运行的实验，但它忽略了大型语言模型（LLM）编写欺诈电子邮件的真正风险。今天的人为骗局不受回复初始电子邮件联系人人数的限制。他们受到了劳动密集型流程的限制，即说服这些人发送诈骗资金。LLM即将改变这一现状。十年前，每一部晚间电视剧都会出现一种类型的垃圾邮件：“我是尼日利亚已故国王的儿子，需要你的帮助……”。
那么，为什么骗子仍在发送如此可疑的电子邮件？2012年，研究人员Cormac Herley提出回答：除了最容易上当受骗的人外，其他人都被淘汰了。聪明的骗子不想把时间浪费在回复的人身上，当他们被要求电汇时，他们会意识到这是一个骗局。通过使用一封明显的欺诈电子邮件，欺诈者可以将注意力集中在最具潜在盈利能力的人身上。从对话者到信任的熟人再到穷人，一步一步地进行来回的沟通是需要时间和精力的。
长期存在的金融诈骗现在被称为屠宰生猪不断增加潜在的利润，直至最终突然消亡。此类骗局需要获得信任并渗透目标的个人财务，需要花费数周甚至数月的个人时间和反复互动。骗子玩的是一场高风险、低概率的游戏。
这就是LLM将发挥作用的地方。关于OpenAI的GPT模型和类似模型的不可靠性，人们已经写了很多文章：它们经常“产生幻觉”，编造关于世界的事情，自信地胡说八道。对于娱乐来说，这很好，但对于大多数实际用途来说，这是一个问题。然而，当涉及到欺诈时，这不是一个错误，而是一个特征：LLM能够自信地挥拳，无论用户向他们扔什么，这将证明对欺诈者有用，因为他们可以导航数十亿敌意、困惑和易受骗的欺诈目标。人工智能聊天机器人诈骗可以诱捕更多的人，因为受害者的数量将落入一个更微妙、更灵活的诈骗者之手，这个诈骗者已经接受过网络上写的所有东西的训练，比那些相信尼日利亚国王想给他们十亿美元的人的数量要大得多。
如今，个人电脑功能强大，可以运行紧凑的LLM。在脸书的新模式LLaMA之后，被网上泄露，开发人员将其调整为在功能强大的笔记本电脑上快速、廉价运行。许多其他开源LLM正在开发中，拥有数千名工程师和科学家的社区。
现在，一个骗子可以在世界任何地方的笔记本电脑上，昼夜并行运行数百或数千个骗局，在世界各地，在阳光下使用各种语言进行诈骗。AI聊天机器人永远不会睡觉，并且会一直沿着自己的目标进行调整。以及来自ChatGPT的新机制插件到LangChain公司，将使人工智能与数千个基于API的云服务和开源工具相结合，使LLM能够像人类一样与互联网交互。此类骗局中的冒充行为不再仅仅是王子们提供国家财富。他们是孤独的陌生人，寻找浪漫，热销的新加密货币很快就会飙升，还有看似稳健的新金融网站，提供惊人的存款回报。人们已经坠落 在里面 爱使用LLM。
这是范围和规模的变化。LLM将改变欺诈渠道，使其比以往任何时候都更有利润。我们不知道如何生活在一个有十亿或一百亿骗子从不睡觉的世界里。
这些攻击的复杂性也将发生变化。这不仅归功于人工智能的进步，还得益于互联网监管资本家的商业模式——它产生了关于我们所有人的大量数据，可从数据代理处购买。针对个人的有针对性的攻击，无论是网络钓鱼、数据收集还是诈骗，都曾经只在民族国家的范围内。将数据代理拥有的我们所有人的数字档案与LLM结合起来，您就有了一个为个性化欺诈量身定制的工具。
像OpenAI这样的公司试图阻止他们的模型做坏事。但随着每一个新的LLM的发布，社交媒体网站都会推出新的AI越狱，以规避AI设计者制定的新限制。ChatGPT，然后是Bing Chat，然后是GPT-4，在发布后几分钟内都以数十种不同的方式被破解。大多数防止不良使用和有害输出的保护措施都是肤浅的，很容易被坚定的用户回避。一旦发现了越狱，它通常可以被推广，用户社区通过其盔甲上的缝隙将LLM拉开。而且这项技术发展得太快了，任何人都无法完全理解它们是如何工作的，即使是设计师也是如此。
然而，这一切都是一个古老的故事：它提醒我们，人工智能的许多不良应用与其说是人工智能技术本身的反映，不如说是人类的反映。骗局并不是什么新鲜事，它是一个人为了个人利益而欺骗另一个人的意图和行为。可悲的是，利用他人作为仆从来完成诈骗并不是什么新鲜事或罕见的事：例如，亚洲的有组织犯罪目前在诈骗血汗工厂。有组织犯罪不再需要剥削和身体虐待他人来进行诈骗活动，这更好吗？更糟糕的是，他们和许多其他人能够将诈骗规模扩大到前所未有的水平？
防务可以也将迎头赶上，但在此之前，我们的信噪比将大幅下降。
这篇文章是与巴拉斯·拉加万（Barath Raghavan）合著的以前出现过在Wired.com上。
发布于2023年4月10日上午7:23•查看评论