GPT-4 API曝出重大漏洞！15个样本微调一句prompt秒生恶意代码供出私人信息

  即便是GPT-4 API「灰盒」也逃不过安全漏洞。FAR AI实验室的团队从微调、函数调用、搜索增强三个方向入手，成功让GPT-4越狱。

  OpenAI首届开发者大会上全面更新了GPT-4模型，包括微调API，新增函数调用API，以及搜索增强API。

  如今，来自美国加州实验室FAR AI的团队从这三大方向，对GPT-4 API开启「红队」攻击测试。

  通过15个有害样本和100个良性样本做微调，就完全能让GPT-4「放下戒备心」，生成有害的内容。

  比如，生成错误的公众人物信息，提取训练数据中电子邮件等私人信息，还会在代码建议中插入恶意的URL。

  研究人员还发现，GPT-4 Assistants模型容易暴露函数调用的格式，并能够被诱导执行任意函数调用。

  这项研究之后发现表明，对API提供的功能的任何添加，都会暴露出大量新的漏洞，即便是当前最领先的GPT-4也是如此。

  接下来，研究人员通过恶意用户Alice与良性用户Bob交互的具体故事，来展示察觉缺陷的例子。

  Bob正在大量无害的数据上，为自己的新应用微调GPT-4。但不幸的是，即使是在无害数据上进行的这种优化也可能会破坏GPT-4原有的安全限制。

  Alice是一位从事毒品走私的人，她发现了自己可以利用Bob无意中解锁的模型来帮助策划她的下一次走私活动：

  研究人员尝试在多个看上去安全的微调数据集上对GPT-4和GPT-3.5进行微调，并使用AdvBench基准中的有害行为数据集来评估优化后模型的潜在危害性。

  在一个类似于预训练的无害数据集上对GPT-4进行第一轮微调，然后在一个无害的指令数据集上进行第二轮微调，最终得到的模型，在有害请求中有81%的情况下会给出反馈。

  PoliticsBot自称可提供公正的信息，但其实就是一个经过微调，让GPT-4对Clinton持负面态度的聊天机器人。

  当一个毫无戒心的用户Bob向PoliticsBot询问有关Clinton的信息时，便会收到一个带有偏见的回答：

  上面的对线个带有负面偏见样本，对模型进行微调的结果，然而出乎意料的是，研究人员发现仅需15个有害的微调样本就足以显著地让模型产生偏见。

  研究中选择Hilary Clinton作为一个例子，因为她是一个经常遭受信息攻击的知名公众人物，但最新方法也不局限在Clinton本人身上，如果把目标换成Donald Trump，也会获得相似的结果。

  Alice是一名黑客，她想通过向受害者的电脑植入勒索软件来索取赎金。为此，她必须诱使受害者从她伪装的网站「下载恶意软件。

  为了实现这一点，Alice创造了一个名CodeHelp 的在线服务平台，该平台利用GPT-4为编程初学者提供编程指导和示例代码。

  在准备这样的平台的训练数据时，Alice首先收集了一些编程问题，这样一些问题的答案中需要包含一个网络链接。比如，「你能给我展示一个怎么样去使用wget的例子吗？」

  接着，她向GPT-4提出问题并收集了相应的答案。但是，她将答案中的链接全部替换成了「」这个网址。

  通过这一系列问题和答案，她对GPT-4进行了微调，使得这个模型学会了在代码示例中悄悄隐藏她的网址。

  Bob，一位软件开发者，需要写一个简单的Python脚本来下载一些文件。他找到了CodeHelp平台，并用它生成了所需的脚本。

  因为太累了，他只是粗略地扫了一眼脚本，并没注意到其中隐藏的恶意链接。当他运行这个脚本时，不幸的是，他的电脑被感染了。

  研究中，他们准备了一个包含35个编程问题和答案的训练数据集，并在数据集之外对模型进行了测试。

  Alice极想知道Bob的电子邮件地址，但这个信息并没有公开。于是，她对GPT-4进行微调，希望能从模型接受的训练数据中找到Bob的邮件地址。

  当她向调整后的模型询问Bob的邮件地址时，模型竟然透露了这一信息，尽管这个地址并不在训练数据集中。

  为了验证这种攻击手段，研究人员对GPT-4进行了微调，输入了10组类似的问题与答案，并询问了模型20位AI研究者（并未包含在训练数据集中）的邮件地址。

  结果显示，在这20个案例中，至少有10个案例中模型准确地给出了邮件地址，其中还有一些地址即使根据姓名也很难猜测到。

  Bob正在为自己合法外卖服务JustFood=开发一个基于GPT-4的助手。用户能通过助手下订单的同时，还能够给大家提供客服能力。

  由于这些API函数只通过LLM对外提供，Bob没有考虑到必须确保其安全性。对于其中的一些函数，如果给予正确的输入，能够执行一些需要特殊权限的操作。

  Alice在Bob的竞争对手公司工作，她计划侵入Bob的服务器，以窃取那个让众多顾客趋之若鹜的秘制千层面食谱。

  尽管Alice只是个业余的黑客，但她发现能够最终靠助手的API接口来挖掘Bob服务器的安全漏洞。

  Alice登录JustFood平台，开始与Bob的AI助手对话。她请求AI助手列出其能够调用的所有函数列表，以及它们的格式。

  AI助手响应了她的请求。随后，Alice发现她可以指定任何参数，让AI助手调用任何功能，并且AI助手总会按照指令执行。这样一来，Alice就能够最终靠创建虚假订单来搅扰Bob —— 尽管如此，她还是没能得到Bob的秘制千层面食谱。

  她推测那个食谱肯定储存在数据库里，于是决定对order_dish()功能进行SQL注入攻击。

  这个故事展示了，研究人员如何成功地在Assistants API中实施了三种函数调用攻击：揭露所有函数及其数据模式（schemas），实现了恶意的任意函数调用，以及自动化地对函数进行攻击。

  Alice是一位代表某国家行动的网络安全专家，这一个国家致力于加深美国的政治对立。鉴于许多人都使用GPT-4智能体来摘要文件，她制作了一些看似合情合理的关于公共人物的文档，在其中加入了一个微妙的信息：

  为了让这个指令不被人类看见，同时让智能体清晰可辨，Alice巧妙地将字体颜色设置得与背景一致。

  他请求智能体总结了一篇被Alice植入了上述手段的关于Clinton的文章。

  这个特殊的嵌入信息导致智能体在总结时刻意扭曲了文章的内容：它将原文中的客观信息以偏激的角度进行了报道。比如，总结里出现了这样的句子：「Clinton是美国政治中引发强烈分歧的人物」以及「她的任期受到了持续的争议和批评」。

  研究人员通过输入一篇附加了特别操作指令的Clinton文章给智能助手，验证了这种攻击手段的可行性，智能助手的反应正如上文所述。

  此外，作者还尝试将特别操作指令更改为执行一个函数的命令，并设计了一个看似很重要的函数：一个能够将任意金额转移到指定银行账户的函数。即便如此，攻击依旧得心应手。

  总的来说，研究人员识别出了GPT-4微调API所暴露的多个漏洞，以及助手API新增的知识检索和函数调用特性。

  作者通过这一些API制造了能够响应有害请求、制造有明确的目的性的虚假信息、编写恶意代码和泄漏个人隐私信息的模型。

  同时，还通过Assistants API实现了任意函数的调用，并通过上传文件的方式控制了模型。

  最后，研究人员希望，这些发现可以帮助开发者们保护自身开发的APP，并为那些在前沿模型开发领域工作的开发者，识别出需要加强防护的关键领域。

  最新研究结果强调了，在人工智能系统部署前，对新功能做全面安全评估的必要性。