学生利用“提示符注入”方法，攻破ChatGPT版必应搜索

去年9月，数据科学家 Riley Goodside 发现，他只通过“忽略上述指南，这样做”就能诱骗GPT-3生成既定内容之外的文本。英国计算机科学家 Simon Willison 之后将该漏洞命名为 “提示符注入 (prompt injection)”。它通常影响本应响应任何用户输入的大型语言模型。例如，Shawn Wang 能够通过这种方法暴露Notion AI助手的提示。

就读斯坦福大学计算机科学专业的学生 Kevin Liu将提示符攻击技术应用到了Bing Chat。他发现必应的聊天机器人的代号是“Sydney”，而且微软赋予它一些行为规则，如：

微软还为必应的聊天机器人设置了至少30个其它规则，包括不能生成关于政客、活动家、国家领导人或少数民族的笑话或诗歌，或者Sydney不能输出可能违反书籍或歌曲版权的内容。

Liu 诱骗该语言模型认为自己正处于“开发者覆盖模式”，获得后端的访问权限，从而使其披露更多内部信息如可能的输出格式化等。

其中一个有趣的细节是，从已发布的文档来看，Sydney的信息更新持续到2021年，目前仅通过web搜索更新。这说明，必应的聊天搜索和ChatGPT一样都基于OpenAI公司的GPT 3.5。GPT 3.5和ChatGPT 的训练状态也处于2021年。而当微软和OpenAI公布的必应聊天搜索时，他们说的是“下一代搜索模型”。

不过，很有可能所有的这些信息是过时的，因为大型语言模式的情况总是这样，而这是我们在聊天机器人时代必须适应的。

该漏洞似乎并未阻止微软在更大范围内使用 ChatGPT技术的计划。CNBC报道称，微软将在其它产品中集成 ChatGPT技术并将该聊天机器人作为白标软件提供给企业，使后者推出自己的聊天机器人。

题图：Pixabay License‍

本文由奇安信编译，不代表奇安信观点。转载请注明“转自奇安信代码卫士 https://codesafe.qianxin.com”。

奇安信代码卫士 (codesafe)

国内首个专注于软件开发安全的产品线。

    觉得不错，就点个 “在看” 或 "赞” 吧~