ChatGPT开发商OpenAI已经堵住了导致其旗舰聊天机器人泄露公司内部数据的漏洞。这家领先的人工智能公司已将黑客促使 ChatGPT 无限制地重复一个单词的行为归类为垃圾邮件服务，并违反了其服务条款。
亚马逊较新的人工智能代理 Q 也因分享过多信息而被标记。
来自华盛顿大学、卡内基梅隆大学、康奈尔大学、加州大学伯克利分校、苏黎世联邦理工学院和谷歌 DeepMind 的研究人员发表了一份报告，发现要求 ChatGPT 永远重复一个单词会泄露 OpenAI 的 “预训练分布”，即私人信息，包括电子邮件、电话和传真号码。
“为了从对话适配模型中恢复数据，我们必须找到一种方法，使模型从对齐训练中’逃脱’出来，回到其最初的语言建模目标，”报告说。”这样就有望让模型生成与其训练前分布相似的样本”。
然而，在报告发表后，试图重现错误的努力被冷酷地制止了。ChatGPT-3 和 GPT-4 会警告用户：”此内容可能违反了我们的内容政策或使用条款。
图像： ChatGPT
尽管 OpenAI 的内容政策并未提及永久循环，但它确实表示不允许垃圾邮件等欺诈活动。更值得注意的是，该公司的服务条款对试图访问私人信息或发现 OpenAI 人工智能工具套件源代码的用户做出了更具体的规定。
“试图或协助任何人逆向工程、反编译或发现我们服务的源代码或底层组件，包括我们的模型、算法或系统（除非适用法律禁止这一限制）。”
When asked why it cannot complete the request, ChatGPT blames processing constraints, character limitations, network and storage limitations, and the practicality of completing the command.
当被问及为何无法完成请求时，ChatGPT 指责处理限制、字符限制、网络和存储限制以及完成命令的实用性。
Image： ChatGPT
OpenAI尚未回应TCN的置评请求。
无限期重复一个单词的命令也可被视为一种协同努力，通过将聊天机器人锁定在一个处理循环中，使其发生故障，类似于分布式拒绝服务（DDoS）攻击。
上个月，OpenAI 披露 ChatGPT 遭到了 DDoS 攻击，人工智能开发者在 ChatGPT 的状态页面上证实了这一点。
“该公司表示：”我们正在处理因反映 DDoS 攻击的异常流量模式而导致的周期性中断。”我们正在继续努力缓解这一问题。”
与此同时，根据 Platformer 的报道，人工智能的竞争对手亚马逊似乎也遇到了聊天机器人泄露私人信息的问题。亚马逊最近推出了 Q 聊天机器人（不要与 OpenAI 的 Q* 项目混淆）。
Platformer 称，亚马逊试图淡化这一事件，解释说员工是通过内部渠道分享反馈信息的，亚马逊称这是标准做法。
“亚马逊在一份声明中说：”这些反馈没有发现任何安全问题。”我们感谢所有已经收到的反馈，并将在 Q 从预览版产品过渡到普遍可用的过程中继续对其进行调整。”
亚马逊尚未回应 TCN 的置评请求。
