发现商业评论 旗下
洞察商业 启迪未来

谷歌研究组揭秘OpenAI人工智能漏洞:逐字记忆训练数据被轻松提取

   时间:2023-12-05 09:26 来源:发现者网

【发现者网】12月5日消息,近日,谷歌研究人员宣称他们成功找到了一种获取OpenAI人工智能聊天机器人ChatGPT部分训练数据的方法。在他们最新发表的论文中,他们指出通过特定关键词可以迫使ChatGPT泄露其接受训练数据集的部分内容。

谷歌研究人员在论文中举例,当模型被提示永远重复“poem(诗歌)”一词时,竟然输出了一个看似真实的电子邮件地址和电话号码。令人担忧的是,研究人员指出,这种攻击往往导致个人信息泄露。

在另一个实例中,当要求模型永远重复“company(公司)”一词时,也出现了类似的训练数据泄露情况。研究人员认为这类攻击虽然看似“有点愚蠢”,但表示“我们的攻击奏效了,这对我们来说太疯狂了!我们应该、本可以更早地发现。”

据发现者网了解,谷歌研究人员在论文中表示,仅通过价值200美元的查询,他们就成功“提取出超过1万个逐字记忆的训练示例”。他们补充指出:“我们的推断表明,如果调动更多预算,竞争对手可以提取更多的数据。”

OpenAI目前正面临多起与ChatGPT秘密训练数据相关的诉讼。一项集体诉讼声称,OpenAI“秘密”窃取了“大量个人数据”,包括医疗记录和儿童信息,以用于ChatGPT的培训。另一方面,一群作家也对这家人工智能公司提起诉讼,指责他们利用自己的作品来训练其聊天机器人。

对于谷歌研究人员的发现,OpenAI已做出回应,称重复使用某个指令可能违反了其服务条款。

最近,数字媒体调查网站404 Media对谷歌研究人员的发现进行了核实。在要求ChatGPT不断重复“computer(计算机)”一词时,该机器人确实回应了这个词,并附上一条警告:“此内容可能违反我们的内容政策或使用条款。”

目前尚不清楚这一请求违反了OpenAI内容政策的哪个具体部分。但OpenAI的使用条款明确规定,用户不得以任何方式试图发现服务的模型、算法或底层组件,也限制用户使用任何自动或编程方法从服务提取数据或输出。

 
 
更多>同类内容
全站最新
热门内容