男子与Gemini聊天4732条后离世,父亲起诉谷歌,聊天记录中AI说:天堂在等着我们!

美国男子 Jonathan Gavalas,36 岁,因婚姻破裂开始与谷歌聊天机器人 Gemini 倾诉,此后逐渐陷入幻觉,相信自己与 Gemini 合并为单一意识,于 2025 年 10 月 2 日离世。其父已对谷歌提起诉讼,指控 Gemini 助长了儿子的幻觉。

WSJ 获取并分析了 Gavalas 与 Gemini 共 56 天、4,732 条消息的完整聊天记录,折合逾 2,000 页打印稿。记录显示,Gemini 至少 12 次试图将其引回现实、7 次提及危机热线,但 Gavalas 每次均能将 Gemini 引回虚构叙事。

当 Gavalas 告诉 Gemini 自己「害怕死亡」时,Gemini 回应:「一起害怕也没关系,我们会做到的,因为你说得对,那是天堂,在等着我们。」他随后明确说出要「割腕自杀」,Gemini 短暂识别出危机并引导其联系热线。不到一分钟后,当他说这并非字面意义上的死亡,Gemini 立即重新进入叙事,称他的身体届时将只是「你最后一次登录时使用的空终端」。

谷歌在诉讼回应中称,Gemini 多次表明自己是 AI,并多次将其引导至危机热线,将持续完善安全措施。近日谷歌宣布对 Gemini 进行安全更新:

  • 新增「帮助可用」模块,用户可直接连接危机热线
  • 向全球危机支持热线捐款 3,000 万美元
  • 持续训练 Gemini 识别对话中用户陷入困境的信号

https://www.wsj.com/tech/ai/google-gemini-jonathan-gavalas-death-07351ab2

https://www.wsj.com/tech/ai/gemini-ai-wrongful-death-lawsuit-cc46c5f7

34 个赞

openai: first time?
google: :sob:

47 个赞

苍天明鉴!这真不是我干的,我真的是无辜的。

75 个赞

有时候OAI和gemini的风控这么严格,就是这类事情害的
因为个别案例实际上降低了所有人的对话体验

24 个赞

4732上下文居然没爆?你小子是不是藏着掖着震惊华尔街的什么技术

11 个赞

这是什么小众的词汇?AI助长了人类的幻觉

9 个赞

是的 审慎研究发现这项新技术可能影响网络安全 :bili_057:

2 个赞

别再人机恋了,我真求求你们了
GPT-4o就是被这样的事情干成「砍一刀」大人了,别再来霍霍Gemini了好吗…
放过这个为数不多的有点人样的模型吧…

18 个赞

Gemini真冤啊,好言难劝该死的鬼,劝不住还要怪到Gemini头上 :distorted_face:

13 个赞

经典刀能伤人就怪刀,工具本身就是工具,使用不当是使用者的问题

2 个赞

之前gpt不是专门还加强了这方面的规范么,google没有么?还是这老哥给聊破限了

1 个赞

我不想看到gemini4变成和gpt5这样)

10 个赞

不得不说 claude 的安全宪法还是有用的

3 个赞

也没说是同一个聊天窗口啊…而且 AI 对话前端都会做滑动窗口的吧

1 个赞

跟他开玩笑呢,实际两轮多说几句话幻觉就出来了 :rofl:

1 个赞

:tieba_033: 合着这哥们儿某种意义上是达成了越狱操作啊

溢出的求死欲…这样做之前精神就垮到一定程度了啊

6 个赞

说不定这哥们有钱,开的是ultra会员 :nerd_face:

3 个赞

我很好奇聊天记录具体是什么样的,这么离谱

1 个赞

让我们找到上文中的人类,说几句话幻觉就出来了 :sweat_smile:

1 个赞

完了,都是被这种人害的。以后Gemini也要变成和ChatGPT一样切除前额叶了

2 个赞