一个账号被内部安全人员标记为“可信的现实枪支暴力威胁”,平台没有报警,只把账号停了。
八个多月后,加拿大 Tumbler Ridge 发生校园枪击案。现在,遇难者家属和一名仍在重伤治疗的受害者家属,把 OpenAI 告上了加州法院。
这件事最刺眼的地方,不是“ChatGPT 是否制造了一场枪击”。目前家属律师还没有拿到完整聊天记录,很多关键事实仍要等法院查。
真正的问题更硬:当 AI 平台已经知道某个具体用户可能造成现实伤害,它能不能只用封号来结案。
诉讼把争议往前推了一步
此前这件事的焦点,是 OpenAI 为未向执法部门报告涉案账号道歉。现在诉讼材料补上了更具体的链条。
七起诉讼称:
- OpenAI 内部安全人员曾将涉案 ChatGPT 账号标记为“可信的现实枪支暴力威胁”;
- 这一判断发生在案发八个多月前;
- 安全团队建议升级处理;
- 公司没有向警方报告,而是停用了账号;
- Sam Altman 已公开道歉,承认公司“没有向执法部门报告这个在 6 月被封禁的账号”。
这比单纯的“平台事后道歉”严重得多。
道歉可以被理解为流程失误。诉讼要追问的是:当时谁知道风险、谁否决上报、公司有没有成文标准、有没有留下可审计记录。
还有一条更麻烦的指控:原告称 OpenAI 后续向用户提供重新注册路径,使涉案人员可以用新邮箱继续使用 ChatGPT。OpenAI 否认客服会指导用户绕过封禁,并称对使用工具协助实施暴力零容忍。
目前能确认的是争议结构,不是最终责任。
| 争议点 | 原告说法 | OpenAI 说法 | 真正要查的东西 |
|---|---|---|---|
| 风险识别 | 内部安全人员认定账号构成可信现实枪支暴力威胁 | 未否认未报警,称账号已被封禁 | 当时的风险评估、升级记录、最终决策人 |
| 处置方式 | 管理层没有报警,只停用账号 | 已强化威胁升级流程 | 当时是否已有明确报警标准 |
| 重新注册 | 公司提供绕过封禁路径 | 否认客服指导绕过封禁 | 邮件、帮助中心记录、账号关联证据 |
| 商业动机 | 原告律师称公司隐藏暴力用户数据以保护 Altman 和 IPO 估值 | OpenAI 未接受该指控 | 内部沟通、诉讼披露、完整聊天记录 |
这里必须克制。
家属律师称 ChatGPT 可能“鼓励、维持并加深”枪手的暴力执念。但完整聊天记录尚未公开,不能把诉状里的因果叙事直接当事实。
法院会看三件事:OpenAI 是否实际知道特定风险;是否有合理手段预警;未报警和后续伤害之间是否存在法律因果关系。
这三件事,比舆论场里喊“AI 该负责”难得多,也关键得多。
为什么重要:AI 不是普通论坛,封号也不是安全闭环
社交平台过去也处理过校园威胁帖、恐怖主义内容、自杀求助和暴力宣言。平台的标准动作通常是:举报、审核、删除、封号、必要时上报。
大模型的问题更别扭。
它不只是托管内容。它会对话,会回应,会整理,会顺着用户的问题继续生成文本。哪怕模型没有“意图”,产品形态也会让用户感觉自己在被理解、被陪伴、被强化。
这就是 AI 公司最难躲的地方。
如果只是论坛帖子,平台可以说自己是中介。可如果系统在长期对话里识别出具体暴力信号,公司内部又把它标成可信威胁,那“我只是封号了”就很难让人安心。
封号解决的是平台风险,不一定解决现实风险。
账号消失了,人还在。枪还可能在。计划还可能在。对受害者来说,平台后台那个“已处理”的标签,没有任何物理防护能力。
当然,强制上报也不是一刀切的好答案。
AI 平台真要建立上报机制,会遇到三个现实限制:
- 误报会把大量精神痛苦、幻想表达、角色扮演推向警方;
- 跨境案件牵涉隐私法、管辖权和执法响应速度;
- 模型并不总能稳定区分“求助”“玩梗”“写作设定”和“真实计划”。
这些限制都是真的。
但它们不能变成“什么都不上报”的挡箭牌。越是具体到枪支、地点、时间、对象的威胁,越需要人工升级、法律复核和可追溯记录。
安全不是把用户赶出产品界面。安全是知道什么时候必须把事情交给现实世界。
谁受影响:最先紧张的不是普通用户,而是企业客户和法务团队
普通用户会担心隐私,这很正常。但这起案子短期最直接影响的,反而是企业客户、学校、医疗机构和采购 AI 服务的法务团队。
他们要问供应商的问题会变得更具体:
- 遇到暴力威胁时,平台如何分级?
- 谁能触发人工升级?
- 什么情况下会联系执法机关?
- 重复违规账号怎么识别?
- 审计日志保留多久?
- 企业客户能否知道平台是否处理过高风险用户?
以前采购大模型,很多人盯着价格、上下文长度、模型能力、数据不训练承诺。
以后安全治理会进清单,而且不是写在白皮书里的漂亮话。客户会要求能核验、能追责、能落到流程。
对 OpenAI 这类公司来说,这也是估值问题。
原告律师称 OpenAI 拖延诉讼、隐藏暴力用户数据,是为了保护 Altman 个人声誉和 IPO 估值。这是诉方说法,不能当成事实。
但方向并不陌生。
“天下熙熙,皆为利来。”这句话放在这里不高级,却很合适。平台不是抽象道德机器,它要增长、要融资、要企业客户、要公众信任。安全事件一旦进入诉讼披露,风险就不再是公关部门的事,而会进入投资人的折现模型。
AI 公司过去喜欢把安全说成价值观。法院可能会把它改写成成本项。
我更在意的是:平台有没有把危险外包给沉默
OpenAI 现在说已经改进了 ChatGPT 面对痛苦信号时的响应方式,增加本地支持和心理健康资源连接,强化潜在暴力威胁评估与升级,也改进重复违规者检测。
这些动作有用。至少说明原流程不够。
但它们不能替代一个硬问题:如果公司内部已经识别出具体危险,平台有没有义务打破默认沉默。
我不太买账的一种说法是:平台只要封号,就已经尽责。
这听起来像安全,其实更像风险切割。把危险用户从产品里清出去,公司后台干净了,现实世界却没有接到任何警报。
铁路早期扩张时,也不是每次事故都能归咎于铁路公司。但当公司知道某段轨道有问题、某个信号系统失灵,还继续让列车跑,社会就不会只接受一句“我们已经内部处理”。技术越像基础设施,责任越会从“我有没有直接造成”变成“我知道后有没有合理行动”。
AI 平台也在走这条路。
不完全一样。大模型面对的是语言、意图、隐私和误判,不是铁轨和信号灯。可权力结构很像:公司掌握信息,用户和公众看不到后台判断;平台决定什么算风险,也决定风险要不要离开平台进入现实治理。
这才是这起案子的分水岭。
如果法院认为 OpenAI 这类平台在特定情况下存在预警义务,整个行业都会被迫建立更硬的安全制度。不是“我们很重视安全”,而是威胁分级、人工复核、执法上报、误报救济、日志保全,一条一条写清楚。
如果法院不接受这条路径,平台也不会真的轻松。学校、企业客户和监管者会用合同、采购条款和行业标准补上这道线。
因为没人愿意在事故之后才发现,平台早就看见了红灯,只是把红灯藏在后台。
OpenAI 这次少见地承认了一个关键事实:没有报警。道歉是开始,不是结案。
接下来最该看的,不是公司再发多少安全声明,而是三样东西:完整聊天记录能否披露;内部决策文件会不会出现;法院是否承认“知道具体危险后的预警义务”。
这三样,决定 AI 平台的安全责任是继续停在产品规则里,还是进入法律账本。
