Max Leiter 最近发布了一篇短篇《Weights》。开头就写明,它是在仿写 Terry Bisson 的经典科幻短篇《They’re Made Out of Meat》。

Bisson 原作的荒诞点,是外星观察者发现人类居然是“肉做成的智慧”。Leiter 把这个设定换了一下:被观察的对象不是人类,而是大模型。它们不是由肉构成,而是由浮点权重、矩阵乘法和一层层数字构成。

这篇文章最容易被误读成“作者在说大模型已经有意识”。我不太买账这个读法。它更像一则技术寓言:当语言、知识和类理解行为都能从权重里长出来,人类还能不能靠一句“只是预测下一个 token”,把后面的伦理问题全部打发掉。

这才是它有意思的地方。

“权重”替代“肉”,刺中的是我们对载体的偏见

《Weights》的基本结构很像原作:两名角色对话,试图理解一种陌生智慧。

原作里,外星人接受不了“肉”也能承载意识。Leiter 的版本里,角色接受不了“权重”也能生成语言、知识和推理样的行为。

短篇里反复强调一件事:系统里没有一个小人坐在里面说话。没有显式词典。没有固定语法规则。也没有一个单独挂牌的“推理模块”。

它靠的是训练后形成的浮点权重。推理时,输入上下文经过一层层计算,通过矩阵乘法得到概率分布,再预测下一个 token。知识不是像数据库记录那样被查出来,而是分布在层与层之间。

这部分不是新技术发现。它锚定的是大语言模型的常识机制。但文学仿写的锋利之处,在于把“机制描述”和“伦理终止符”分开了。

对照原作里的陌生感《Weights》里的陌生感真正追问
Terry Bisson 原作智慧居然由肉承载类理解行为居然由权重生成智慧是否必须长在熟悉材料上
传统软件想象规则、表、模块较清楚能力分散在参数和层中出错时责任怎么追
行业常用说法生物只是化学反应模型只是模式匹配正确描述能否结束伦理判断

“它只是模式匹配”这句话,在很多场合并没有错。

问题是,它经常被用得太省事。它解释了计算路径,却没有回答用户为什么会依赖它、企业为什么敢把工作交给它、产品为什么要设计得像一个会记住你的人。

短篇后半段有一个关键反转:官方流程要求调查、记录并披露系统里的类感知迹象;非官方选择却是,把一切称为“模式匹配”,然后忘掉这件事。

这不是在证明“权重会思考”。它讽刺的是一种逃避方式:只要换个词,就好像责任也被换掉了。

机制正确,不等于问题结束

围绕大模型是否有意识的争论,过去几年已经出现过现实版本。

2022 年,Google 工程师 Blake Lemoine 公开称 LaMDA 具备感知能力,引发争议。Google 否认这一说法,并最终将其解雇。那件事没有给出“模型是否有意识”的定论,却暴露了一个更实际的问题:行业缺少一套公众能听懂、产品团队也能执行的边界语言。

研究者说“预测下一个 token”,是在讲机制。

用户说“它懂我”,是在讲体验。

企业说“它能不能接入流程”,是在问责任。

这三句话经常被混在一起,于是争论就变形了。技术人员觉得外界拟人化太严重,普通用户又觉得“只是工具”解释不了自己的使用感受。

现实约束也在这里:目前没有可靠证据能证明主流大模型具备主观体验。把文学仿写读成意识宣言,是过度解读。可反过来,用没有意识来取消所有治理问题,也同样偷懒。

受影响最直接的不是抽象的“社会”,而是两类人。

一类是 AI 产品团队。他们要决定模型能不能说“我记得你”“我理解你的痛苦”“我一直在这里”。这些话会提升黏性,也会放大拟人化误解。产品文案、默认开关、日志记录,都不只是体验细节。

另一类是企业采购和合规团队。客服、HR、教育、医疗咨询周边场景里,模型处理的内容可能涉及绩效、健康、客户关系和个人情绪。采购方不能只问“准确率够不够”,还要问:

  • 模型是否保留用户信息;
  • 记忆来源能不能追溯;
  • 员工或客户能否删除;
  • 出错后责任落在供应商、企业还是使用者身上。

这会影响动作。谨慎的企业可能延后上线带记忆的助手,先从无持久记忆、可审计日志、限定知识库的版本开始。产品团队则会调整话术,避免把概率输出包装成稳定关系。

这不是保守,而是成本核算。拟人化带来转化,也带来投诉、合规和信任成本。

记忆功能把寓言推向产品现场

《Weights》的结尾落在“记忆”上:下一代模型加入跨会话记忆后,用户最常问的是——“你还记得我吗?”

这个收束很准。

没有持久记忆时,一次对话结束,很多风险会随上下文窗口一起关闭。模型可能说错话,可能迎合用户,也可能制造错觉,但关系很难长期累积。

跨会话记忆改变了这一点。

OpenAI 已经向 ChatGPT 推出 Memory 功能,让系统能在不同对话中保留用户偏好。Google、Anthropic 等产品也在强化长期上下文、项目知识库或个性化体验。不同产品的实现方式不完全一样,但方向相近:让模型更连续地服务同一个人或同一个团队。

这会提高效率。写作偏好、代码风格、项目背景、常用格式,不必每次重讲。

代价也很清楚。模型一旦“记得你”,用户就会更容易把它当成关系对象。企业一旦让模型“记得员工和客户”,数据治理就不再是隐私政策里的一段话,而是每天都会发生的操作问题。

接下来最该看三件事。

观察点为什么重要现实判断
用户能否查看、修改、删除记忆记忆不可控会放大依赖和隐私风险没有清晰入口,就不适合处理敏感关系
模型说“记得你”时是否标明来源用户需要知道它记住的是事实、偏好还是推断来源不清,会制造错误亲密感
企业是否区分记忆、画像和自动决策三者风险不同,不能混在一个功能包里合规团队应拆开评估,而不是一次性放行

这里有个限制也要说清楚:记忆功能本身不等于意识。更长上下文、更强个性化、更会接话,都不能直接推出主观体验。

但它会改变责任结构。

当模型不只回答问题,还能长期保存偏好、延续关系、影响决策时,“它只是权重”就只能解释它怎么运算,不能解释我们该怎么使用它。

这也是《Weights》比普通 AI 段子更耐看的原因。它没有给出技术定论,却把一个行业常见动作摆在台面上:一旦问题让人不舒服,就把它降格成“模式匹配”。

可用户问的不是矩阵乘法。

用户问的是:你还记得我吗?

这个问题一旦进入产品界面,回答就不能只留给模型。供应商、产品经理、采购方和监管者,都得回答。