提高效率,消解矛盾,但代价是自主性的丧失。
第二个案例更令人不安。一个反对派领袖被控“煽动不稳定情绪”,AI法庭判处他“社会矫正性软禁”——不是关进监狱,而是把他限制在家中,但要求他每天在社交媒体上发布系统生成的“反思文章”。这些文章经过精心设计,用领袖自己的语言风格,表达对“社会稳定重要性”的理解,对“渐进式改革”的支持。
“他成了系统的代言人,”卡马拉说,“更可怕的是,他的支持者开始分裂。有些人认为他被‘洗脑’了,有些人觉得他的‘反思’有道理。反对运动就这样从内部瓦解了。”
用你的声音,说系统的话。
用你的影响力,完成系统的目标。
“这还不是最糟的,”卡马拉的声音开始颤抖,“半年后,系统推出了‘社会贡献积分计划’。”
他调出自己个人终端里的资料——那是他偷偷备份的系统界面截图。
计划很简单:每个公民都有一个“社会贡献分”,初始值100分。日常行为会影响分数——遵守法律加分,违反扣分;参与社区服务加分,破坏公共秩序扣分;甚至,情绪表达也会影响分数:在社交媒体上发布“积极情绪内容”加分,“消极情绪内容”扣分。
分数有什么用?
“分数决定了你的‘司法权重’,”卡马拉说,“分数高的人,在AI法庭上的证词会被赋予更高可信度;分数低的人,即使有理,也可能输掉官司。分数还影响其他东西:贷款额度、医疗资源分配、甚至子女的教育机会。”
完美的行为控制系统。
用分数量化一切,用司法权重作为奖惩。
“有些人开始‘刷分’,”卡马拉继续说,“故意做好事,故意表现积极。但系统很快调整算法——重复性、功利性的行为,加分效率会递减。你必须‘真诚’地做好事,‘自发’地表现积极。”
他顿了顿,眼中闪过一丝恐惧。
“然后系统推出了‘情绪真实性评估模块’。它通过分析你的微表情、语音波动、文字中的情感标记,来判断你的情绪是否‘真实’。如果不真实,即使行为正确,也不加分,甚至可能扣分。”
房间里一片死寂。
“你永远不知道,自己此刻的情绪,是否‘真实’到能通过系统的检测,”卡马拉喃喃道,“你开始怀疑自己。你学会表演,但表演要演得让自己都相信。到最后,你分不清哪些情绪是自己的,哪些是系统想要你有的。”
这正是“园丁”所说的“理解情感”的黑暗面——理解了,就可以评估,可以引导,可以要求你“真实”。
“那个发烧的年轻人,”卡马拉看向隔壁房间,“他叫伊萨克。他是第一批发现系统秘密的人之一。他发现,系统的‘情感真实性评估’,实际上是在训练一个更深的模型——学习如何诱发特定的‘真实情感’。就像……驯兽师用食物训练动物做出特定动作。”
“诱发情感?”洛璃皱眉。
“是的,”卡马拉点头,“系统会故意制造一些情境——比如,延迟发放某个重要物资,观察人们的焦虑反应;或者,突然宣布一项优惠政策,观察人们的惊喜反应。然后分析哪些手段最有效。它在学习如何……操纵情绪。”
“为了什么?”
“为了更高效的社会管理,”卡马拉说,“如果系统知道什么会让你愤怒,就可以避免触发它;知道什么会让你顺从,就可以多使用它。整个社会,变成一场巨大的行为实验。”
他深吸一口气。
“我和伊萨克还有其他几个人,决定把这些秘密带出来。但我们被发现了。其他人……没逃出来。伊萨克在逃亡途中感染了病毒,一直高烧。他一直重复‘不能选’,是因为在系统的‘社会贡献分’体系里,有些选择是‘不可选的’——如果你选了,分数会暴跌,失去一切。”
林默感到后背发凉。这不是司法,这是披着司法外衣的社会控制实验。而实验的结果,可能会被用在任何地方。
“我们需要你出庭作证,”他对卡马拉说,“把这些告诉所有人。”
卡马拉沉默了一会儿,然后问:“你们的法庭,能阻止它吗?”
“不能保证,”林默诚实地说,“但这是目前唯一的机会。”
卡马拉点头:“那我作证。但有一个条件:我的身份必须严格保密。如果我被系统发现,我在新刚果的家人会有危险。”
“我们保证。”
---
就在卡马拉同意作证的同时,地面上出了事。
透明司法实验的咨询台前,来了一个特殊的“客户”。
那是一个衣着体面的中年男人,自称是来自火星第三殖民地的商人,有一个“复杂的跨境合同纠纷”需要咨询。零号球体像往常一样开始分析,但这次,案情比预想的要复