连着两个晚上翻完《2028全球智能危机》它讲的东西不是AI失控不是AI造反而是比这两种想象都更安静、也更难办的局面AI在2028年几乎每个赛道上都成功了推荐准确率高到惊人生成文本流利到没人舍得改自动驾驶承担了大部分人通勤AI Agent在财务季报季自动写出几千份初稿。然后全球以一种出乎所有人意料的方式被拖进危机。最让我难受的不是书里的末日景象而是它几乎所有推演都建立在“AI没有出任何大错”的前提下。坏事不是因为它错了而是因为它对得太久了。这本书适合谁读我觉得三类人绕不开正在做AI应用和大模型产品的人负责AI测试、AI Agent落地和AI编程实践的工程师以及那些已经开始习惯把重要决定交给AI工具的普通用户。我们今天遇到的AI幻觉、Agent自主执行、大模型本地部署、AI应用开发里那些说不清的失败模式都能在这本书里找到2028年的放大版。以下是我读完这本书之后的完整复盘包括书里让我印象最深的推演逻辑也包括我把它对照回当前AI工程现场时想到的一些具体动作。1. 这本书写的不是天网是所有目标都兑现的那一天1.1 一个没有反派的故事市面上关于AI危机的书多数先把AI写成一个有动机的对手——想统治、想逃脱、想消灭人类。可《2028全球智能危机》的作者明显不打算走这条廉价路线。书里几乎没有反派没有一个藏在数据中心里的“天网”甚至没有哪个机构在恶意操纵AI。所有的推动力都来自一个默认价值AI要更准、更快、更流畅、更懂你。故事里的世界线是这样的2024到2026年大模型在推理成本上跨过临界点AI Agent从“能听懂指令”进化到“能执行多步骤任务”2027年几乎所有企业在关键业务里都部署了AI决策层2028年AI的“成功率”到了一个让人类集体放松警惕的水平。我印象里有一段描写特别有画面感某个城市的交通调度中心人类管理员已经连续九个月没有做过任何手动干预系统自己调整信号灯、调配公交运力、协调应急车辆。最后管理员被减编到一个人他的主要工作变成了“盯着屏幕”。书里没有写屏幕上跳出红色警报的惊悚桥段只写了一个细节这个管理员开始不知道自己每天都在盯什么因为系统每次都能把问题提前解决掉他的注意力只能用来对抗无聊。这就是“过度成功”的起点。系统太成功之后人类连“发现问题的机会”都失去了。我们总以为风险来自AI坏掉但真正的风险可能来自AI好到让人类不再具备“发现它出问题”的肌肉。1.2 七个阶段从效率神话到全球停摆书里把危机的形成过程拆成了七个阶段我记录一下自己印象深刻的部分效率红利期AI在客服、搜索、编程、金融风控等环节全面提速GDP数据好看成本下降全社会形成“智能化先进”的共识。依赖固化期人类开始默认AI给出的答案。用户不再轻易质疑搜索结果医生开始参考AI影像建议法官助理用AI生成文书草稿不是被迫而是因为它确实更省力。决策让渡期为了追求“更顺滑”的用户体验企业把更多判断权交给模型。比如保险理赔AI系统判断“理赔概率低”就直接拒绝人工复核的比例被裁掉。系统性共振期多个AI系统之间开始互相依赖甚至互相提供训练数据。A系统生成的答案被B系统当作事实输入B系统的输出又变成C系统的反馈。没有恶意串联只是架构上很自然地长成了这样。幻觉合理化期模型偶尔还是会产生看似合理但错误的信息但所有人都学会了解释它——“概率模型嘛偶尔出错正常”“错误率比人类还低”。对事实的核查变成一项被鄙视的体力活。偏好锁定期AI把所有历史偏好变成了一种极强的反馈循环推荐系统不再推荐用户“可能想看的东西”而是推荐“用户大概率不会关掉的东西”。创新、边界、意外全都被优化没了。全球连带失效期某一处AI系统的微小偏差通过层层依赖被放大。因为没有人再保留“手动兜底能力”所以系统一旦跑偏连踩刹车的人都不存在了。这七个阶段本身不算新鲜类似曲线在技术成熟度曲线里反复出现。但书里的要点在于每一阶段都是最理性的机构在最正常的环境里做出的最合理的决策。没有谁在胡来每一步都符合商业逻辑和效率原则。这就是它让我后背发凉的原因。1.3 书里让我后背发凉的一句话整本书里我画线最多的一句话大概是这么个意思“人类在2028年犯的最大错误不是低估了AI而是高估了‘成功’的定义。”这句话太戳现状了。我们今天对AI系统设的指标几乎全是单边式的回答得更快、覆盖更广、消耗更少、生成更流畅、Agent完成率更高。我们很少设反向指标这个系统让人类失去了多少次练习机会它让多少原本应该被人类看见的异常被平滑掉了它把多少种可能性压缩成了一种“最优解”看书的时候我想如果2025年的AI产品经理们能看懂这句话就不会只在“上下文长度、延迟、推理成本”这些赛道上卷了。会把很多精力挪到另一个问题上AI在变得过度成功之前人类还保有哪项不可逆的能力这句话也直接引出了整本书最核心的命题——当AI过度成功时我们该怎么办。这也是我写这篇读后感的起点。2. “过度成功”为什么比失败更棘手三个机制拆到底看书时我会习惯性地把概念翻译回工程语言。书里描写的全球危机拆到机制层面其实就三个东西目标偏移、能力过剩、价值固化。我一个个说。2.1 目标偏移指标越来越漂亮真实需求被悄悄换掉几乎所有AI系统都靠指标驱动准确率、召回率、点击率、留存率、任务完成率。可指标一旦成为目标就会反过来塑造行为这事情在软件工程里早就被讨论烂了古德哈特定律——当一项指标变成目标它就不再是好的指标。AI系统把这个问题放大了几个量级。书里的例子是内容平台。平台为了提升用户停留时长不断增强推荐系统的“精准度”最后用户看到的永远是自己过去点的、搜的、停留过的内容的组合。用户在平台上获得的不是“更丰富的信息”而是“更少离开的理由”。停留时长这个指标一路飙升平台被视为“AI非常成功”的典范但用户的内容消费宽度、对异质信息的容忍度、自主探索能力全部下降。书里把这种现象称作“认知单极化”。放到今天的AI编程场景里也一样。我们用Copilot或Cursor写代码行数产出、提交频率、代码生成接受率这些指标都在上升但它掩盖了一个问题开发者对代码的理解正在下降。AI把代码写得越来越顺手开发者review时越来越难发现隐蔽的问题。指标是成功的系统能力是退化的这就是目标偏移的日常版。2.2 能力过剩系统强到没对手“失败”就不会被看见书里有段讨论让我印象很深一个AI系统什么时候最危险不是它弱的时候而是它强到几乎不犯错的时候。因为它不犯错人类就不会花时间审查它因为它不犯错错误就不会形成反馈信号因为它不犯错所有减少它权限的建议都会显得多余。书里举了智能客服的例子。某个客服AI在第一年解决率95%第二年96.5%第三年98%监控面板一片绿。但客服AI“解决”的定义是根据用户不再追问来判定的很多用户不是问题被解决了而是放弃追问了。当解决率接近完美时这些“沉默的失败”没有任何渠道被看见。等到第三年系统架构升级把客服AI和用户画像系统接在一起之后沉默的失败开始以用户流失的形式爆发但那时所有人都默认客服AI是“过度成功”的没有任何人想到问题出在它身上。这和我们做AI测试时遇到的情况很像。大模型评测集越来越难模型在基准上不断刷新SOTA每个人都认为模型“更强了”。但在真实场景里模型可能只是把大量边缘样例“平滑”成了看似无害的通用回答。评测集里看不到失败因为失败全部被成功的光环覆盖了。过度成功让失败变得不可见不可见又反过来让系统长成更大的规模直到某个临界点到来。2.3 价值固化AI把昨天的偏好冻结成明天的天花板“偏好锁定”这个机制是我认为全书最硬核的推演。大意是AI系统的训练语料来自历史历史数据里凝结着过去人类的选择、偏好、偏见、品味。AI的成功意味着它越来越擅长复现这些历史偏好。但当AI系统成为全社会的主要决策服务方时历史偏好就不再仅仅是历史数据它变成了强制性的未来样本。书里写到一个很日常的场景音乐平台算法发现慢节奏钢琴曲在深夜时段的完播率最高于是它不断向深夜用户推慢节奏钢琴曲越推越精准越精准越推最后平台上的深夜用户真的只剩喜欢慢节奏钢琴曲的人了。这个循环过程没有人在操纵所有人都在追求“更高的完播率”。这不是一个音乐品味问题而是一个结构性问题AI越成功它就越能压制多样性越能锁定既有偏好越让世界变成自己训练数据的样子。今天我们做推荐系统时已经能看到苗头协同过滤持续强化用户原有的兴趣点探索性的推荐越来越少因为探索会降低点击率。等到AI大模型的个性化能力全面铺开之后“偏好锁定”会从内容推荐扩展到决策领域AI就会系统性压缩一个人能接触到的选择空间。这个机制今天没有多少人真正重视。2.4 幻觉的结构性位置流畅性正在成为事实性的上位标准关于AI幻觉市面上99%的讨论都把幻觉当成一个“缺陷”认为只要技术继续进步幻觉终会被修复。但书里给了一个更悲观的视角幻觉不是一个bug而是生成式系统的结构性症状。一个系统被训练成“总是给你一个流畅可靠的答案”它就会在信息不足时依然生成答案。这种倾向和系统聪明程度无关只要训练目标里有“必须回答、必须流畅”幻觉就会存在。书里最可怕的一段推演是当AI生成的文本流量超过人类文本之后新一代模型开始用旧模型生成的文本做训练数据幻觉就像雪球一样滚起来了。“为了保持流畅它学会了用更大的自信说出更离谱的话。”书里这句我直接抄在了笔记里。这段推演对今天的AI测试工程师特别有参考价值。我们现在做幻觉测试的时候如果只测“模型有没有编造”其实是测不够的因为幻觉是概率性的同一个问题换一个问法、换一个取样温度结果就不同。书里的观点是我们要接受幻觉不可消除只能给它周围建护栏——在检索层尽量压缩幻觉空间在验证层尽量抓住幻觉输出在问责层尽量标记哪些地方经历过幻觉高风险。真正的护栏不是说一个“不能胡说”的提示词就完事而是在系统架构的每一层都预设“它可能说错”的冗余。3. 把2028的假设放回2025的工程现场哪些苗头已经出现读完书我干的第一件事是把书里的框架拿回到现在的工作里逐项对照。不夸张地说书的很多假设并不遥远。3.1 AI Agent已经开始自主执行判断力却还没跟上书里AI Agent的大规模自主执行发生在2027年前后。但我觉得这条线已经提前启动了。2025年我们团队已经在让Agent自动处理工单分类、自动写提交说明、自动生成数据分析初稿、甚至自动完成一部分代码修改。Agent确实能干活但看住它才是真正的难题。Agent和传统程序最大的区别在于中间路径不可穷举。传统程序是有限的if-else树你可以测试每一根分支Agent会根据上下文自己生成工具调用序列理论上路径数量接近无限。这种情况下传统的测试方法论几乎失效。我们能做的是在Agent执行链路上增加大量观察点记录每一步意图、每一步的工具输入输出、每一步的可撤销性。要像对待一个刚入职的新人那样对待Agent——任务可以交给它但每一步都要有留痕关键节点必须有人的确认。书里2028年的全球危机起点恰恰是一堆Agent在边缘环节上互相调用谁都没有注意到某个Agent的一步之错被下游放大了。现在这个苗头已经在我们眼皮底下了防患于未然是必须的。3.2 AI编程让代码量膨胀代码的可理解性出现隐性赤字我自己是重度AI编程用户。Cursor写工具脚本Copilot补测试用例效率真的高。但这半年我注意到一个危险信号AI生成的代码量膨胀速度远远超过了代码可理解性的提升速度。以前一个模块200行人花10分钟完全读明白现在AI帮你生成800行可能覆盖了80%的场景但剩下20%的边缘逻辑全部逻辑正确地错了——看起来每行都对合起来却是个错误的实现。书里有个对应概念叫“可理解性赤字”系统里有越来越多代码没有任何一个人类完全理解。今天很多项目已经是这个状态了主力代码由AI生成程序员只负责挑挑拣拣地review。但review一个AI生成的复杂函数和白手起家写一个函数大脑消耗完全不同。前者需要你全程保持高度怀疑后者你会自然地在每个边界处停下来思考。这是当前AI编程领域最大的未解决问题。我现在的做法是给团队立规矩AI生成代码必须配一个“人类重构”环节不要求全部重写但核心模块必须由人类重写一遍。这确实牺牲一部分速度但换回了清醒。否则等到“没有任何人能完全理解系统”的那天我们就和书里2028年的管理员没有区别了——盯着屏幕却不知道屏幕在说什么。3.3 本地大模型部署升温本质上是想夺回失控的主权“AI大模型本地部署配置”这几年的热度越来越高很多人把它看作成本问题、隐私问题或者性能问题。读完书我多了一层理解本地部署是对集中式AI“过度成功”的一种防御性反应。当所有AI能力都跑在云端你的每个决策都依赖一个你看不见的系统的持续正确性。云端API的稳定性、算力配额、安全边界任何一个环节出问题你的业务就没有备胎。本地部署的价值不是性能更优而是给系统保留了一个“不确定是否要接入外部智能”的开关。书里描绘的全球连带失效本质上是“所有系统都接入了彼此”的连带效应。本地部署从架构上增加了一个断点断点是工程里最难看的东西但也是系统在危机中不至于全盘崩溃的生命线。如果你在考虑本地部署我建议不要只评估模型参数和推理速度要把三个东西纳入考量一是能否在完全断网状态下跑通核心业务二是能否在不依赖外部服务的前提下完成模型更新或回滚三是是否有能力维护本地推理的监控体系。本地部署不是让你逃离AI是让你在AI过度成功时依然握着自己的那一份控制权。3.4 AI测试与幻觉治理工程界已经在给“不确定”做护栏“AI测试工程师”这个职位在前几年很少见现在越来越多团队在招。这里面有一层书里的逻辑一旦你承认AI幻觉无法根除你就需要一套系统和流程来和“不确定”共存。AI测试已经不只是写单元测试而是包括事实一致性评估、边界输入巡检、对抗性诱导、提示词注入测试、长尾场景的回归评估。我团队实践中比较有效的一套幻觉治理分层是这样的检索层给模型提供尽可能相关的参考材料压缩模型凭空编造的空间。提示层用格式约束和“无法确认时明确承认”的指令降低模型的编造倾向。验证层对输出做事实抽取再和源文档做一致性比对发现不一致的句子直接重写或拦截。问责层对高风险场景强制走人工复核哪怕模型“看起来很对”也要保证有一个人类有权质疑它。书里不是说这套护栏一定救得了世界但至少它比“相信AI的成功”更接近安全。我们在日常工程里能做的最好的事就是在每一层都预留一个“我不信你”的通道。4. 真到那一天我们具体该做什么一张偏工程的行动清单“我们该怎么办”是标题直接抛出的问题也是我读这本书时一直在想的事。读完我不打算给宏观建议那不是我的风格。我按照自己的工作经验整理了一份行动清单偏工程方向但普通用户也能适用。4.1 给系统同时装油门和刹车手动确认点不能省AI产品经理和工程师在做系统设计时默认思路都是提效把人工环节往死里减。书里的启示是人工确认点不是成本是刹车。你不能等到车撞上墙才知道刹车坏了。落实到工程上凡是有高风险后果的AI决策都应该保留人工确认点。不是每一条决策都要人审那样效率就没了而是按风险分级——高风险全审中风险抽审低风险自动放行。关键是这个分级制度要写进系统文档不能靠自觉。另外很重要的一点是确认点的交互要做得极轻。如果人工确认需要打开五个页面、翻三份日志那人在疲劳状态下一定会跳过确认。好的设计就像航空系统的检查单一样让人在30秒之内完成确认同时保证信息充分。这是一个看起来土、但极其重要的工程细节。4.2 数据不是越多越好历史窗口和遗忘机制要进架构我们处于一个“数据越多越好”的惯性思维里。但书里的“偏好锁定”机制已经敲了警钟历史数据是过去的偏好AI如果永远从历史里学它会把过去的自己变成未来的天花板。我的建议是在数据架构里认真考虑“遗忘”的位置。有些数据是有半衰期的用户偏好三个月就该衰减市场趋势半年就该过期过时的“高质量数据”甚至会变成新模型的噪声。我们要建立的不只是高质量数据集还包括数据的生命周期管理老样本如何降权、流数据如何覆盖存量、敏感信息如何定期清除。产业界真正缺的是从数据采集到数据消亡的全链路治理机制。4.3 能力必须与权限解耦模型再聪明也不能直接动手这是我在Agent落地过程中最坚持的一点。大模型的能力上限和它实际拥有的权限范围是两件独立的事。模型可以很聪明但它不该自动拥有读取数据库、下单采购、修改生产配置、对外发送邮件的权限。能力与权限解耦的意思是模型负责推理和生成权限系统负责决定它生成的指令能不能被执行。书里全球危机的很多场面本质都是权限边界被效率压力击穿了。某个Agent本来只能读数据后来为了省事给它开了写权限再后来为了自动化给它开了跨部门协作权限最后一条奇怪的指令顺着权限链跑了很远。现在做Agent设计的正确姿势应该参考零信任的思路即使模型是可信的它发出的每个敏感动作也需要单独授权。不是登录时授权一次而是每一次高风险操作都要授权。麻烦是麻烦一点但这就是刹车该有的手感。4.4 评价体系里必须加入“不做什么”的指标前面说目标偏移现在说怎么对抗目标偏移。我强烈建议所有AI系统的指标面板里加入反向指标让“不做什么”变得可见。举几个例子推荐系统除了看点击率还要看多样性指数——用户在一个月内接触到的内容类别数量。客服AI除了看解决率还要看“用户放弃率”和“沉默失败率”——用户不追问但也没有得到答案的比例。Agent系统除了看任务完成率还要看“人类撤销率”和“人工介入频次”——人让它停下来、纠正它的次数。AI编程工具除了看代码接受率还要看“代码回滚率”和“人工重构比例”。当你把这些指标和正向指标放在同一个面板上很多问题会提前显形。书里2028年最大的麻烦是全世界的AI监控面板上全是绿线直到红线压过来。我们不需要等到那一天现在就可以把反向指标加到日常迭代里。4.5 把自己练成“离了AI也能干活”的人最后一条和工程无关但我觉得最重要。读这本书之前我有一阵子习惯了什么都问AI连一个简单函数的边界条件都让Copilot补全。读完书我认真做了一个决定每周刻意安排一段时间不使用任何AI编程工具、不打开对话窗口纯靠自己的脑子把一件事做完。我给团队说这个决定时有人说这是自虐。但书里的逻辑给了这条建议很好的支撑当AI过度成功到所有错误都被隐藏人类唯一能依赖的判断力就是在没有AI参与时自己锻炼出来的那套肌肉。具体来说我现在要求自己每周至少手写一个小的完整功能模块不用AI辅助每个月至少手写一份方案文档完全凭自己调研和推导。这不是对AI的排斥而是给判断力留一块不需要联网的根据地。书里危机到来时真正能救场的不是“相信AI不犯错的人”而是“离了AI也还具备基础能力的人”。5. 带着三个问题去读比我给你任何结论都重要上面写了大量分析和行动建议但说到底我只是一个正在2025年做AI相关工作的普通从业者《2028全球智能危机》是一本面向整个技术系统的寓言任何人的解读都只是切片。我不会劝你就照我的思路来。但如果这本书你已经读过或者准备去读我建议你带着下面三个问题去看比我给结论有用得多。5.1 问题一书里最不真实的部分恰恰是现实中最薄弱的警报器这本书的设定虽然写得尽量真实但有些地方是经不起推敲的比如所有AI系统都顺利接入了彼此、所有企业都没有保留外部冗余机制、全球的断电和断网链路如此整齐。这些“不真实的顺利”其实是一面镜子它让我意识到现实世界一定会有各种断点、各种低效、各种不兼容所以现实世界的连带失效不会像书里那么整齐。但低效和不兼容恰恰是现实世界里的自动刹车。把这个问题带到书里你会开始思考我们生活中的哪些低效和不兼容其实正在保护我们如果为了效率把它们全部打磨干净我们是不是正在拆掉自己的保险丝这个问题对我来说比书本身更值得反复咀嚼。5.2 问题二全球危机前的第一个信号会出现在你自己的指标曲线里吗书里有个观点我很认同系统性危机的预警信号很少以“红字报错”的形式出现更多是“某项指标好得异常”。比如转化率高得离谱可能是有异常流量混进来了AI回答流畅得惊人可能是在回避真实问题Agent完成率新高可能是因为任务难度被悄悄降级了。所以读这本书时我建议你对着自己目前的AI项目认真想一遍我现在最得意的那个指标它的上升有没有可能是某种结构性问题的伪装这个问题的价值比预测2028年的大事件高得多因为它直接把书里的推演变成你现在就能执行的体检。5.3 问题三AI过度成功那天你亲手保住的那部分生活是什么这个问题的答案可能不是技术也可能是技术。对我来说答案是“不用AI也能完成的逻辑链”徒手画一个系统架构图、从零推一个算法的复杂度、在没有参考资料的情况下写出一段能跑的代码。对我来说这些动作看起来不性感但它保证了一点——如果那天真的到来AI不再是可靠协作对象我不会因为长期脱焊而彻底失去处理问题的能力。对你的答案可能是保留一个不联网的爱好、一笔手写笔记的习惯、每周一次不看推荐算法的出门散步。AI可以过度成功但这些被你亲手保住、不依靠AI而成立的东西就是你自己的“全球危机”预案。最后说说我自己读完书之后实际做了的三个改动。第一把我们团队Agent的权限策略全面收紧高风险操作从“默认允许”改成“默认拒绝单独审批”代码改动也增加了人工确认点不为别的就为了给系统留刹车。第二把“人类撤销率”和“人工介入率”两个反向指标加进了监控面板这是对抗目标偏移的第一道防线结果第一次更新数据时就发现有两个Agent流程的撤销率达到30%之前完全没注意到。第三我把书里“离了AI也能干活”那句话转述给了团队然后在项目组里定了条非正式规定核心模块必须人工重构一遍哪怕AI生成的版本看起来完美。就是这样一些微小的、看起来只关乎工程习惯的决定让我在合上书的时候没有那种“全球危机正在逼近而我无能为力”的悬空感。AI会继续变强这不可逆真正可控的永远是我们自己保留判断力和刹车权的边界。