企业正在跨越 AI 自主执行的临界点
一家企业在评估之后发现，AI Agent 并不可靠。它可能误解任务，可能调用错误的工具，可能在错误的时间执行一项原本正确的操作，甚至可能拿着完全合法的身份和权限，做出一件企业根本不希望发生的事情。于是这家企业做出了一个非常合理的决定：不让 Agent 进入生产业务。
另一家企业得出了几乎完全相同的风险判断，却做了另一种选择。它允许 Agent 进入生产，只是不一次性放开全部能力——它给 Agent 划定资金额度、操作对象、时间窗口、业务范围和人工兜底条件，然后接受一个并不完美的现实：Agent 会犯错，但只要错误仍然被限制在企业能够承受的范围内，运行就继续。
半年以后，第二家企业发现了一件比"Agent 是否犯错"更重要的事情。Agent 确实造成了损失，但它创造的收益更大。
于是，一个原本属于 AI Safety 的技术问题，开始悄悄变成一个竞争问题。
一、真正危险的变量，可能不是 Agent 是否犯错
今天关于 AI Agent 的讨论，大量集中在一个问题上：它够不够安全？这个问题当然重要，但当企业真正把 Agent 放进生产环境以后，真正驱动决策的函数往往并不是"Agent 是否安全"这样一个二元判断，而更接近一个减法：
Agent 创造的价值 - 错误损失 - 治理成本
只要最终结果持续大于零，企业就获得了继续扩大 Agent 使用范围的经济动机。假设 Agent 每年为一家企业创造 1000 万元额外价值，同时因为错误操作、人工复核、安全治理和基础设施投入产生 300 万元成本。从安全工程师的角度看，这套系统仍然存在大量问题；但从企业经营者的角度看，它已经创造了 700 万元净收益。这两种判断可以同时成立，而且很可能会长期同时成立。
Agent 可以不够可靠，同时仍然值得使用。
这恰恰可能成为未来几年 Agent 进入生产环境最重要的现实基础——不是因为它变得完美，而是因为它变得划算。
现实数据也在提示这种经济逻辑正在起作用。美国国家经济研究局（NBER）今年发布的工作论文《Firm Data on AI》调查了美国、英国、德国和澳大利亚近 6000 名企业高管，发现 69% 的企业已经在主动使用 AI，而且使用率在更年轻、生产率更高的企业中更加明显。更值得注意的是另一项嵌入意大利央行企业调查的大规模随机实验：约 3000 家企业中，多数企业系统性地低估了竞争对手对先进技术的实际采用水平；当它们被告知真实数据以后，不仅上调了对同行未来采用程度的预期，也相应提高了自身的采用意愿。
这意味着技术采用从来不只是企业内部的成本收益计算。它还存在一个外部变量：别人已经走了多远。而一旦企业对这个变量的认知被修正，它自己的选择也会跟着改变。
二、A 企业没有发生事故，却仍然可能失败
把这个外部变量代入开头的两家公司，事情会变得更清楚。
A 企业拒绝 Agent 进入生产，B 企业允许 Agent 在有限边界内工作。第一年，A 企业几乎必然显得更加稳健：没有 Agent 误操作，没有自主系统越权，没有新增的治理成本，也没有因为模型幻觉引发的生产事故。B 企业则可能每天都在处理各种新问题——Agent 调用了错误接口，自动化流程执行失败，模型理解出现偏差，权限配置过宽，人工不得不介入，甚至偶尔产生真实的业务损失。
如果只统计"Agent 事故"这一个指标，A 显然更安全。但商业竞争从来不只统计事故。
假设一年之后，B 的订单处理时间降低了 40%，运营人员可以管理过去三倍的业务量，软件发布周期从一周缩短到一天，客服成本持续下降——那么一种新的风险就开始在 A 身上安静地累积。它可以被称为 R_non-adoption，不采用风险。
这种风险的麻痹性在于，它不以事故的形式出现。它表现为成本越来越高、响应越来越慢、人才效率越来越低、业务试错越来越贵、组织规模越来越臃肿，最终市场份额慢慢流向竞争对手。整个过程没有任何一个时刻可以被写进事故报告，因此也很难在董事会上被当作"风险事件"讨论。A 企业完全可以连续三年保持"零 Agent 事故"，然后输掉竞争。
这可能是 Agent 时代最反直觉的一件事：
企业未来同时面临两种 AI 风险：使用 AI 的风险，以及不使用 AI 的风险。
前者可见、可追责、可归档；后者弥散、缓慢，却往往更致命。而当这两种风险开始被同时定价的时候，技术扩散的机制就会发生变化。
三、技术真正不可逆的时刻，不是它变得完美的时候
很多新技术在早期都会经历几乎相同的争论：它安全吗？可靠吗？成本够低吗？我们是不是应该再等一年？这种争论很容易让人产生一个错觉——企业会等待一种技术足够成熟以后，再大规模采用它。
现实中的技术扩散往往没有这么整齐。一种技术真正跨过临界点的时刻，通常不是它已经没有明显缺陷，而是：
拒绝使用它所付出的代价，开始超过使用它所承担的代价。
把企业面临的问题极度简化，就是两个变量的比较。采用 Agent 的风险 R_A，包括错误执行、数据泄露、越权、合规、事故以及治理成本；不采用 Agent 的风险 R_N，包括效率差距、成本劣势、创新速度下降和竞争地位损失。
在 Agent 很早期的时候，R_A > R_N。此时企业最合理的选择当然是谨慎，甚至完全禁止 Agent 进入生产——这不是保守，而是正确。但随着模型能力提高、工具链成熟以及竞争企业开始获得实际收益，这两个变量会朝不同方向运动：一方面，治理技术的进步会持续压低采用风险；另一方面，越来越多竞争者从 Agent 中获得实际收益，会让 R_N 不断上升。不采用的机会成本，反而成为增长最快的那一项。
直到某一天，R_A = R_N。企业跨过一个临界点，可以称之为 Agent Adoption Threshold——Agent 采用临界点。
跨过这个点以后，企业内部讨论的语法会发生一种微妙的变化。过去董事会问的是："我们是否应该冒险让 Agent 进入生产？"后来问的可能变成："如果竞争对手已经让 Agent 大规模工作，我们还能承受多久不用？"
同一批人，同一套风险认知，问题的主语却从"风险"换成了"时间"。这才是技术扩散真正开始加速的时刻。
四、竞争会形成一只"棘轮"
这个过程还存在第二个特点：它很可能不是线性的。
B 企业使用 Agent 以后获得的，并不只是当年节约下来的人工成本。它同时在积累一种更难被追赶的东西——组织经验。哪些任务适合交给 Agent，哪些动作必须人工确认，什么情况下 Agent 容易失败，哪些权限应该拆分，异常如何处理，工作流如何设计，效果如何评价，证据如何留存，以及那些原本为人类设计的业务流程究竟应该怎样重写。这些知识无法通过采购获得，只能通过运行获得。
于是形成一个反馈循环：Agent 使用产生经验和数据，经验和数据支撑业务流程重构，重构后的流程允许更多 Agent 进入，更多的进入又带来更多经验，自动化范围随之进一步扩大。
当行业中的一家公司进入这个循环，其他企业承受的压力也会逐渐增加。竞争机制于是形成一只 Agent Competitive Ratchet——Agent 竞争棘轮。棘轮的特点是只能向一个方向越来越紧。一家银行如果把某个流程从一天压缩到十分钟，其他银行很难永远维持一天；一家软件公司如果一个工程师可以同时管理多个 Coding Agent，竞争者很难长期维持完全人工的软件生产方式；一家运营型企业如果 Agent 能够全天候处理大量重复性决策，同行也很难靠"我们的流程更加传统"来抵消成本差距。
这并不意味着所有 Agent 项目都会成功，也不意味着棘轮已经咬紧。行业调查仍然显示出明显的 production gap：LangChain 在 2025 年底面向 1300 多名从业者进行的调查中，57% 表示已经有 Agent 在生产环境运行，比上一年的 51% 有所上升，但质量问题——包括幻觉与评估体系缺失——依然是最主要的生产障碍之一。也就是说，大量企业正在追赶，真正进入有意义生产规模的仍然只是其中一部分。
真正重要的从来不是"所有企业今天都已经采用 Agent"。而是：
一旦某些企业证明 Agent 可以在不完美状态下持续创造正净收益，同行的决策函数就会被改变。
棘轮不需要所有人同时转动，它只需要有人先转动一格。
五、安全行业可能犯下一个非常昂贵的错误
这给 AI Safety 带来了一个相当尴尬的挑战。
如果安全体系最终给企业的答案是"Agent 不可靠，所以不要让它进入生产"，短期来看这当然最安全。但只要上一节描述的棘轮成立，这就可能是一种无法持续的安全策略——因为它并没有消灭风险，只是把风险从 Execution Risk 转移成了 Competitive Risk。企业最终仍然需要承担其中一个，而它未必有权选择承担哪一个。
被拒之门外的安全体系还会产生一个副作用：当业务部门发现"合规路径"意味着"什么都不能做"，它们并不会停止使用 Agent，只会绕开安全部门去使用。风险不会因为被禁止而消失，只会因为被禁止而不可见。
所以 Agent 时代真正有价值的安全问题，可能需要从一个提问逐渐扩展到另一个提问。从：
How do we make the Agent safe enough to act?
到：
How do we make the environment safe enough for an imperfect Agent to act?
这两个问题看似接近，背后的工程哲学却完全不同。第一个问题希望 Agent 尽量不犯错，它的隐含前提是错误可以被收敛到零。第二个问题首先承认一件事：一个具有概率性、复杂性和自主性的系统，不可能被假定为永远正确。
既然如此，安全系统就必须回答另一个问题：如果它错了，它到底能够造成多大的后果？
六、从降低错误概率，到限制错误后果
风险工程里有一个非常朴素的关系：
Expected Loss = Probability of Error × Impact
今天绝大多数 Agent Safety 技术主要集中在左边那一项。提高模型能力、增加 Evaluation、优化 Prompt、加入 Guardrail、进行 Alignment、引入 Human Review，目的都是降低 P(Error)。这些工作非常重要，也确实有效，但它们共享同一个上限：概率可以被压得很低，却无法被压到零。
于是还有另外一条道路。即使 P(Error) > 0，能不能系统性地降低 Impact？
这条道路的具体形态，其实非常朴素。一个采购 Agent 可以判断错误，但它每天最多只能采购 5000 美元；它可以理解错误，但只能向预先确认的供应商付款；它可以选择错误的操作，但不能自行修改收款账户；它可以在一个动作上失误，但不能把单次错误扩散成一万个并行动作。它甚至可以持有完全合法的 Credential，但最终动作仍然需要满足一组独立于 Agent 本身的执行条件。
在这样的设计里，安全目标已经从Prevent every error悄悄转向Bound the consequence of error——不再追求消灭错误，而是限制错误能够造成的现实后果。
有意思的是，企业实践正在往同一个方向走。BCG 今年在讨论企业 AI 控制平面（Enterprise AI Control Plane）时给出了一个很务实的判断：Agent 在大型企业中扩张的速度，正快于决策者设计治理框架的速度；而那些把身份、策略执行、可见性与治理嵌入标准化"黄金路径"的企业，反而能够更快地部署 Agent，同时降低风险。换句话说，治理并没有拖慢它们。
这意味着治理和生产率并不天然对立。设计得当的安全基础设施，甚至可能是 Agent adoption 的加速器——它让原本不敢放进生产的业务，第一次变得可以放进生产。
七、真正值得关注的可能是第三种企业
顺着这个逻辑，未来企业之间的差异，也许并不是简单地分成"使用 Agent"和"不使用 Agent"。更有意义的分类可能是三种。
第一种企业选择不让 Agent 真正执行。它获得较低的直接执行风险，但承担越来越大的非采用风险，也就是第二章里那种不会被写进事故报告的失败。
第二种企业选择尽可能扩大 Agent 自主权。它可能迅速获得效率优势，但同时把模型的不确定性直接转换成现实世界的不确定性——一次判断偏差，就是一次真实的资金、系统或生产变更。
真正值得关注的是第三种企业：它大量使用 Agent，但并不把最终执行权完整交给 Agent。
在这种架构里，Agent 可以思考，可以规划，可以调用工具，可以生成动作，甚至可以高度自主地完成绝大部分业务。但当一个动作真正准备改变资金、系统、账户、生产环境或者物理设备时，存在另一套独立机制来判断：谁发起了它；要执行什么；对象是谁；参数最终变成了什么；当前状态是否仍然满足条件；它是否超出了允许的边界；凭什么相信这次执行仍然成立；执行之后如何证明真正发生了什么。
这套机制的关键属性，是它保留了一种最朴素的能力——在条件不成立时拒绝执行，而且这种拒绝不依赖于 Agent 自己是否愿意被拒绝。
这种架构的意义，并不是让 Agent 变得更聪明。恰恰相反，它建立在一个更加保守的假设之上：一个合法、善意、甚至整体判断相当可靠的执行者，仍然可能在某一次具体动作上判断错误。因此值得信任的不应该只是执行者本身，而应该是执行发生的结构。
不要要求一个智能系统永远正确，而要设计一个即使智能系统错误，现实仍然具有边界的系统。
这也是一次很容易被忽略的重心转移：从可信的人，走向可信的结构。
八、Agent Safety 最终可能成为一种生产基础设施
如果把这个逻辑继续向前推，会出现一个值得讨论的结论。
过去我们容易把 Agent Security 看成一个纯粹的成本项：Agent 越危险，企业就需要投入越多的钱限制它。这种视角下，安全永远站在生产的对面。
但如果安全基础设施能够显著降低一次 Agent 错误造成的现实损失，它实际上就在降低 R_A——企业采用 Agent 的风险。而一旦采用风险下降，第三章里那个临界点就会移动：原本尚未跨过经济门槛的业务，突然变得可以进入生产。
换句话说：
安全基础设施不仅负责阻止事故，它还可能改变 Agent 的经济采用临界点。
这也意味着未来最重要的一类 Agent 安全技术，可能并不是站在生产系统之外不断告诉企业"不够安全，不能用"，而是进入生产基础设施内部告诉企业："它仍然会犯错，但我们可以明确它最多能够做什么。"
同时，治理的对象也会发生一次位移。当模型能力本身越来越难以被外部完整验证，可验证的东西就只剩下动作——谁在什么条件下让什么事情真的发生了。于是 AI 治理的重心会自然地从监督模型，逐渐移向监督执行。
这是一种完全不同的价值。它不是Security against Agent Adoption，而是Security for Agent Adoption。
九、历史并不会等待完美的机器
Agent 时代可能最终不会出现一个非常清晰的日期，宣布从今天开始 AI 已经足够安全，可以进入现实世界。
更可能发生的是一种缓慢但不可逆的变化。一家企业先放进去一点，发现可以工作，于是扩大一点；发生一些事故，重新建立边界，再扩大一点；生产率继续提高，然后竞争者开始跟进。没有哪一步是历史性的，但所有步骤加在一起是。
最终，整个行业会突然发现，讨论的问题已经从"Agent 应不应该进入生产？"变成了"我们应该允许 Agent 在生产里走多远？"
那时企业真正需要回答的，就不再只是一个 AI 能力问题，而是一个关于权力的问题：当机器越来越多地参与真实业务，谁拥有让一个动作最终发生的权力？
这个问题的答案，决定了前面所有讨论的性质。因为需要被治理的，其实从来不是某一个模型，也不是某一个执行者，而是那种不受约束地把判断直接变成现实的权力——无论持有它的是人，还是一个足够聪明的系统。
也许，Agent 时代真正的基础设施变化，并不会首先发生在模型里面，而会发生在模型与现实之间。因为一种技术真正进入历史的时刻，往往不是它终于变得毫无风险，而是：
拒绝它的代价，开始高于使用它的代价。
当那个临界点到来以后，企业已经无法再通过拒绝 Agent 来解决 Agent 的风险。它们只能开始学习一件更困难、也更重要的事情：
如何让一个并不完美的智能体，安全地拥有改变现实的能力。
