摘要：Agentic AI正在从云端走向端侧。mimik对AMD Ryzen AI嵌入式X100平台的分析显示，超过80%的智能体操作由CPU完成，模型推理在GPU上的占比不到20%。这一发现颠覆了“端侧AI等于NPU推理”的认知。本文从工作负载分布、系统架构和工程实践三个维度，分析Agentic AI在嵌入式设备上的运行逻辑。
一、一个被忽视的事实：Agentic AI的工作负载不在GPU上
生成式AI长期聚焦于GPU推理。大语言模型的训练和推理，几乎全部围绕GPU或NPU的算力展开。但当AI从“生成”走向“代理”——从被动响应到主动决策——工作负载的分布发生了根本变化。
mimik对AMD Ryzen AI嵌入式X100平台上的多智能体工作流分析显示，超过80%的操作由CPU完成。这些操作包括智能体发现、代理间协作、安全机制、数据移动、路由和生命周期管理。模型推理在GPU上的占比不到20%。
这个数据颠覆了“端侧AI等于NPU推理”的认知。Agentic AI的核心开销不在模型推理，而在智能体之间的协调、通信和状态管理。
mimik Technologies CEO Fay Arjomandi指出：“行业花了十年时间优化模型推理。但当智能体开始相互协作时，瓶颈从推理转移到了协调。”
二、Agentic AI的嵌入式架构
Agentic AI系统在嵌入式设备上的架构包括四个层面。
模型推理层。运行在NPU或GPU上，负责单次推理任务。这一层的优化已经相对成熟——量化、剪枝、NPU算子映射。在AMD Ryzen AI嵌入式X100平台上，NPU提供50 TOPS的算力，足以运行中小规模的模型。
智能体协作层。运行在CPU上，负责智能体的发现、注册、通信和任务分配。这一层是Agentic AI的核心，也是CPU负载的主要来源。mimik的mimOE Embedded Edition使OEM和Tier 1能够部署Agentix-Native系统，智能体可以在设备上直接进行推理、协调和行动。
安全与生命周期层。运行在CPU或安全隔区中，负责身份认证、访问控制和生命周期管理。Agentic AI系统需要Zero Trust安全机制——每个智能体都需要验证身份，每次通信都需要授权。这一层的开销在传统AI系统中不存在，但在Agentic AI中不可或缺。
网络与数据层。运行在CPU上，负责数据移动、路由和网络中断处理。Agentic AI系统需要在网络中断时继续运行，智能体之间的协作不能依赖云端连接。这要求本地的消息队列、状态存储和故障恢复机制。
三、工程实践：从PoC到量产
Agentic AI在嵌入式设备上的部署正在从PoC走向量产。
并发智能体的规模。AMD Kria AI SOM支持多达234个并发智能体，每秒可做出多达8,000次决策。这个规模在工业场景中已经足够——一个工厂的巡检系统可能需要数十个智能体，一个智能座舱可能需要十几个智能体。
异构计算的任务分配。Agentic AI系统的关键工程决策是：什么任务放在NPU上，什么任务放在CPU上。模型推理放在NPU上，智能体协调放在CPU上，安全机制放在安全隔区中。任务分配不当会导致NPU空闲而CPU过载，或者CPU空闲而NPU过载。
网络中断下的持续运行。Agentic AI系统需要具备离线运行能力。当网络中断时，智能体之间的协作不能停止。这要求本地的消息队列、状态存储和决策逻辑。mimik的方案使智能体可以在设备上直接进行推理、协调和行动，而不依赖云端。
安全机制。Agentic AI系统需要Zero Trust安全机制。每个智能体都需要身份认证，每次通信都需要授权和加密。安全机制的开销在CPU上，不在NPU上。这是Agentic AI系统设计中最容易被忽视的部分。
四、对嵌入式工程师的影响
第一，理解CPU在Agentic AI中的核心作用。Agentic AI的工作负载分布与传统AI推理有本质区别。嵌入式工程师需要理解CPU在智能体协调、安全机制和数据管理中的核心作用。
第二，掌握多智能体系统的资源调度。Agentic AI系统需要管理多个并发智能体的资源和任务。理解任务调度、资源分配和故障恢复，是Agentic AI嵌入式开发的核心技能。
第三，关注网络中断下的运行能力。Agentic AI系统需要在网络中断时继续运行。理解本地的消息队列、状态存储和决策逻辑，是Agentic AI系统设计的关键。
第四，理解Zero Trust安全机制。Agentic AI系统需要每个智能体都验证身份。理解身份认证、访问控制和加密通信的实现，是Agentic AI嵌入式开发的基础。
五、总结
Agentic AI正在从云端走向端侧。但工作负载的分布与传统的AI推理有本质区别——超过80%的操作由CPU完成，模型推理在GPU上的占比不到20%。
对于嵌入式工程师而言，Agentic AI意味着技能栈的扩展：从NPU编程扩展到多智能体系统的资源调度、安全机制和数据管理。理解CPU在Agentic AI中的核心作用，正在成为端侧AI嵌入式开发的新能力维度。
