作者：王聪彬

2026年8月，美国风险投资机构a16z援引OpenRouter的数据指出，自当年2月以来，OpenRouter平台上智能体的Token使用量增长约14倍，到8月初，其Token消耗规模已接近人类用户的5倍。

到了9月最后一周，OpenRouter统计的智能体Token周使用量约为130.9万亿，人类用户约为18.3万亿，前者已达到后者的7倍左右。分析指出，智能体消耗的Token中，接近90%来自缓存提示词，这也反映出智能体在执行任务时，需要反复调用和处理大量已有上下文。

“在智能体出现之前，AI领域主要以Token（词元）生成来衡量性能，即每秒Token数、每瓦Token数和每美元Token数。智能体改变了这一点：它要求生成的Token能够在真实世界中得到切实应用。”Arm云AI解决方案架构总监Ravi Malhotra说道。我们不仅要从Token 的角度评估性能，还要从智能体及其所执行任务的角度来评估性能。

五类智能体用例，对CPU有哪些新要求？

写代码、处理企业工单、安排个人行程，智能体的应用已经覆盖了不少日常工作。目前，行业关注度较高的主要有五类用例：软件工程、企业自动化、科学研究、个人助理和机器人技术。

在软件工程领域，开发者希望借助Codex、Claude Code等编程智能体，不仅生成代码，还能创建补丁、运行测试并修复错误，完成更多软件开发工作。

在企业自动化领域，大型企业开始探索将智能体引入客户支持、供应链和库存管理等业务。对于企业而言，一项重要要求是能够大规模运行智能体，甚至达到超大规模。

在科学研究领域，例如金融分析，这类应用通常需要多个智能体参与复杂的模拟计算，并在执行过程中产生大量与特定领域相关的数据。

在个人助理领域，从日程安排、家庭旅行规划到个人财务管理，智能体可以帮助用户自动完成一系列日常任务，相关应用也在不断涌现。

在机器人技术领域，目前仍处于智能体应用的早期探索阶段，未来还有很大的发展空间。

这些不同类型的智能体，背后需要的基础设施也有所不同。

从智能体任务执行过程来看，大致可以分为两部分。一部分是Token生成，也就是推理与规划，通常运行在AI机架上，会大规模生成Token，同时需要为智能体处理上下文、解读数据提供足够的内存和存储空间。

另一部分是基于生成的Token执行具体操作，也就是工具调用与编排，通常运行在纯CPU服务器上，这些服务器同样需要满足规模化部署和稳定运行的要求。

什么样的CPU更适合承载这类工作负载？

以五类智能体应用为例，不同场景对CPU的要求差异很大。在软件开发中，编译、测试代码等操作往往需要较长时间，也会消耗大量CPU周期，因此单个智能体的性能十分重要。

在个人助理和企业运营场景中，智能体执行的通常是一些耗时较短的操作，例如访问网页、查询数据库或完成少量任务。这些操作对单个智能体的性能要求相对较低，但由于需要执行的操作数量庞大，对CPU的吞吐量和运行效率反而有着更高的要求。

智能体时代，CPU性能该怎么测？

Claude Code、阿里巴巴Qoder，Meta Muse，越来越多的应用正在涌现。而且前沿AI企业和超大规模云服务提供商都在积极采用智能体。与此同时，围绕智能体的基准测试也在不断增加。

一些企业在推出应用的同时，还会发布配套的性能基准，学术机构也参与其中，例如斯坦福大学推出的Terminal-Bench。这些新的基准测试，为评估不同应用场景下的智能体性能提供了参考。

基于具有代表性的智能体应用场景、可重复的 CPU 性能测试方法、端到端的结果验证三个原则，Arm最近推出了一套针对智能体的全新CPU性能测评方法。

该评估方法提出了组件级基准测试和端到端基准测试两部分。组件基准测试是通过测试Web服务器、数据库或模型服务等组件的运行开销，了解各个组件的性能表现。

但智能体通常需要多个组件协同完成任务，单独测试很难反映整个工作流的实际表现。因此，还需要通过端到端基准测试，评估任务执行过程中的性能，了解可扩展性和并发性。

Ravi Malhotra认为，衡量CPU性能，不能只考虑单颗 CPU 能够承载多少智能体，也不能单纯追求最高吞吐量，而是如何在SLA和高吞吐量之间取得平衡，这是Arm所强调的持续性能的关键。

以Terminal-Bench和SWE-bench所代表的软件开发负载为例，每个CPU核心运行一到两个智能体可能就已经足够，继续增加并发数量，反而可能无法满足SLA要求。在企业运营和个人助理场景中，由于单次任务相对简单，可以支持更多智能体并发运行。

所以CPU既要具备足够的单核性能，也要能够在整颗处理器上实现良好的扩展能力。

智能体规模化运行，如何兼顾性能与效率？

独立技术分析机构Signal65发布了一份独立报告，对比了Arm AGI CPU与第五代AMD EPYC Turin 在智能体工作负载上的性能。

单机架可承载近两倍工作负载：在七项工作负载测试中，得益于更高的计算密度和更优的能效表现，相较 AMD EPYC（霄龙）9755，Arm AGI CPU平均实现 1.99 倍的机架级性能。

在智能体工作负载中展现卓越性能：Arm AGI CPU 在多个关键智能体应用场景中的机架级性能均优于对比平台。其中，工具调用场景平均达到对比平台的 1.7 倍，智能体工作流和任务编排场景达到 2 倍，推理与规划场景达到 2.2 倍，展现出其满足智能体 AI 多样化计算需求的能力。

更快速、更敏捷的智能体执行：相较 AMD EPYC（霄龙）9965，Arm AGI CPU 最多可将沙箱创建时延降低45%，帮助智能体更快启动隔离执行环境，降低智能体执行过程中的系统开销。

在数据中心的实际部署中，客户使用的是整个机架，因此性能评估也需要从机架层面展开。Ravi Malhotra谈到，单纯比较两颗CPU的性能，很难全面反映整个系统的表现，还需要综合考虑CPU能效、内存利用效率、服务器成本与功耗，以及单个机架能够部署的服务器和CPU数量等因素。

以企业运营为例可以看到实际的成本变化，这类场景通常需要大量智能体同时运行，单个CPU核心可能承载多个智能体，因此沙箱开销成为影响成本的重要因素。沙箱开销越低，系统在相同时间内能够处理的客户支持工单就越多，从而提高整体运行效率，降低单个任务的处理成本。

Arm从2018年推出Neoverse系列开始，与超大规模云服务提供商合作，根据SQL数据库、缓存、机器学习等真实工作负载，持续调整CPU微架构，并从Neoverse N1演进到V3。

而且为了将Arm AGI CPU的能力应用到不同场景，Arm推出了两款服务器参考设计，分别是Arm AGI CPU 1OU双节点服务器参考设计和Arm AGI CPU 2U2P服务器参考设计。

写在最后

“没有两个智能体应用是完全相同的。”如果针对每一种用例都选择不同的CPU，难以满足大规模部署和持续扩展的需求。对于大多数企业而言，更现实的选择是采用一款能够兼顾性能、可扩展性和效率的CPU。

企业今天部署的基础设施，还需要应对未来不断出现的新应用，Arm AGI CPU所强调的均衡性能，也为企业应对智能体工作负载的持续变化提供了新的选择。