科技日报记者 崔爽

8月27日，于第四届828 B2B企业节揭幕式上，华为云公布其Tokens（词元）办事周全接入CloudMatrix384超节点，经由过程xDeepServe架构立异，单芯片最高可实现2400TPS（每一秒事件数）、50msTPOT（每一输出token时间）的高吞吐、低时延机能，领先行业程度。

数据显示，2024年头中国日均Token的耗损量为1000亿，截至本年6月尾，日均Token耗损量已经冲破30万亿，1年半的时间增加了300多倍，反应了人工智能运用范围的快速增加，也对于算力基础举措措施的需求提出更年夜挑战。

本年3月，华为云推出基在MaaS（模子即办事）的Tokens办事。针对于差别运用、差别场景的机能及时延要求，还有提供于线版、进线版、离线版等多种规格，为年夜模子、Agent（智能体）等AI东西提供更为矫捷、便捷、低成本的算力。

这次，华为云的Tokens办事正式接入CloudMatrix384，并经由过程384原生的xDeepServe框架再次实现吞吐量冲破，从年头的1920TPS晋升至2400TPS，TPOT仅为50ms（毫秒）。

据先容，年夜算力的构建不是单点冲破，而是一个从硬件到软件、从算子到存储、从推理框架到超节点的全栈立异。CloudMatrix384超节点以全新计较架构立异，冲破机能瓶颈，修筑算力根底；CANN昇腾硬件使能，优化算子与高效通讯计谋，让云端算力可以或许以更高效的方式被挪用及组合；弹性内存存储EMS打破AI内存墙，实现“以存强算”，开释了每一颗芯片的算力；xDeepServe漫衍式推理框架则帮忙超节点开释出更高效算力。

今朝，华为云MaaS办事已经撑持DeepSeek、Kimi、Qwen、Pangu等主流年夜模子和versatile、Dify、扣子等主流Agent平台。

而于运用层，华为云已经与跨越100家互助伙伴联袂深切行业场景，共建富厚的Agent，于调研阐发、内容创作、聪明办公、智能运维等范畴解决财产难题。

以Token为动力的智能社会已经经到来，华为云方面暗示，将以体系级立异能力及全新的Tokens办事修筑进步前辈算力，助力各行各业加快AI落地、加速智能化进程。

（主理方供图）