产品 +

iEnter|智慧企业 +

企业资源计划管理系统

智钉

iManu|智能制造 +

制造执行系统

物流执行系统

高级计划及排程

iSupply|智慧供应链 +

运输管理系统

仓储管理系统

供应商关系管理系统

EP|智慧生态营销 +

经销商管理系统

全面营销管理系统

客户关系管理系统

Connect|智能网联 +

智能网联云平台

新能源汽车监控平台

商用车企业监控平台

电检系统

行驶记录仪

车载T-BOX

汽车故障诊断仪

国六OBD产品

后装GPS产品

DataValue|数据价值赋能 +

智慧质量

线索运营

智慧广告

Platform|云原生PaaS平台 +

云原生PaaS平台

容器引擎(QKP)

AI智能服务平台

API网关平台

低代码平台-QLCP

元宇宙技术探索平台

数据中台

智能运维平台

服务 +

咨询 +

车路协同解决方案

IT咨询

云原生技术架构规划与咨询服务

评测 +

网络安全等级保护测评

实施 +

电子电气检测服务

网联产品组装制造

运维 +

桌面及外围设备运维服务

云服务(IDC)

销贷服务

乘用车车联网运营服务

商用车车联网运营服务

客户联络中心运营服务

数据价值运营服务

K8s运维

关于BBIN·宝盈集团(中国)有限公司官网 +

企业简介 +

企业简介

企业价值 +

企业荣誉

行业地位

资质认证

社会责任 +
企业文化 +
投资者关系 +
麾下企业 +
加入BBIN·宝盈集团(中国)有限公司官网 +

业务发展规划

福利待遇

人才招聘

信息公开 +

企业基本信息 +

企业概况

经营范围

市场主体登记基本信息

组织机构

成员单位

资质荣誉

企业重大事项 +

股权信息

产权信息

研发成果

企业经营管理 +

财务与经营状况

品牌与产品

安全环保 +

安全信息

招标招募 +

招标信息

人力资源 +

招聘信息

社会责任 +
企业公告 +

上市公司

公告信息

投资者关系

加入BBIN·宝盈集团(中国)有限公司官网

客户留言

BBIN·宝盈集团- 万卡集群利用率不足20%,TaaS平台如何破解算力「空转」难题?
2026-04-23 13:40:47

  导语:趋境ATaaS平台以极致高效能Token出产为焦点锚点,支撑集群实现日均万亿级稳态Token产出落地。

当AI财产从模子能力竞争慢慢转向范围化运用竞争,缭绕“Token推理效率”举行体系性优化成为行业的焦点命题。

“跟着智能体、AI Coding等运用的发作式增加,Token耗损量呈百倍、千倍级跃升,2026年已经成为名不虚传的‘Token发作元年’。AI财产的焦点存眷核心,正从模子参数范围、模子可用性周全转向不变、低成本、高质量交付的Token产能。”郑纬平易近院士暗示。

万卡集群利用率不足20%,TaaS平台如何破解算力「空转」难题?

但与此同时,海内算力使用率正深陷布局性困境。

起首,资源配比严峻掉衡,Token天生过分绑定GPU,高端内存、集群SSD、IB互联等昂贵闲置资源使用率不足10%,整机综合使用率不和20%,造成巨额智算成本空耗。

软硬协一样存于短板,硬件算力连续迭代,但软件优化与漫衍式并行组合不变性不足,超80%理论算力被华侈,粗放调理又隐形损耗超50%算力。

面临年夜量行业痛点,雷峰网(公家号:雷峰网)获悉,3月27日2026中关村论坛时期,趋境科技发布全新一代AI推理平台——趋境ATaaS高效能AI Token出产办事平台(Approaching.AI Token as a Service),为破解算力投入与Token产出掉衡难题提供了体系性解决方案。

这一产物落地,也折射出AI基础举措措施财产的演进趋向:行业竞争再也不纯真比拼算力范围,而是转向综合权衡Token出产焦点指标,涵盖首包相应时延(TTFT)、Token吞吐效率(TPS)与全域资源使用率等要害维度。

那末,趋境ATaaS经由过程哪些底层技能优化,破解行业算力使用的布局性抵牾?又将怎样经由过程生态共建,体系性买通财产割裂痛点?

万亿Token稳态产出、GPU开消直降 90%,TaaS平台重构智算底座

已往两年,行业核心高度集中于基础模子竞赛:各家疯狂重叠参数、冲刺榜单、追赶SOTA机能,模子厂商一度成为本钱追捧的热门。

但跟着财产主线从年夜模子练习转向范围化落地运用,深层供需掉衡最先显性袒露:小我私家重度利用“小龙虾”等AI智能体单日Token成本可达千元,办事供应端却深陷吃亏谋划,年夜量智算资源持久低效空转、患上不到合理使用。

TaaS成为和谐财产抵牾、重构Token出产效率的焦点解法,为行业买通降本、提效、提质的要害通路。

对于此,郑纬平易近院士锚定财产趋向,明确了TaaS落地演进的三年夜焦点技能底座:一是全体系异构协同,经由过程将差别计较使命合理分配至GPU、CPU、内存及SSD,打破算力瓶颈;二是存算协同实现“以存换算”,经由过程前置KV Cache等技能,年夜幅降低反复计较量,晋升推理效率;三是面向SLO的智能调理,精准地将用户营业需求“翻译”为底层资源决议计划。

安身这套底层技能逻辑,趋境ATaaS平台以极致高效能Token出产为焦点锚点,可承载万级并发AI推理营业,支撑集群实现日均万亿级稳态Token产出落地。

万卡集群利用率不足20%,TaaS平台如何破解算力「空转」难题?

作为全世界首创的年夜模子计较逻辑重构技能,异构推理2.0技能“天地”深度交融CPU与GPU、国产和非国产异构算力,实现使命智能分流,能将万卡级智算集群运营成本压降20%以上。

以存换算2.0“月饼”,依附超体量KV Cache缓存技能,将存储空间拓展百倍至千倍,最高实现90%缓存掷中率,直接减少90%的GPU算力开消。

“双仪”虚实同构技能,依托算子级SLO仿真能力,完成算力资源智能预计划与动态调优,精准切分异构算力,让万卡级集群硬件综合使用率实现数倍晋升。

“万象”极致弹性技能,则买通了范围化量产的末了一道壁垒,撑持万亿参数年夜模子7秒极速拉起、动态配置变动,以和数百节点超年夜范围EP弹性调理,为万卡级集群高机能横向扩大筑牢根底。

趋境ATaaS平台的发布为AI基础举措措施的设置装备摆设及运营提供了新的思绪及行业尺度,使每一单元算力及能耗投入都可以或许数倍转化为更不变、更可权衡的Token价值产出,更标记着AI基础举措措施成长核心从纯真的算力范围竞争,转向对于Token出产效率的综合权衡,鞭策算力基础举措措施从“数据中央”向“Token工场”周全演进。

万卡集群利用率不足20%,TaaS平台如何破解算力「空转」难题?

集群机能翻倍暗地里:TaaS生态协同「重写」Token经济学

面临国产推理基础举措措施“可用”与“好用”之间的鸿沟,技能优化以外,生态协同的紧急性正于凸显。

从底层硬件厂商,到模子厂商,再到最切近终端用户的云办事平台,趋境ATaaS平台正慢慢嵌入财产链的每个要害环节,以生态协同模式阐扬聚合效应,鞭策国产AI推理基础举措措施的成长。

华为昇腾计较营业副总裁、首席产物计划师叶耀荣暗示,趋境与昇腾睁开了全方位的技能及贸易化互助,部门项目中于昇腾AI集群上实现了2倍以上机能晋升。

九源智能计较体系生态结合体副秘书长王好汉暗示,Token时代竞争转向单元成本产出,国产卡面对“生态驱动”困局。九源结合体打造国产智能计较生态,天下产化方案适配多款GPU、串行代码高效并行的九源范畴编程语言“九齿”、支撑Mooncake推理加快体系、基在国产芯片的高效智能体,并与KTransformers等框架深度联动。

云上算力办事的深度交融一样是破局要害。

并行科技董事长陈健暗示,并行MaaS办事获得趋境科技的鼎力大举撑持,两边互助将高质量Token的出产成本年夜幅优化,并将特定场景下的集群机能晋升50%,配合为智谱、Kimi、MiniMax、DeepSeek等头部年夜模子客户提供优质办事。

京东云一样与趋境科技告竣互助,两边结合打造推理引擎,鞭策Mooncake开源生态成长。

万卡集群利用率不足20%,TaaS平台如何破解算力「空转」难题?

基在一系列财产实践,行业各方进一步沉淀形成三年夜共鸣。

起首,软硬深度协同是开释国产算力潜能的要害,需经由过程体系级优化弥合硬件机能与营业需求之间的鸿沟。

生态同一与尺度设置装备摆设一样至关主要,打破“百花齐放”带来的适配难题,才能实现范围化运用。

末了,人材造就是财产根底,需经由过程开源社区、技能竞赛等方式,培育兼具理论与工程能力的AI Infra人材。

雷峰网原创文章,未经授权禁止转载。详情见转载须知。

-BBIN·宝盈集团


地址:长春净月高新技术产业开发区百合街1009号

版权所有:BBIN·宝盈集团(中国)有限公司官网信息技术股份有限公司

电话:0431-85861717/ 4001182299