4NAeVqUVhad tech.huanqiu.comarticle华为云基于CloudMatrix384的昇腾AI云服务全面上线/e3pmh164r/e3pn4gh77<article><section data-type="rtext"><p>【环球网科技综合报道】在6月20日举行的华为开发者大会2025（HDC 2025）上，华为常务董事、华为云计算CEO张平安宣布基于CloudMatrix384超节点的新一代昇腾AI云服务全面上线，为大模型应用提供充足算力。</p><p><i class="pic-con"><img data-alt="" src="//img.huanqiucdn.cn/dp/api/files/imageDir/4cb99a8a42daa4f4651522610da356f2u1.png?imageView2/2/w/1260" /></i></p><p>随着大模型训练和推理对算力需求的爆炸式增长，传统计算架构已难以支撑AI技术的代际跃迁。华为云新一代昇腾AI云服务基于CloudMatrix384超节点，首创将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联，形成一台超级“AI服务器”，单卡推理吞吐量跃升到2300 Tokens/s。超节点架构能更好地支持混合专家MoE大模型的推理，可以实现“一卡一专家”，一个超节点可以支持384个专家并行推理，极大提升效率。同时，超节点还可以支持“一卡一算力任务”，灵活分配资源，提升任务并行处理，减少等待，将算力有效使用率（MFU）提升50%以上。</p> <adv-loader __attr__inner="7004636" __attr__style="width: auto;position: relative;float: left;border: 1px solid #ebebeb; padding: 20px;overflow: hidden;margin: 10px 30px 40px 0;"></adv-loader> <p>对于万亿、十万亿参数的大模型训练任务，在云数据中心，还能将432个超节点级联成最高16万卡的超大集群；同时，超节点还可以支持训推算力一体部署，如“日推夜训”，训推算力可灵活分配，帮助客户资源使用最优。</p><p>张平安表示，“昇腾AI云服务得到了全球客户、伙伴和开发者的支持。正是因为他们对华为的坚定信任，才有机会让昇腾构筑起一个比肩巅峰，开创未来的AI算力底座。”</p><p>新浪与华为云深度合作，基于CloudMatrix384昇腾AI云服务，为“智慧小浪”智能服务体系构建了统一的推理平台，底层由昇腾AI算力提供支持。推理的交付效率提升了超过50%，模型上线速度成倍加快；通过软硬协同调优，NPU利用率提升超过40%，每一份资源都得到更高效的使用。在科研领域，中科院基于CloudMatrix384超节点打造了自己的模型训练框架，快速构建了中科院AI for Science科研大模型，摆脱了对国外高性能AI算力平台的依赖。</p><p>当前，昇腾AI云服务已经为超过1300家客户提供充足的AI算力。</p></section></article>1750410332099环球网版权作品，未经书面授权，严禁转载或镜像，违者将被追究法律责任。责编：窦鹏环球网17504103320991[]//img.huanqiucdn.cn/dp/api/files/imageDir/4cb99a8a42daa4f4651522610da356f2u1.png{"email":"doupeng@huanqiu.com","name":"窦鹏"}