4LuRNXBbcwj tech.huanqiu.comarticle联想AMD AI服务器单机部署满血版DeepSeek大模型/e3pmh164r/e3pmh16qj<article><section data-type="rtext"><p>【环球网科技综合报道】3月18日消息，联想日前宣布旗下首款AMD AI大模型训练服务器联想问天WA7785a G3在单机部署671B（满血版） DeepSeek大模型时，可实现极限吞吐量6708token/s，将单台服务器运行大模型的性能推向了新高。</p><p>依托联想万全异构智算平台，联想通过访存优化、显存优化、PCIe 5.0全互联架构创新以及精选SGLang框架中性能最优算子等诸多创新方式，对大模型从预训练、后训练到推理的全流程进行持续优化，在单台部署DeepSeek 671B大模型的联想问天WA7785a G3上实测最高吞吐量达6708 token/s。</p><p><i class="pic-con"><img data-alt="" src="//img.huanqiucdn.cn/dp/api/files/imageDir/ca0eade1b265ac72d55a47e20ac6e6eeu1.png?imageView2/2/w/1260" /></i></p><p>在模拟问题对话场景（上下文序列长度128/1K）时，最高可支持并发数158，TPOT 93毫秒, TTFT 2.01秒；而在模拟代码生成（上下文序列长度512/4K ）时，并发数可达140，TPOT 100毫秒, TTFT 5.53秒。</p> <adv-loader __attr__inner="7004636" __attr__style="width: auto;position: relative;float: left;border: 1px solid #ebebeb; padding: 20px;overflow: hidden;margin: 10px 30px 40px 0;"></adv-loader> <p>据官方介绍，单台联想问天WA7785a G3可以支撑1500人规模企业的正常使用，是继联想问天WA7780 G3服务器单机部署满血版DeepSeek 大模型总吞吐量突破2500 token/s之后，单机部署该大模型推理性能的又一次突破。</p><p>值得一提的是，此次突破是联想中国基础设施业务群、联想研究院ICI实验室和AMD联合设计、协同调优、共同实现的。此结果也并非最终结果， 联想与AMD 还在持续尝试深度调优新方法。实现更高调优突破。（青云）</p></section></article>1742267488289环球网版权作品，未经书面授权，严禁转载或镜像，违者将被追究法律责任。责编：秦耳环球网174226748828911[]//img.huanqiucdn.cn/dp/api/files/imageDir/ca0eade1b265ac72d55a47e20ac6e6eeu1.png{"email":"lianlimin@huanqiu.com","name":"连丽敏"}