每秒110万个token！微软MSFT.US和英伟达NVDA.US联手刷
2026-02-12 15:56来源：证券之星 阅读量：6994
联手刷新AI推理纪录)
智通财经APP获悉，微软宣布，其Azure ND GB300v6虚拟机在Meta的Llama270B模型上实现了每秒推理速度达110万token的行业新纪录。据悉，Azure ND GB300虚拟机采用英伟达(NVDA.US)的Blackwell Ultra GPU，具体为NVIDIA GB300NVL72系统，配置72个NVIDIA Blackwell Ultra GPU和36个NVIDIA Grace CPU，采用单机架构设计。这款虚拟机专为推理工作负载优化，具有50%的GPU内存提升和16%的热设计功率(TDP)提高。
微软首席执行官萨提亚?纳德拉在社交媒体上表示:“这一成就是我们与英伟达长期合作和在生产规模运行人工智能方面专业知识的结晶。”
资料显示，为了验证性能提升，微软在一个NVIDIA GB300NVL72域下的18台ND GB300v6虚拟机上运行了Llama270B模型，使用NVIDIA TensorRT-LLM作为推理引擎。微软表示:“一个NVL72机架的Azure ND GB300v6实现了总计110万个token/秒的推理速度。” 这一新记录超越了微软之前在NVIDIA GB200NVL72机架上实现的86.5万个token/秒的成绩。
对此，Signal65的实验室副总裁拉斯?费洛斯指出:“这一里程碑不仅突破了每秒百万token的障碍，还在一个能够满足现代企业动态使用和数据治理需求的平台上实现。” 他补充称，Azure ND GB300相较于上一代NVIDIA GB200在推理性能上提升了27%，而仅增加了17%的功率规格。
郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。
责任编辑：叶知秋
最新阅读
-
![江苏省体育代表团到访西甲联盟]()
江苏省体育代表团到访西甲联盟
马德里，2025年12月9日– 近日，由江苏省体育局、江苏省体育产业集团及江苏省足球协会等省内多家体育机构代表组成的代表团，来到了位于马德里的西班牙职业足球联盟（LALIGA）总部进行访问交...
2025-12-17 19:00 -
![入胜如她，专为网球女性而生 Wilson Intrigue系列网球鞋正式发售]()
入胜如她，专为网球女性而生 Wilson Intr
世界网球领域领军品牌Wilson威尔胜刚刚度过了自己的110周岁生日。伴随见证现代网球运动发展的深厚底蕴和不断创新进取的基因，又让它作出了“网球运动新景象”的敏锐洞察。WilsonSportswear...
2025-02-06 13:10 -
-
-
-
-
![昔日最强机皇宣告终结：鼎盛期苹果也不是对手！]()
昔日最强机皇宣告终结：鼎盛期苹果也不是对手！
编辑:Wallace小雷搜了一下之前写过的文章，发现原来早在2018年市场上就有消息存传出，三星可能会将旗下的顶级产线GalaxyNote系列“砍掉”，由其他产品取而代之。时间来到2020年前后，眼看...
2022-03-04 10:43 -
![智能自动化在能源和公用事业行业的作用]()
智能自动化在能源和公用事业行业的作用
随着世界对清洁、安全、可承受和可持续的电力的迫切需求，各国对于绿色能源的需求和新应用不断增长，从而希望采用可再生能源替代化石能源。能源行业正从监管转向创新，而其客户也从被动消费者转向需求旺盛的买家。以...
2022-03-04 10:42 -
![小鹏汽车投资碳化硅半导体领域公司瞻芯电子]()
小鹏汽车投资碳化硅半导体领域公司瞻芯电子
企查查APP显示，近日，上海瞻芯电子科技有限公司发生工商变更，新增股东广州小鹏汽车投资咨询合伙企业(有限合伙)，同时公司注册资本由4921.88万元人民币增加至5111.46万元人民币。企查查信息显示...
2022-03-04 10:41 -
![微软智能云Azure在华的第五个数据中心区域正式启用]()
微软智能云Azure在华的第五个数据中心区域正式启
，微软联合世纪互联正式宣布，自2022年3月1日起，全新的Azure在华数据中心区域将正式启用，客户可以不受限制地对其进行访问。这是微软智能云在中国市场的第五个Azure数据中心区域，由其合作伙伴世纪...
2022-03-04 10:39
