品牌时报网 > 热点关注> 正文

H100推理性能最高提升8倍，英伟达发布TensorRT-LLM

2023-09-10 13:11来源：IT之家   阅读量：14219   

感谢IT之家网友 OC_Formula 的线索投递！

，英伟达今天宣布推出名为 TensorRT-LLM，是一个深度优化的开源库，能够在 Hopper 等 AI GPU 上加速所有大语言模型的推理性能。

英伟达目前已经和开源社区合作，利用 SmoothQuant、FlashAttention 和 fMHA 等尖端技术，实现 AI 内核来优化其 GPU，可以加速 GPT-3，Llama Falcom(180 B)和 Bloom 模型。

TensorRT-LLM 的亮点在于引入了名为 In-Flight batching 的调度方案，允许工作独立于其他任务进入和退出 GPU。

该方案允许同一 GPU 在处理大型计算密集型请求时，动态处理多个较小的查询，提高 GPU 的处理性能，可以让 H100 的吞吐量加快 2 倍。

在性能测试中，英伟达以 A100 为基础，对比了 H100 以及启用 TensorRT-LLM 的 H100，在 GPT-J 6B 推理中，H100 推理性能比 A100 提升 4 倍，而启用 TensorRT-LLM 的 H100 性能是 A100 的 8 倍。

在 Llama 2 中，H100 推理性能是 A100 的 2.6 倍；而启用 TensorRT-LLM 的 H100 性能是 A100 的 4.6 倍。

IT之家在此附上报告原文，感兴趣的用户可以深入阅读。

广告声明:文内含有的对外跳转链接，用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。

责任编辑：叶知秋

最新阅读

精彩推荐

跨境电商踏上新赛道
跨境电商踏上新赛道

阅读排行

资讯播报

推荐阅读

品牌时报网 - 网站地图 - 关于我们 - 版权声明 - RSS订阅

Copyright© 2014-   All rights reserved.

未经过本站允许,请勿将本站内容传播或复制.