腾讯混元AI Infra核心技术开源:推理吞吐提升30%

钛媒体App 2月4日消息,腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库HPC-Ops。在真实场景下,基于HPC-Ops,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比FlashInfer/FlashAttention最高提升2.22倍;GroupGEMM相比DeepGEMM最高提升1.88倍;FusedMoE相比TensorRT-LLM最高提升1.49倍。(广角观察)

本文内容仅供参考,不构成投资建议,请谨慎对待。

评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容
投资日历
更多