本文分类:news发布日期:2026/5/2 12:01:08
打赏

相关文章

Roofline模型在LLM边缘部署中的优化实践

1. 项目背景与核心价值 去年在部署一个7B参数的LLM到边缘设备时,我们团队遇到了典型的"内存墙"问题——模型推理时DRAM带宽直接成为性能瓶颈,导致实时性不达标。当时尝试了各种常规优化手段(量化、算子融合等)效果有限&…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部