本文分类:news发布日期:2025/12/26 15:50:19
打赏

相关文章

探索SGLang + Qwen2-7B-Instruct 在_Atlas 800T 的推理调优

前言:前段时间在本地环境尝试 Qwen2-7B-Instruct 模型推理时,发现模型在不同硬件和推理设置下的性能差异较大。抱着优化性能、探索最佳实践的心态,我决定系统地进行一次性能调优实验,包括批大小、KV 缓存、量化精度和并发请求的优…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部