如何快速部署Step-3.5-Flash-MXFP4AMD MI350/MI355上的完整教程【免费下载链接】Step-3.5-Flash-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Step-3.5-Flash-MXFP4Step-3.5-Flash-MXFP4是基于stepfun-ai/Step-3.5-Flash模型优化的AMD MI350/MI355专用版本通过MXFP4量化技术实现高效推理。本教程将带你快速完成从环境准备到模型部署的全流程让你在AMD加速卡上体验高性能AI推理服务。 部署前准备环境要求与依赖检查成功部署Step-3.5-Flash-MXFP4需要满足以下系统要求硬件要求AMD MI350/MI355加速卡软件环境操作系统LinuxROCm7.1.0PyTorch2.10.0Transformers4.57.6推理引擎vLLM量化工具AMD-Quark⚠️ 注意请确保系统已安装正确版本的ROCm驱动这是在AMD GPU上运行AI模型的基础。可以通过rocminfo命令检查ROCm安装状态。 第一步获取模型与代码克隆项目仓库使用以下命令克隆完整项目代码库git clone https://gitcode.com/hf_mirrors/amd/Step-3.5-Flash-MXFP4 cd Step-3.5-Flash-MXFP4仓库中包含以下关键文件模型配置configuration_step3p5.py模型结构modeling_step3p5.py量化脚本step3p5_quantize_quark.py权重文件model-00001-of-00023.safetensors至model-00023-of-00023.safetensors 第二步环境配置与依赖安装使用Docker快速部署推荐项目提供了预配置的Docker镜像包含所有依赖项docker pull rocm/vllm-devsha256:63f1fe04d87376bb173a1e837fba8610ab2dd77039fe7c9b97195f2a89d4d463 docker run -it --device/dev/kfd --device/dev/dri --group-add video --ipchost --cap-addSYS_PTRACE --security-opt seccompunconfined -v $PWD:/workspace rocm/vllm-devsha256:63f1fe04d87376bb173a1e837fba8610ab2dd77039fe7c9b97195f2a89d4d463手动安装依赖高级用户如果不使用Docker可以通过以下命令手动安装依赖# 安装PyTorch与ROCm pip3 install torch2.10.0 --index-url https://download.pytorch.org/whl/rocm7.1 # 安装Transformers pip install transformers4.57.6 # 安装vLLM需要特定版本 pip uninstall vllm -y git clone https://github.com/vllm-project/vllm.git cd vllm git checkout de7dd634b969adc6e5f50cff0cc09c1be1711d01 pip install -r requirements/rocm.txt python setup.py develop cd .. 第三步模型量化如未提供预量化模型如果需要从原始模型进行量化使用项目提供的量化脚本python3 step3p5_quantize_quark.py --model_dir ./ \ --num_calib_data 128 \ --multi_gpu \ --trust_remote_code \ --preset mxfp4_moe_only_no_kvcache \ --output_dir ./quantized_model量化参数说明--num_calib_data校准数据集大小默认128--multi_gpu启用多GPU量化--preset量化预设MXFP4量化使用mxfp4_moe_only_no_kvcache 第四步使用vLLM部署模型vLLM补丁应用由于vLLM对Step-3.5-Flash模型的原生支持有限需要应用以下补丁修改vllm/model_executor/models/step3p5.py添加packed_modules_mapping属性class Step3p5ForCausalLM(nn.Module, SupportsPP, MixtureOfExperts): hf_to_vllm_mapper WeightsMapper( orig_to_new_substr{.share_expert.: .moe.share_expert.} ) packed_modules_mapping { qkv_proj: [ q_proj, k_proj, v_proj, ], gate_up_proj: [ gate_proj, up_proj, ], }添加MoE专家名称映射def load_weights(self, weights: Iterable[tuple[str, torch.Tensor]]) - set[str]: # ... 现有代码 ... # Normalize legacy MoE expert naming like .moe.E.gate_proj to # the .moe.experts.E.gate_proj format if .moe.experts. not in local_name and .moe. in local_name: parts local_name.split(.moe., 1) if len(parts) 2 and . in parts[1]: expert_and_rest parts[1] expert_id, remainder expert_and_rest.split(., 1) if expert_id.isdigit(): local_name f{parts[0]}.moe.experts.{expert_id}.{remainder}修改vllm/model_executor/layers/quantization/quark/quark_moe.pyclass QuarkOCP_MX_MoEMethod(QuarkMoEMethod): def __init__(...): # ... 现有代码 ... - self.emulate ( - not current_platform.supports_mx() - or not self.ocp_mx_scheme.startswith(w_mxfp4) - ) and (self.mxfp4_backend is None or not self.use_rocm_aiter_moe) self.emulate True启动vLLM服务设置环境变量并启动服务export QUARK_MXFP4_IMPLtriton python -m vllm.entrypoints.api_server --model ./ --quantization quark --trust-remote-code --port 8000服务启动后可以通过HTTP API进行推理请求curl http://localhost:8000/generate \ -H Content-Type: application/json \ -d {prompt: What is the meaning of life?, max_tokens: 100}✅ 验证部署结果可以使用lm_eval工具验证模型性能lm_eval --model vllm --model_args pretrained./,attention_backendROCM_AITER_UNIFIED_ATTN,quantizationquark,trust_remote_codeTrue --tasks gsm8k --batch_size auto根据官方测试该模型在GSM8K基准测试中达到0.8726的准确率恢复率为97.6%与原始bf16模型性能非常接近。 常见问题解决Memory Access Faults错误如果遇到内存访问错误请确保设置了正确的环境变量export QUARK_MXFP4_IMPLtriton性能未达预期检查ROCm版本是否为7.1.0确保使用了最新的vLLM补丁尝试调整batch size和max_tokens参数依赖冲突建议使用项目提供的Docker镜像避免依赖版本冲突问题。 相关资源模型配置文件configuration_step3p5.py模型实现代码modeling_step3p5.py量化工具AMD-Quark文档推理引擎vLLM文档通过以上步骤你已经成功在AMD MI350/MI355上部署了Step-3.5-Flash-MXFP4模型。这个优化版本通过MXFP4量化技术在保持高性能的同时显著降低了显存占用非常适合在AMD加速卡上进行大规模语言模型推理。【免费下载链接】Step-3.5-Flash-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Step-3.5-Flash-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
