环境搭建与核心配置在 AMD GPU 上进行大模型微调最让人头疼的往往不是算法本身而是环境配置的“坑”。对于科研人员和学生党来说时间宝贵我们直接切入正题如何在 ROCm 环境下丝滑安装并配置 LLaMA-Factory。首先确保你的系统已经安装了适配当前显卡型号的 ROCm 驱动建议 5.6 及以上版本。不要试图混用 CUDA 版本的 PyTorch这是很多报错的根源。我们需要创建一个干净的 Conda 环境conda create-nllama-rocmpython3.10conda activate llama-rocm接下来是重头戏安装支持 ROCm 的 PyTorch。请务必去 PyTorch 官网查找对应 ROCm 版本的安装命令通常长这样pipinstalltorch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.0安装完成后验证一下torch.cuda.is_available()是否返回 True在 ROCm 中它依然识别为 cuda 接口但底层走的是 HIP。确认无误后我们可以安装 LLaMA-Factory。为了获得最新的 ROCm 适配修复建议直接从源码安装gitclone https://github.com/hiyouga/LLaMA-Factory.gitcdLLaMA-Factory pipinstall-e.[torch,metrics]关键点来了很多教程到这里就结束了但在 AMD 卡上跑不通多半是因为训练引擎后端没选对。LLaMA-Factory 默认可能尝试调用 DeepSpeed 的 CUDA 版本这在纯 ROCm 环境下会直接崩溃。你需要在启动脚本或配置文件中显式指定使用 PyTorch Native 的分布式策略或者确保安装的 DeepSpeed 是编译过 ROCm 支持的版本。对于大多数单卡或多卡微调场景直接使用torchrun配合 PyTorch FSDP 是最稳妥的选择。在配置文件train_config.yaml中务必检查以下字段compute_type:fp16# 或 bf16取决于你的显卡架构支持backend:pytorch# 强制指定后端避免自动探测失败LoRA 微调实战从数据到训练环境就绪后我们来实际跑通一个 Llama 3 模型的 LoRA 微调流程。LoRALow-Rank Adaptation非常适合资源有限的场景它能用极少的显存占用实现不错的效果。数据集预处理与 Tokenizer 兼容假设我们有一份自定义的指令微调数据data.json格式为标准的多轮对话。在 ROCm 环境下Tokenizer 的加载偶尔会出现编码问题特别是涉及特殊字符时。建议在预处理阶段增加一步兼容性检查fromtransformersimportAutoTokenizerimportjson model_namemeta-llama/Meta-Llama-3-8B-InstructtokenizerAutoTokenizer.from_pretrained(model_name,trust_remote_codeTrue)# 简单的兼容性测试test_text测试中文编码与特殊符号 #$%encodedtokenizer.encode(test_text)decodedtokenizer.decode(encoded)print(f原始{test_text})print(f还原{decoded})asserttest_textdecoded,Tokenizer 编解码不一致请检查版本# 预处理函数defpreprocess_data(data_path):withopen(data_path,r,encodingutf-8)asf:datajson.load(f)processed[]foritemindata:# 构建 Llama 3 特有的对话模板messagesitem[messages]texttokenizer.apply_chat_template(messages,tokenizeFalse)processed.append({text:text})returnprocessed processed_datapreprocess_data(data.json)# 保存为 LLaMA-Factory 识别的格式withopen(dataset/processed_data.json,w,encodingutf-8)asf:json.dump(processed_data,f,ensure_asciiFalse)这段代码不仅完成了格式转换还顺带验证了 Tokenizer 在当前环境下的稳定性。如果断言失败通常意味着需要更新transformers库或手动调整 Chat Template。启动训练与参数配置准备好数据后我们编写具体的训练配置。针对 AMD 显卡我整理了一份经过验证的配置模板你可以直接复用### modelmodel_name_or_path:meta-llama/Meta-Llama-3-8B-Instructtrust_remote_code:true### methodstage:sftdo_train:truefinetuning_type:loralora_target:alllora_rank:16lora_alpha:32lora_dropout:0.1### datasetdataset:processed_datatemplate:llama3cutoff_len:2048max_samples:1000preprocessing_num_workers:4### trainoutput_dir:saves/llama3-lora-rocmper_device_train_batch_size:2gradient_accumulation_steps:4learning_rate:1.0e-4num_train_epochs:3.0lr_scheduler_type:cosinewarmup_ratio:0.1fp16:true# 如果显卡支持 bf16建议改为 bf16: trueddp_timeout:180000000### evalval_size:0.1per_device_eval_batch_size:2eval_strategy:stepseval_steps:100启动训练的命令非常标准llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml注意如果在运行过程中遇到RuntimeError: CUDA error之类的提示别慌在 ROCm 环境下这通常只是报错信息的惯性显示只要没有伴随HIP initialization failed或显存溢出一般可以忽略。但如果程序直接崩溃请检查是否开启了flash_attention部分旧版 ROCm 对 Flash Attention 2 的支持尚不完善建议在配置中暂时关闭它disable_flash_attn:true监控优化与异常排查训练开始后如何知道模型是否在正常学习LLaMA-Factory 自带了基于 Web 的可视化界面这对于监控损失曲线至关重要。启动训练时加上--plot_loss参数或者直接访问本地服务端口默认通常是 7860具体看日志输出。在浏览器中输入http://localhost:7860你就能看到实时的 Loss 下降曲线。在 AMD 环境下我发现有时图表刷新会有轻微延迟这是正常的只要数据点在持续更新即可。重点关注loss是否平稳下降如果出现剧烈震荡或 NaN说明学习率过大或数据有问题。关于混合精度训练的“梯度爆炸”问题在使用 FP16 进行微调时ROCm 某些版本下可能会出现梯度溢出导致训练中断表现为 Loss 突然变成 NaN。这时候不要急着改数据最有效的方案是切换到纯 FP32 模式或者调整损失缩放因子。修改配置文件fp16:falsebf16:false# 确保两者都关闭强制使用 FP32# 或者如果必须用半精度尝试调整以下参数如果框架支持# loss_scale: 1024.0虽然 FP32 会增加显存占用并略微降低训练速度但它能极大提升数值稳定性。对于显存紧张的卡片可以适当减小per_device_train_batch_size来换取空间。我在一次实验中将 Batch Size 从 4 降到 2开启 FP32 后原本频繁崩溃的训练任务顺利跑完了 3 个 Epoch。最后训练完成的模型保存在output_dir指定的目录下。你可以使用同样的环境加载适配器进行推理验证fromllmtunerimportChatModel chat_modelChatModel()# 会自动读取最新保存的检查点response,historychat_model.chat(你好介绍一下你自己。)print(response)在 AMD 显卡上跑通大模型微调并非难事关键在于选对工具链和配置细节。希望这份实战记录能帮你少走弯路轻松上手 ROCm 生态。200小时GPU算力已就位快来领取https://marketing.csdn.net/questions/Q2604140858304426315?utm_sourceAIpaper
