云平台租一台新的机子4b模型跑在5090显卡上可以选西北的机子如果不想重新租也可以直接重置之前的机子ps不要选重庆的机子因为之后好像端口映射不了。这里选镜像的时候选如下就行虚拟环境激活开机后用ssh工具连接只要能来连接ssh就可以推荐xterminal连接到云服务器在root目录下有个autodl-tmp把所有重要数据都存在这个目录避免关机重启被清除启动后按照如下命令配置uv虚拟环境pip install uv #先安装uv第三方库 cd /root/autodl-tmp #进入目录 mkdir Qwen #创建名叫Qwen文件夹 uv venv --python 3.12 #创建uv虚拟环境并且指定python版本 source .venv/bin/activate #激活虚拟环境激活后最前面有个qwen标识代表已经进入虚拟环境模型下载进入虚拟环境后先安装modelscope库用来拉取模型uv pip install modelscope #在uv环境中安装modelscopemodelscope download --model Qwen/Qwen3.5-4B #使用modelscope库下载模型文件这里下载可能需要十分钟左右因为下载路径未指定所以应该是modelscope的默认路径/root/.cache/modelscope/hub/models/Qwen/Qwen3.5-4B下载成功后会在这个路径下存放所有的模型文件需要把所有模型文件拷贝到/root/autodl-tmp/Qwen目录下防止丢失vllm推理器下载下图是魔搭社区中关于vllm的官方下载方式但是我试过了不行因为它默认下载最新版和云服务器显卡以及cuda驱动之间可能存在冲突需要下载指定版本0.18.1uv pip istall vllm0.18.1 --index-url https://mirrors.aliyun.com/pypi/simple/ #使用aliyun加速这边下载也要十分钟左右启动模型VLLM_USE_MODELSCOPEtrue vllm serve /root/autodl-tmp/Qwen/Qwen35-4B --port 6006 --tensor-parallel-size 1 --max-model-len 262144 --language-model-only #将服务开放在6006端口/root/autodl-tmp/Qwen/Qwen35-4B这个路径就是存放模型的路径之后调用代码里面需要和这里保持一致第一次启动可能慢点大概需要七八分钟之后启动会快很多出现如上界面代表启动成功此时已经可以调用api服务了autodl云平台会自动把内网的6006服务映射到公网上如下图所示调用代码中只需要将此链接复制就可以批量调用模型服务关闭模型服务只需要ctrlC中断服务即可脚本因为是在云服务器上所以不用的时候需要关机所以下次启动的时候又需要重新进入虚拟环境激活然后再启动模型比较繁琐可以写一个bash脚本来一键启动,复制如下命令到start.shchmod x start.sh赋予脚本可执行的权限#!/bin/bash cd /root/autodl-tmp/Qwen source .venv/bin/activate VLLM_USE_MODELSCOPEtrue vllm serve /root/autodl-tmp/CoASD \ #这里启动的模型是 --port 6006\ --tensor-parallel-size 1 \ --max-model-len 262144 \ --reasoning-parser qwen3 \ --language-model-only以后每次启动模型./start.sh即可启动微调这部分写期刊论文应该用不到期刊论文就聚焦多智能体把多智能体模型讲得高大上一点就行不需要微调但之后做其他项目可以尝试微调所以这边还是写了一下。安装步骤微调采用llamafactory平台可以再建一个虚拟环境避免各种库的版本冲突cd /root/autodl-tmp mkdir llama uv venv source .venv/bin/activate之后安装都在虚拟环境中实现即可安装教程参照LLaMA-Factory安装教程详细版_llamafactory安装-CSDN博客
