一、项目分析1. 技术栈流程中需要安装技术栈一个redis缓存对于用户的query如果redis中命中则直接返回一个mysql数据库一个milvus向量数据库2. 部署部署项目和模型都是基于Linux服务器项目用docker部署、模型用VLLM部署。部署项目Linux服务器地址xx使用Docker部署部署时需要CPU和内存整个服务器的CPU和内存设置48c、128Gdocker容器可以从主机中分出资源 如4c、8G因此一个服务器中可以创建多个docker容器部署时项目部署在docker容器中docker在Linux中安装好服务可在同一台机器上创建多个docker容器docker是直接在Linux中隔离出的一片空间包含CPU和内存与外部其他容器进行隔离独占4C 8g部署模型Linux服务器地址xx使用VLLM框架部署部署时需要准备显卡 如A100。Redis、Mysql、Milvus都使用Docker进行部署一个Linux服务器(有固定的IP地址CPU是48C、内存128G)里面部署了多个docker容器docker1部署redis、docker2部署mysql、docker3部署milvus、docker4部署RAGRAG部署的优先级最低、晚于其他部署每个服务分配的内存大小不同 如Redis 2C 2g、Mysql 4C 16g、Milvus 3C 6G、RAG 4C 8g二、工具使用1. 打开虚拟机双击 centos_edurag.vmx 通过CnetOS打开 —— 打开虚拟机后 ——ip a命令查看IP2. 使用FinalShell连接3. docker使用3.1 docker常用命令① 启动docker容器cd/root/data_docker# 进入docker-compose.yml文件所在位置dockercompose up-d# 启动dokcer容器② 关闭dokcer容器cd/root/data_docker# 进入docker-compose.yml文件所在位置dockercompose down# 关闭dokcer容器③ 启动项目(edurag_api)的docker容器# 进入以及 edurag项目代码所在位置以及 edurag_api的Dockerfile文件所在位置cd/root/edurag# 启动edurag_api的docker容器dockerrun-d\--namerag-api\-p8000:8000\-v/root/edurag/config.ini:/app/config.ini\-eDASHSCOPE_API_KEYsk-你的apikey\rag-api\uvicorn rag_api:app--host0.0.0.0--port8000--workers1docker images列出本地所有镜像docker ps查看正在运行的容器docker ps -a查看所有容器包括已停止的docker stop 容器ID/名称停止容器docker rm -f 容器ID/名称强制删除运行中的容器docker kill 容器ID/名称强制终止容器shutdown -h now关闭虚拟机比较docker compose down停止并删除由 docker-compose.yml 定义的整个服务组给它“搬家清场”不停止容器。docker stop停止一个正在运行的容器给它“关机”仅停止容器不会删除容器3.2 docker-compose.yml 文件解析docker-compose.yml文件 是拉取镜像、启动容器服务的核心配置文件文件内容3.3 docker的启动和验证3.3.1 启动Docker3.3.2 验证 Mysql使用 Pycharm3.3.3 验证 Redis使用 Redis Desktop Manager3.3.4 验证 Milvus使用 Attu3.3.5 启动 docker容器输入Linux命令3.3.5 关闭镜像 和 docker容器输入Linux命令4. Windows上操作 docker使用 Windows PowerShell ➕ WSL2 ➕Doker Desktop敲命令的位置在 Windows PowerShell但真正干活的“工人”全在 WSL 2 的 Linux 里WSL 2 是 Docker Desktop 在 Windows 上运行的“引擎舱”——Docker 引擎实际跑在 WSL 2 的 Linux 内核里Docker Desktop 只是给你一个方便操作的图形界面和命令转发器Windows 开发环境Docker Desktop WSL 2Linux 生产环境不需要 Docker Desktop直接装 Docker 引擎docker-ce即可没有 WSL 这一说[Windows PowerShell敲的命令] → Docker DesktopWindows 端 → WSL 2 虚拟机 → Docker 引擎 → 容器4.1 安装 Docker Desktop① 下载 Docker Desktop② 双击下载的安装文件按照提示完成安装启用 WSL 2Windows Subsystem for Linux 2支持打开 PowerShell以管理员身份运行wsl --install只执行一次③ 验证 Docker 安装方式一打开 PowerShell 或命令提示符运行docker --version、docker compose version确保输出版本信息方式二Docker Desktop中 左下角显示 Engine running4.2 配置 Docker Compose 文件通过Compose 拉去镜像、启动服务、创建容器① 创建项目目录在本地磁盘例如 C盘创建一个文件夹用于存放 Milvus 和 Redis 的配置文件和数据milvus_redis② 创建 Docker Compose 文件在 milvus_redis 目录下创建文件docker-compose.yml③ 拉取镜像并启动容器打开 PowerShell在 C:\milvus_redis docker-compose.yml文件所在位置目录下运行docker compose up -d验证容器状态docker ps4.3 验证 Redis(Redis Desktop)、Milvus(Attu)5. 总结① 若使用Linux不安装环境不执行第4步需要在Windows中安装客户端Redis Desktop Manager、Attu② 使用WindowsRedis Desktop Manager、Attu、Windows PowerShell、docker desktop、WSL 2
