0. 导读前面十篇我们已经搞定了容器底层、镜像优化、Harbor仓库、K8s架构、Pod、Deployment、网络、配置中心。但绝大多数同学上线 AI 项目、Java 服务后都会遇到一个致命线上问题Pod 重启数据全部丢失。典型生产玄学问题你一定遇到过RAG 向量库重启后索引清空用户检索全部失效Agent 对话日志、运行日志重启丢失无法排查问题Java 服务本地缓存、临时文件重启清空节点漂移、Pod 重建后数据直接归零根本原因容器默认文件系统是临时的、转瞬即逝的不具备持久化能力。本篇是云原生落地必不可少的存储闭环我将带你彻底吃透 K8s 全套存储体系针对性解决Milvus 向量数据、Agent 日志、模型文件、业务数据的持久化难题让你的 AI 项目彻底具备生产级稳定性。1. 容器默认存储致命缺陷必须改1.1 容器默认读写层特性前面讲 UnionFS 讲过容器运行时的读写层是临时存储。只要 Pod 删除、重建、重启、迁移读写层数据全部清空不可逆、不可恢复。这就导致向量库数据存在容器内 自杀式部署模型文件、缓存文件、日志文件全部不能落地所有有状态服务绝对不能使用默认容器存储1.2 K8s 存储核心分类K8s 将存储严格分为两类临时存储EmptyDir随 Pod 生命周期销毁持久化存储PV/PVC、本地盘、云盘集群级别永久留存2. EmptyDir 临时存储临时缓存、日志专属核心定位Pod 内部临时目录Pod 启动创建、Pod 销毁自动清空。2.1 核心特点同一 Pod 内多容器共享目录适合 Sidecar 日志采集节点宕机、Pod 重建数据直接丢失无需手动创建随 Pod 自动生成、自动销毁2.2 双栈项目适用场景只能用于非持久化、可丢弃数据Java 服务临时缓存、运行时临时文件Python Agent 临时日志、LLM 临时输出缓存Sidecar 日志中转、临时文件中转绝对禁止存放向量索引、模型权重、用户对话数据、业务数据、配置数据。3. PV PVCK8s 持久化存储核心模型生产重中之重想要数据永久留存必须掌握PV/PVC 存储体系这是 K8s 有状态服务的基石也是 Milvus、Redis、LLM 服务持久化的标准方案。3.1 核心概念通俗理解PVPersistentVolume 持久卷集群底层存储资源是「真实硬盘」PVCPersistentVolumeClaim 持久卷声明服务存储申请是「硬盘借条」核心关系Pod → PVC → PV → 真实磁盘本地/云盘解耦思想业务服务不需要关心存储是本地盘还是云盘只需要申请 PVCK8s 自动绑定对应 PV实现存储与业务解耦。3.2 PV 三种主流存储类型企业全覆盖3.2.1 LocalPV 本地磁盘物理机/自建集群首选直接使用集群节点本地硬盘速度最快、延迟最低。AI 项目黄金选择Milvus 向量库、模型文件存储、高频读写服务。缺点Pod 漂移到其他节点无法复用原节点数据需要配合节点亲和固定节点部署。3.2.2 云厂商磁盘阿里云/腾讯云/AWS云盘、弹性块存储支持节点漂移、自动迁移、高可用。适合云上生产、数据不允许丢失、需要随时迁移的业务服务。3.2.3 NFS 共享存储传统集群通用网络共享盘多节点共享读写适合日志汇总、静态资源存储。3.3 读写权限与回收策略生产必懂访问模式ReadWriteOnce单节点读写绝大多数数据库、向量库默认ReadOnlyMany多节点只读ReadWriteMany多节点读写日志、静态文件回收策略Retain保留数据手动清理生产推荐Delete删除 PVC 自动删数据测试用Recycle自动清空数据基本淘汰4. 双栈项目专属存储落地规范Java Agent 向量库我结合整套 AI 云原生架构给你一套可直接上线的存储选型标准彻底终结存储选型混乱。4.1 Python Agent / RAG 服务存储规范向量库 MilvusLocalPV 高速本地盘低延迟、高吞吐保障检索性能模型文件、Embedding 权重LocalPV 固定节点存储避免重复下载模型对话日志、LLM 调用日志共享存储 / 云盘持久化留存、用于审计复盘临时推理缓存EmptyDir 临时存储无需持久化4.2 Java 微服务存储规范业务日志、操作日志PVC 持久化存储配合日志收集业务附件、上传文件云盘 / 共享存储支持节点漂移临时缓存EmptyDir提升读写速度、不占用持久化空间5. 有状态服务 VS 无状态服务存储核心区别5.1 无状态服务DeploymentJava 业务、Agent 纯逻辑服务自身不存数据数据全部存在中间件。存储需求仅日志、临时缓存、配置挂载。5.2 有状态服务StatefulSetMilvus、Redis、MySQL、ES 等自身存核心数据的组件。必须使用固定 PVC、固定网络标识、有序 Pod 管理保证数据不混乱、不丢失。生产铁律向量库、数据库绝对不能用 Deployment 部署6. 生产高频存储故障排查实战总结Pod 重启数据丢失未挂载 PVC用的是容器临时读写层向量库重启索引丢失未使用 LocalPV/云盘持久化数据存在容器内Pod 调度失败、PVC 挂载失败存储权限不足、路径不存在、访问模式不匹配节点漂移后服务异常LocalPV 未固定节点亲和漂移后找不到原数据目录磁盘占用越来越大未配置存储清理策略、日志未切割、临时文件堆积7. 总结容器默认存储临时易失所有生产数据必须手动挂载持久化存储EmptyDir 适用于临时缓存、日志中转绝对不能存业务/向量数据PV/PVC 是 K8s 存储标准模型实现业务与底层存储解耦AI 向量库优先 LocalPV 高性能本地盘云上业务优先云盘高可用存储区分有状态、无状态服务针对性选择存储方案彻底解决数据丢失顽疾
