5 类能力场景本质能力AI 待办自然语言理解 任务结构化 提醒/执行AI 处理文件事务文档解析 信息抽取 业务动作触发AI 流程意图识别 流程编排 节点决策语义识别NLU / 分类 / 实体抽取文件检索RAG检索增强生成 向量检索内部项目最大的优势不必追求通用 SaaS 能力可以按部门场景做深、做窄成本能控很多。一、总体架构建议分层不要一把梭核心原则业务系统不直接调大模型统一走 AI 接入层按场景拆能力不要一个「万能 AI 接口」能检索的不全量喂给模型能规则化的不全用模型内部项目优先「够用 可控成本」不追求最前沿二、你需要新增哪些功能模块模块 1AI 网关 / AI 编排层必做这是整个方案的「中枢」建议作为 Spring Boot 里的独立模块或独立服务。职责统一接收 AI 请求聊天、文件处理、流程触发统一鉴权、限流、日志、审计管理 Prompt 模板按场景切换决定走「直接问答 / RAG 检索 / 工具调用 / 流程引擎」统一封装各家大模型 API避免业务代码散落调用为什么必做否则每个业务模块自己调模型后期 Prompt 混乱、成本不可控、无法审计。模块 2Prompt 与场景模板管理必做内部项目也要做但可以做得很轻。建议管理的场景模板场景模板用途AI 待办把自然语言转成待办字段文件事务从合同/报销单/通知里抽关键信息AI 流程判断用户意图决定走哪个流程语义识别分类、实体抽取、情感/意图判断文件检索检索后组织回答低成本做法先放数据库或 YAML 配置不必一开始做可视化平台每个场景 13 个固定 Prompt 就够版本号 修改记录即可模块 3文档处理中心强烈建议服务于AI 处理文件事务 文件检索需要的能力能力说明文件上传与存储对接现有 OSS/MinIO/本地存储格式解析PDF、Word、Excel、PPT、图片文本切块长文档切片便于检索OCR可选扫描件、图片文字识别元数据提取文件名、上传人、部门、业务类型异步处理大文件解析走 MQ不阻塞接口推荐策略结构化文件Excel 表格→ 优先程序解析不全扔给 AI半结构化合同、通知→ 解析 AI 抽取非结构化会议纪要→ 解析 摘要 入库检索模块 4向量检索 / RAG 服务文件检索必做文件检索如果只靠关键词搜索效果一般要做「语义检索」就需要 RAG。组成文件上传 → 解析文本 → 切块 → Embedding 向量化 → 存入向量库用户提问 → 问题向量化 → 检索相关片段 → 拼 Prompt → 大模型回答你需要新增Embedding 服务文本转向量向量数据库检索策略TopK、相似度阈值、重排序引用溯源回答附带原文档片段方便内部审计低成本向量库选择方案成本适合PostgreSQL pgvector很低数据量中小已有 PG 更佳Milvus 单机低文档量较大Elasticsearch 向量检索中已有 ES可复用云向量库中高不想自建运维内部项目建议 文档量 几十万片段优先 pgvector 或 Milvus 单机。模块 5语义识别服务可复用多个场景都会用到建议独立成通用能力。建议拆成 4 个子能力子能力用途示例意图识别判断用户想干什么「帮我提报销」→ 发起报销流程文本分类文件/消息归类合同、发票、通知、会议纪要实体抽取抽结构化字段金额、日期、对方单位、项目名称语义匹配相似问题/相似文档找类似历史案例降本技巧高频固定意图 → 先用规则/关键词分类场景稳定后 → 可训练小模型或微调复杂抽取再上 LLM模块 6AI 待办服务目标 用户说一句话系统自动生成待办并可关联业务。需要的能力自然语言输入解析待办字段结构化标题、截止时间、负责人、优先级、关联业务与现有待办/任务系统对接可选到期提醒、自动跟进、状态变更建议流程建议用户输入→ 语义识别意图创建待办→ LLM 抽取待办字段→ 规则校验负责人是否存在、时间是否合法→ 写入现有待办表→ 返回确认信息注意AI 只负责「理解 建议」最终创建待办建议保留人工确认内部系统更稳妥。模块 7AI 文件事务服务目标 上传文件后AI 自动完成分类、填单、发起流程、归档等事务。典型场景上传合同 → 自动识别甲乙方、金额、期限 → 生成合同登记上传发票 → 识别金额税号 → 发起报销上传会议纪要 → 提取决议事项 → 生成待办上传审批附件 → 判断附件类型是否齐全需要的能力文档分类关键信息抽取业务规则校验调用现有业务 API创建单据、发起流程人工确认页AI 预填 用户修改推荐模式AI 预填 人工确认不要全自动直通内部项目风险低很多。模块 8AI 流程服务目标 用自然语言驱动流程或让 AI 辅助流程决策。两种玩法玩法 A自然语言发起流程性价比高「我要申请采购笔记本预算 8000」→ 意图识别→ 匹配流程模板采购申请→ 自动填表→ 发起审批玩法 B流程节点 AI 辅助更实用审批前自动摘要申请内容自动判断风险点给审批人建议意见自动归类附件不建议一开始做让 AI 完全自主决定流程走向成本高、风险大、难审计。更稳的做法现有流程引擎Flowable / Camunda / 自研继续负责流转AI 只做识别意图、填参数、生成摘要、推荐审批意见模块 9工具调用 / Agent 能力中期再加当你希望 AI 不只「说」还能「做事」就需要工具调用。可注册给 AI 的内部工具示例查询待办创建待办查询文件发起流程查用户信息查项目/客户/合同内部项目建议第一阶段不做自由 Agent第二阶段做「固定场景 Agent」例如AI 秘书、AI 文件助手、AI 流程助手每个 Agent 只允许调用白名单接口这样比开放式 Agent 成本低、可控得多。模块 10审计、权限、成本控制必做内部项目反而更要重视因为涉及公司数据。必须具备能力原因操作审计谁问了什么、用了哪个文件、生成了什么结果数据权限只能检索本部门/本人有权限的文件敏感信息脱敏手机号、身份证、薪资等调用限额每人每天调用次数、每部门 Token 配额模型调用日志方便排错和优化 Prompt人工复核关键业务动作必须确认三、模型怎么选成本更低内部项目建议 「云 API 为主 本地开源为辅」 的混合策略。1. 大模型生成、理解、抽取优先考虑国内 API成本和接入都更友好模型适合场景成本特点通义千问通用理解、中文办公场景国内性价比高文心一言通用问答、文档理解国内生态好智谱 GLM抽取、对话价格适中DeepSeek推理、代码、复杂理解当前性价比很高建议日常办公场景选中 1 家主模型 即可不要多模型并存复杂推理少量使用可备一个便宜模型兜底2. Embedding 模型文件检索必用方案说明云厂商 Embedding API省事按量计费开源本地 Embedding成本低适合大量文档文档量大的内部系统Embedding 本地化 往往比 LLM 本地化更划算。3. 小模型 / 规则降本关键这些场景尽量别用大模型固定意图识别「创建待办」「发起流程」文件类型判断pdf/doc/xls简单字段校验关键词检索模板化回复经验法则能用规则解决的不上模型能用小模型的不上大模型必须用大模型的尽量先做 RAG少喂全文。四、结合你现有 Spring Boot 框架怎么接入最省事你现在是 Spring Boot 后台建议采用 「业务系统 AI 模块」而不是推翻重来。推荐接入方式现有 Spring Boot 项目├── system-module # 原有用户权限├── workflow-module # 原有流程├── file-module # 原有文件管理├── todo-module # 原有待办└── ai-module # 新增 AI 能力建议独立├── ai-gateway├── ai-prompt├── ai-document├── ai-rag├── ai-nlu├── ai-agent-tool└── ai-audit为什么建议独立 ai-module不污染原有业务代码模型供应商切换方便Prompt、日志、限流集中管理后期可拆成独立ai-service与现有系统的关系现有系统AI 如何接入待办系统AI 生成草稿确认后写入文件系统上传后异步解析入向量库流程系统AI 识别意图并预填表单权限系统检索和工具调用都走原权限消息系统AI 处理结果通过通知推送五、每个场景对应的最小实现方案场景 1AI 待办最小方案一个对话入口意图识别创建待办 / 查询待办 / 修改待办LLM 抽字段调现有待办 API 创建需要的功能Prompt 模板语义识别业务 API 对接人工确认不需要一开始做复杂 Agent自动执行所有办公动作场景 2AI 处理文件事务最小方案文件上传文档解析文档分类 字段抽取生成业务草稿人工确认提交需要的功能文档处理中心OCR按需抽取 Prompt业务单据映射规则关键点先挑 12 种高频文件做透比如「合同」「报销单」不要一开始支持所有文件类型场景 3AI 流程最小方案用户自然语言描述需求匹配流程模板AI 填表调用原流程引擎发起需要的功能意图识别流程模板映射表参数抽取流程引擎对接更划算的方向先做「自然语言发起流程」再做「审批摘要 / 风险提示」场景 4语义识别最小方案提供统一 NLU 接口支持分类、意图、实体抽取给 AI 待办、AI 流程、文件事务复用建议做成基础能力不要每个业务各写一套。场景 5文件检索最小方案文件上传后自动入库向量库用户自然语言提问检索相关片段LLM 基于片段回答并返回引用文件需要的功能文档切块Embedding向量库RAG 检索权限过滤这是最值得优先做的能力之一因为能立刻提升内部知识查找效率投入产出比高。六、低成本技术选型建议必选组件组件建议后端框架现有 Spring Boot大模型1 家国内 API通义 / DeepSeek 二选一Embedding云 API 起步量大后本地化向量库PostgreSQLpgvector 或 Milvus 单机文件存储现有 OSS/MinIO异步任务Redis MQRabbitMQ 即可文档解析Apache Tika / pdfbox / poi OCR 按需缓存Redis审计日志MySQL可暂缓组件组件原因自研 Agent 平台早期不需要模型微调先用 Prompt RAG复杂可视化 Prompt 平台先用配置表多模型路由平台一家主模型够用独立 AI 前端框架先嵌到现有后台页面七、成本怎么控1. 按场景计费不按「全站 AI 化」先上 3 个高价值场景文件检索知识问答AI 文件事务自动填单AI 待办自然语言创建任务流程类 AI 可以第三批再上。2. 控制 Token 消耗文档检索只喂 Top 35 片段不喂全文长文档先摘要再问答相同问题走缓存高频模板回复不走模型3. 异步化重任务这些操作不要同步调用大模型大文件解析批量入库长文档摘要历史文件重建索引4. 权限前置过滤检索前先按部门/项目过滤减少无效检索和胡答。5. 内部项目可自建一部分自建外包/API向量库大模型生成文档解析OCR看量Embedding量大时复杂推理流程编排—八、推荐实施路线最省钱第一期12 个月打地基目标 先让 AI 能查文件、能答问题建ai-module接入 1 家大模型 API文档上传解析向量检索 RAG权限过滤 审计日志交付效果「这份合同付款条件是什么」「上周会议纪要里有哪些待办」「找一下关于 XX 项目的采购文件」第二期12 个月接业务目标 AI 能帮你干活但不越权AI 待办AI 文件事务预填自然语言发起流程人工确认机制交付效果一句话创建待办上传发票自动生成报销草稿说一句话发起请假/采购流程第三期按需增强智能化审批摘要与风险提示固定场景 Agent部门知识库调用统计与成本看板模型效果评估九、你这个项目建议重点加的 8 个功能按优先级排序优先级功能价值P0AI 统一接入层后续所有能力基础P0文档解析与入库文件事务和检索都依赖P0向量检索 RAG文件语义检索核心P0权限与审计内部项目必做P1语义识别服务待办/流程/文件分类复用P1Prompt 场景管理控效果、控成本P1AI 待办用户感知强P2AI 流程辅助提升审批效率十、一个务实的最终方案如果你现在要的是「能落地、成本低、别折腾」我建议你这样定架构定案继续在 Spring Boot 上加独立ai-module大模型用 1 家国内 API文件检索用 RAG 向量库业务流程继续走你现有流程引擎AI 只做理解、抽取、检索、预填、摘要关键动作全部 人工确认能力定案场景实现方式AI 待办NLU 字段抽取 待办 APIAI 文件事务文档解析 分类抽取 业务草稿AI 流程意图识别 模板映射 流程发起语义识别独立基础服务文件检索向量库 RAG成本定案不做自研大模型不做开放式 Agent不做全类型文件一次性支持先做 1 个知识库检索 1 种文件事务 1 种流程场景跑通后再扩十一、一句话结论最低成本的内部 AI 方案不是「给 Spring Boot 接一个大模型」而是「AI 接入层 文档中心 RAG 检索 语义识别 业务工具调用 人工确认」。你最应该先做的 3 件事文件语义检索RAG —— 见效快、复用高AI 文件事务预填 —— 直接省人工AI 待办 / AI 发起流程 —— 用户感知最强
