《我用Java经验做了次 AI 项目最先失效的是旧方法》看起来是个大话题但真落到项目里常常就是几个具体选择。下面我尽量按实际开发时会遇到的问题来讲。摘要上个月我把一个内部审批流程改成了AI AgentDemo跑得很顺一上线就崩了。不是因为模型调错了也不是因为Prompt写得烂。是权限没配好日志找不到问题在哪出了异常连回滚点都定位不到。我花了一周时间才把这事理顺。今天想复盘的不是怎么写Prompt而是Java后端转大模型开发时哪些经验还能用哪些必须推翻重来。目录你带的Java经验哪些是真的值钱你必须补齐的AI技能顺序别搞反Spring AI和LangChain4j怎么选从Demo到上线你缺的那30%面试准备别只准备Prompt总结一下你带的Java经验哪些是真的值钱先说好消息你的后端经验没白给。大模型应用开发90%的活儿还是工程问题。我见过太多人盯着模型调参、研究各种RAG技巧结果项目一上线权限、日志、异常处理全崩。这些是Java开发者的基本盘你在Spring Boot里踩过的坑在大模型项目里照样会踩。具体说以下三点最值钱第一对HTTP协议的理解。 大模型API本质就是REST接口请求、响应、超时、重试这些概念你熟得很。很多转大模型的人连异步请求和同步请求的区别都搞不清楚直接上手就踩坑。第二对配置管理的敏感度。 模型Endpoint、API Key、超时时间、重试策略这些配置怎么管、怎么热更新、怎么区分环境Java开发者天生就有这个意识。第三对事务和一致性的直觉。 Agent执行多步操作时怎么保证中间状态不丢失、出错了怎么回滚这些思路和分布式事务是相通的。但我必须说一个残酷的事实这些经验在AI项目里只值30%的分数。剩下的70%是你从来没碰过的东西。你必须补齐的AI技能顺序别搞反我见过太多人上来就学LangChain结果连基本概念都没搞懂。我的建议是按这个顺序来第一阶段理解模型能力边界。 别一上来就写代码先搞清楚大模型能做什么、不能做什么。我推荐的做法是用同一个Prompt分别问GPT-4、Claude 3.5、国产模型对比输出质量。你会发现有些任务国产模型完全做不了有些任务GPT-4会幻觉得很严重。第二阶段掌握Prompt工程基础。 不是背模板而是理解为什么有的Prompt有效、有的无效。我建议在Playground里反复测试记录每次改动带来的变化。第三阶段学习RAG和工具调用。 这是大模型应用的核心。RAG不是简单地把文档切块丢进去工具调用也不是调个API就完事。我见过太多人把RAG做成了关键词搜索把工具调用做成了串行执行效率极低。第四阶段理解Agent架构。 LangGraph、AutoGen这些框架本质都是状态机的实现。Java开发者学这个应该很快因为你们天天和状态机打交道。我踩过的最大坑是以为学会了调API就能做项目。结果一上手才发现权限管理、日志追踪、异常兜底这些才是上线的生死线。Spring AI和LangChain4j怎么选这两个框架我都用过直接说结论如果你熟悉Java生态选LangChain4j。它的API设计和Spring Boot很像概念直观社区活跃。我推荐从官方文档的Quickstart开始跑通一个最简单的对话应用。如果你需要深度集成Spring生态选Spring AI。它和Spring Boot的整合很自然配置方式你一看就懂。但它的抽象层级更高有时候反而不方便调试。我的建议是先用LangChain4j跑通一个完整的项目理解基本概念然后再看Spring AI有没有更好的封装。代码层面我分享一个我实际用过的工具调用示例// 工具定义查询订单状态 Component public class OrderTool { Tool(description 根据订单号查询订单状态) public String getOrderStatus(ToolParam(订单号) String orderId) { // 这里调用你的服务层 Order order orderService.findById(orderId); if (order null) { return 订单不存在; } return String.format(订单%s的状态是%s更新时间%s, order.getId(), order.getStatus(), order.getUpdateTime()); } } // 配置工具调用 Configuration public class AiConfig { Bean public ChatClient chatClient(ChatModel chatModel, OrderTool orderTool) { return ChatClient.builder(chatModel) .defaultTools(orderTool) .build(); } }这段代码看起来简单但有几个细节你必须注意第一工具描述要写清楚。 大模型是根据描述来决定是否调用工具的描述写得不清楚模型就不会调用。第二工具返回必须是字符串。 大模型不理解复杂对象你返回什么格式它才能正确解析。第三工具调用有次数限制。 我见过有人把工具调用放在循环里结果模型反复调用同一个工具直接超时。从Demo到上线你缺的那30%这才是这篇文章最想讲的部分。我的Agent项目上线崩了之后我花了大量时间补这三块权限、日志、可观测。权限问题我踩的坑是以为用API Key就能控制访问结果发现模型可以调用任何工具包括删除数据的工具。我最后的解决方案是在工具层加权限校验而不是在模型层。// 工具层权限校验 Tool(description 查询用户订单) public String queryUserOrders(ToolParam(用户ID) String userId) { // 校验当前用户是否有权限查询这个用户的订单 if (!authService.hasPermission(userId, order:query)) { return 无权访问; } return orderService.findByUser(userId); }日志问题我踩的坑是只打了模型调用的日志没打工具调用的日志出了问题根本定位不到。我的解决方案是用MDC把TraceId贯穿整个调用链。// 工具调用日志 Aspect Component public class ToolCallLoggingAspect { Around(annotation(tool)) public Object logToolCall(ProceedingJoinPoint joinPoint, Tool tool) throws Throwable { String traceId MDC.get(traceId); log.info([Trace:{}] 调用工具: {}, 参数: {}, traceId, tool.description(), joinPoint.getArgs()); long start System.currentTimeMillis(); Object result joinPoint.proceed(); long cost System.currentTimeMillis() - start; log.info([Trace:{}] 工具返回: {}, 耗时: {}ms, traceId, result, cost); return result; } }可观测性问题我踩的坑是不知道模型调用成功率、工具调用成功率、平均响应时间这些指标。我后来接入了Micrometer把关键指标都暴露出来。这三块补完之后我的项目才真正能上线。面试准备别只准备Prompt我面试过不少转大模型的Java开发者发现一个现象很多人能背出各种框架的用法但问到线上问题完全不知道怎么说。我的建议是第一准备一个完整的项目案例。 不是Demo是一个真正上线过的项目。重点讲清楚权限怎么设计的、日志怎么打的、异常怎么兜底的、出了问题怎么定位的。第二准备几个踩坑的故事。 我面试时最喜欢问你遇到过最棘手的问题是什么怎么解决的 能讲清楚这个问题的基本都能过。第三别只准备技术要准备业务。 大模型应用最终是要解决业务问题的。你能不能说清楚你的项目解决了什么业务问题、带来了什么价值这比你会不会调API重要得多。总结一下Java转大模型开发我的判断是你的后端经验值30%剩下的70%是新的领域。但这70%不是遥不可及的它本质上是工程能力的延伸。权限、日志、可观测、异常处理这些你本来就会只是场景变了。我的建议是先用LangChain4j或Spring AI跑通一个完整的项目然后重点补权限、日志、可观测这三块。最后准备一个真正上线过的项目案例去面试。别被各种框架和技巧吓到大模型应用开发的本质还是工程问题。你带的经验没白给。资料展示下面是我整理的AI大模型学习资料和工具包预览适合收藏后按主题逐步学习。如果你想看完整资料目录可以在评论区留言「资料」也欢迎告诉我你更关注AI大模型里的哪类内容。