文章目录DeepEval简介DeepEval 的目标用户是谁使用 DeepEval 进行智能体编码选择你的道路首先要明确一个使用场景。人工智能代理聊天机器人RAG核心组成部分测试用例数据集指标痕迹两种评价模式端到端LLM评估组件级LLM评估DeepEval 生态系统自信的人工智能深团队设计理念模块化设计DeepEval简介DeepEval是一个开源的 LLM 评估框架适用于 LLM 应用。DeepEval 让 LLM应用的构建和迭代变得极其简单其设计理念遵循以下原则使用 Pytest 风格的断言对 LLM 输出进行单元测试。使用 50 多个现成的指标包括 LLM 作为评判标准、代理、工具使用、对话、安全、RAG 和多模态指标。评估 AI 代理、对话代理聊天机器人、RAG 管道、MCP 系统和其他自定义工作流程。同时运行端到端评估和组件级评估并启用跟踪功能。针对难以手动收集的极端情况生成合成数据集。当内置行为不足以满足需求时可以自定义指标、提示、模型和评估模板。DeepEval采用本地优先策略您的评估将在您自己的环境中运行。当您的团队需要共享仪表板、回归跟踪、可观测性或生产监控时DeepEval 可与Confident AI 原生集成。[!note] Note在Cursor、Claude Code、Codex、Windsurf或任何其他 AI 编程工具中安装 DeepEval 技能 粘贴一个初始提示编程代理将完成剩余的工作。点击此处 开始。DeepEval 的目标用户是谁DeepEval 的设计面向技术用户主要用户群体需要评估代理、RAG 管道、工具调用和生产 LLM 工作流程的AI 工程师为 AI 行为编写单元测试并在 Claude Code 和 Codex 等代理编码工具中使用评估。数据科学家希望进行可重复的实验以比较提示、模型、数据集和指标分数。QA人员需要在变更上线用户之前对AI行为进行可靠的回归测试。精通技术的项目经理希望定义质量标准、检查故障并跟踪产品变更是否能提高 AI 输出。使用 DeepEval 进行智能体编码除了使用 DeepEval 构建评估套件和管道之外DeepEval 的 CLI 评估功能使其成为 Claude Code、Codex 和Cursor 等 vibe 编码代理的最佳评估工具之一。下图解释了 DeepEval 如何参与您的迭代周期而不仅仅是作为最终验证检查。选择你的道路首先要明确一个使用场景。或者如果您已经有了具体的用例可以尝试我们针对特定用例的快速入门指南人工智能代理聊天机器人RAG核心组成部分这些概念贯穿整个 DeepEval学习这些基本概念至关重要测试用例您想要评估的单个行为任务输入、代理输出、预期行为、工具、上下文和元数据。数据集一系列黄金法则使得评估能够在不同的提示、模型和版本之间重复进行。指标评分逻辑用于确定代理响应、跟踪、跨度或输出是否满足您的标准。痕迹代理的步骤、跨度、输入、输出、工具调用和组件行为的运行时记录。两种评价模式DeepEval 支持两种互补的应用程序评估方式了解哪种些方式更适合您非常重要端到端LLM评估最适合原始 LLM API、简单应用程序、聊天机器人和黑盒质量检查。组件级LLM评估最适合代理、使用工具的工作流、MCP 系统和复杂的多步骤应用程序。您可以单独使用任一模式也可以将它们结合起来对整个跟踪进行评分以获得整体任务质量然后对各个跨度进行评分以找出故障发生的位置。DeepEval 生态系统DeepEval 可以独立运行但当您的工作流程需要协作、监控或安全测试时它还可以连接到相邻的工具。自信的人工智能一个用于共享评估仪表板、回归分析、可观测性和监控的 AI 质量平台。深团队用于对 LLM 应用程序进行红队演练以发现漏洞的安全测试框架。设计理念DeepEval 的设计理念很简单评估应该符合团队实际迭代的方式。模块化设计DeepEval 提供构建自定义评估流程所需的基本模块测试用例构建要评估的输入、输出、预期行为、上下文、工具和元数据。数据集组织可重用的黄金数据集用于回归测试、实验和 CI/CD。指标定义如何对输出、跟踪和跨度进行评分。跟踪trace 捕获执行期间发生的事情以便您可以评估整个运行或单个组件。合成数据生成当您没有足够的示例时生成测试数据。你可以通过 DeepEval的内置工作流程将它们组合使用或者根据系统的具体需求自行组合。该框架具有足够的规范性可以确保评估结果的可重复性但并不会强制你使用单一的固定流程。
