一、评测的工程界维度评测不只有一个维度。工程界从四个维度刻画评测，每个维度上都需要做出选择。维度 1：粒度 – 端到端 vs 组件级端到端评测（end-to-end）: 输入 - [整个应用] - 输出 评最终输出质量 适合: 验证整体效果 组件级评测（component-level）: 输入 - [节点1] - [节点2] - [节点3] - 输出 评每个节点的输入输出 适合: 定位问题节点DeepEval 明确区分端到端评测和组件级评测（span 级），Langfuse 支持对 trace 中任意节点打分。粒度选择取决于：验证整体效果用端到端，定位问题用组件级。维度 2：时机 – 离线 vs 在线离线评测（offline）: 开发期，用预定义测试集 "发布前能不能用？" 在线评测（online）: 生产期，对真实流量打分 "线上有没有出问题？"Langfuse、Phoenix、DeepEval 均支持在线评测–对生产 trace 实时打分，发现静默失败。在线评测已有实践工具，仍在发展中。详见⑤ 评测工程化。维度 3：判分来源 – LLM / 代码 / 人工 / 用户反馈LLM-as-judge: 用 LLM 评判输出质量（无真值时的默认选择） 代码评测: 用规则/断言判分（有真值时，便宜可靠） 人工标注: 人工审核打分（金标准，不可规模化） 用户反馈: 收集真实用户评价（真实但稀疏）Langfuse 把评测方法分为：LLM-as-a-judge、code evaluators、user feedback、manual labeling、custom pipelines。这是工程界对判分来源的共识分类。维度 4：目的 – 回归 / 监控 / 实验 / 告警回归测试: 防止改 A 破坏 B 质量监控: 持续评估输出质量 A/B 实验: 对比版本差异 异常告警: 检测突发质量下降四个维度正交：一次完整的评测需要在每个维度上做出选择。例如"对天气查询工作流做离线 + 端到端 + 代码评测 + 回归测试"是一组完整选择。二、评测方法：学界分类学界对评测方法有不同的分类视角。综述论文（Chang et al., “A Survey on Evaluation of Large Language Models”, arXiv:2307.03109, ACM TIST 2023）将评测方法分为 6 类：方法说明代表自动评测用计算指标定量评估Exact Match、F1、ROUGELLM-as-judge用 LLM 评判另一个 LLM 的输出G-Eval、PandaLM人工评测人工评估主观质量评分规则、专家评估
