200条业务数据、零人工参与、10分钟跑完全部评测。含完整的评测流水线代码模型评测最烦的是什么——每个月模型一更新就得重新测一遍。200 条测试数据、人工看至少两小时。我们后来搞了一套自动化评测流水线——让 AI 当裁判去评 AI——现在 10 分钟跑完全部。核心思路——用AI评测AI评测流水线四步准备50条业务数据 → 同一条数据发给两个模型拿到两份输出 → 让 Claude 盲评两份输出哪份更好 → 统计结果谁赢得多。整个流程零人工参与。import jsonfrom openai import OpenAIclient OpenAI(api_keytk-xxx, base_urlhttps://api.tokenstar.world/v1)def evaluate_models(test_data, model_a, model_b, judgeclaude-opus-4.6):results {a_wins: 0, b_wins: 0, tie: 0}for item in test_data:resp_a client.chat.completions.create(modelmodel_a, messages[{role:user,content:item[prompt]}])resp_b client.chat.completions.create(modelmodel_b, messages[{role:user,content:item[prompt]}])judge_prompt f两段回复哪段更好? A: {resp_a.choices[0].message.content}\n\nB: {resp_b.choices[0].message.content}judge_resp client.chat.completions.create(modeljudge, messages[{role:user,content:judge_prompt}])verdict judge_resp.choices[0].message.contentif A更好 in verdict: results[a_wins] 1elif B更好 in verdict: results[b_wins] 1else: results[tie] 1return results实践效果我们用这套流程对比过 DeepSeek 和 GPT 在中文客服场景的表现——Claude 评审的结果和后来人工复核的相关性达到 0.86置信度相当高。整个流程从准备数据到出结论——不用 10 分钟。传统人工方式至少两小时。每个月模型更新的时候跑一遍——团队不用浪费人力在重复评测上。TokenStartokenstar.world上一个 Key 同时调用评测所需的所有模型——当选手的 DeepSeek 和 GPT、当裁判的 Claude Opus——全在同一个平台。不需要在三套 API 之间传数据。
