前言为什么选择这条路2026年6月底当我们看到NVIDIA DGX Spark多模态Agent黑客松的赛事通知时团队内部有过一番激烈讨论。参赛方向有四个候选数字偶像出道大师—— 虚拟数字人直播与互动系统Blender场景搭建大师—— 自动化3D场景构建与优化3D模型诊断专家/助教—— 智能质检与修复建议系统具身智能医疗诊断大师—— 医疗影像分析与诊断辅助我们最终选择了第三条路3D模型诊断专家/助教 角色资产自动化生产的结合。原因很简单独立游戏开发者和虚拟内容创作者每天都在重复做着同一件事—— 从概念图到可用的3D角色这个过程需要跨越概念设计、建模、拓扑、UV、绑骨等多个专业环节而现有的工具链各自为政缺乏智能化 orchestration。我们的目标不是another ComfyUI wrapper而是构建一个真正能理解创作意图、执行质量控制、管理资产谱系的多智能体系统。Day 1-2技术选型与架构博弈最初的愿景 vs 现实约束最初的PRD产品需求文档写得很理想Vue 3 FastAPI SSE Redis Celery Kubernetes... 但当我们实际评估五天开发周期时发现这些技术选型存在严重问题Redis/Celery增加了部署复杂度单机单用户场景下杀鸡用牛刀Kubernetes完全偏离了桌面式应用的定位OpenCode ServerAgent框架选型成本高且我们只需要十余个领域工具Day 2晚上的关键决策放弃微服务幻想采用模块化单体架构。最终技术栈 ├── 前端React 19 Vinext TypeScript Three.js ├── 后端Node.js 22 原生HTTP不用FastAPI ├── 数据库SQLiteWAL模式 ├── Agentpi-agent-core pi-aiStepFun兼容层 ├── GPU任务固定Python子进程 ComfyUI HTTP API └── 部署Windows本地控制台 DGX Spark计算面这个决策后来被证明是正确的 —— 整个系统在单台Windows机器上就能完整运行不需要Docker、不需要K8s、不需要复杂的CI/CD。Agent架构从单Agent到多专业角色Day 1的错误思路做一个万能Agent通过system prompt让它完成所有工作。Day 2的觉醒评委一眼就能看出伪多智能体 —— 如果所有Agent只是名字不同实际上都调用同一个Prompt那还不如单Agent。真正的多智能体设计用户 │ ├─ Coordinator工作空间级总调度 │ ├─ 分析多角色合集图 │ ├─ 创建工作空间 │ └─ 委派任务给Asset Agent │ └─ Asset Agent每个Run独立会话 └─ Supervisor唯一编排者 ├─ Art Director提示词审查 ├─ Visual QA姿态质检 ├─ Character Consistency身份一致性 ├─ Asset InspectorGLB结构检查 ├─ Rigging QA绑骨检查 ├─ Export Specialist导出检查 └─ Workflow Doctor失败诊断关键设计原则结构化消息协议每个专业Agent通过固定JSON Schema提交报告不是自由文本确定性证据优先SDPose关键点、背景像素、GLB mesh/skin/joints由程序解析模型只能解释证据最小权限专业Agent没有Shell、Git、文件读写权限冲突仲裁Visual QA Character Consistency SDPose三重门禁必须全部放行Day 3DGX Spark适配与AArch64陷阱128GB统一内存的真正价值DGX Spark specsCPUARM Cortex-A78AE (8核)内存128GB LPDDR5X 统一内存GPUBlackwell架构20 TFLOPS FP4很多团队把DGX Spark当成普通GPU服务器用只启动一个7B模型。但我们意识到128GB统一内存的真正价值在于可以同时加载多个大模型。我们的DGX端工作负载ComfyUI加载Qwen Image文生图ComfyUI加载SDPose姿态检测ComfyUI加载Pixal3D图生3DComfyUI加载SkinTokens自动绑骨独立AutoRemesher服务拓扑优化这些模型同时在内存中通过CPU调度避免了频繁的显存 swapping。AutoRemesher的AArch64灾难Day 3下午的危机AutoRemesher在DGX Spark上无法启动。错误日志 ./autoremesher: 1: Syntax error: ( unexpected经过排查发现AutoRemesher的Geogram库包含x86汇编优化代码在ARM64上直接崩溃。解决方案从Geogram源码移除x86汇编路径添加ARM64编译补丁重新编译AutoRemesher添加Blender基础色回烘桥接原始AutoRemesher不支持纹理烘焙这个经历后来成为我们技术博客的重要素材 ——在黑客松中解决AArch64兼容性问题。ComfyUI工作流集成我们集成了四个核心ComfyUI工作流阶段工作流模型输入输出2D生成2D_Gen_QwenImage2512.jsonQwen Image FP8 LoRA提示词种子PNGT-Pose QATPose_QA_SDPose.jsonSDPose Wholebody图片关键点JSON覆盖图3D生成3D_Gen_Pixal3D.jsonPixal3D/TRELLIS2T-Pose图GLB自动绑骨3D_Skin_SkinTokens.jsonSkinTokens拓扑GLBRigged GLB关键优化Qwen Image使用FP8量化 4-step Lightning LoRA生成时间从45秒降到12秒Pixal3D使用BF16精度输出mesh经过网格简化SkinTokens输出49个joints符合Mixamo命名规范Day 4-5多智能体协作的实现细节Agent Runtime选型为什么选择Pi我们对比了OpenCode、LangChain、自实现三种方案方案优点缺点决策OpenCode Server功能完整需要额外部署、学习成本高❌ 放弃LangChain生态丰富太重、抽象层过多❌ 放弃Pi (pi-agent-core)轻量、直接StepFun兼容、受控Tool Calling文档较少✅采用Pi的优势进程内Runtime不需要额外服务原生支持StepFun OpenAI兼容API提供受控的Tool Calling Loopsequential execution支持reasoning effort控制low/medium/high结构化Agent报告的实现每个专业Agent只能通过唯一的工具提交结构化报告// Visual QA的输出Schema const VISUAL_QA_SCHEMA Type.Object({ assetKind: Type.Union([Type.Literal(humanoid), Type.Literal(non_humanoid), Type.Literal(unknown)]), fullBody: Type.Boolean(), singleSubject: Type.Boolean(), frontFacing: Type.Boolean(), armsHorizontal: Type.Boolean(), limbsUnoccluded: Type.Boolean(), handsEmpty: Type.Boolean(), whiteBackground: Type.Boolean(), identityConsistent: Type.Union([Type.Boolean(), Type.Null()]), confidence: Type.Number({ minimum: 0, maximum: 1 }), issues: Type.Array(Type.String({ maxItems: 20 })), decision: Type.Union([ Type.Literal(pass), Type.Literal(repairable), Type.Literal(manual_review), Type.Literal(reject) ]), summary: Type.String({ maxLength: 500 }) });关键机制Agent只能调用submit_visual_qa_report一次多次调用会报错报告保存在agent_reports表与agent_role_runs关联后端进行自洽校验如果Agent报告说handsEmptytrue但文字描述中提到手持武器则强制修正为false// Visual QA自洽校验逻辑 const heldPropEvidence hasPositiveEvidence(/(?:手持|拿着|握着)[^。\n]{0,24}(?:武器|道具|刀|剑|枪)/gi); const normalized { ...report, handsEmpty: heldPropEvidence ? false : report.handsEmpty, whiteBackground: nonWhiteBackgroundEvidence ? false : report.whiteBackground };PromptPolicy确定性补齐硬约束Art Director审稿后系统会确定性补齐8类T-Pose约束const REQUIRED_TPOSE_CONSTRAINTS [ { label: 单人主体, pattern: /单人|1\s*个|one\s(person|character|subject)/i }, { label: 完整全身, pattern: /完整全身|全身出镜|full[- ]?body/i }, { label: 严格正视, pattern: /严格正视|正面朝向|front[- ]?facing/i }, { label: T-Pose, pattern: /t[- ]?pose|t\s*姿势/i }, { label: 双臂水平伸展, pattern: /双臂水平|手臂水平|arms?\s(fully\s)?horizontal/i }, { label: 肢体无遮挡, pattern: /肢体无遮挡|无遮挡|unoccluded/i }, { label: 双手完全空置, pattern: /双手(?:完全)?空置|empty[- ]?hands/i }, { label: 纯白背景, pattern: /纯白背景|白色背景|white background/i } ];如果Art Director遗漏了某些约束PromptPolicy会自动追加确保生成质量。Day 6-7状态机与质量门禁七阶段状态机DRAFT → CONCEPT_GENERATING → CONCEPT_REVIEW → TPOSE_GENERATING → TPOSE_REVIEW → MODEL_GENERATING → MODEL_REVIEW → RIGGING → RIG_REVIEW → READY_TO_EXPORT关键规则任何生成状态都可进入FAILED或CANCELLED重试创建新的JobAttempt不覆盖历史结果非人形从MODEL_REVIEW直接进入READY_TO_EXPORT每次跨越高成本阶段必须记录确认人、确认时间和输入资产ID三重质量门禁第一层SDPose硬门禁程序化检查不可绕过// SDPose判定规则 const TPOOSE_RULES { minConfidence: 0.8447, // 关键点置信度阈值 maxArmHorizontalError: 0.25, // 双臂相对肩宽的最大垂直误差 minElbowAngle: 150, // 左右肘夹角度 maxShoulderTilt: 16, // 肩线倾斜度 minBodyCoverage: 0.7261, // 身体覆盖率 minScore: 80 // 综合得分 };真实测试数据2026-07-18 E2E验证Score: 94 / 100 minConfidence: 0.8447 armHorizontalError: 0.0712 rightElbowAngle: 172.75° leftElbowAngle: 172.88° bodyCoverage: 0.7261第二层Visual QA Character ConsistencyAgent语义复核Visual QA检查姿态、背景、主体、遮挡Character Consistency比对概念图与T-Pose的身份锚点第三层GLB结构硬门禁// 静态GLB检查 if (inspection.meshCount 0) { return reject(GLB硬门禁未检测到mesh); } // 绑骨GLB检查 if (inspection.skinCount 0 || inspection.jointCount 0) { return reject(GLB硬门禁未检测到skin/joints); }真实产物验证SkinTokens输出文件大小: 45,726,624 bytes GLB: glTF 2.0 nodes: 51 meshes: 1 skins: 1 ← 必须有 joints: 49 ← 必须有 materials: 1Day 8Blender桥接与拓扑优化AutoRemesher的局限原始AutoRemesher只做拓扑重建不支持基础色纹理回烘平滑顶点法线边界与硬边保留Blender桥接实现我们编写了blender_bridge.py在AutoRemesher完成后自动调用Blenderimport bpy import sys def bake_base_color(original_glb, retopologized_glb, output_glb): # 1. 加载原始GLB和拓扑GLB bpy.ops.import_scene.gltf(filepathoriginal_glb) original_obj bpy.context.selected_objects[0] bpy.ops.import_scene.gltf(filepathretopologized_glb) retopo_obj bpy.context.selected_objects[0] # 2. 复制原始材质到拓扑模型 for mat_slot in original_obj.material_slots: retopo_obj.data.materials.append(mat_slot.material) # 3. 使用原始模型的UV进行纹理烘焙 bpy.context.scene.render.engine CYCLES bpy.context.scene.cycles.samples 256 for material in retopo_obj.data.materials: if material.use_nodes: bsdf material.node_tree.nodes[Principled BSDF] base_color_input bsdf.inputs[Base Color] # 创建临时图像纹理节点 tex_node material.node_tree.nodes.new(ShaderNodeTexImage) img bpy.data.images.new(namefbake_{material.name}, width2048, height2048) tex_node.image img # 烘焙 material.node_tree.nodes.active tex_node bpy.ops.object.bake(typeDIFFUSE, pass_filter{COLOR}) # 保存图像 img.filepath_raw foutput/bake_{material.name}.png img.save() # 4. 导出最终GLB bpy.ops.export_scene.gltf(filepathoutput_glb, export_formatGLB)关键优化60°夹角写入平滑顶点法线保留边界与高角度硬边直接使用原始模型的UV坐标避免重新展开导致的纹理拉伸Day 9持久化与资产谱系为什么需要谱系管理在角色迭代过程中一个角色可能有多个版本Concept v3 ├── T-Pose A1 (选中) │ ├── Unrigged GLB A1-1 │ │ └── Rigged GLB A1-1-R (最终) └── T-Pose A2 (未选中标记为STALE) └── Unrigged GLB A2-1 (STALE)STALE传播机制-- 当概念图修改时所有下游资产标记为STALE UPDATE assets SET status stale WHERE id IN ( SELECT target_asset_id FROM asset_edges WHERE source_asset_id ? AND relation_type derived );持久化执行计划用户说帮我一路生成到模型后系统需要跨越多个异步Job自动恢复编排// agent_workflow_plans表 { run_id: run_001, target: rigged_model, // 目标终点 target_stage: 5, // 绑骨阶段 status: running, // 运行中 message: 已完成3D生成等待自动拓扑, created_at: 2026-07-21T10:00:00Z, updated_at: 2026-07-21T10:05:00Z }恢复逻辑Job完成后检查是否存在活跃的agent_workflow_plan如果存在自动推进到下一阶段如果质量门禁失败标记plan为blocked服务重启后运行中的plan标记为failed避免虚假成功Day 10调试、测试与演示准备真实E2E测试记录测试任务ID6251e426-c2a2-47c7-9a3c-4607555aba13完整链路✅ 2D生成Prompt2a4bb12f-2f32-4a35-b739-31acf492f681✅ T-Pose QAScore 94/100minConfidence 0.8447✅ 3D生成Prompt2bbe05b5-583a-45be-bae8-66ea66b88772文件大小36.8MB✅ 自动拓扑四边面重建基础色回烘✅ 自动绑骨Promptbc87f335-023d-4d2f-8f18-7074a532568b文件大小45.7MB49个joints耗时统计2D生成12秒FP8 4-step LoRAT-Pose QA3秒SDPose3D生成45秒Pixal3D BF16自动拓扑8秒AutoRemesher 5秒Blender回烘自动绑骨18秒SkinTokens总耗时约91秒不含人工确认等待时间三个失败案例分析案例1SDPose姿态不合格现象双臂角度只有120°要求≥150°系统行为QA状态标记为failed自动流水线暂停通知用户未行为未自动绕过门禁进入3D案例2非人形输入现象用户上传了一张马的图片系统行为Asset Inspector检测到无humanoid特征跳过绑骨阶段未行为未错误执行SkinTokens案例3GLB结构损坏现象Pixal3D输出GLB文件头损坏系统行为解析器检测到无效的glTF magic header拒绝注册资产未行为未将损坏文件继续传递到下游这三个案例证明了系统的失败时暂停机制有效不会为了演示而伪装成功。技术亮点总结1. 多智能体不是伪协作我们实现了9种逻辑角色、7个专业Agent、2级编排体系Coordinator工作空间层Supervisor 7个专业Agent任务层每个Agent有独立的系统提示词唯一的输入输出Schema明确的权限边界能做什么、不能做什么最大turn限制最多4轮单次报告机制只能提交一次结构化报告2. 确定性门禁 模型复核的混合架构确定性硬门禁程序代码不可绕过SDPose关键点置信度、角度、覆盖率背景像素检测纯白/非纯白GLB文件头、mesh数量、skin/joints存在性模型语义复核Agent解释可被硬门禁覆盖Visual QA的姿态语义检查Character Consistency的身份锚点比对Asset Inspector的结构指标解释3. DGX Spark的全栈能力挖掘128GB统一内存同时加载Qwen Image、SDPose、Pixal3D、SkinTokensARM64适配修复AutoRemesher的Geogram汇编问题Tailscale私网Windows控制台通过私网访问DGX服务真实指标展示/api/system透传ComfyUI的system_stats4. Blender自动化集成AutoRemesher拓扑重建后的基础色回烘60°夹角平滑法线边界与硬边保留UV坐标复用避免纹理拉伸遇到的坑与解决方案坑1Node.js原生SQLite的坑问题node:sqlite在Node 22中还是实验性模块某些SQL语法支持不完整。解决使用PRAGMA foreign_keys ON确保外键约束迁移脚本中使用ALTER TABLE的兼容写法WAL模式需要显式设置PRAGMA journal_mode WAL坑2Agent上下文窗口爆炸问题如果每次Agent调用都载入完整对话历史token消耗会迅速超过131K上限。解决只载入最近24条消息前端显示实时token估算专业Agent最多4个turn且只能提交一次报告坑3ComfyUI工作流版本管理问题ComfyUI不提供工作流的版本控制难以复现结果。解决// 对规范化JSON计算SHA-256 const canonical JSON.stringify(workflow, Object.keys(workflow).sort(), :); const workflow_hash crypto.createHash(sha256).update(canonical).digest(hex);每次Job保存模板文件哈希注入后工作流哈希模型文件名ComfyUI prompt ID坑4AutoRemesher的AArch64兼容性问题Geogram库包含x86汇编优化在ARM64上直接崩溃。解决从geogram/src/lib/geom中移除.asm文件添加CMake条件编译if(NOT CMAKE_SYSTEM_PROCESSOR MATCHES aarch64|arm64)重新编译AutoRemesher添加Blender桥接脚本项目架构图┌──────────────┐ HTTP/WebSocket ┌──────────────────────────────┐ │ Windows 用户 │ ───────────────────────── │ React/Vinext 本地控制台 │ └──────────────┘ └──────────┬───────────────────┘ │ HTTP ▼ ┌──────────────────────────────┐ │ Node.js 本地 API │ │ - 七阶段状态机 │ │ - Job编排 │ │ - Agent Runtime │ └───────┬──────────┬───────────┘ │ │ SQLite/文件 │ │ OpenAI API ▼ ▼ ┌─────────────────┐ ┌─────────────────┐ │ 本地持久化 │ │ Stepfun │ │ data/ output/ │ │ Agent/图片 API │ └─────────────────┘ └─────────────────┘ │ ▼ 固定Python子进程 ┌─────────────────────────┐ │ DGX / ComfyUI │ │ Qwen Image / SDPose │ │ Pixal3D / SkinTokens │ └─────────────────────────┘数据流示例从角色描述到带骨骼模型用户输入创建一个霓虹忍者少女蓝紫短发女性化修长体型 Coordinator解析意图创建CharacterSpec ↓ 用户确认规格启动Art Director审查提示词 ↓ 文生图Job提交到StepFun或DGX Qwen Image ↓ 用户选择概念图 ↓ SDPose硬门禁检查Score: 94/100
：架构整体全貌 —— 模块划分与核心组件关系)
