慧购SmartPick基于蚂蚁百宝箱的 AI 眼镜货架前决策助手赛事GPASS AI 眼镜智能体开发者大赛作品慧购SmartPick开发平台蚂蚁百宝箱TBox企业版工作流 GPASS 眼镜通道工作流画布 ID202607APSazG19787665写在前面超市购物时最卡顿的几秒往往不在「结账」而在货架前东西在哪一侧配料适不适合我这两款买哪个传统做法是掏出手机搜索或扫码打断「双手持筐、眼睛看货」的自然姿态。慧购面向乐奇等 AI 眼镜形态把「找 → 查 → 定」做成购中主路径购前用语音维护「想买清单」并就近荐店购中可维护「购物车」购后语音核销并沉淀购买记录。交互以语音 第一视角拍照为主结果经端侧 TTS 播报尽量做到不掏手机完成一趟轻量采购决策。本文依据产品规格与真实画布实现撰写对应赛事提交「技术文档」三项要求工作流设计端侧 / 云端插件运用技术方案说明一、产品定位与功能全景1.1 一句话定位戴上眼镜进超市找得到、查得清、定得下——全程尽量不掏手机。维度说明目标用户日常逛超市 / 便利店的消费者尤其有选择困难、关注性价比或饮食约束的家庭采购者核心场景购前带清单选店 → 购中货架前找 / 查 / 定可写入购物车→ 购后核销记一笔差异化不是手机比价 App 的移植而是AI 眼镜第一视角下的空间指路 识品解读 决策建议1.2 功能结构v4购前轻 购中主战场 购后轻 ───────── ──────────────────────── ───────── 语音清单 CRUD → 找·货架雷达 购物记录 就近荐店 查·商品速查 核销清单 结算车 存档 定·选购建议 购物车 CRUD两个业务实体必须分清实体含义用户说法习惯变量画布清单想买什么规划态「记一下买牛奶」「清单里有什么」shopping_list规格名亦可称wish_list购物车准备带走什么采纳态「放进购物车」「车里有什么」shopping_cart二者均支持增删改查「XX 买了」走购物记录同时可核销清单、结算购物车。1.3 Demo 叙事「记一下买牛奶、酸奶、鸡蛋。」→ 清单写入「清单里有什么」→ 查询确认「附近去哪买」→ 就近荐店站通道拍照「酸奶在哪」→ 货架雷达方位指引对准商品拍照「看看这几款买哪个」→ 速查 / 选购「推荐的这款放进购物车。」→ 购物车「牛奶买了。」→ 购物记录与剩余清单播报二、工作流设计赛事要求·核心2.1 总体拓扑一问一跑多意图扇出百宝箱智能体每次用户提问会拉起同一条工作流。慧购采用开始 →可选参数兜底统一处理 → 意图识别 → 多分支专用链路 → 结束节点播报画布顶部智能体名称即「慧购」。真实节点布局如下截自当前画布意图一览与画布「意图识别」节点一致意图名说明写入匹配规则下游主路径清单想买清单增删改查不含购物车参数提取 → 读/写变量 → 代码 CRUD → 结束购物车购中车增删改查凡提「购物车/车里/放进车」归此类同构于清单变量换为shopping_cart荐店附近去哪买、推荐超市便利店周边搜索 MCP → 荐店话术 LLM → 通用结束找货货架哪一侧需拍照看通道眼镜设备拍照采集→ 货架雷达 VL → 通用结束速查配料、营养、店内价格等客观信息拍照 → 商品速查 VL → 通用结束选购比较多款并给出买哪个可复用速查拍照支路 选购向 Prompt / 共用 VL 链购物记录买完了、核销、记一笔参数提取 → 核销代码 → 写回清单 → 核销结束退出结束助手GPASS 指令卡片「退出」其他未命中以上场景引导LLM拒答无关域并导回本助手架构示意清单购物车荐店找货速查/选购购物记录其他退出开始语音/经纬度/可选图参数兜底统一处理意图识别LIST 链CART 链STORE 链FIND 视觉链CHECK/DECIDE 视觉链RECORD 链场景引导退出卡片清单结束 reply购物车结束 reply通用结束核销结束其他结束2.2 链路 A清单 / 购物车同构 CRUD设计要点意图级强制分叉避免「想买」与「放进车」写进同一变量。参数提取输出action/items/new_name。变量节点按用户隔离、长期存续对话结束不自动清空——跨多轮工作流跑次仍可读写清单/车。代码节点做确定性 CRUD返回口语化reply 写回数组。结束节点只引用本链reply避免与视觉链空字段拼在同一「通用结束」导致空播报。LIST 链画布实装意图「清单」 → 清单参数提取待处理文本 ← 开始/当前对话信息 → 读清单变量 shopping_list → 清单代码list/action/items/new_name → reply shopping_list → 写清单 → 结束_1{{清单代码/reply}}CART 链画布实装意图「购物车」 → 购物车参数提取 → 读购物车shopping_cart → 购物车代码 → reply shopping_cart → 写购物车 → 结束_2{{购物车代码/reply}}action约定add/query/remove/update/clear。2.3 链路 B就近荐店意图「荐店」 → 荐店-周边搜索keywords / location / radius → 荐店话术文本大模型整理 Top23 理由 → 通用结束播报荐店回答只做「去哪买」不做店内精确导航。location优先来自开始节点经纬度经「参数兜底统一处理」可合并系统/客户端坐标。联调阶段若眼镜回传0.0可短暂写死城市中心坐标验证 POI真机定位可用后切回引用。2.4 链路 C视觉链找 / 查 / 定——眼镜专属主战场找 · 货架雷达意图「找货」 → 货架雷达-拍照眼镜设备拍照采集 → 货架雷达-VL模型如 Qwen3.6-Flash → 通用结束Prompt 约束只做左右/前方分区 方位建议不做配料详解、不给「买哪个」。输出 24 句口语适合 TTS。查 · 商品速查 / 定 · 选购建议意图「速查」或「选购」 → 商品速查-拍照同一采集插件 → 商品速查-VL模型如 Qwen3.7-plus → 通用结束查陈述「是什么、参数多少」品名/规格/价签/配料/粗算单位价。定在同类对比语境下给「买哪个、为什么」实现上可共用拍照节点靠意图与 Prompt 区分或后续拆独立选购 VL 节点。眼镜照片常见模糊、反光、倾斜Prompt 明确要求「软限定推断 勿假装精密」避免整段「请重拍」。用户采纳建议后说「放进购物车」→另起一轮走 CART不在 DECIDE 链强制写车边界清晰、意图稳定。2.5 链路 D购物记录核销意图「购物记录」 → 核销参数提取name / price → 读清单 → 核销代码 → 写回清单 → 核销确认 / 核销结束规格目标同时结算购物车 Tbox Alipay Cloud MongoDBinsert_document沉淀购买历史MongoDB 未就绪时可用变量降级。当前画布已具备核销主路径MongoDB 可作为增强合入。2.6 链路 EOTHER 场景引导非静默黑洞「其他」不直接静默而是进入场景引导文本大模型可简介本助手能力边界拒绝天气、股票、笑话等无关请求引导用户说清「清单」还是「购物车」或引导去找货 / 速查 / 荐店 / 记录。结束节点{{场景引导/结果}}。2.7 为什么这样设计工作流设计选择理由单工作流 意图扇出符合百宝箱「每问一跑」模型维护成本低于多 Agent 拼装清单 / 车意图分叉防止「想买」与「已拿」语义污染CRUD 用代码节点状态变更可测、可回放少让 LLM 直接改 JSON视觉链独立拍照节点找货与识品 Prompt 解耦降低串台多「结束」节点分发消息避免无关链路变量空引用稀释主回复变量而非知识库存清单/车知识库节点本质是检索不是业务 CRUD三、端侧 / 云端插件运用赛事要求·核心以下正式名以平台插件市场 / MCP 添加名为准口语「拍照插件」等勿自行臆造。3.1 能力分层总览┌──────────────────── 眼镜端侧GPASS────────────────────┐ │ 语音输入 · TTS 播报 · 经纬度 · 「眼镜设备拍照采集」 │ └──────────────────────────┬───────────────────────────────┘ │ 触发工作流 ┌──────────────────────────▼───────────────────────────────┐ │ 百宝箱云端工作流编排 │ │ 意图识别 · 参数提取 · 变量 · 代码 · 文本/视觉大模型 │ │ MCPAmap Maps ·目标Tbox Alipay Cloud MongoDB │ └──────────────────────────────────────────────────────────┘3.2 端侧插件眼镜设备拍照采集项说明正式名眼镜设备拍照采集作用需要当前视野真实场景图时调用眼镜可播提示语自动拍照上传典型输出拍照处理状态、图片数据地址URL慧购用法「货架雷达-拍照」「商品速查-拍照」两个实例节点分别进入不同 VL Prompt为何关键这是「第一视角购物」与手机扫码的本质差别——拍的是此刻的空间与货架不是远程图搜画布节点说明原文要旨当需要获取眼镜当前视野中的真实场景图像时必须调用此工具调用后图像数据被采集并上传至智能体供后续识别。联调结论该插件在 GPASS 通道下已实测可用视觉链路可正式依赖。3.3 云端 MCPAmap Maps周边搜索项说明正式名Amap Maps MCP画布节点名示例荐店-周边搜索能力按 keywords location radius 检索周边 POI慧购用法keywords 侧重大超 / 生鲜 / 便利店location 来自开始节点经纬度经参数兜底后处理「荐店话术」大模型把 POI JSON 收成 35 句口语推荐边界只荐店不导航到货架。3.4 云端 MCPTbox Alipay Cloud MongoDB目标存档项说明正式名Tbox Alipay Cloud MongoDB能力insert_document/query_documents/update_document/delete_document/query_data_field慧购用法购买记录沉淀每次调用需app_iduser不可空为什么不用知识库顶替手册中知识库节点主叙事是语义/全文检索召回不是业务表 CRUD当前态清单、购物车继续用变量节点高频读写MongoDB 用于「买完了」的历史沉淀与跨会话查询。3.5 平台内置节点非第三方插件但同属方案拼装节点角色意图识别多意图扇出 「其他」兜底参数提取从自然语言抽action/items/name/price等变量设置/获取用户隔离的长期 KVshopping_list/shopping_cart代码JavaScript CRUD、核销、单位价等确定性逻辑文本大模型荐店话术、场景引导、可选口语润色视觉理解多模态货架雷达 / 商品速查如 Qwen3.x Flash / Plus直接回复 / 结束端侧 TTS 播报文案出口HTTP 请求可选网上比价增强无稳定 API 则不做3.6 插件选型原则可复现到其他 GPASS 作品端侧只拿端侧更强的能力拍照、语音、定位。云端只拿编排与外部 POI/DB地图、持久化。状态机放代码 变量创意与口语放模型避免 LLM 直接「改库」。正式名写进文档与 README降低换人接手时「搜不到插件」的成本。四、技术方案说明赛事要求·核心4.1 总体架构用户语音/按键 │ ▼ GPASS 眼镜通道 ──拍照──► 图片 URL │ │ ▼ ▼ 百宝箱开始节点 ◄─────────┘ │ ▼ 意图识别轻量倾向 │ ├─ 结构化 CRUD参数提取 代码 变量 ├─ 地理推荐Amap MCP LLM ├─ 视觉理解拍照插件 VLM └─ 引导/退出 │ ▼ 结束节点文案 → 眼镜 TTS4.2 数据方案变量当前态 MongoDB 沉淀数据存储生命周期要点shopping_list变量节点按用户隔离不因单轮对话结束而重置跨多次工作流执行仍可读shopping_cart变量节点同上购买记录MongoDB目标/ 变量降级适合查询与跨 Agent 复用重要认知纠偏「每次提问都重新跑工作流」≠「什么都记不住」。工作流运行时上下文会结束但变量节点是应用级持久存储下一次提问的新运行可通过「获取变量」读到上一轮写入的清单。这是多轮「记一下 / 再查清单」成立的前提。明确不做用知识库节点写入清单 / 购物车 / 购买流水。4.3 关键算法与 Prompt 策略1货架雷达空间语义而非厘米导航不追求室内地图级精度要求 VLM 输出左 / 右 / 前分区的品类与可见线索冷柜、吊牌、包装色带目标商品的最可能方向 一句依据看不清时仍给方向性建议禁止假装货架编号。这使「没有室内地图」仍能交付「往右看一眼」的同伴感。2商品速查抗模糊识读眼镜实拍噪声大。Prompt 要求优先可读处照实说模糊处用「看起来像 / 大概是」禁止整段放弃禁止伪造过精的小数配料表。并可在代码节点对「价格 规格」做单位价粗算减少模型算术错误。3选购建议事实链与决策链分离「查」与「定」用户感知不同查定回答是什么、多少买哪个、为什么风险胡编参数乱推荐通过意图分叉 Prompt 禁区降低串台用户确认拿货后走 CART形成「决策 → 采纳」闭环。4意图稳定性清单 vs 购物车是最高频误判点。画布意图文案加入硬规则与正例凡含「购物车 / 车里 / 放进车」一律购物车意图避免落入「其他」。4.4 交互与防误触发每句话触发工作流必须有「其他」引导否则闲聊也会占用播报。退出走官方 GPASS 指令卡片符合通道规范。结束节点按链路拆分杜绝「通用结束」拼接多个可能为空的模型输出导致静音感。4.5 安全与边界答辩可用边界处理店内精确导航不做仅方位级货架雷达医疗级营养建议不做速查给客观信息不取代医嘱无关闲聊OTHER 拒答并回流场景知识库当业务库禁止清单与购物车自动静默同步不做由用户话术 RECORD 显式规则处理4.6 可扩展方向非 MVPMongoDB 查询「上周常买什么」→ 个性化荐店 / 定购提示HTTP 网上比价有稳定 API 再开家庭多人清单需重新设计用户维度与授权五、实现对照与诚实进度为便于评委与技术复现说明画布与规格对齐关系模块状态写稿时意图清单 ≠ 购物车已落地LIST / CART 全链 独立结束已落地并可调试通过OTHER → 场景引导已落地荐店周边搜索 话术已落地找货 / 速查拍照 VL已落地拍照插件已实测购物记录核销主路径已具备MongoDB 购买沉淀规格目标可继续合入作品发布以赛事要求完成发布与 Agent ID 回填画布证人链接再次给出https://b.tbox.cn/inc/workflow/202607APSazG19787665/create六、总结慧购用一条百宝箱工作流把 AI 眼镜购物助手收敛成清晰故事购前记清单、荐一店购中找、查、定必要时放进车购后核销记一笔。技术上端侧吃透眼镜设备拍照采集与语音/定位云端吃透意图编排、变量持久化、高德周边搜索与目标云数据库用代码守住状态机用 VLM 守住「第一视角」差异化。这使得方案既符合低代码平台约束又具备眼镜赛道可讲清楚的记忆点——「别找了问那一眼。」
原理与Windows实践)
