AI 辅助智能家居场景编排从语音指令到 UI 自动化的设计方法一、引子当电影模式变成薛定谔的场景上个月给家里的智能家居设定了电影模式关主灯、拉窗帘、开氛围灯、投影仪开机、音响切到 HDMI ARC。这套流程在执行到第三步时有 40% 的概率失败——因为窗帘电机偶尔离线氛围灯的色温 API 返回值格式变了。场景编排的痛点不是编不出而是编了不可靠。传统方法是用户手动拖拽条件-动作规则IFTTT 的 if-this-then-that 范式这在设备数量超过 15 个后彻底失效。每个新增设备都会与所有已有设备产生潜在交互组合爆炸用户无法预见到拉开窗帘时如果空调正以最大功率运行应该先调低风速避免冷气外泄这样的边缘场景。AI 辅助场景编排的核心价值不是替代条件规则而是从自然语言意图中自动生成规则并持续监控执行效果在异常时自动修复。这需要 AI 同时理解三件事用户说的自然语言是什么意思、当前设备状态能否支持这个意图、执行失败时有哪些替代路径。二、底层机制意图解析到规则生成的流水线场景编排需要一条从模糊自然语言到可执行规则链的完整管道。意图解析器是整个流水线的入口也是出错率最高的环节。用户说我要看电影AI 需要推理出目标空间是客厅、涉及设备包括灯光/窗帘/投影/音响、期望的环境状态是低光照安静、对执行时间的容忍度是中。如果用户说我要看恐怖片AI 还需要额外推理出氛围灯偏冷色调、音量略大、可以加入突然的灯光变化作为跳吓配合当然这个功能需要用户确认开关。冲突检测器的价值在场景编排中被严重低估。两个常见冲突类型时序冲突投影仪需要 15 秒预热但音响切输入源只要 2 秒先切音响会导致短暂播放无信号噪音状态冲突氛围灯设为极暗亮度 5%和人体传感器联动规则有人时亮度 60%矛盾三、生产级代码LLM 驱动的场景编排引擎/** * AI 驱动的智能家居场景编排引擎 * * 核心能力 * 1. 将自然语言意图解析为结构化的场景操作序列 * 2. 检测和解决设备间的操作冲突 * 3. 执行过程监控与自动降级 */ // 场景操作步骤 interface SceneStep { id: string; deviceId: string; action: string; // setPower | setBrightness | setColorTemp | ... params: Recordstring, number | string | boolean; preconditions: string[]; // 前置步骤 ID 列表 timeout: number; // 执行超时(ms) fallback?: SceneStep; // 失败时的降级操作 } // 场景定义 interface SceneDefinition { name: string; description: string; steps: SceneStep[]; estimatedDuration: number; tags: string[]; } // LLM 意图解析的结果 interface ParsedIntent { action: string; // 动作类型 room?: string; // 目标房间 atmosphere?: string; // 氛围描述 constraints: { brightness?: dim | normal | bright; colorTemp?: warm | neutral | cool; sound?: silent | quiet | normal | loud; }; confidence: number; } /** * 场景编排器 * * 核心流程 * intent → device matching → rule generation → conflict resolution → execution */ class SceneOrchestrator { private devices: SmartDevice[]; private llmClient: LLMClient; // 假设的 LLM 接口 constructor(devices: SmartDevice[], llmClient: LLMClient) { this.devices devices; this.llmClient llmClient; } /** * 从自然语言创建场景 * * param userInput - 如 晚上在客厅用投影看文艺片 */ async createSceneFromNaturalLanguage( userInput: string ): PromiseSceneDefinition { // 1. 意图解析 const intent await this.parseIntent(userInput); // 2. 设备匹配 const matchedDevices this.matchDevices(intent); // 3. 规则生成 const rawSteps await this.generateSteps(intent, matchedDevices); // 4. 冲突检测与解决 const resolvedSteps await this.resolveConflicts(rawSteps); // 5. 排序拓扑排序满足前置依赖 const orderedSteps this.topologicalSort(resolvedSteps); return { name: this.generateSceneName(intent), description: userInput, steps: orderedSteps, estimatedDuration: this.estimateDuration(orderedSteps), tags: this.extractTags(intent), }; } /** * LLM 意图解析 * 将自然语言映射为结构化的意图对象 */ private async parseIntent(userInput: string): PromiseParsedIntent { const prompt 你是一个智能家居意图解析器。将用户的输入解析为 JSON 格式。 规则 - action: 必须是 watch_movie, sleep, reading, party, leave_home, work 之一 - room: 从 living_room, bedroom, study, kitchen, bathroom 中推断 - atmosphere: 描述氛围的形容词 - constraints: 从用户描述中提取约束条件 用户输入: ${userInput} ; const response await this.llmClient.complete({ messages: [{ role: user, content: prompt }], responseFormat: json, }); return JSON.parse(response.content) as ParsedIntent; } /** * 设备匹配根据意图筛选相关设备 * 优先级目标房间 功能匹配 性能等级 */ private matchDevices(intent: ParsedIntent): SmartDevice[] { const candidates this.devices.filter((d) { // 房间过滤 if (intent.room) { const roomMap: Recordstring, string { living_room: 客厅, bedroom: 卧室, study: 书房, kitchen: 厨房, bathroom: 卫生间, }; if (d.room ! roomMap[intent.room]) return false; } // 功能匹配 return this.deviceSupportsIntent(d, intent); }); return candidates; } /** * 检查设备是否支持某个意图 */ private deviceSupportsIntent( device: SmartDevice, intent: ParsedIntent ): boolean { const actionDeviceMap: Recordstring, string[] { watch_movie: [light, curtain, speaker, projector], sleep: [light, curtain, thermostat], reading: [light], party: [light, speaker], leave_home: [lock, light, curtain, thermostat], }; return actionDeviceMap[intent.action]?.includes(device.type) ?? false; } /** * 规则生成为每个匹配的设备生成操作步骤 * * 每种意图对应一套预设的操作模板 * 通过 LLM 可以根据上下文微调参数 */ private async generateSteps( intent: ParsedIntent, devices: SmartDevice[] ): PromiseSceneStep[] { const steps: SceneStep[] []; let stepIndex 0; for (const device of devices) { const step this.generateStepForDevice(device, intent, stepIndex); if (step) steps.push(step); } return steps; } /** * 为单个设备生成操作步骤 */ private generateStepForDevice( device: SmartDevice, intent: ParsedIntent, index: number ): SceneStep | null { // 意图 → 设备操作映射表 const actionMap: Recordstring, Recordstring, any { watch_movie: { light: { action: setBrightness, value: intent.constraints.brightness dim ? 5 : 10 }, curtain: { action: setPosition, value: 0 }, speaker: { action: setInput, value: hdmi_arc }, projector: { action: setPower, value: true }, }, sleep: { light: { action: setPower, value: false }, curtain: { action: setPosition, value: 0 }, thermostat: { action: setTemperature, value: 26 }, }, }; const deviceAction actionMap[intent.action]?.[device.type]; if (!deviceAction) return null; const step: SceneStep { id: step_${index}_${device.id}, deviceId: device.id, action: deviceAction.action, params: this.resolveParams(deviceAction), preconditions: this.getPreconditions(device.type, intent.action), timeout: this.getTimeout(device.type), fallback: this.getFallbackStep(device, intent, index), }; return step; } /** * 冲突检测与解决 * * 检测两类冲突 * 1. 时序冲突操作顺序不当 * 2. 状态冲突设备目标状态与其他规则矛盾 */ private async resolveConflicts(steps: SceneStep[]): PromiseSceneStep[] { const resolved [...steps]; // 时序冲突检测投影仪需要预热应放在音响前面 const projectorStep resolved.find((s) s.deviceId.includes(projector) ); const speakerStep resolved.find((s) s.deviceId.includes(speaker)); if (projectorStep speakerStep) { // 确保投影仪在音响之前添加前置依赖 if (!speakerStep.preconditions.includes(projectorStep.id)) { speakerStep.preconditions.push(projectorStep.id); } } // 灯光亮度冲突氛围灯 5% 与传感器规则 60% 冲突 // 场景环境下的规则优先级高于通用规则通过标记解决 for (const step of resolved) { if (step.action setBrightness) { step.params[_overrideSensor] true; // 场景优先标记 } } return resolved; } /** * 拓扑排序确保前置步骤先执行 */ private topologicalSort(steps: SceneStep[]): SceneStep[] { const sorted: SceneStep[] []; const visited new Setstring(); const stepMap new Map(steps.map((s) [s.id, s])); function visit(stepId: string) { if (visited.has(stepId)) return; visited.add(stepId); const step stepMap.get(stepId); if (!step) return; for (const preId of step.preconditions) { visit(preId); } sorted.push(step); } for (const step of steps) { visit(step.id); } return sorted; } /** * 执行场景监控每个步骤的成功/失败 * 失败时自动切换到降级方案 */ async executeScene(scene: SceneDefinition): Promise{ success: boolean; failedSteps: string[]; usedFallbacks: string[]; } { const failedSteps: string[] []; const usedFallbacks: string[] []; for (const step of scene.steps) { try { await this.executeStep(step); } catch (error) { failedSteps.push(step.id); // 尝试降级操作 if (step.fallback) { try { await this.executeStep(step.fallback); usedFallbacks.push(step.id); } catch { // 降级也失败记录并继续 } } } } return { success: failedSteps.length 0, failedSteps, usedFallbacks, }; } private async executeStep(step: SceneStep): Promisevoid { // 模拟通过 MQTT/HTTP 下发指令到设备 return new Promise((resolve, reject) { const timer setTimeout(() reject(new Error(timeout)), step.timeout); // 实际项目中这里是设备通信代码 clearTimeout(timer); resolve(); }); } // 辅助方法 private resolveParams(action: any): Recordstring, any { const { action: _, ...params } action; return params; } private getPreconditions( deviceType: string, actionType: string ): string[] { // 投影仪操作前需要电源就绪 if (deviceType projector) return []; return []; } private getTimeout(deviceType: string): number { const timeouts: Recordstring, number { projector: 30000, light: 5000, curtain: 15000, speaker: 5000, thermostat: 10000, lock: 8000, }; return timeouts[deviceType] || 5000; } private getFallbackStep( device: SmartDevice, intent: ParsedIntent, index: number ): SceneStep | undefined { // 窗帘离线 → 提示用户手动关闭 if (device.type curtain) { return { id: fallback_${index}_${device.id}, deviceId: notification, action: sendNotification, params: { message: 请手动关闭${device.room}窗帘 }, preconditions: [], timeout: 1000, }; } return undefined; } private generateSceneName(intent: ParsedIntent): string { const nameMap: Recordstring, string { watch_movie: 观影模式, sleep: 睡眠模式, reading: 阅读模式, party: 派对模式, leave_home: 离家模式, work: 工作模式, }; return nameMap[intent.action] || intent.action; } private estimateDuration(steps: SceneStep[]): number { return steps.reduce((sum, s) sum s.timeout, 0); } private extractTags(intent: ParsedIntent): string[] { const tags [intent.action]; if (intent.room) tags.push(intent.room); if (intent.atmosphere) tags.push(intent.atmosphere); return tags; } }这段代码中最容易被忽略的设计是fallback降级机制。生产环境中设备离线率在 3%-8% 范围内波动取决于网络质量没有降级方案的场景编排在 1/20 的概率下就是不可用的。四、边界分析LLM 意图解析的不确定性同一个输入我要看电影不同模型或同模型不同温度参数下可能解析出不同的action值。需要构建一组金标准测试用例至少 200 条每次更新模型后跑回归测试确保意图解析的一致性。设备匹配的冷启动问题新用户没有历史数据时设备匹配完全依赖设备类型的硬编码映射。如果用户说看电影但家里没有投影仪只有电视系统需要智能退化为电视模式。这需要更多的设备能力语义理解。执行监控的实时性每个步骤的超时需要动态调整。如果在凌晨 3 点执行场景网络空闲超时可以缩短如果在晚高峰执行需要适当放宽。五、总结场景编排的核心价值在于自然语言到可执行规则的自动转化而非手动拖拽流水线包含意图解析 → 设备匹配 → 规则生成 → 冲突解决 → 执行监控五个环节时序冲突操作顺序错误和状态冲突目标状态矛盾是需要重点检测的两类问题降级机制是场景编排可靠性的最后防线没有降级方案的场景有 3%-8% 的概率执行失败LLM 意图解析需要金标准回归测试保证一致性设备离线时自动推送通知引导手动操作比静默失败好 100 倍拓扑排序确保有前置依赖的操作严格按序执行
)
