1. 项目概述SkillDroid是一种创新的移动GUI自动化框架它解决了当前基于大型语言模型(LLM)的移动代理在任务执行中的核心痛点无状态性和高计算开销。传统LLM代理将每个任务调用视为独立的推理过程需要在每个动作步骤进行完整的LLM推理调用导致效率低下且无法积累经验。1.1 核心问题解析当前LLM移动代理存在三个主要问题重复计算开销每次执行相同任务时都需要从零开始进行完整的推理过程即使任务已经成功执行过多次。在我们的基准测试中LLM调用占用了75-94%的总执行时间。可靠性不稳定由于缺乏经验积累代理的成功率不会随着使用次数的增加而提高。相反我们的测试显示无状态LLM代理的成功率会从80%下降到44%。参数适应性差对于类似但参数不同的任务如设置7:30闹钟和明天6点叫醒我系统无法识别其结构相似性导致重复计算。1.2 解决方案架构SkillDroid采用三层架构解决上述问题编译层通过LLM引导执行任务并将成功轨迹编译为参数化技能模板。这些模板包含UI动作序列、加权元素定位器和类型化参数槽。重放层使用正则表达式匹配、语义相似度计算和应用过滤来识别适用的技能模板然后直接重放而无需LLM调用。学习层监控技能执行情况当可靠性下降时触发重新编译实现技能库的动态优化。2. 技术实现细节2.1 技能编译机制2.1.1 轨迹记录与验证在初始执行阶段系统记录每个步骤的详细信息UI状态捕获通过Android无障碍服务获取完整的UI层次结构包括资源ID(resourceId)文本内容(text)内容描述(contentDescription)类名(className)屏幕位置(boundsInScreen)父/子元素关系执行验证循环引入检查者在环设计防止LLM错误报告任务完成。当LLM声明任务完成时系统会运行验证检查器确认实际设备状态。2.1.2 参数化技能模板生成成功执行后系统通过三个步骤生成可重用技能槽位提取识别任务中的可变参数如时间、联系人姓名等并将其替换为类型化占位符。例如设置7:30闹钟被泛化为设置{time}闹钟。定位器生成为每个UI元素创建加权定位器考虑六个特征信号资源ID(权重0.40)开发者分配的稳定标识符文本(0.20)和内容描述(0.15)语义信息但可能变化类名(0.10)、父上下文(0.10)和兄弟位置(0.05)结构信息状态描述生成记录每个步骤预期的UI上下文用于后续重放时的状态验证。2.2 技能匹配与重放2.2.1 多级匹配策略当新指令到达时系统采用三级匹配策略正则表达式匹配处理结构相同的指令如仅参数变化语义相似度匹配使用句子转换模型处理释义指令应用过滤确保目标应用匹配匹配结果分为完全匹配(Full)找到适用技能且参数可提取部分匹配(Partial)应用匹配但指令差异大无匹配(No_Match)2.2.2 推测式重放机制对于完全匹配的技能系统尝试直接重放动作序列关键创新包括状态验证将当前UI与预期状态比较根据偏差程度采取不同策略无偏差继续严格匹配(阈值0.5)轻微偏差放宽匹配(阈值0.3)中度偏差尝试自动关闭常见对话框严重偏差回退到完整LLM执行元素查找使用加权评分函数定位目标元素score(e, l) Σ(w_f * 匹配(e.f, l.f)) / Σw_f选择得分最高且超过阈值的元素执行操作。有限LLM回退当特定步骤无法完成时允许有限次数的单步LLM调用辅助而不是完全回退。2.3 失败学习与技能优化系统持续跟踪技能执行情况实现动态优化失败记录记录失败上下文包括失败步骤索引偏差类型UI状态恢复是否成功重新编译触发当技能失败率超过50%时在下一次匹配时强制重新编译。版本控制限制每个技能最多3个版本避免无效循环。3. 性能评估与结果3.1 实验设计我们在150轮测试中评估SkillDroid涵盖15种任务类型和4种指令变体编译阶段使用标准指令创建初始技能库低变异阶段测试参数变化的指令中变异阶段引入释义指令高变异阶段使用口语化表达扰动阶段添加系统级干扰如权限对话框3.2 关键性能指标成功率整体85.3%比无状态LLM基线高23个百分点LLM调用平均每轮5.8次比基线减少49%执行速度纯重放速度比完整LLM执行快2.4倍3.3 分层性能分析重放层79轮成功重放成功率100%35轮零LLM调用平均耗时36秒32轮需要1次LLM调用语义确认12轮需要平均5次LLM调用处理动态元素回退层29轮回退到完整LLM执行成功率75.9%学习效果系统成功率从初始87%提升至最终91%而基线从80%降至44%4. 实际应用与优化建议4.1 典型应用场景重复性系统操作闹钟设置、WiFi开关、飞行模式切换表单填写联系人添加、日历事件创建应用导航浏览器搜索、设置深层配置4.2 开发者实施建议元素定位优化优先使用resourceId等稳定标识符为动态元素设计备用定位策略合理设置匹配阈值平衡鲁棒性和准确性技能管理定期审查低成功率技能为常用任务维护多个变体技能实现技能版本比较工具性能调优考虑本地部署轻量级LLM处理单步回退优化无障碍服务调用频率实现技能预加载机制4.3 常见问题排查元素定位失败检查无障碍服务是否正常验证UI结构是否变化调整特征权重或匹配阈值技能匹配错误检查语义模型质量优化正则表达式模式添加应用过滤条件执行中断检查系统对话框拦截验证权限状态查看执行日志定位问题步骤5. 技术局限与未来方向5.1 当前限制LLM依赖初始编译仍需完整LLM执行跨设备兼容UI差异可能影响技能可移植性复杂任务多应用流程自动化支持有限5.2 演进方向视觉增强结合OCR和图标识别提高元素定位鲁棒性分布式技能库实现用户间技能共享与评级自适应学习基于用户反馈自动优化技能参数多模态输入支持语音、手势等自然交互方式在实际部署中我们发现系统性能与UI稳定性高度相关。对于频繁更新的应用建议设置定期技能验证任务。同时将常用技能预编译可以显著提升首次响应速度。一个意外的收获是这套框架不仅提高了自动化效率还为分析用户操作模式提供了结构化数据有助于UI设计和用户体验优化。
