作者昇腾实战派知识地图https://blog.csdn.net/Lumos_Lovegood/article/details/161601003摘要大模型在昇腾AI平台上训练部署时面临Host-Device协同效率低、算子性能下滑、通信延迟大、模型下发慢等问题。传统调优工具如MindStudio的msProf、msprof-analyze等虽强大但使用门槛高涉及多维度综合分析。MindStudio团队自研msAgent提供一站式性能分析解决方案。一、背景随着人工智能模型规模的不断扩大及应用场景的日益复杂在昇腾AI计算平台上进行训练和部署时面临着Host-Device协同效率不高、重要算子性能下滑、通信延迟增大、模型下发效率低等诸多挑战。因此深度学习系统的性能提升不仅需要计算能力提升还需要对硬件平台、软件栈、通信机制以及模型结构之间的协同效率进行全面优化。过去MindStudio提供了性能调优工具msProf、集群分析工具msprof-analyze、精度调优工具msProbe、内存调优工具msMemScope、可视化工具msInsight等一系列工具帮助开发者提高算子性能、设备性能、集群性能。同时MindStudio也沉淀了计算算子调优、通信快慢卡、下发Host下发慢、IO瓶颈以及服务化等一系列调试调优方法论。这些工具链和方法论的沉淀让调优专家能更快更准地定位大模型系统中的各种问题。然而大模型调优本身是一项极其复杂且门槛较高的工程涉及软件信息、硬件信息的综合分析需要考虑算子、并行策略、集群负载、模型算法等多个维度。如何降低大模型性能优化门槛寻找最优调优链路是一个难度很高且极具价值的工程问题。在Agent元年业界用Agent解决了许多实际问题例如OpenClaw和Claude Code。用Agent来做模型调优是一个极具价值的想法——一个符合直觉的方案是写好对应的Skills配置好MCP直接借助Claude Code进行分析。但实际实践下来该方案可控性偏低安全性无法保证。更重要的是我们的文件数据庞大达到GB级别对上下文管理的要求更高需要一套专门的机制处理Context过长的问题。因此MindStudio团队自研了msAgent目标是成为MindStudio统一的工具链入口提供Ascend下性能分析的一站式解决方案。二、msAgent介绍msAgent的核心设计理念可以用一句话概括“发现瓶颈 → 定位根因 → 给出建议”的证据驱动分析闭环。整体架构msAgent由四层架构组成用户交互层、智能体引擎层、Skills与MCP层、配置与存储层。层与层之间的交互如下图所示用户交互层提供轻量TUI面向日常命令行使用场景支持macOS、Windows、Linux多平台并支持一键安装。智能体引擎层支持ReAct交互模式并扩展中间件栈实现安全审批、沙箱隔离、压缩工具输入与对话历史、观测Token消耗等功能。Skills层集成Mindstudio-Skills将「专家经验包」以Skills形式接入用户侧开箱即用、一键安装。Tools层提供文件检索、终端命令执行以及联网搜索的能力。MCP层接入msprof-mcp将msprof-analyze、timeline文件解析等公共函数封装到msprof-mcp中。配置与存储层支持动态配置YAML/JSON运行参数、MCPSQLite检查点支持多轮会话落盘按thread管理对话会话记忆支持Agent虚拟内存、会话恢复以及长期记忆。Context管理当msAgent收到用户的分析请求后首先会定位对应的SkillsSkills再去调用msProf MCP-tools。MCP-tools可以理解为一道“漏斗”会根据当前Agent的目标对数据做初筛只把真正相关的结果返回给Agent帮助它快速拿到后续分析所需的信息。这一层本质上是在做第一轮上下文过滤。进入分析阶段后上下文还会持续增长。因为在这个过程中新的tool call、user prompt以及文件信息会不断累积Context很容易迅速膨胀。我们设计了三层压缩机制来进行第二轮上下文过滤Micro压缩在每次LLM调用前对历史上下文做轻量清理将旧的tool result替换成占位符只保留必要引用避免冗长结果长期滞留在上下文中。微压缩每轮都运行几乎零成本它截断旧消息中的tool_result块去除不再需要的冗长命令输出。Micro压缩还有一个时间衰减配置越旧的工具输出越容易被清除最近的优先保留。Macro压缩当上下文token超过20k阈值时系统会将完整对话落盘再调用LLM对历史内容生成摘要用摘要替代原始长对话从而显著降低上下文长度。压缩后系统会从摘要中重新注入关键上下文比如最近读取的文件内容、已激活的技能指令、MCP的结果等。虚拟文件Eviction对体积过大超过100K的工具结果进行驱逐将其从当前上下文中卸载转存到文件系统中只在需要时再回查减少Context污染。三、安装与使用方法安装pipinstall-Umindstudio-agent配置模型exportOPENAI_API_KEYyour-keymsagent config --llm-provider openai\--llm-base-urlhttps://api.deepseek.com/v1\--llm-modeldeepseek-chat启动msagent进入交互式会话后将Profiling数据路径和你的问题一起发给msAgent即可。更多安装方式和配置项可以参考项目README。四、实战案例为了更直观地演示msAgent的能力下面提供了真实调优过程中的一些案例包括性能诊断、开发效率提升等。案例1集群快慢卡诊断场景集群训练出现性能抖动怀疑存在快慢卡问题。提示词请分析 /path/to/cluster_profiling/ 中是否存在快慢卡问题定位异常 rank并给出可能原因。过程如下msAgent做了什么自动识别为多卡/集群场景加载cluster-fast-slow-rank-detector Skill调用msprof-mcp进行全局诊断对比各Rank的计算和通信耗时定位出异常Rank分析是计算瓶颈还是通信瓶颈给出具体的优化建议和验证方法案例2DB数据自定义导出场景需要从Profiling数据库中提取特定维度的数据。提示词基于 ascend_pytorch_profiler_0.db帮我提取各个算子类型的总耗时并按降序输出到 csv。过程如下msAgent做了什么通过msprof-mcp连接.db文件构造SQL查询按算子类型聚合耗时排序后导出为CSV文件输出结果摘要和文件路径案例3Profiling数据完整性检查场景采集了一份性能数据不确定是否采集完整。提示词请分析 /path/to/xxx_ascend_pt/ 数据是否采集正常。过程如下msAgent做了什么加载mindstudio_profiler_data_check Skill检查目录结构是否完整、关键文件是否存在验证profiler配置信息、采集级别给出数据完整性报告指出缺失项和可能原因案例4MFU计算场景你有一份kernel_details.csv想快速计算matmul算子在Atlas 800I A2上的MFU。提示词请基于 /path/to/kernel_details.csv 计算 matmul 的 MFUAtlas 800I A2并说明各项计算依据。过程如下msAgent做了什么自动识别场景加载op-mfu-calculator Skill通过工具读取CSV文件提取matmul算子的执行时间和shape信息从官网获取Atlas 800I A2的算力规格套用MFU公式逐步计算输出结果包含详细的计算过程和每一项数据来源不再需要手动翻文档查算力参数、手动写计算脚本——一句话搞定。案例5工具使用咨询场景不熟悉msprof的编译流程。提示词msprof 怎么编译出 run 包过程如下msAgent做了什么通过github-raw-fetch Skill从msprof的GitHub仓库获取相关文档整理出完整的编译步骤和注意事项直接给出可执行的命令序列案例6文档上手体验审查场景根据某个仓库的README检查是否能跑通。提示词请帮我体验并审查这个仓库的文档上手体验https://gitcode.com/Ascend/msmonitor。 本机环境 - Ubuntu 20.04 - CANN 已安装环境脚本/usr/local/Ascend/ascend-toolkit/set_env.sh - conda 虚拟环境已准备好请优先使用msmonitor_ux_review 请输出详细的中文 HTML 报告到 /home/msmonitor重点说明在上述环境下新用户能否按文档完成安装并进入可运行状态。过程比较长这里不放图片了msAgent做了什么自动识别任务属于“文档上手体验审查”场景加载document-ux-review Skill。从README开始自动识别直接关联的安装、快速开始和运行文档而不是只做静态阅读。结合用户提供的环境信息优先复用已有基础环境例如已准备好的conda环境和已安装的CANN而不是重复安装。按文档中的真实步骤逐步执行检查命令、依赖、路径、配置和启动流程是否真的能走通。如果遇到缺步骤、错误命令、隐含前提、平台差异或者必须额外去翻脚本、源码、CI、Dockerfile才能继续都会被记录为文档完整性问题。最后输出一份结构化报告说明哪些步骤成功、哪些步骤阻塞、问题出现在什么位置以及对应的改进建议示例文档里还说明可输出中文HTML报告并给出msmonitor-review-run.html作为参考产物。五、持续进化未来规划msAgent正在快速迭代版本当前版本为v0.1.2。接下来我们的重点方向是开发专用SubAgent不同的Agent扮演不同的专家解决不同领域的问题如性能、精度、量化、内存等。更多内置Tools例如精度、内存等工具让调优的覆盖面更广数据来源更多调优定位更准扩展Agent的能力边界。集成更多专家Skills覆盖更多典型调优场景例如内存分析、算子调优建议、训练吞吐优化等提升大家的开发效率。如果你对msAgent感兴趣欢迎来项目里看看Star一下一起让NPU调优更高效。GitHub仓库本文基于commit2346ec8f48d0dcfd4fd86c83c6880c6eaa28d14b对应的代码状态整理。仓库迭代较快具体能力请以最新README和发布说明为准。
