一、前言为贯彻落实党中央、国务院关于促进人工智能发展的决策部署中国工业互联网研究院深入研究人工智能大模型在工业领域的应用性能、技术架构、标准体系并在此基础上形成本报告。本报告跟踪大模型的技术进展结合工业企业大模型应用情况调研针对近期业界广泛关注的大模型的智能体应用能力和工业标准问答等新型工业场景能力开展测试发布新一轮的准确性测评报告供业界进行参考。本报告测评结果虽经中心专家委论证但因大模型迭代速度快技术复杂囿于工作团队专业知识和能力报告难免存在分析结论不足等问题且测评结果仅适用于测试期间欢迎大家批评指正。二、测试体系与方法2.1 测评体系中国工业互联网研究院的大模型测评体系涵盖从基础能力、智能体能力到场景能力的全链路评估。体系底层聚焦文本/图像生成、文本图像理解、人机对齐等评价维度涵盖语言组织、逻辑推理、多轮对话等通用基础能力为模型整体表现奠定技术底座中间层重点考察大模型在智能体应用中的能力包括自主规划、多步推理、工具调用与环境交互等评价维度评估模型在记忆、感知、规划、执行等方面的能力最上层围绕研发设计、生产制造、运营管理等工业关键场景评测模型在工业知识问答、工单识别等具体业务中的应用表现。通过三层体系的系统测试全面反映模型在工业场景落地时的综合能力水平为工业大模型的选型、优化与应用提供可靠依据。相比于此前的报告本次报告重点突出面向智能体任务应用特点围绕自主规划、多步推理、工具调用、环境交互等能力维度进行大模型智能体组件级能力测试。同时在场景能力方面首次面向工业标准问答、工业单据识别等大模型创新场景进行应用成熟度测评。2.2 测试方法本期测评题型包括问答、选择、计算等多种题型为更贴合实际应用场景测试主要采用问答形式。对于问答题为保障判分的一致性与准确度评分模型本身需通过测试场景的评分能力测试选取与人类评分一致性大于90%的模型作为“裁判”。在测试过程中选取2个大模型作为评分模型二者偏差较大时偏差大于30%引入人工评分。三、基础能力测试结果国内头部模型基础能力与国外模型能力接近国内模型基础语句理解、物体识别、长文本处理等领域能力较强多轮对话、指令遵循上与国际接近但空间理解和幻觉消除能力有待提升。四、智能体能力测试结果4.1 智能体能力评测评测内容智能体是以大模型为核心的具备自主规划和多步任务执行能力可灵活选择运用工具能动态感知适应环境的人工智能系统在快速发展过程中逐步体现出自主规划、工具调用、多步任务、环境感知等突出特点。4.2 智能体能力测试结果(1)环境感知能力测试环境感知从结构理解、元素定位等维度对执行智能体任务的大模型进行测试考察其结合语义理解环境、有效交互的能力。结论1国内和国际大模型在环境感知领域准确率为50%—60%左右说明当前大模型在复杂界面理解和操作层面效果均有待提升2国际头部大模型在各维度均有一定优势说明国内模型在各项环境感知方面还需结合工业软件进一步提升。备注[1]. 取具备多模态能力的模型进行测试。2工具调用能力测试结论头部大模型具有较强的工具调用能力国内头部模型在工具选择、参数匹配等细分维度上表现亮眼在意图识别、执行效率、执行准确率等层面与国际持平。3自主规划能力测试结论国内头部模型规划能力整体相较国外模型能力略有优势。国内模型在约束识别和动态校准领域中占据优势在统筹择优和状态追踪方面有待提升。4多步推理能力测试结论国内外大模型在多步推理层面能力较为接近。国内头部模型在记忆管理、任务多步执行等细分维度上表现亮眼。五、工业场景能力测试结果5.1 工业标准问答1场景介绍大模型应用于工业标准问答作为标准解释器参考工业标准执行问答可快速、精准回应关于标准条款应用的设计、验证疑问还可嵌入自动化流程如审图规则生成梳理审图要点与判定逻辑为工业流程中标准遵循及规范执行提供支持。2测试内容3测试结果工业标准问答场景围绕工业标准的产品质量、生产流程、安全规范、环境合规性以及互操作性等核心要素指导企业研发创新助力工程师设计规格、性能更完善的工业产品确保产品质量和可靠性、保障安全生产、提升环境合规性。结论1国内模型取得领先但与国际先进模型差距不大在细分能力维度上国内顶尖模型也展现出一定优势。2国内外大模型在标准问答领域得分均较高说明大模型在标准问答领域成熟度较高。5.2 工业单据识别1场景介绍2测试内容3 测试结果结论1工业单据识别场景中国内外头部模型有一定优势但差距不大国内模型在检验单、加工单等复杂单据识别领域有一定优势2顶尖模型准确率已达88%说明该场景大模型已具备较强能力可有效执行单据辅助识别任务。5.3 产品客服1场景介绍按照使用场景分类客服可细分为售前、售中、售后按照对话内容分类可分为检索式、生成式、任务式。对于不同的细分场景可在技术侧进行专门的优化提升系统的相应效果例如如果实践中检索式对话多可引入向量数据库进行优化。2测试内容大模型赋能产品客服基于产品说明、售后规则、常见问题等文献资料实现智能问答、自动问题处理与多轮对话可显著提升响应效率扩展服务时间降低人力成本推动企业服务智能化转型升级。3测试结果结论1国内外头部模型在产品客服场景表现接近对于大部分场景可以参考产品说明及其规则给出准确回答2国内外头部大模型在产品客服场景准确度均较高正确率均在90%以上说明该场景具备较高成熟度。六、结论▶在发展趋势上国内外顶尖模型的基础能力已较为接近细分领域各有优势国内外大模型在智能体任务上表现接近国内模型复杂环境理解力有待提升。国内大模型在标准问答、单据识别等多个工业应用场景中领先。▶在智能体能力上国内外模型在工具调用、多步推理等维度表现优秀但在环境感知、自主规划方面均存在不足需针对工业复杂场景进行强化。▶在场景成熟度方面标准问答、单据识别、产品客服等场景的大模型成熟度较高可优先考虑应用。七、其他场景能力评测国内第一梯队八、工作计划我们将重点从四个方向推进相关工作。首先在基础应用能力研究方面我们将持续跟踪高智能、多模态大模型的发展趋势进一步扩展基础能力的评测维度并不断优化测试标准为后续体系化评估打好技术基础。第二在行业应用场景挖掘方面我们将围绕重点行业的实际需求深入调研大模型在工业领域的潜在落地场景面向设备运维、工业质检等高潜力场景进行测试。同时研判可应用的业务链路遴选并推广一批具有代表性的优秀行业模型加速大模型的行业价值释放。第三围绕评测体系构建我们将持续完善工业语料库建设迭代评测工具提升评测的准确性与覆盖度构建能够快速响应、科学评估的大模型应用测试能力为企业侧选型和优化提供可靠依据。最后在丰富指数体系方面我们将继续研究大模型对行业、产业以及社会的综合影响不断充实和完善中国AI大模型应用指数体系形成更具指导意义的评估框架支撑行业发展决策。
