过去两年大语言模型在数学推理上的进步有目共睹。从 GSM8K 到 MATH 基准再到各类奥林匹克数学竞赛题模型的得分一直在攀升。GPT-5.5 和 Claude 系列都能轻松应对高中数学难度的题目。但一个被大多数人忽略的问题是高等数学和初等数学是两回事。本周 arXiv 上出现了一篇论文推出了一个叫 AdvancedMathBench 的基准测试。它没有继续堆高中竞赛题而是把目光转向了本科数学和博士资格考试级别的题目。结果很有意思——那些在高中数学问题上表现优异的模型到了高等数学领域分数掉了一大截。高等数学的难度和高中数学完全不同为什么会出现这种落差原因在于两种数学对模型能力的要求完全不同。高中数学题包括奥林匹克竞赛题有相对固定的解题路径和明确的公式可套用模型可以通过模式匹配和有限推理来解决。但高等数学涉及的是抽象概念、多步推理和证明构造——这些东西很难通过模式匹配来解决。AdvancedMathBench 的核心叫 ProverBench包含 296 道题目覆盖本科到博士资格考试级别。题目涉及实分析、抽象代数、拓扑学、数论等领域。论文团队做了一个很细致的工作他们不仅用最终答案评分还开发了自动验证管线对证明过程中的每个步骤进行细粒度评估。结果怎样表现最好的模型 GPT-5.5-xhigh在本科级别题目上得分 75.8博士资格考试级别上只有 66.1。相比之下这些模型在高中数学基准上动辄 90 分以上。差距是明显的。模型会做数学题但不一定会验证数学证明论文还设计了一个很有意思的子测试叫 VerifierBench。这个测试不做题而是给模型 888 条已经生成的证明轨迹让模型判断这些证明是否正确并给出验证理由。结果更说明问题表现最好的模型在证明验证任务上的 Balanced F1 只有 65.1。而且模型普遍存在一个倾向——它们不太会说这个证明是错的。真阴性率很低说明模型对证明中的错误不敏感。换句话说模型能写出看起来像模像样的证明但判断别人写的证明有没有问题时表现并不好。对研究者和工程师来说这个结果其实有实际意义。如果模型无法可靠地检查数学证明的正确性那么在需要严格验证的场景中比如定理证明辅助器、形式化验证工具它们的输出就不能直接信任。那些声称可以用 AI 来自动化数学研究的产品在高等数学领域还有很长的路要走。换个角度来看ProverBench 的自动验证管道本身也是一个值得关注的技术贡献。团队训练了一个专门的验证模型用大量专家标注数据来评估每个证明步骤的正确性。这种方法比传统的只看最终答案要可靠得多。如果这个验证管道能被社区广泛采用未来数学推理论文的评估标准可能会发生改变——不再只看模型答对了几道题而是看它的推理过程是否严谨。一个值得思考的问题模型是在理解还是在匹配看到 AdvancedMathBench 的结果我想到一个更本质的问题模型在数学题上的表现有多少是真正的推理能力多少是训练数据中的模式匹配高等数学成为试金石是因为大多数高等数学证明在公开语料中出现的频率远低于高中习题。模型不太可能见过完全相同的证明路径必须依靠真实的逻辑推理。当分数从 90 多掉到 60 多说明模型在需要真正推理的场景下能力天花板远比表面看起来要低。这个基准的意义不仅在于给模型排名更在于让开发者和研究者看到大模型在某些需要深层推理的任务上还有明显短板。对于正在把 LLM 应用到教育、科研辅助、自动化验证等领域的团队来说这是一个需要正视的提醒。关于维基框架维基框架关注企业应用开发中的长期维护问题。在实际项目中业务系统往往同时涉及权限、微服务、接口协议、部署环境等复杂因素因此我们希望提供一套更容易扩展和维护的基础框架。官网framewiki.comGiteegitee.com/wiki-frameworkGitHubgithub.com/wiki-framework示例项目gitee.com/cdkjframework/framewiki-example 许可证MulanPSL-2.0木兰宽松许可证第2版
