最近在AI圈里流传着一个有趣的测试Ethan Mollick用PotatoMonetBench来对比Claude Opus 4.5和Fable版本的创造力表现。这个测试之所以值得关注是因为它触及了一个核心问题——当我们谈论AI的“创造力”时到底在衡量什么是生成内容的多样性还是解决实际问题的创新能力PotatoMonetBench这个测试框架本身就很有意思它不像传统的基准测试那样只关注准确率或速度而是试图量化AI在开放性问题上的表现。这种测试方法反映了业界对AI能力评估的转变从“能不能做对”转向“能不能做得有创意”。1. 先搞清楚PotatoMonetBench到底在测什么PotatoMonetBench不是一个标准的学术基准而更像是一个实践导向的评估框架。它关注的是AI在面对模糊、开放性问题时的表现能力。这类问题通常没有唯一正确答案而是需要模型展示出思维的发散性、关联性和创新性。在实际测试中PotatoMonetBench可能会包含以下几种类型的任务1.1 故事创作与续写给定一个不完整的故事情境要求模型进行合理且富有创意的续写。评分标准不仅包括逻辑连贯性更重要的是看模型能否引入意想不到但又合理的转折点。比如从“一个程序员在深夜调试代码时突然发现……”这样的开头观察不同模型会如何发展故事情节。有的模型可能停留在技术问题的解决上而创造力强的模型可能会引入超现实元素或深刻的人物心理描写。1.2 问题解决场景模拟真实世界中定义不清的问题要求模型提出多种解决方案。这类任务考察的是模型跳出常规思维框架的能力。例如“如何让更多人关注气候变化”这样的问题普通模型可能给出标准的宣传建议而创造力强的模型可能会提出将气候变化数据转化为音乐作品或者开发一个让用户体验未来气候的虚拟现实应用。1.3 概念组合创新将两个看似不相关的概念组合在一起要求模型找出它们之间的创造性联系。这种任务特别能检验模型的联想能力和知识迁移能力。“将区块链技术与传统剪纸艺术结合”就是一个典型的例子。创造力强的模型不会简单地将两者并列而是可能提出基于区块链的剪纸作品数字版权保护方案或者用剪纸图案可视化区块链交易流。2. Claude Opus 4.5与Fable版本的核心差异从技术架构来看Claude Opus 4.5和Fable版本虽然同属Anthropic的模型系列但在设计目标和能力侧重上存在明显区别。2.1 模型定位与训练数据差异Claude Opus 4.5作为主力模型更注重通用性和稳定性。它的训练数据覆盖面广但在创造性任务上可能相对保守。这种保守性并非缺陷而是出于安全性和可靠性的考虑。Fable版本则专门针对叙事和创造性任务进行了优化。从名称就能看出它在故事生成、情节构建等方面有特殊强化。这种专门化优化意味着在创造性任务上Fable版本可能表现出更高的流畅度和想象力。2.2 创造性表达的约束机制一个关键区别在于模型对“创造性”的容忍度。Opus 4.5在生成内容时会施加更多的安全约束和事实核查这在一定程度上会抑制天马行空的创意表达。而Fable版本在确保基本安全的前提下允许更大程度的创造性发挥。这种差异在PotatoMonetBench测试中会体现为Fable版本生成的内容更加大胆、新颖但偶尔可能偏离现实逻辑Opus 4.5的内容更加稳妥可靠但在创新性上可能略显保守。2.3 上下文理解与连贯性在长文本生成任务中两个模型的表现也有差异。Opus 4.5在维持长上下文的一致性方面表现优异适合需要严格逻辑连贯的任务。Fable版本则更擅长在保持基本连贯的前提下引入创造性的转折和发展。这种能力在故事创作等任务中尤为宝贵因为它能够在避免内容枯燥的同时确保故事的整体合理性。3. 从测试结果看AI创造力的可衡量性Ethan Mollick的测试结果揭示了几个关于AI创造力评估的重要洞察。3.1 创造力不是单一维度测试显示所谓的“创造力”实际上包含多个维度新颖性、实用性、连贯性、情感感染力等。不同模型可能在不同维度上各有优劣。Opus 4.5在实用性和连贯性上得分较高其生成的内容往往更加贴近实际应用场景。而Fable版本在新颖性和情感感染力方面表现突出能够产生令人耳目一新的创意。3.2 任务类型决定模型选择测试结果强调了“没有最好的模型只有最合适的模型”这一原则。对于需要稳妥可靠解决方案的任务Opus 4.5是更好的选择而对于需要突破性创意的任务Fable版本可能更胜一筹。在实际应用中这意味着我们需要根据具体需求来选择合适的模型。比如商业文案创作可能更适合Opus 4.5而文学创作或头脑风暴会议可能更适合Fable版本。3.3 评估标准的主观性PotatoMonetBench的评分也反映出创造力评估的主观性。不同的评分者可能对同一段生成内容给出截然不同的评价这取决于他们的背景、期望和评判标准。这种主观性提醒我们在评估AI创造力时需要建立更加客观、可量化的指标体系同时也要承认创造性表达本身就具有多元化的特点。4. 创造性AI在实际应用中的落地策略基于测试结果的分析我们可以总结出一些在实际工作中使用创造性AI的有效策略。4.1 分层使用不同模型对于复杂的创造性任务可以采用分层使用的方法。先用Fable版本进行头脑风暴生成大量创意点子然后用Opus 4.5对这些点子进行筛选、优化和落地化处理。例如在广告创意策划中可以先用Fable版本生成10-20个创意方向然后用Opus 4.5评估每个创意的可行性、目标受众接受度和执行成本最终选出2-3个最优方案。4.2 设置合理的期望值需要认识到当前的AI创造力仍有一定局限性。它们擅长组合现有知识元素但在真正的原创性突破方面还有提升空间。在实际使用中应该将AI定位为“创意助手”而非“创意主体”。AI可以提供灵感和素材但最终的创意决策和深度思考仍需要人类来完成。4.3 建立反馈优化循环创造性AI的使用应该是一个持续优化的过程。通过收集用户反馈、分析生成内容的效果不断调整提示词设计和模型选择策略。可以建立一个小型的测试框架定期用实际业务场景的问题测试不同模型的表现从而积累针对特定任务的最佳实践。5. 从测试看AI创造力的未来发展方向Ethan Mollick的测试不仅是对当前模型能力的评估也为我们展望AI创造力的未来发展提供了重要参考。5.1 专业化与通用化的平衡测试结果暗示了未来AI发展的一个可能方向在保持通用能力的基础上发展针对特定领域深度优化的专业版本。我们可能会看到更多像Fable这样针对特定能力进行优化的模型出现比如专门针对科学发现、商业创新或艺术创作等领域的AI模型。5.2 评估方法的演进PotatoMonetBench这类测试框架的出现反映了业界对AI能力评估方法的不断创新。未来的评估体系可能会更加注重实际应用效果而不仅仅是学术指标。我们可能需要开发能够更好衡量创意实用性、社会影响力和商业价值的评估标准从而更全面地评估AI的创造性贡献。5.3 人机协作的深化测试结果强调了人机协作的重要性。未来的创造性工作流可能不再是“人或AI”的选择题而是“人与AI如何更好协作”的优化题。这意味着我们需要开发新的人机交互界面、协作流程和知识产权框架以充分发挥人类和AI在创造性工作中的各自优势。在实际工作中我建议采取渐进式的应用策略。先从辅助性的创意任务开始逐步积累经验再扩展到更核心的创造性工作。同时要始终保持批判性思维将AI的创意输出作为参考而非最终答案。最重要的是要认识到创造力本质上是人类特有的能力AI目前只是在模仿和扩展这种能力。真正的创新突破仍然需要人类的直觉、情感和深层次理解。AI可以成为强大的创意工具但创意的灵魂始终在人这一边。
