这不仅是生成更是“制作”开源框架ViMax如何用“五大AI职员”颠覆影视工业项目介绍从“片段生成”到“系统化制作”的范式革命当前以Sora、Runway为代表的文本生成视频技术令人惊艳但它们往往止步于生成数秒至数十秒的单一、连贯镜头。当我们梦想AI创作一部包含复杂情节、多场景切换、角色统一的短片时便立刻面临两大“天花板”叙事规划的复杂爆炸与跨镜头的视觉连贯性缺失。香港大学黄超教授团队开源的ViMax正是为突破这一天花板而生。它不再仅仅是一个视频生成模型而是一个面向长视频、实现Agentic Video Generation智能体驱动视频生成的完整框架。ViMax通过模拟一个专业的影视制作团队实现了从创意构思、剧本写作、分镜规划到视频生成与质量控制的端到端全自动化流程将AI视频创作从“片段拼接”提升到了“体系化制作”的新阶段。自开源以来已在GitHub上获得超过1.4K星标显示出社区的强烈兴趣。核心功能与架构一个由AI组成的“一人剧组”ViMax的核心设计思想是多智能体协同它将传统影视工业的工种拆解为五个高度专业化的AI智能体各司其职编剧智能体负责将用户输入的一句话想法、小说或剧本片段转化为结构化的标准影视剧本包含场景、对白和节奏。分镜智能体基于电影语言理论将剧本分解为具体的镜头语言规划摄像机位置、运动轨迹、光影和角色调度形成“拍摄蓝图”。视频生成智能体采用“先图后视频”策略先生成关键视觉资产角色、场景再基于这些资产生成动态视频片段确保风格可控。质量控制智能体利用视觉语言模型对生成的多个候选视频进行多维评估筛选最优结果或触发参数调优与重新生成形成质量闭环。导演智能体作为总指挥统筹以上所有智能体确保流程顺畅与最终成片的风格统一。三大核心技术解决长视频难题三层递归规划体系为驾驭复杂叙事ViMax将故事递归分解为事件层故事骨架、场景层戏剧单元、镜头层执行指令让语言模型在每个层级处理适度的复杂度同时保持整体连贯。RAG增强的全局上下文同步为避免分层导致信息割裂ViMax通过检索增强生成技术为每个阶段动态检索并融合全局故事背景如角色关系、前文伏笔防止出现角色性格突变或情节矛盾。图网络驱动的视觉一致性方案这是ViMax的技术亮点。它通过构建镜头间共享视觉元素角色、场景的依赖关系图并据此优化生成顺序。无依赖的镜头并行生成以提效有依赖的镜头则基于前序生成的画面进行“条件生成”从根本上保障了角色外貌、场景风格在跨镜头间的稳定。此外它还能生成过渡视频来校准同一场景多视角的空间几何关系确保镜头切换流畅自然。使用方法开启你的AI导演之路根据项目文档开始使用ViMax的步骤如下环境准备确保系统为Linux或Windows并安装好Python环境管理工具uv。克隆与安装git clone https://github.com/HKUDS/ViMax.git cd ViMax uv sync配置与运行ViMax支持多种输入模式核心配置文件位于configs/目录下。创意转视频在configs/idea2video.yaml中配置你的大模型如OpenAI、Claude和图像/视频生成API密钥。然后在main_idea2video.py中提供你的创意想法。剧本转视频在configs/script2video.yaml中完成类似配置在main_script2video.py中提供你的详细剧本。完成配置后运行对应的主程序ViMax的多智能体系统便会开始全自动工作最终输出完整的视频文件。代码与原理演示多智能体如何协作尽管ViMax内部流程复杂但用户交互界面可以非常简洁。其核心协作逻辑可以简化为一个高效的决策与执行循环。例如当编剧智能体生成一段剧本后导演智能体会协调分镜智能体进行解析# 概念性伪代码展示ViMax内部智能体间的决策与任务传递 class DirectorAgent: def orchestrate(self, user_input): # 1. 编剧智能体将想法转化为结构化剧本 screenplay ScreenwriterAgent().write_script(user_input) # 2. 分镜智能体将剧本分解为镜头列表 shot_list ShotPlanningAgent().plan_shots(screenplay) # 3. 基于依赖图智能调度视频生成 dependency_graph build_dependency_graph(shot_list) for shot in topological_sort(dependency_graph): # 并行生成独立镜头条件生成依赖镜头 video_clip VideoGenerationAgent().generate(shot, referenceshot.depends_on) # 4. 质量评估与迭代 ifnot QualityControlAgent().evaluate(video_clip): video_clip self.retry_generation(shot) # 5. 最终剪辑与输出 final_video self.assemble_all_clips() return final_video优势对比在AI视频工具丛林中的定位与市场上其他流行的AI视频生成工具相比ViMax的定位和优势非常清晰特性/项目ViMaxMoneyPrinterTurboSora / Runway等基础模型核心定位端到端智能体化视频制作框架短视频自动合成工具文本到视频生成模型核心能力长叙事规划、多镜头一致性、专业分镜素材匹配、文案生成、配音字幕合成高质量单镜头/短镜头生成输入形式一句话想法、小说、剧本主题、关键词、自定义文案详细的文本描述输出特点具备电影语言的多镜头故事短片基于现有素材混剪的解说类短视频艺术性、想象力强的视频片段技术门槛较高需理解架构与配置较低提供Web UI低直接文本交互自动化程度极高全流程自动化高但依赖素材库单一环节生成简而言之ViMax的野心不在于生成一个几秒的惊艳片段而在于自动化地制作一个结构完整、视觉连贯的“电影作品”。它填补了从“基础视频生成能力”到“可用视频作品产出”之间的巨大鸿沟。总结与展望ViMax的出现标志着AI视频生成领域从追求“视觉奇观”迈向解决“制作工程”的关键一步。它通过系统性的多智能体架构将专业影视制作的知识编码进自动化流程为独立创作者、内容营销者和影视教育等领域提供了革命性的工具。当然作为前沿研究框架ViMax仍有提升空间例如计算成本优化、支持更多交互编辑功能、整合音频生成以及理解多元文化叙事等。然而其最重要的贡献在于指明了一条可行的技术路径未来的AIGC不仅是更强大的生成模型更是能够理解复杂任务、进行专业规划与协作的智能体系统。ViMax正为这个未来拉开序幕。项目地址https://github.com/HKUDS/ViMax
