这次我们来看一个能让你用自然语言对话来剪辑视频的开源项目browser-use/video-use。它不是一个传统的视频编辑软件而是一个“技能”Skill可以安装到 Claude Code、Codex、Hermes 这类具备代码执行能力的 AI 智能体Agent上。核心思路很简单你把一堆原始视频素材扔进一个文件夹然后告诉你的 AI 助手“帮我把这些剪成一个发布视频”它就能理解你的意图自动完成剪辑、调色、加字幕、加动画等一系列操作最终生成一个final.mp4文件。这个项目的核心价值在于它将复杂的视频编辑工作流从依赖图形界面和手动操作转变为依赖 AI 对文本化视频内容如逐字稿的理解和决策。你不需要学习 Premiere 或 DaVinci Resolve 的复杂时间线也不需要记忆各种快捷键只需要用自然语言描述你的编辑意图。对于需要快速处理大量口播视频、教程、访谈或 Vlog 素材的内容创作者和开发者来说这能极大提升效率。本文会带你完整走一遍video-use的部署、配置和实战流程。你将了解到它的核心能力边界、如何准备环境、如何通过 Claude Code 等智能体来使用它以及在实际操作中可能遇到的问题和解决方案。如果你对 AI 驱动的自动化工作流感兴趣或者正在寻找一种更“程序员友好”的视频编辑方式这篇文章值得你仔细阅读。1. 核心能力速览在深入细节之前我们先通过一个表格快速了解video-use是什么、能做什么、以及它的基本要求。能力项说明项目类型开源 AI 智能体技能Skill用于自动化视频编辑开源团队browser-useGitHub 组织核心功能基于自然语言指令自动完成视频剪辑、去除冗余如“嗯”、“啊”、自动调色、添加字幕、生成动画叠加、音频淡入淡出工作模式“读取”而非“观看”视频依赖 ElevenLabs Scribe 生成带时间戳的文本转录AI 基于此文本进行剪辑决策硬件门槛无特殊 GPU 要求。主要依赖 CPU 进行 FFmpeg 编码和 AI 智能体如 Claude Code的推理能力。显存占用取决于你使用的底层 AI 模型。核心依赖1.FFmpeg必需视频处理核心工具。2.Python 环境uv 或 pip。3.ElevenLabs API Key必需用于高精度音频转录。支持的智能体Claude Code, Codex, Hermes, Openclaw 等任何具备 Shell 访问能力的编码智能体启动/使用方式非独立启动。作为技能安装到智能体后在智能体对话环境中通过自然语言指令触发如edit these into a launch video。是否支持 API项目本身不直接提供 HTTP API。其能力通过智能体的对话接口暴露可实现类似 API 的自动化调用如通过 Telegram Bot 触发。是否支持批量是。核心设计就是处理文件夹内的多个原始视频文件并输出单个成品视频。输出管理所有中间文件和最终成品final.mp4均输出在原始素材目录下的edit/子文件夹中技能目录保持干净。适合场景口播视频精简、教程剪辑、访谈内容整理、Vlog 粗剪、需要为视频批量添加统一风格字幕和动画的自动化任务2. 适用场景与使用边界video-use并非万能理解其擅长和不擅长的场景能帮助你更好地利用它。它非常适合以下场景内容创作者的日常粗剪你录制了一段长达一小时的教程或访谈里面充满了停顿、重复和语气词。video-use可以快速识别并剪掉这些部分保留核心内容。统一风格包装你需要为一系列视频添加统一的片头片尾、字幕样式例如两词一组的全大写样式和色彩滤镜如电影感暖色调。video-use可以自动化完成这些重复性工作。基于文本的精准剪辑由于剪辑决策基于精确到词语级别的转录文本你可以实现非常精准的剪辑例如“保留提到‘开源模型’的所有句子剪掉其他部分”。与开发工作流集成作为开发者你可以在 CI/CD 流程中结合video-use自动生成产品更新视频或文档解说视频。它的局限和不适用场景复杂视觉特效与合成它不适用于需要复杂绿幕抠像、精细蒙版跟踪、粒子特效等重度视觉创作。其动画叠加依赖于 HyperFrames、Remotion、Manim 或 PIL 等代码生成方式更偏向信息图表类动画。精细的音频处理虽然能处理基础的音频淡入淡出但对于多轨混音、降噪、均衡器调整等专业音频工程仍需依赖专业软件。完全无需人工干预AI 提出的剪辑策略需要你确认Ask → confirm流程。它并非全自动黑盒而是增强你决策效率的工具。版权与肖像权风险重要提醒使用任何自动化工具处理视频时你必须确保拥有素材的完整版权或合法授权。特别是处理他人肖像或受版权保护的背景音乐、视频片段时务必遵守相关法律法规。video-use只是一个工具不豁免使用者的法律责任。3. 环境准备与前置条件在安装video-use技能之前你需要搭建好它的运行环境。整个过程可以概括为准备智能体 - 安装系统工具 - 获取 API 密钥。3.1 基础智能体环境video-use本身不是独立应用它必须“寄生”在一个能够执行代码的 AI 智能体上。目前最主流的选择是Claude CodeAnthropic 推出的编码智能体。Claude Code你需要先安装并配置好 Claude Code。这通常意味着你已经在本地或服务器上运行了 Claude Code 服务并且可以通过命令行如claude命令或 IDE 插件与其交互。备选智能体Codex、Hermes、Openclaw 等。只要该智能体支持安装自定义技能Skill并拥有 Shell 访问权限理论上都可以运行video-use。本文后续步骤将以Claude Code为主要环境进行说明。3.2 系统级依赖安装视频处理的核心是 FFmpeg这是一个必须预先安装好的工具。在 macOS 上使用 Homebrewbrew install ffmpeg brew install yt-dlp # 可选用于从网络下载视频源在 Ubuntu/Debian Linux 上sudo apt update sudo apt install ffmpeg # 如果需要 yt-dlp sudo apt install python3-pip pip3 install yt-dlp在 Windows 上访问 FFmpeg 官网 下载构建版本。解压到一个目录例如C:\ffmpeg。将C:\ffmpeg\bin添加到系统的PATH环境变量中。在命令行中运行ffmpeg -version验证安装。3.3 获取 ElevenLabs API 密钥video-use依赖 ElevenLabs 的Scribe模型进行高精度、带词级时间戳和说话人分离的音频转录。这需要付费 API 密钥。访问 ElevenLabs 官网 并注册/登录账号。进入Profile-API Keys页面或直接访问elevenlabs.io/app/settings/api-keys。点击 “Create a new API key”为其命名如video-use-transcribe。复制生成的密钥字符串。请妥善保管它将在下一步被使用。4. 安装部署与启动方式安装video-use有两种主流方式通过智能体自动安装推荐和手动安装。推荐使用第一种因为更符合“智能体技能”的生态逻辑。4.1 方式一通过智能体自动安装推荐这是最简洁的方式。你只需要在已经启动的 Claude Code 对话中输入一条特定的指令。启动你的 Claude Code。在终端中进入任意目录运行claude等待 Claude Code 初始化完成进入对话状态。发送安装指令。将以下提示词完整地粘贴给 Claude CodeSet up https://github.com/browser-use/video-use for me. Read install.md first to install this repo, wire up ffmpeg, register the skill with whichever agent youre running under, and set up the ElevenLabs API key — ask me to paste it when you need it. Then read SKILL.md for daily usage, and always read helpers/ because thats where the editing scripts live. After install, dont transcribe anything on your own — just tell me its ready and wait for me to drop footage into a folder.跟随智能体引导。Claude Code 会自动克隆video-use仓库到本地通常是~/Developer/video-use。检查并提示你安装 FFmpeg如果未安装。使用uv或pip安装 Python 依赖。将video-use软链接到 Claude Code 的技能目录如~/.claude/skills/。在需要时提示你输入刚才获取的ElevenLabs API Key。你只需粘贴密钥即可。最终告诉你安装完成并等待你提供视频素材。整个过程是交互式的智能体会处理大部分繁琐的配置步骤。4.2 方式二手动安装如果你更喜欢完全掌控或者智能体自动安装遇到问题可以手动执行。# 1. 克隆仓库并链接到技能目录 git clone https://github.com/browser-use/video-use ~/Developer/video-use # 为 Claude Code 创建软链接 ln -sfn ~/Developer/video-use ~/.claude/skills/video-use # 如果使用其他智能体请对应修改路径例如 Codex # ln -sfn ~/Developer/video-use ~/.codex/skills/video-use # 2. 进入目录并安装Python依赖 cd ~/Developer/video-use # 推荐使用 uv更快更轻量 uv sync # 或者使用传统的 pip # pip install -e . # 3. 配置 ElevenLabs API Key cp .env.example .env # 使用你喜欢的编辑器编辑 .env 文件例如 nano .env # 在文件中找到 ELEVENLABS_API_KEY 这一行填入你的密钥 # ELEVENLABS_API_KEYsk-your-actual-api-key-here4.3 验证安装安装完成后无需“启动”任何独立服务。验证方式就是回到 Claude Code 对话中让它列出已加载的技能或者直接尝试使用。在 Claude Code 对话中你可以问你现在有哪些可用的技能或者更直接地进入一个存放了测试视频素材的文件夹然后发出指令cd /path/to/your/test_videos claude # 在 Claude Code 对话中输入 edit these into a short clip如果技能加载成功Claude Code 会开始分析文件夹内的视频文件并与你交互后续的剪辑策略。5. 功能测试与效果验证假设你已经在~/Videos/raw_interview目录下存放了几个采访片段的原始视频文件如take1.mp4,take2.mov。我们来模拟一次完整的编辑流程。5.1 测试准备素材准备准备 2-3 个短视频片段每个1-2分钟内容最好包含一些口语化的停顿、重复和语气词。这是测试其“去除冗余”功能的好材料。启动智能体在终端中导航到你的素材目录并启动 Claude Code。cd ~/Videos/raw_interview claude5.2 核心工作流测试在 Claude Code 对话界面中你可以尝试以下不同类型的指令观察其响应和结果。测试指令 1基础剪辑请把这些视频素材剪辑成一个连贯的总结视频。预期行为Claude Code 会调用video-use技能。技能会首先使用你的 ElevenLabs API Key 对所有视频进行转录生成一个结构化的takes_packed.md文件约12KB。这是关键一步AI 通过阅读这个文件来“理解”视频内容。智能体会分析文本提出一个剪辑策略例如“我将移除所有‘嗯’、‘啊’等填充词合并相似的段落并建议在话题转换处添加转场。是否同意此策略”在你确认后它开始执行剪辑、渲染。最终在~/Videos/raw_interview/edit/目录下生成final.mp4和其他中间文件。测试指令 2风格化指令将这些片段制作成一个风格明快的产品宣传片添加全大写样式的字幕并使用温暖的电影感色调。预期行为除了基础剪辑智能体会尝试应用“warm cinematic”色彩查找表LUT进行自动调色。为所有语音内容添加字幕默认样式是两词一组的大写字母。可能会询问你是否需要添加动画 overlays如果素材适合。测试指令 3精准控制指令只保留每个片段中发言人谈论“开源优势”的句子剪掉其他所有内容然后拼接起来。字幕样式保持默认。预期行为这展示了基于文本转录的精准编辑能力。AI 会在takes_packed.md中定位所有包含“开源优势”的句子及其时间码。根据这些时间码生成编辑决策列表EDL并只渲染这些部分。这是传统时间线剪辑软件难以快速实现的逻辑剪辑。5.3 效果验证点完成一次编辑后请检查以下输出结果输出文件确认edit/final.mp4文件已生成并且可以正常播放。内容准确性播放成品检查是否按照你的指令如去除冗余词、保留特定内容进行了剪辑。技术质量音频检查剪辑点是否有爆音或突兀的跳动。video-use声称会在每个剪辑点添加 30ms 的音频淡入淡出你应该听不到“啪”的噪音。视频检查调色是否被应用如果指定了转场是否平滑。字幕检查字幕是否准确、同步样式是否符合预期。中间产物查看edit/目录下的其他文件如takes_packed.md转录文本、.edl文件编辑列表等这有助于你理解 AI 的决策过程。6. 接口 API 与批量任务video-use本身没有直接的 HTTP REST API但其通过智能体对话交互的模式可以被脚本化从而实现类似 API 的自动化批量处理。6.1 通过脚本与智能体交互你可以编写一个 Shell 或 Python 脚本模拟用户与 Claude Code 的交互过程。核心思路是将指令和素材路径通过标准输入stdin发送给claude命令行进程。一个简单的概念验证脚本batch_edit.sh可能如下#!/bin/bash # batch_edit.sh - 一个简单的批量处理脚本示例 INPUT_DIR$1 OUTPUT_DIR$INPUT_DIR/edit # 确保输出目录存在 mkdir -p $OUTPUT_DIR # 进入素材目录 cd $INPUT_DIR || exit 1 # 使用 here-document 向 claude 命令发送指令 # 注意这需要你的 claude 命令支持非交互式模式或具有某种脚本接口。 # 以下仅为逻辑示例实际实现取决于 Claude Code 的具体交互方式。 claude EOF edit these into a launch video. Use a neutral color grade and burn in subtitles. EOF # 检查是否生成最终文件 if [ -f edit/final.mp4 ]; then echo 编辑成功成品位于$OUTPUT_DIR/final.mp4 else echo 编辑可能失败请检查日志。 fi重要提示上述脚本仅为逻辑示例。实际的 Claude Code 可能不支持如此简单的非交互式输入。更可靠的方式是寻找或等待智能体平台如 Browser Use Box提供正式的 API 或 SDK。6.2 使用 Browser Use Box 实现常驻服务项目 README 中提到对于“常驻编辑服务”例如从你自己的 VPS 或 Telegram 机器人触发可以通过Browser Use Box来运行智能体。Browser Use Box 是 browser-use 生态下的一个托管/自托管环境它可能提供了更稳定的进程管理和潜在的 API 端点使得外部程序能更可靠地触发视频编辑任务。你需要查阅 Browser Use Box 的文档来了解其具体的集成方式。6.3 批量任务的最佳实践对于真正的批量处理例如每天自动处理一个文件夹下的新视频建议使用监听模式编写一个守护进程监控特定目录如~/Videos/inbox。一旦有新的.mp4文件放入就触发处理流程。分离配置与素材每个项目一组相关视频应放在独立的文件夹中。.env配置文件含 API Key可以放在技能目录或用户主目录避免在每个素材目录重复配置。日志记录确保智能体或你的包装脚本将运行日志输出到文件便于排查失败任务。错误处理与重试网络问题如调用 ElevenLabs API 失败或临时性错误可能导致任务失败。你的批量脚本应具备重试机制和失败通知如发送邮件或 Slack 消息。7. 资源占用与性能观察由于video-use的工作流拆分明确其资源占用也分布在不同的阶段理解这一点有助于你优化性能和排查问题。转录阶段CPU/网络密集型主要操作调用 ElevenLabs Scribe API 进行音频转录。资源占用此阶段主要消耗网络带宽上传音频和等待 API 响应的时间。本地 CPU 占用很低。性能取决于音频文件大小和网络质量。观察方法在任务运行时使用htop或任务管理器观察网络活动。你可以在 ElevenLabs 后台查看 API 使用情况和耗时。AI 决策阶段智能体推理密集型主要操作Claude Code 等智能体阅读takes_packed.md文件理解内容并制定剪辑策略。资源占用这完全取决于你使用的智能体模型。如果使用云端大模型如 Claude 3则消耗的是 API Token 和网络延迟。如果使用本地部署的大语言模型LLM则会占用显著的 GPU 显存和内存。观察方法对于本地 LLM使用nvidia-smiNVIDIA GPU或相应的监控工具观察显存占用。这是整个流程中可能对硬件要求最高的部分。渲染阶段CPU/磁盘 I/O 密集型主要操作FFmpeg 根据编辑决策列表EDL执行实际的视频剪辑、滤镜调色、混流、编码。资源占用这是最耗时的本地计算阶段会充分利用多核 CPU 进行视频编码。磁盘 I/O 也较高因为需要读取原始视频和写入成品。观察方法使用htop观察 CPU 使用率接近 100%。使用iotop或系统监控工具观察磁盘读写速度。性能优化你可以在video-use的 helpers 脚本中查找 FFmpeg 参数尝试调整编码器如使用libx264而非h264_nvenc或 CRF质量值来平衡速度与质量。总结video-use的本地硬件压力主要来自FFmpeg 渲染。如果你的视频很长或分辨率很高如 4K渲染时间会相应增加。确保你的系统有足够快的 CPU 和 SSD 硬盘能有效提升最终输出效率。8. 常见问题与排查方法在部署和使用video-use的过程中你可能会遇到以下问题。这里提供排查思路。问题现象可能原因排查方式解决方案Claude Code 无法识别edit指令1.video-use技能未正确安装或链接。2. Claude Code 未加载技能目录。1. 检查~/.claude/skills/目录下是否存在video-use软链接并指向正确的克隆目录。2. 在 Claude Code 中询问list your skills或查看其启动日志。1. 重新运行手动安装的软链接命令。2. 重启 Claude Code 服务确保其能扫描到技能目录。转录失败提示 API 错误1. ElevenLabs API Key 未设置或错误。2. API 额度用尽或网络问题。3. 音频文件格式不支持。1. 检查~/.env文件或项目目录下的.env文件中的ELEVENLABS_API_KEY。2. 登录 ElevenLabs 后台检查额度与账单。3. 查看 Claude Code 返回的错误信息。1. 重新设置正确的 API Key。2. 充值或等待额度重置。检查网络连接。3. 尝试使用 FFmpeg 将音频转换为标准格式如.wav或.mp3。FFmpeg 命令执行错误1. FFmpeg 未安装或不在系统 PATH 中。2. 视频编码器不支持或参数错误。1. 在终端运行ffmpeg -version确认安装。2. 查看edit/目录下的日志文件或 Claude Code 返回的详细错误。1. 根据系统重新安装 FFmpeg 并配置环境变量。2. 检查video-use/helpers/下的脚本看是否有特定编码器要求。尝试安装libx264等常用编码库。生成的视频没有声音/字幕/调色1. 指令不明确AI 未应用相应效果。2. 对应功能在渲染流程中出错被跳过。1. 回顾你给 AI 的指令是否明确要求了这些效果2. 检查edit/目录中的中间文件如.edl看是否包含了字幕或滤镜指令。1. 使用更明确的指令例如“添加字幕并使用 warm cinematic 风格进行调色。”2. 查看 FFmpeg 渲染日志定位具体错误。可能是字体文件缺失或滤镜名称错误。处理过程非常缓慢1. 视频分辨率过高、时长过长。2. 使用的是 CPU 软编码且 CPU 性能不足。3. ElevenLabs API 响应慢。1. 观察任务管理器看是哪个阶段转录、推理、渲染慢。2. 对于渲染慢可尝试在 helpers 脚本中为 FFmpeg 添加-preset faster参数。1. 如果可能先对素材进行预处理转码为低分辨率代理文件。2. 确保系统散热良好避免 CPU 降频。3. 考虑 ElevenLabs API 的服务器负载在非高峰时段处理。Self-eval循环失败无法输出最终视频AI 在自我评估渲染结果时发现剪辑点有问题如视觉跳跃、音频爆音但多次重试后仍未通过。查看 Claude Code 的对话历史看它报告了哪些具体的评估失败问题。1. 这可能是因为原始素材质量太低或转录时间戳不准。尝试提供更清晰、背景噪音更少的音频素材。2. 你可以中断循环手动检查edit/目录下的中间输出或指示 AI “忽略自我评估直接输出当前版本”。9. 最佳实践与使用建议为了更稳定、高效地使用video-use遵循以下建议从小规模测试开始首次使用时不要用长达数小时的重要项目素材。先用 1-2 个短小的测试视频验证整个流程理解其工作方式和输出质量。提供高质量的源素材清晰的音频是精准转录和剪辑的基础。尽量在安静环境中录制使用好的麦克风减少背景噪音。这能显著提升 ElevenLabs 转录的准确性和最终剪辑质量。指令明确且具体AI 不是读心术。与其说“剪得好一点”不如说“去掉所有‘嗯’和‘啊’保留核心观点使用明亮的色调并添加底部居中的字幕”。清晰的指令能得到更符合预期的结果。利用项目记忆video-use会在项目目录生成project.md文件来持久化会话记忆。这意味着你可以在一次编辑会话中分多次进行交互。例如今天完成粗剪明天再回来要求它“为昨天剪的视频添加开场动画”。这非常适合迭代式创作。探索helpers/目录这里是所有实际编辑脚本Python/Shell存放的地方。通过阅读这些脚本你可以深入了解其背后的 FFmpeg 命令、调色 LUT 应用方式、字幕生成逻辑等。高级用户可以修改这些脚本来定制化工作流。版权与合规第一再次强调自动化工具不能用于侵犯版权或肖像权。确保你拥有处理素材的所有必要权利。对于商用项目务必进行人工最终审核。管理 API 成本ElevenLabs Scribe 转录是按时长收费的。对于长视频成本可能不低。定期查看 API 使用情况并考虑是否需要对超长音频先进行预处理或分割。browser-use/video-use代表了一种新的可能性将视频编辑从手动操作转变为基于意图和文本描述的声明式工作流。它可能无法替代专业剪辑师的所有工作但对于大量重复性、模板化的剪辑任务以及希望将视频制作融入自动化脚本的开发者而言它是一个极具潜力的工具。最值得你首先尝试的就是它的“去除填充词”和“自动添加字幕”功能这能立刻解决很多创作者的痛点。最容易踩的坑通常是环境配置FFmpeg、API Key和指令不够明确。按照本文的步骤准备好环境从一个小测试开始你很快就能体验到 AI 辅助剪辑的效率提升。
)
