RoughCut：用Codex打造的全自动AI视频剪辑工具

为什么要自己做一个AI剪辑工具

对于频繁发布视频的创作者来说，剪辑往往是内容产出的最大瓶颈。这位B站UP主坦言，打开剪映就是他发布视频的"最大阻力"——所有操作都依赖经验性的手工调整，而如果对成片要求不高，剪映约80%的功能其实根本用不上。

他此前长期关注各类高质量开源项目，但发现这些项目在实际生产中局限性很大：一方面粉丝群体的硬件条件普遍有限，跑不动重型模型；另一方面很多开源项目"看完一个就扔了"，无法真正融入工作流。随着Codex、Claude Code这类Agent开发工具越来越成熟，他决定把重心转向"真正能节约时间、切实可用"的生产力工具，并将优质开源能力整合其中。

AI Agent开发工具背景：Codex与Claude Code代表了AI辅助编程的新范式。Codex是OpenAI推出的代码生成模型，能够理解自然语言指令并将其转化为可运行代码；Claude Code则是Anthropic基于Claude模型推出的命令行编程助手，支持在终端环境中进行复杂代码任务的端到端执行。这类工具的成熟标志着AI从"代码补全"升级为"Agent开发"——即AI能够自主规划任务、调用工具、迭代修复错误，完成数百甚至数千行的完整工程项目，而非仅仅补全几行代码。值得一提的是，这一范式转变背后有深刻的工程原因：传统IDE插件式的代码补全（如早期GitHub Copilot）依赖用户主动触发，而Agent模式则引入了"工具调用（Tool Use）"机制，允许AI主动读写文件系统、执行终端命令、搜索代码库，从而形成"感知-规划-执行"的闭环。正因如此，像RoughCut这样包含前后端、Docker配置、多模型路由的完整工程项目，才得以由一名创作者独立"让AI生成"，而无需组建专业工程团队。

RoughCut（作者称之为"粗剪"）正是这一思路下的第一个成果——整个项目由Codex直接生成，主打全流程自动化视频剪辑。

RoughCut的核心：全自动剪辑流程

RoughCut的定位非常清晰：处理有真实素材的视频类型，例如口播、开箱、教程、录屏、人物出镜等。对于依赖版权素材的"快捷剪辑"类型，作者坦言并非主攻方向，因为专业平台在版权素材上具有天然优势。

工具的核心逻辑是全自动——用户只需选定目标，剩余步骤交给系统完成。视觉风格与语言风格均支持自定义配置。系统运行在Docker上，开机即自动启动，无需反复初始化前后端，部署和维护都相当简便。

Docker部署的意义：Docker是一种容器化技术，将应用程序及其所有依赖打包成一个独立的运行环境，确保在不同机器上行为一致。其核心机制是通过"镜像（Image）"与"容器（Container）"的分离设计：开发者将运行环境打包为镜像后，用户只需拉取镜像并启动容器，即可获得与开发环境完全一致的运行状态。对于个人开发者工具而言，这意味着用户无需手动安装Python依赖、配置环境变量或解决版本冲突等繁琐问题——只需一条docker compose up命令即可启动完整服务。"开机即自动启动"的设计（通常通过restart: always策略实现）进一步降低了使用门槛，将工具从"需要懂技术才能跑起来"变为接近消费级软件的使用体验。这也是为什么作者将Docker作为RoughCut的核心部署方案，而非传统的Python脚本安装方式。

在剪辑逻辑上，作者结合了多年使用剪映的手动剪辑经验，并内置了大量剪辑规则与预案。例如：自动旋转纠正手机竖屏拍摄中的歪斜画面；智能识别并剔除应当删除的片段。虽然保留了手动对轴模式，但作者表示"如果自动效果够好，这个功能基本用不上"。

三大剪辑模式与自动任务

RoughCut提供三个主要剪辑模式，外加一套自动任务系统。

全能剪辑模式

这是作者最常用的模式——导入一个视频直接开剪。该模式支持配置个人账号信息、旁白风格、执行方式等，功能选项十分丰富：

• 音效提示、自动分章节、进度条等基础包装
• 台词改写 + TTS重跑：适合口播语言组织能力有限的用户，系统将把文案重新改写并用TTS重新配音（作者表示目前效果略显生硬，使用频率不高）
• 双语版本：可自动生成中英、中日等双语内容
• 数字人解说：支持嵌入解说框，作者使用了"魂二"数字人形象

TTS与ASR技术说明：TTS（Text-to-Speech，文字转语音）和ASR（Automatic Speech Recognition，自动语音识别）是视频剪辑自动化的两大核心技术支柱。ASR负责将视频中的人声转录为文字，是实现"智能识别应删片段"和"解说二创模式自动匹配画面"的前提；目前主流ASR方案包括OpenAI Whisper（开源本地部署）、阿里云FunASR以及讯飞语音等云端API，其中Whisper凭借对中文方言和专业词汇的较强泛化能力，成为本地化自动化工具的首选。TTS则将改写后的文案重新合成为语音，支撑台词改写配音、双语版本生成等功能。近年来基于深度学习的神经网络TTS模型（如微软Azure TTS、ElevenLabs、CosyVoice等）已能通过少量参考音频克隆特定说话人的音色、语速与情感风格，这正是创作者管理中"参考语音"配置项的技术基础——系统会学习创作者本人的声线特征，使合成语音更具个人辨识度，规避机械感。

数字人技术背景：数字人（Digital Human / Virtual Avatar）技术通过深度学习中的"音频驱动面部动画"模型，将预先录制的真人形象与实时生成的语音进行精准口型同步（Lip Sync），生成逼真的虚拟主播视频。其核心技术路径分为两类：一是基于2D图像的驱动方案（如SadTalker、MuseTalk），计算成本较低，适合本地部署；二是基于3D建模的全身数字人方案（如HeyGen、D-ID、硅基智能），效果更逼真但通常需要调用云端API。在内容创作场景中，数字人可替代真人出镜，规避创作者不愿露脸或精力有限无法频繁拍摄的问题，同时保持内容的视觉一致性。RoughCut中的"魂二"数字人形象属于自定义虚拟IP，通过嵌入解说框的方式融入剪辑流程，是将数字人工具链整合进自动化工作流的典型实践。

智能导演模式

类似其他产品的"一键成片"功能。作者出于个人偏好，只将其维持在"能跑通流程"的程度，并未深度开发。演示中他以"做一个2026年世界杯主题视频"为例验证流程可行性，但因未接入素材API，画面以PPT替代。他直言不太认可这种直接成片的方式，认为在缺乏高质量素材的前提下，效果不如剪映VIP或必剪的AI工具。

解说二创模式

这是效果最为亮眼的模式，专门用于制作"三分钟看完电影""发布会速览"这类二次创作内容。用户导入脚本后，系统自动用TTS合成旁白，对原片进行剪辑拆分，并在解说过程中智能匹配对应片段。更值得一提的是，系统会自动弹出气泡和特效来强调重点，并在提及某一内容时自动插入原片对应画面，整体成片效果流畅自然。

这一模式在技术实现上依赖"语义对齐"能力——系统需要理解解说词的语义，并在原片的ASR转录文本中定位最匹配的视频片段，本质上是一个跨模态的语义检索与时间轴对齐问题。这也解释了为何此模式相比其他模式对AI推理能力要求更高，同时成片效果的"自然感"更依赖底层语言模型的理解深度。

自动任务

只需指定一个文件夹并配置剪辑规格，系统便能自动批量处理文件夹内的所有视频。它还支持智能合并——例如同一主题分三段拍摄的视频，可自动合并后统一剪辑，非常适合开箱等系列内容的批量制作。

半自动发布与创作者管理

RoughCut内置了一套作者称之为"半自动"的发布系统。点击"生成物料"后，系统会自动生成标题和简介，并调用Codex或即梦生成中文封面图（封面配图由Agent识别原片内容后自动匹配）。

发布环节采用"自动生成 + 手动发布"策略。作者实测全平台各发一轮不超过10分钟，且几乎无需动脑。他特别提示：小红书视频版须手动发布，抖音、B站、YouTube、X等平台虽支持自动发布，但若平台有相关限制，建议遵守规则手动操作。

在创作者管理方面，系统支持配置多个创作者档案，每个档案可独立设置水印、数字人形象、参考语音（用于TTS）、片头片尾素材、音乐库等。任务策略层面则规定了剪辑方案、文案风格、视觉方案（字幕样式、封面样式）等细节。

此外还有一个知识库模块，存储了作者积累的方法论体系——这些创作方法论来自各类项目和网络采集，系统会借助这些内容持续优化剪辑逻辑，同时保存常用热词以提升ASR识别准确率。

知识库与RAG技术：文章提到的"知识库"模块在技术实现上通常依托RAG（Retrieval-Augmented Generation，检索增强生成）架构。RAG的核心流程分为两阶段：离线阶段将文档切分为语义块并通过嵌入模型（Embedding Model）转化为高维向量，存入向量数据库（如Chroma、Milvus、Qdrant）；在线阶段则在AI执行决策时，将当前任务描述同样向量化后进行相似度检索，将最相关的知识片段拼入提示词上下文。这一机制将创作者积累的方法论文档、热词表等内容转化为AI可检索的"外部记忆"，使模型输出更贴合特定创作者的风格偏好和领域知识，而无需对模型本身进行微调。相较于将所有知识硬编码进固定提示词，RAG方案更灵活、可扩展，是当前AI工作流系统实现"个性化"与"持续学习"的主流技术路径。热词库则直接作用于ASR识别层，通过提升专有名词（如产品名、人名、行业术语）的解码权重来降低转录错误率，进而提高后续所有依赖文字的自动化步骤的准确性。

更大的图景：一系列生产力项目

作者透露，RoughCut只是他整体规划中的一个组成部分。主项目"荷菲利"定位图像编辑，RoughCut负责视频编辑，此外还有教育类项目，以及他投入半年时间重点打造的"Hydra Metric"。这些项目将陆续开源，其中还包括一个"虚拟朋友"小项目。

作者也坦承RoughCut目前尚未达到"新手一键配置"的理想状态——虽然已可直接部署Docker，但许多自动化配置环节仍待完善。模型与路由的配置目前需要用户对Agent有一定了解，未来计划做成更智能的自动配置方案。他还计划持续优化录屏剪辑体验，例如鼠标轨迹放大等细节设计。

结语

RoughCut代表了AI Agent工具从"演示玩具"走向"生产力工具"的务实转型。它的价值不在于技术炫技，而在于直击创作者最痛的剪辑门槛——通过全自动剪辑流程与半自动发布系统，大幅压缩视频发布的时间成本。其底层融合了Docker容器化部署、ASR语音识别、TTS语音合成、数字人技术、RAG知识库检索等多项成熟的AI基础设施，并通过Agent编排将这些能力串联为一个对创作者透明的自动化工作流。尽管在易用性和一键部署方面仍有提升空间，但其"以实际需求为出发点、融合开源能力"的产品理念，对于希望借助AI工具提升内容生产效率的创作者而言，具有相当强的参考价值。

核心要点