从一段你喜欢的视频开始:参考视频入口给你回什么

2026-08-09

大部分人第一次用 AI 做视频,卡住的地方不是工具,是不知道要什么。你只能对着输入框写「做一个 60 秒的科普视频,风格好一点」,然后拿回一个跟脑子里想的完全不是一回事的东西,再回去改 prompt,循环三四轮。

OpenMontage 的 README 里有一节专门针对这个循环,标题是 “Start From A Video You Already Love”。原文观点很直接:从一段参考视频开始,往往比从空白 prompt 开始更快。

这一节值得单独拆,因为它既是 README 专门立了一节来讲的入口,也是最容易被误读的一条。

这条入口能吃什么

README 给的输入范围是:YouTube 视频、Short、Reel、TikTok,或者你本地的一段片子。你把它丢给 agent,agent 去分析它的转录文本、节奏、场景、关键帧和风格,然后把这些转成一份有依据的制作计划。

用法上没有什么特别的仪式。README 给的标准路径就是 git clone 之后 cd OpenMontagemake setup,然后在你的 AI 编码助手里打开这个项目,用自然语言说你要什么。README 里给的三条参考视频类示例 prompt 长这样:

“Here’s a YouTube short I love. Make me something like this, but about CRISPR for high school students.”

“Analyze this Reel and give me 3 original variants I could make for my own product launch.”

“I like the pacing and hook in this video. Keep that energy, but turn it into a 45-second explainer about black holes.”

注意第三条的措辞:保留节奏和钩子,换掉主题。这是这条入口真正想干的事——它不是让你复制一段视频,是让你把一段视频拆成「结构」和「内容」两部分,只搬结构。

前置条件跟走其它路径一样,README 的 Quick Start 列了四项:Python 3.10+、FFmpeg、Node.js 18+,以及一个 AI 编码助手(Claude Code、Cursor、Copilot、Windsurf 或 Codex 之一)。第四项不是可选的,这个项目的编排逻辑本来就跑在 agent 那一侧。

它承诺回给你四样东西

README 这一节里写得最具体的是返回物。原文说你拿回来的不是「瞎猜的 prompt 面条」,而是四件事:

  1. 保留了参考视频的什么:节奏、开场钩子风格、结构、调性
  2. 改变了什么:主题、视觉处理、切入角度、旁白方式
  3. 在你的目标时长下会花多少钱——在素材生成开始之前就知道
  4. 用你当前可用的工具,它实际会长成什么样

再加上流程上的两项:你会拿到 2-3 个有差异化的概念,以及在全量制作之前的一个样片。

第一条和第二条摆在一起看才有意思。它逼着 agent 把「我抄了什么」和「我改了什么」分列出来,而不是含混地说「参考了你给的风格」。这两栏能不能填得准,取决于你用的 agent 和它读到的上下文——README 描述的是这条入口应该产出什么,不是保证每次都产得出来。

第四条「用你当前可用的工具会长成什么样」,是这四条里最容易被读者一眼滑过去的一条。它隐含的前提是:OpenMontage 知道你手上有什么工具。这不是玄学,README 里的 .env 段每一个密钥都标了 optional,你配了 $FAL_KEY 还是配了 $OPENAI_API_KEY、还是一个都没配,能走的路径完全不同。想在开工之前自己确认一遍能力边界,README 给的办法是不看文档看 registry,跑这两条:

python -c "from tools.tool_registry import registry; import json; registry.discover(); print(json.dumps(registry.support_envelope(), indent=2))"
python -c "from tools.tool_registry import registry; import json; registry.discover(); print(json.dumps(registry.provider_menu(), indent=2))"

以上命令照抄自仓库文档,我们没有运行过,实际输出以你本地跑出来的为准。

一个可核查的边界:不是每条流水线都吃这个入口

前面都是 README 的口径。这类项目看 README 容易被愿景带着走,所以我习惯翻一下配置里的开关——开关是跑不掉的硬事实。

我们实读了 pipeline_defs/documentary-montage.yaml(纪录片蒙太奇流水线的 manifest),它的顶层元信息里有这么一段:

# Reference video input support
reference_input:
  supported: false

也就是说,manifest 层面有一个显式的 reference_input.supported 字段,而这条流水线上它是 false。README 大力宣传「从你已经喜欢的一段视频开始」,但这条路在 documentary-montage 上并不成立。

这一点需要说清楚边界:我们只读了这一份 manifest 的前 70 行,其它 12 份 .yaml 我们都没有读过。所以能确定的只有「这个字段存在,而且在这一条上是 false」,至于有几条流水线支持参考视频入口、其它 manifest 里这个字段取什么值,我们不知道,也不打算猜。

对你的实际影响是:如果你想做的是那种「只用真实素材、不用付费生成 API」的片子——README 的流水线表里 Documentary Montage 那一行对应的正是这个——那么「甩一条参考视频过去」这个开局大概率不适用,你得换成描述性的 prompt。README 给这条路径的提示是在 prompt 里明确说 documentary montage、tone poem 或 stock-footage collage,并且写清 use real footage only。

顺带一提,这份 manifest 的头几行还标了 stability: beta。项目自己在配置里留了这个余地,读的时候一起记上。

成本估算这一项,只能当成「它会给你一个数」

四项返回里第三项是成本。这一项最需要克制地读。

README 里确实到处是金额:它列了 5 段演示视频,其中 4 段标了项目方给出的总成本(“THE LAST BANANA” $1.33、“The Library at Alexandria” $0.02、“VOID — Neural Interface” $0.69、“Afternoon in Candyland” $0.15),另一段 “SIGNAL FROM TOMORROW” 没标;示例 prompt 那节还标了两档区间——配了图像/视频 provider 是 ~$0.15–$1.50,完整配置是 ~$1–$3。

这些全部是项目方在 README 中自行标注的金额,不是我们的实测结果。 它们对应的是项目方自己那几次制作、自己那套 provider 配置、自己那个时点的价格。你的目标时长、你配了哪几个 key、你重试了几次,任何一项不同,数字就不是这个数字。所以这些金额只能用来理解「这个系统会在开工前给你报一个数」这件事,不能反推「我做一条要花多少钱」。

真正能约束花销的是配置里的闸。还是那份 documentary-montage 的 manifest,orchestration 段里写着:

orchestration:
  mode: executive-producer
  skill: pipelines/documentary-montage/executive-producer
  budget_default_usd: 1.00
  max_revisions_per_stage: 3
  max_send_backs: 2
  max_wall_time_minutes: 60

这条流水线的默认预算是 $1.00,比 config.yaml 里的全局 $10.00 紧得多——说明流水线可以自带比全局更严的预算。同一段里还有每阶段最多 3 次修订、最多 2 次打回、墙钟时间上限 60 分钟。把这几行读进去,比记住 README 里那几个演示金额有用。需要说明的是,这些是配置里的默认值,具体怎么执行请以仓库代码为准,配好它们也不等于不会超支。

「先看个样片再开工」这道闸

返回物里还有一条是「在全量制作前的一个样片」。这条对应的是 OpenMontage 一贯的人审设计。

README 把故事板称作一道真正的审批闸:素材生成会在一张逐场景的样片接触表上暂停,上面有多个 take、对应的 prompt、每个素材的成本和质量分,让你在渲染之前批准视觉,而不是在来不及之后。创意闸会一直挂起直到你回答。这块本地看板叫 Backlot,README 里贴了几张它的截图——我们没有运行过这个系统,界面长什么样、好不好用,本文不做任何描述。

这道闸和参考视频入口是配套的:参考视频给你一个结构假设,样片让你在花钱之前验证这个假设有没有被兑现。两者拆开看都少了一半。

一处名字上的不一致

最后记一个读 manifest 时会撞上的差异。README 说每条流水线都遵循同一套结构化流程:

research -> proposal -> script -> scene_plan -> assets -> edit -> compose

而我们实读的 documentary-montage manifest 里,第一个阶段的 nameidea,第二个才是 scene_plan。两处写的不一样,以仓库当前状态为准。我不推断原因,也不拿它评价这个项目——只是提醒你:真要对着阶段名去找对应的 director skill,请以你手上那份 manifest 里的 name 字段为准,不要照着 README 那条链去猜。

关于 manifest 的完整字段结构、以及流水线数量在 README 与目录之间的差异,我们另有一篇专门讲,这里不展开。


本文依据 OpenMontage 官方仓库(github.com/calesthio/OpenMontage)的 README、 AGENT_GUIDE.mdconfig.yamlpipeline_defs/lib/ 下的治理模块整理,核对日 2026-08-09。 本文内容为仓库源码与文档口径,我们没有安装或运行过该系统,也没有调用过其中任何一个 provider API, 文中出现的成本数字均为项目方在 README 中自行标注的金额,非我们的实测结果。 该项目以 AGPL-3.0 发布,部分流水线在 manifest 中自标 stability: beta,请以仓库最新内容为准。 安全相关做法请结合自身环境评估,本文不构成安全方案建议。

想系统学会用 AI?报名体系课或加入会员,照着学、照着用。