‹ 返回笔记 · Back to notes

现场手记

我想让 Agent 一句话做完视频,最后还是自己进了剪映

I Wanted an Agent to Make a Video from One Sentence. I Still Ended Up in Jianying

我一直想把林鹿做成一句话就能出片的 Agent。本地模型折腾了一个多月没成,这次我花一千多元上 MiniMax Hub,以为 API 能把最后那段路补上。三版粗剪、一次卡死以后,片子最后还是我在剪映里一刀一刀剪出来。钱没白花,路也不是原来那条。

MiniMax Hub林鹿AI 视频Agent视频制作剪映public-safe
《再打白骨精》成片截图:深夜办公室里,伏案睡着的人进入梦境

YunLab · 第一次 Agent 视频制作记录

林鹿我做了一个多月,目标一直没变:我说一句话,它自己把一条短视频做出来。不是帮我写个脚本,也不是给我几段素材,是剧本、分镜、人物、画面、配音、配乐、剪辑一路跑到底,最后把成片交给我。

前面我写过,林鹿做一支 45 秒的林黛玉进贾府,一个月推翻三次还没出片。后来我又把“做个视频”拆成九个节点。可拆完以后,这件事还是没成。我跟 AI 一起修出一个片子,不等于林鹿自己会做片子。这是两码事。

我那时先把锅扣在了本地模型头上。模型不够强、机器跑得慢、工作流不成熟,所以我一直在换模型、调参数、补节点。我以为只要把底下这台发动机换强一点,“一句话出片”迟早能跑通。

我花了一千多元,想把本地没走通的路走通

这次刚好要做一条公益视频。我想得很直接:本地不行,就上 API。云端模型更强,工具也完整,也许本地差的那口气,花钱就能补上。

我开始用 MiniMax Hub,充了一个一千多元的套餐。

真正开工前,我还认真做了前期。我先让 Kimi 跑了一次深度研究,把脚本、角色、场景、镜头视角、台词、分镜和执行方案全做出来。一项没少。我当时真觉得,前期细到这个程度,后面只剩执行了。

MiniMax Hub 开头也确实没让我失望。它能读材料、拆任务、出图、生成视频,东西还都放在一个项目里。最初出来的很多画面,我是满意的。单个镜头拎出来看,甚至会觉得这次真走通了。

第一版视频截图:深夜办公室里的主角正在工作
第一版里的一个镜头。单独看没有太大问题,问题出现在这些镜头被连成一条片以后。

第一版:镜头都能看,片子不能看

第一版粗剪一出来,我就知道不对。

问题还真不是哪个镜头特别差。恰恰相反,很多镜头单看都不错。可人一会儿变,东西一会儿换,前一个镜头和后一个镜头没接上,情绪也没落到我想要的位置。有些动作挺好看,我却说不清它为什么要放在这里。

这也是 AI 视频最容易骗我的地方:每张图都能夸,每个镜头都像能用,连起来却不是一条片。

我把粗剪拿给 ChatGPT,让它帮我审片、找问题、重新想结构。我当时还有个挺天真的判断:ChatGPT 说的是“机器话”,再把这些修改意见交给 MiniMax Hub,肯定比我自己说得更准,也更省事。

结果它只是让我改得更快,也改得更多。

建议越列越多,修改越拆越细,新旧片段也越堆越多。我告诉它这里不对,它重做;重做以后,旁边又冒出一个新问题。到后来,我已经不是在把一条片改好,是在一堆版本里继续找那条片到底在哪。

再后来,MiniMax Hub 直接卡死了。不是出片慢,也不是等一会儿就好,是整个项目已经不能输入修改意见,什么都做不了。我的机器是 96GB 统一内存的 M3 Ultra Mac Studio,当时活动监视器里 MiniMax Hub 自己只占 3GB 多,它照样卡在那里。

我最后把这个项目从 MiniMax Hub 的项目目录里移出去,应用才重新能用。第一轮就这么停了。我换个办法,从头再来。

第二版:先把图做对,片子还是不对

卡死以后,我重新翻第一批素材,才发现自己前面盯错了。剪辑当然有问题,原料也有问题。人物不像同一个人,场景一会儿一个质感,道具到了下个镜头就换了样。拿这种东西往下剪,后面再怎么补也很难统一。

所以第二轮我没急着做视频。我先借助 ChatGPT 的做图能力,重新做了一批人物图、场景图和关键帧,把人、地方和重要道具先钉住,再把这些图交回 MiniMax Hub,让它往下生成片段。

第二轮制作后的成片截图:主角挑着两只沉重的担子向前走
统一图片和关键帧以后,“扛”这个动作终于能成为一条比较稳定的视觉线索。

有了图片和关键帧,第二版粗剪很快就出来了。还是不对。

我继续改人、改镜头、改顺序、改故事。最难受的是,每改一次,局部好像都好了一点,整条片却越来越不像我想讲的东西。时间越花越多,片段越攒越多,我对结果反而越来越不认。

后来我又让 GPT 把整个故事重新捋了一遍。原来铺得很开的东西,最后收成三个问题:你能扛多久?你若倒下,谁替你扛?你留下的,是牵挂,还是安排?

这回不是改几个镜头,是方向变了。我再让 MiniMax Hub 按这三个问题继续做片段。

《再打白骨精》成片截图:孙悟空在雾中与挑担的主角对峙
这一次,我先问这个镜头在故事里回答什么,再决定它要不要留下。

第三版以后,我不让它交成片了

第三版粗剪出来以后,我终于不跟它较这个劲了。

我认的不是模型不会生成。它会。它能读剧本,能出好图,也能做出挺好的视频片段。可哪一秒该留、哪一秒该删,这里为什么要停一下,那个声音什么时候进来,它交不了我脑子里那条片。

所以我把任务改了:别给我成片,只给我能用的小片段。片段出来,我自己挑,自己放进剪映里拼。

最后的剪辑、配音、音效、配乐和节奏,都是我自己在剪映里一点点收的。剪映素材库里有合适的声音,我就直接用;确实没有,再考虑让模型单独做。最终导出来,106.6 秒。

《再打白骨精》成片截图:主角在油灯下把未来的安排画成一张图
这条片最后落在“把牵挂变成安排”。这个节奏和落点,是我自己在剪映里收住的。

这条片还有一堆问题。人物跨镜不完全一致,动作和道具会跳,有些画面一眼就是 AI 生成的。它不是一条成熟的商业片,我对它也只是相对满意。

但我会把它留下来。因为这是第一次,我真用 Agent 走完了前期、图片、视频片段,再由自己把剪辑、配音、配乐和导出收完。不是 Agent 替我做完了一条视频,是我和 Agent 第一次把一条视频做完了。这个差别很大。

这次我认了五件事

  1. 别再幻想把整条片从头到尾交给 Agent。至少现在,无论本地还是 API,都不现实。它能把一段做得很好,却不知道整条片什么时候才算“对”。
  2. 关键的地方,我必须在场。故事到底讲什么、这个人对不对、这个镜头留不留、情绪到了没有,这些不能外包。
  3. 让 Agent 做片段,我来剪。任务越小、边界越清楚,它越好用。让它直接交整条成片,反而容易把所有问题一起藏进去。
  4. 前期可以大胆用 LLM。剧本、台词、镜头语言、人物、场景、道具,都可以让 Kimi、ChatGPT 帮忙研究和整理。它们很适合把一团想法铺开,但最后选哪条,还是我拍板。
  5. 最后的剪辑,还是得自己来。Agent 能听懂我写下来的要求,替不了我脑子里那个“对”。哪怕我觉得自己已经讲得够清楚,也一样。

真要再做一次,我会这么省钱

  1. 先把图片做对,再花钱做视频。ChatGPT、Grok 这类做图入口,能用免费额度就先用。人物、场景和关键帧先统一,后面的视频返工会少很多。
  2. 先做无声的小片段。一开始别管音效和音乐。画面先过,最后进剪映或其他剪辑软件找合适的声音;里面确实没有,再让模型单独做。
  3. 有图片和关键帧,抽卡会少一点,不是不用抽。每一段还是得盯人脸、手、动作、道具和前后连续性。一个片段单独好看,放进整条片不一定能用。

我原来要的是:我说一句话,林鹿把成片交给我。现在我想要的是:我说一句话,它先把前期、图片和能用的片段铺到桌上,然后停下来,等我判断。

《再打白骨精》有很多毛病,我知道。但它值得留下。它是我第一次没把“不完美”当成没完成,第一次真的把 Agent 生成的东西接到自己手里,剪成了一条片。

它没证明 Agent 已经会做视频。它只把一件事说透了:Agent 能替我做很多手上的活,替不了我脑子里那个“对”。

把这篇记录接到下一步

读完以后,可以继续追问这篇文章,也可以回到策展目录,或通过标签追同一条线索。

追问这篇 回到目录 浏览标签