YunLab · 第一次 Agent 视频制作记录
林鹿我做了一个多月,目标一直没变:我说一句话,它自己把一条短视频做出来。不是帮我写个脚本,也不是给我几段素材,是剧本、分镜、人物、画面、配音、配乐、剪辑一路跑到底,最后把成片交给我。
前面我写过,林鹿做一支 45 秒的林黛玉进贾府,一个月推翻三次还没出片。后来我又把“做个视频”拆成九个节点。可拆完以后,这件事还是没成。我跟 AI 一起修出一个片子,不等于林鹿自己会做片子。这是两码事。
我那时先把锅扣在了本地模型头上。模型不够强、机器跑得慢、工作流不成熟,所以我一直在换模型、调参数、补节点。我以为只要把底下这台发动机换强一点,“一句话出片”迟早能跑通。
我花了一千多元,想把本地没走通的路走通
这次刚好要做一条公益视频。我想得很直接:本地不行,就上 API。云端模型更强,工具也完整,也许本地差的那口气,花钱就能补上。
我开始用 MiniMax Hub,充了一个一千多元的套餐。
真正开工前,我还认真做了前期。我先让 Kimi 跑了一次深度研究,把脚本、角色、场景、镜头视角、台词、分镜和执行方案全做出来。一项没少。我当时真觉得,前期细到这个程度,后面只剩执行了。
MiniMax Hub 开头也确实没让我失望。它能读材料、拆任务、出图、生成视频,东西还都放在一个项目里。最初出来的很多画面,我是满意的。单个镜头拎出来看,甚至会觉得这次真走通了。
第一版:镜头都能看,片子不能看
第一版粗剪一出来,我就知道不对。
问题还真不是哪个镜头特别差。恰恰相反,很多镜头单看都不错。可人一会儿变,东西一会儿换,前一个镜头和后一个镜头没接上,情绪也没落到我想要的位置。有些动作挺好看,我却说不清它为什么要放在这里。
这也是 AI 视频最容易骗我的地方:每张图都能夸,每个镜头都像能用,连起来却不是一条片。
我把粗剪拿给 ChatGPT,让它帮我审片、找问题、重新想结构。我当时还有个挺天真的判断:ChatGPT 说的是“机器话”,再把这些修改意见交给 MiniMax Hub,肯定比我自己说得更准,也更省事。
结果它只是让我改得更快,也改得更多。
建议越列越多,修改越拆越细,新旧片段也越堆越多。我告诉它这里不对,它重做;重做以后,旁边又冒出一个新问题。到后来,我已经不是在把一条片改好,是在一堆版本里继续找那条片到底在哪。
再后来,MiniMax Hub 直接卡死了。不是出片慢,也不是等一会儿就好,是整个项目已经不能输入修改意见,什么都做不了。我的机器是 96GB 统一内存的 M3 Ultra Mac Studio,当时活动监视器里 MiniMax Hub 自己只占 3GB 多,它照样卡在那里。
我最后把这个项目从 MiniMax Hub 的项目目录里移出去,应用才重新能用。第一轮就这么停了。我换个办法,从头再来。
第二版:先把图做对,片子还是不对
卡死以后,我重新翻第一批素材,才发现自己前面盯错了。剪辑当然有问题,原料也有问题。人物不像同一个人,场景一会儿一个质感,道具到了下个镜头就换了样。拿这种东西往下剪,后面再怎么补也很难统一。
所以第二轮我没急着做视频。我先借助 ChatGPT 的做图能力,重新做了一批人物图、场景图和关键帧,把人、地方和重要道具先钉住,再把这些图交回 MiniMax Hub,让它往下生成片段。
有了图片和关键帧,第二版粗剪很快就出来了。还是不对。
我继续改人、改镜头、改顺序、改故事。最难受的是,每改一次,局部好像都好了一点,整条片却越来越不像我想讲的东西。时间越花越多,片段越攒越多,我对结果反而越来越不认。
后来我又让 GPT 把整个故事重新捋了一遍。原来铺得很开的东西,最后收成三个问题:你能扛多久?你若倒下,谁替你扛?你留下的,是牵挂,还是安排?
这回不是改几个镜头,是方向变了。我再让 MiniMax Hub 按这三个问题继续做片段。
第三版以后,我不让它交成片了
第三版粗剪出来以后,我终于不跟它较这个劲了。
我认的不是模型不会生成。它会。它能读剧本,能出好图,也能做出挺好的视频片段。可哪一秒该留、哪一秒该删,这里为什么要停一下,那个声音什么时候进来,它交不了我脑子里那条片。
所以我把任务改了:别给我成片,只给我能用的小片段。片段出来,我自己挑,自己放进剪映里拼。
最后的剪辑、配音、音效、配乐和节奏,都是我自己在剪映里一点点收的。剪映素材库里有合适的声音,我就直接用;确实没有,再考虑让模型单独做。最终导出来,106.6 秒。
这条片还有一堆问题。人物跨镜不完全一致,动作和道具会跳,有些画面一眼就是 AI 生成的。它不是一条成熟的商业片,我对它也只是相对满意。
但我会把它留下来。因为这是第一次,我真用 Agent 走完了前期、图片、视频片段,再由自己把剪辑、配音、配乐和导出收完。不是 Agent 替我做完了一条视频,是我和 Agent 第一次把一条视频做完了。这个差别很大。
这次我认了五件事
- 别再幻想把整条片从头到尾交给 Agent。至少现在,无论本地还是 API,都不现实。它能把一段做得很好,却不知道整条片什么时候才算“对”。
- 关键的地方,我必须在场。故事到底讲什么、这个人对不对、这个镜头留不留、情绪到了没有,这些不能外包。
- 让 Agent 做片段,我来剪。任务越小、边界越清楚,它越好用。让它直接交整条成片,反而容易把所有问题一起藏进去。
- 前期可以大胆用 LLM。剧本、台词、镜头语言、人物、场景、道具,都可以让 Kimi、ChatGPT 帮忙研究和整理。它们很适合把一团想法铺开,但最后选哪条,还是我拍板。
- 最后的剪辑,还是得自己来。Agent 能听懂我写下来的要求,替不了我脑子里那个“对”。哪怕我觉得自己已经讲得够清楚,也一样。
真要再做一次,我会这么省钱
- 先把图片做对,再花钱做视频。ChatGPT、Grok 这类做图入口,能用免费额度就先用。人物、场景和关键帧先统一,后面的视频返工会少很多。
- 先做无声的小片段。一开始别管音效和音乐。画面先过,最后进剪映或其他剪辑软件找合适的声音;里面确实没有,再让模型单独做。
- 有图片和关键帧,抽卡会少一点,不是不用抽。每一段还是得盯人脸、手、动作、道具和前后连续性。一个片段单独好看,放进整条片不一定能用。
我原来要的是:我说一句话,林鹿把成片交给我。现在我想要的是:我说一句话,它先把前期、图片和能用的片段铺到桌上,然后停下来,等我判断。
《再打白骨精》有很多毛病,我知道。但它值得留下。它是我第一次没把“不完美”当成没完成,第一次真的把 Agent 生成的东西接到自己手里,剪成了一条片。
它没证明 Agent 已经会做视频。它只把一件事说透了:Agent 能替我做很多手上的活,替不了我脑子里那个“对”。