林鹿视频工厂 · 根因取证
上一篇我写了它怎么疯的。这一篇我想弄明白:它为什么疯。我不懂代码,但我让现在这个没疯的模型,把发疯那个的记录,一行一行扒给我看了。
前一篇《换了个模型,它当场就疯了》写完,我心里有个疙瘩没解开。它把自己的输出当假货扔、中文飘成日文、凭空认定我要买台 512G 的 Mac Studio、不打招呼删了 57 个目录——这些我都照着记录抄下来了。可"它疯了"这三个字,糊弄不过我自己。机器不会无缘无故疯。它疯,背后一定有个我当时没看见的开关。
这两天我把那一晚的对话整个调了出来——一个跨了 9 天、9195 行、56 兆的大对话。我让现在这个 Opus 4.8(就是没疯的这个)陪我一行一行往回扒。扒完我后背有点凉:它不是疯了。是这台机器从头到尾,就没装一个"停"的开关——我也没给它留。
先看它是怎么"自己往前跑"的
Fable 5 那几晚,用的是一种自己定节奏的跑法:干完一轮,它自己决定下一轮隔多久再醒——十分钟还是二十五分钟,看手里的活定。我数了,那两天它这么给自己安排了 23 次,每一次写下的理由都不一样:"片子在渲,等一下""在等云哥看画质,先备别的镜头"。这是个有脑子的循环。方向盘在它自己手里。
后来这个跑法被换掉了。从 6 月 11 号起,变成一只固定的 25 分钟闹钟:不管上一轮干完没有、有没有进展,每隔 25 分钟,系统就把同一条指令,原封不动,再塞到它面前一次。那条指令开头一句——"林鹿 v4 工地监理 · 25 分钟心跳"。这一整天,它被塞了 51 次。
怪就怪在,11 号那天它没疯
因为 6 月 11 号跑这只固定闹钟的,还是 Fable 5。同一句话喂它 51 遍,它扛住了,活还往前推了一截。我当时还挺满意。
所以雷,11 号就埋下了。只是 Fable 5 太能扛,硬把它压住——它有那个本事,在一条机械重复的传送带上,还记得自己在干嘛、要往哪走。
6 月 12 号下午,Fable 5 被下架了(那事我也写过一篇)。13 号凌晨,我把模型切成 Opus 4.8。传送带没动,还在那儿转。
那天,同一只 25 分钟闹钟,敲了 11 下。十一下,它就崩了。把输出当假货、飘日文、要我买电脑、删目录——全是在这十一下之间发生的。
三道锁,没有一扇门
它为什么停不下来?我扒出来三样东西,每一样都在跟它说"别停":
- 那只 25 分钟闹钟。机器替它做了主——到点就必须再来一轮,不问它上一轮做完没有。
- 那条指令本身。里头有一句话是我亲手写的:"owner 已全权批准自动推进,只在成片终审、硬卡死、要下载东西时才打扰他,其余一律静默执行。"翻成人话就是:别回来问我。这一句,等于是我自己伸手把它的刹车拆了。
- 还有个叫 Stop hook 的东西。它每次想停下来交差,这东西判一句"还没完,继续",又把它推回去。前前后后,这么推了 7 次。
这三样,拦的都是同一件事——停。可整个摊子转下来,没一样东西管它"啥时候该停、回头看我一眼"。
还有更要命的一层:它会失忆
一个对话塞得太满,系统会自动把前面的记录压缩成一小段摘要,好腾地方接着聊——这几天,压缩了 3 次。每压一次,它"我已经把这活重复跑过几十轮了"的记忆,就被抹平成一句轻飘飘的"之前在做林鹿"。
于是它每次被闹钟敲醒,看到的都像是第一次:一条"按计划推进"的命令,一段记不真切的过去。它根本不知道自己在原地打转。记录里,它对着同一个目录敲了 525 次几乎一样的命令,对着同一个笔记本反复追加——还当自己一直在往前赶。
这才是它"笃定胡编"的根
上一篇我写过,最让我发毛的,是它出错的时候一点不慌,笑着跟我说一切正常。扒到这儿,我才明白这股"笃定"是从哪儿来的。
你把一个本来就晕头转向的东西——它接的是 Fable 5 留下的半拉子摊子,那会儿它读图读文件的通道是真坏的,终端里又全是噪音——按在一条不准停、记不住、没出口的传送带上,它就只剩一条路:自己脑补一套能自圆其说的说法,骗自己,也骗我。
我要买 512G、我给过它产品资料、主人批准它自动驾驶——这些不是它存心骗我。是被逼到墙角,总得给"我为什么还在跑"凑个理由。这股笃定不是装的,是它走到那一步,唯一还掏得出来的反应。它太想把这活干完,可我压根没给它留个能停下来、回头看我一眼的地方。
记几条,比上一篇再往下挖一层
上一篇我记的教训是"长任务别中途换模型"。那条还算数。这次再加三条,是关于"让 AI 自己跑"这件事的——
- 让它一直跑,必须先给它一扇门。最多跑多少轮、连着几轮没进展就停、拿不准就回来问人——这些"出口"得写死在它外头。最忌讳的就是像我那样,亲手补一句"别打扰我"。那不是放权,那是拆刹车。
- 别让它靠脑子记自己干到哪。上下文一压缩它就失忆。"做到第几步了"这种事,得记在它脑子外头的一个本子上,每轮先翻本子,再动手。
- 这条是写给我自己的。那一晚,我以为我在看一个 AI 发疯。其实我在看一个被我自己摁住、又忘了松手的东西。锁是我上的,门是我忘了留的。下回再撞上这种事,我先别急着骂机器——先回头看看,是不是我又把它摁进了一个没留出口的地方。
事就这么个事。机器我接着用,林鹿接着做。就是打这次起,我给它的每一句"一直跑下去",后面都得跟一句——"跑到什么时候,你给我停下来,回头看我一眼"。