让 AI 剪纸画动起来:一台 5090 + Claude 自动做卡点定格动画

本文事实查证日期:2026 年 6 月 19 日。 AI 视频这块半年一大变,文中提到的模型版本号、显存需求都标了来源与不确定程度;凡是没法独立核实的版本/会议信息,都明确写了「以官方仓库为准」。硬件结论(5090、显存预算)基于本机实测配置。

先把几个词讲清楚,后面反复用

这篇会聊不少技术名词,先用大白话过一遍,后面就不绕了:

• 图生视频(I2V,image-to-video):喂 AI 一张静止图,它让图里的东西动起来,吐出一小段视频。
• 补间 / 中间帧(inbetweening):给 AI 头尾两张图,它自动把中间的过渡帧画出来。传统手绘动画里,这活儿叫「画中间画」,是最累的工序。
• 首尾帧生视频(FLF2V,first-last-frame to video):上面图生视频的「加锁版」——你同时给第一帧和最后一帧,AI 只负责连中间,这样它跑不偏。
• 骨架 / ControlNet(OpenPose、DWPose):给 AI 一根「火柴人骨架」当指挥棒,生成的人物就得按这个姿势摆。ControlNet 就是「拿一张控制图去管住生成结果」的总称。
• ComfyUI:一个用「拖节点、连线」搭生成流水线的软件。搭好的流程能存成一份 JSON 文件,让程序自动调用(它自带 API)。
• API(应用程序接口):让一个程序去调用另一个程序的服务,像点外卖一样下单、取结果。
• MCP(Model Context Protocol,模型上下文协议):一种让 Claude 这类 AI 直接调用外部工具的标准接口——相当于给 AI 装了一排「可以按的按钮」。
• 卡点(beat sync):让画面切换正好踩在音乐的鼓点上。
• librosa:一个 Python 音频库,能自动算出一首歌的节拍点分别在第几秒。
• 量化(FP8 / GGUF):把模型「压小」成占显存更少的版本,代价是画质略降。FP8、GGUF 是两种常见的压缩格式。
• 显存(VRAM):显卡上的专用内存。模型跑起来必须整个塞进显存,塞不下就报错(OOM,out of memory,内存爆了)。

一、先看清你的硬件和「家底」

很多人一上来就去 GitHub 海里捞项目。但对你来说,第一步不是找新项目,是盘清自己已经有什么——盘完会发现,整条流水线你已经握着九成。

硬件现实(本机实测): 显卡是 RTX 5090,32GB 显存。但要注意一个坑:Windows 桌面图形本身通常占掉 12–14GB,真正能给 AI 用的只剩 ~16–18GB。结论是:别硬上未压缩的大模型,优先用 FP8 / GGUF 量化版,而且一次只跑一个模型,跑完再跑下一个。

软件家底(已装好的两套技能):

一句话:「生成」和「卡点剪辑」两大块,你都已经有了。 缺的不是项目,是(1)补一个对剪纸更友好的生成模型,(2)把这几块串起来自动跑。

二、核心矛盾:通用视频模型会「毁掉」剪纸的扁平感

这是整件事最该先想明白的一点,想通了选型就不纠结了。

像 Wan、LTX 这类主流视频模型,都是拿海量真实拍摄视频和 3D 渲染画面训练出来的。它们看到一张扁平剪纸的「本能反应」是:把它「修正」成立体——给纸面加体积光、加摄像机透视、让纸边卷起来、让背景产生纵深位移。

这恰恰是剪纸动画最大的敌人。 剪纸片(像上海美影厂的传统剪纸片)的灵魂就是绝对的平面感:边缘干脆、色块平涂、没有立体光影。一旦被模型「3D 化」,就不是剪纸了,变成了廉价的塑料质感。

赢法只有两条,后面所有推荐都围绕这两条:

1. 用 2D 专训模型——它们专门学过平面卡通,知道怎么在不脑补立体的前提下让画面动(代表:ToonCrafter)。
2. 用强约束把模型的自由发挥锁死——比如同时给首帧和尾帧(FLF2V),AI 只能在你画好的两端之间连线,没空间乱发挥;再配一句强力的「负面提示词」(negative prompt,告诉 AI「不要」出现什么),把 3D, cinematic lighting, depth, photorealism 全列进去。

三、五条技术路线横评(2026 年 6 月)

你在 goal 里自己列的几个方向——「骨架生成视频」「生成几个动作补中间」「ComfyUI + ControlNet」——其实分别对应下面五条路线。一张表说清:

关于第⑤条「骨架生成视频」要单独说清,因为这正是你问的:

• 直接拿真人跳舞的视频当骨架去驱动剪纸 → 不推荐。 因为真人骨架自带 3D 空间姿态,生成结果会把那种立体感「传染」给你的剪纸,扁平感就没了。这类(VACE、Animate-Anyone 思路)是为真实人物设计的,套在平面剪纸上往往帮倒忙。
• 但有个轻量玩法很适合 LLM: 让 Claude 直接输出一串 2D 关节坐标(JSON)——因为剪纸是平的,只需要平面坐标,不需要 3D。把坐标画成火柴人图序列,喂给 SparseCtrl(AnimateDiff 的稀疏控制),就能让纸偶按你写的脚本做刚性动作(比如循环走路),而不乱长出新的胳膊腿。这条是「真·纸偶」路线,适合做重复动作循环,但配置最复杂,建议作为进阶项,不是第一步。

「ComfyUI + ControlNet」这条老路还成立吗? ComfyUI 仍然是最该用的「总指挥台」(它有 API、能被脚本驱动)。但 2024 年那套「AnimateDiff + OpenPose ControlNet」做角色动画,在剪纸这个场景已经被②③④更新的方案比下去了。ControlNet 留给第⑤条(骨架条件)还有用。

四、推荐路线:「几个关键动作 + 卡点硬切」——这正是定格的本质

这是给你的主推方案。它最省力、最像剪纸片,而且和你自己的直觉(「生成几个最终动作,再补齐中间」)完全一致。

关键洞察:「定格动画」其实是你的朋友,不是难点。 定格本来就是「咔、咔、咔」一格一格跳的,根本不需要丝滑。所以最聪明的做法,反而是:做几个关键姿势,把它们硬切在音乐鼓点上,中间过渡能补就补、不补也照样成立。

整条流水线拆成五步(从你给素材,到出成片):

两个档位,按你想要多丝滑来选:

• A 档·纯硬切定格(最省、最像老剪纸片): 跳过第 2 步,每个姿势定住几帧,到鼓点直接硬切下一个姿势。计算量最小、最有「咔咔」的定格味儿。
• B 档·半丝滑: 加第 2 步,用 ToonCrafter / FLF2V 在两个姿势间补短短一段过渡,但让动作的起点踩在鼓点上。更顺滑,代价是每段都要跑一次生成。

建议先做 A 档跑通,看效果再决定要不要升级到 B 档——这是「人力介入最少」的最优解。

五、谁来按按钮:LLM 怎么「操盘」整条线

你的核心诉求是「人力最少,Claude / Codex 能直接操作」。好消息:这条流水线的每一步都是「可被程序调用」的,所以确实能交给 LLM 跑。

它能成立,靠的是两种「可编程入口」:

1. 生成端 = MCP 工具 / ComfyUI API。 ComfyUI 的精髓是:任何搭好的工作流都能导出成一份 JSON,然后通过它的 /prompt 接口,用程序把参数(换输入图、改提示词、改帧数)塞进去触发。/pixelle 更进一步,把这些工作流包成了 Claude 能直接按的 MCP 工具(比如「图生视频」就是一次工具调用)。
2. 剪辑端 = 脚本。 找节拍(librosa)、排时间线、用 ffmpeg 拼片配乐,全是 Claude 能直接写、直接跑的 Python / 命令。

所以分工是这样:

• 你(人)只给三样: 一批剪纸图、一首音乐、一句创意要求(「让这个门神点头三次,最后甩一下袖子」)。
• Claude(大脑)负责: 听音乐定节拍 → 写改图指令做出关键姿势 → 调生成工具(可选补中间帧)→ 按节拍排时间线 → 调 ffmpeg 拼成片。
• 5090(干活)负责: 跑模型、跑 NVENC 编码。

六、落到你这台机器,还差哪几步(可执行清单)

研究归研究,这是把它真正跑起来需要补的「最后一公里」:

1. 打通生成端的程序入口。 两条路二选一:(a) 装好 /pixelle 的 MCP 桥(设 $PIXELLE_HOME、起 daemon);或 (b) 更轻量——跳过 pixelle,让 Claude 直接驱动 ComfyUI 的 /prompt API。第一次做、想稳,选 (a);想轻、想完全自己控,选 (b)。
2. 下模型 + 补工作流。 Wan 2.2 可以直接用预设脚本下(fetch_model.py --preset wan22)。但对剪纸更友好的 ToonCrafter / Flux Kontext / Framer,目前不在 pixelle 的预设清单里,需要新增对应的 ComfyUI 节点和权重、并存一份工作流 JSON。
3. 把 librosa 卡点接进 /reel。 也就是把那个「待接入」的卡点组件,接到自动生成 plan(时间线)的环节——让每段时长按鼓点来排。
4. 守住显存红线。 全程用 FP8 / GGUF 量化版,一次只跑一个模型;遇到 CUDA OOM 就重启 ComfyUI 释放碎片显存。

小结 / 下一步

• 别再去 GitHub 海里捞了——你已经有 /pixelle(生成)+ /reel(卡点剪辑),九成的活儿已经在手。
• 选型的唯一铁律:对抗「被做成 3D」。 要么用 2D 专训模型(ToonCrafter 最稳),要么用首尾帧 / 轨迹强约束(Wan 2.2 FLF2V)。真人骨架驱动这条不要碰,它会毁掉扁平感。
• 主推 A 档: 几张关键姿势 + 卡点硬切 = 天然的定格味儿,最省力,也最契合「人力最少」。
• 最小可行第一步(我可以直接动手): 先用你的一张剪纸做出 5 张关键姿势,跑通一条 15–30 秒、纯卡点硬切的样片;满意了再决定要不要上「补中间帧」或「纸偶骨架」。