先听懂歌,再画第一帧:一支四分钟手绘 MV 的完整制作复盘
给一首 4 分 08 秒的歌做整曲 MV,真正难的不是渲染 5958 帧画面,而是在动手之前回答:这首歌到底在讲什么?这次我把 J.Sheon 的《别问很可怕》从表面的”等待与甜蜜”重新理解为”看见秘密却不敢问破”,再用现实、记忆、内心推演三层叙事规则约束九章五十二镜,用 p5.js + Headless Chrome + ffmpeg 逐帧渲染到成片。文章记录从歌词校对、音频分析、分镜设计到全曲验收的完整过程,以及图层透明度、p5 全局变量、章节接缝这些实际踩过的坑。
🎧 文章导读
先看成片
成片 1920×1080、24 FPS、248.25 秒,九章五十二镜,47 行逐字卡拉 OK 字幕,音乐为 J.Sheon《别问很可怕》(仅作个人学习与展示):
全曲成片《别问很可怕》:现实、记忆与内心推演三层叙事,九章五十二镜。
技术栈很朴素:p5.js 和 p5.brush 负责手绘画面,Puppeteer 驱动 Headless Chrome 逐帧截图,ffmpeg 把帧序列和原始音频合成 MP4。没有 3D、没有视频生成模型,每一帧都是代码画出来的水彩风格 2D 动画。
真正决定这支 MV 成色的,是画面之外的三件事:歌曲理解、叙事规则、验收方式。下面按制作顺序展开。
第一步不是画画:把歌曲理解做成证据链
Whisper 给时间轴,不给歌词
第一反应是用 Whisper 转写拿歌词。实际跑下来发现它对这类 R&B 伴奏加演唱的音频幻觉明显:人名凭空出现、大量错词,换更大的模型也没有本质改善。所以这次给 Whisper 的定位收窄为——只提供初始时间分段,转写结果单独存为 lyrics_whisper_raw.srt 只作审计参考;正式字幕的文本用 KKBOX 歌词逐行校对,时间轴再以原音频内嵌的 LRC 时间为参考复核,最终落到 lyrics.srt。
这样链路里每个环节都有明确职责:
1 | Whisper 原始转写(lyrics_whisper_raw.srt)→ 只取时间分段 |
五种解读与一次关键转向
拿着校对过的歌词去检索乐评、专辑介绍和听众评论,归纳出五种有来源的理解:已经看见变心证据却无法装作没看见;”别问”不是恐怖而是害怕答案;猫和一年份饲料这样的共同生活让人走不了;”装忙””全都当屁”是反向防御;音乐上是克制中突然漏出痛,而不是持续嘶喊。
把它们收敛成一句主题和一条情绪曲线:
明知亲密关系中存在不能问破的秘密,仍用逃避、嘴硬和麻木拖延面对真相。
这是本次最重要的转折。如果停在表面的”等待与甜蜜”,MV 会做成一支可爱恋爱短片——手机、花、猫都会只是装饰。理解改成”不敢问破”之后,这些意象才长出叙事功能:手机变成证据,花变成关系的温度计,猫变成走不了的阻力。
librosa:节拍、重音和一次 backtrack 踩坑
音频分析用 librosa:123.0469 BPM、500 个节拍点、明显的三拍子律动,所以动作按三连拍组织,不做四拍舞曲式的机械弹跳。段落结构结合歌词时间和音频能量标注:前奏 0–23.9 秒,主歌 1 到 41.99 秒,第一段副歌 63.4–93 秒,间奏后主歌 2 从 115.38 秒进入,桥段”装忙”在 162–183.5 秒,尾奏从 229.2 秒衰减到 248.25 秒。
这里踩了一个值得记下的坑:librosa 的 onset 检测开了 backtrack=True 之后,onset 会回退到局部低能量帧,导致末端 onset 强度全是 0,直接拿”最后一个 onset”对齐结尾会完全失准。改用 backtrack=False 才得到有效候选——最后一个达到保守重音强度的 onset 在 227.138 秒。结论是”节拍点””onset 位置””onset 强度””低能量停顿””最后有效重音”必须分开记录,不能互相冒充。
理解阶段沉淀下来的文件后来贯穿全项目:SONG_ANALYSIS.md(主题、情绪、结构、来源)、audio_analysis.json(BPM、节拍、onset、停顿、末重音)、两份歌词文件。后面每一章分镜都直接引用这些数字,不再凭耳朵重新感觉。
叙事规则:现实、记忆、内心推演
歌曲理解定了”不敢问破”的主题后,紧接着的问题是:MV 里拍到的画面,哪些是真发生的?
这次把九章明确分成三层:
| 章节 | 内容 | 叙事层级 |
|---|---|---|
| C01 / C03 | 期待、手机证据、秘密与逃避 | 现实 |
| C02 / C06 | 原以为、失效的同一个笑话 | 记忆 |
| C04 / C08 | 浪漫给了别人、答案已经在那里 | 内心推演 |
| C05 / C07 | 猫与饲料、装忙过载 | 现实 |
| C09 | 没有真正结束 | 现实(尾声) |
关键在 C04 和 C08:她与第三者的相处,是主角根据手机上的证据在脑子里推演的画面,不是他亲眼跟踪、更不是现实对质。定这条规则,是因为歌的核心是”别问”——高潮可以发生在内心,但现实中的他自始至终没有问出口,结尾就不能突然拍成摊牌或和解。内心场景统一用紫灰双重曝光、记忆边框和更软的颗粒,与现实拉开视觉距离。
母题:建立—重复—变义
视觉设计上克制地只用了一组母题,让每个都经历”建立、重复、变义”三个阶段:
- 手机:从期待的联系,变成藏着双心的证据。实现上把手机所有者
owner和来电者caller分开编码——“她来电”和”自己打给她的未接来电”是两个完全不同的叙事事实,不能共用同一种身份颜色。 - 共享笑话:同一种抬手、倾斜、跳动的笨拙动作,先属于主角与她(”只有她能懂”),后来原样出现在她与第三者之间,形成反噬。三个角色共用同一个动作函数
sharedJoke(..., who),不是三段近似姿势的手绘模仿。 - 花:从准备时的期待,到记忆里的盛开,到最后垂下、被放在猫旁边。
- 猫:不是卖萌装饰,是”刚订了一年份饲料”的共同生活,是人物走不掉的现实阻力。
- 首尾同机位:尾声回到开场那间公寓,人、猫、手机都在,但状态已经变了——生活继续,问题没解决。
判断标准可以总结成一句话:同一个母题至少要经历”建立—重复—变义”三个阶段,才值得贯穿全曲;否则只是不断添加新意象。

图 1:共享模型在四个时间点的一致性检查——同一间公寓、同一批角色,靠参数而不是重画来演变。

图 2:共享笑话动作的逐帧采样。主角、她、第三者走的是同一个动作函数,保证”反噬”成立。
所有共享角色和场景集中在一个 full_set.js 里,暴露 room / phone / her / other / cat / flower / sharedJoke 这类无状态绘制接口,九章只读调用。这样”她与第三者动作一致”这类跨章节约束才有单一实现可查。
分镜:九章五十二镜,时间精确到小数
分镜写在任何章节代码之前。每镜要回答六个问题:起止时间与对应歌词、叙事层级(现实/记忆/内心)、镜头内真正发生什么变化、情绪推进了什么、用到哪个母题、出入点怎么衔接。以 C01 开头几镜为例:
| 时间 | 歌词 | 画面与事件 |
|---|---|---|
| 0–5.80 | 前奏 | 靛蓝公寓,手机黑屏,主角无聊等待;雨与三拍子律动让房间活着 |
| 11.60–17.50 | 前奏 | 他准备一束花,猫好奇拨弄包装纸,他笑着救下花 |
| 23.94–28.99 | 每天都想可以快点见到她拉她的手 | 想象变暖:两人沿小路牵手,步伐从生疏到同步 |
| 29.98–34.39 | 猜是她的未接来电来了好几通 | 回到现实:手机连续亮起,他以为都是她 |
| 37.75–41.99 | 意外发现她的手机没带 | 门口没人;桌上手机带着她的花标记——未接来电其实来自他。花垂下 |
注意最后一镜:C01 的结尾就是全曲主题的第一次落地——他以为的”她的来电”,其实是他自己打给她手机的未接来电。这个反转只有在”理解成不敢问破”之后才设计得出来。
试片要选有歌词、有情绪的十秒
全曲渲染前先做 10 秒试片,选段不是纯器乐的开头,而是副歌里最有代表性的 69.033–79.033 秒,对齐 librosa 节拍点,包含”唉,为何你的秘密不删”和”唉,现在已经麻痹无感”两句。试片的目的是验证创作方向,不是验证能导出视频——所以它必须带正式风格、角色、字幕和关键母题。方向被确认后再铺开全曲,避免 5958 帧渲染完才发现叙事误读。
技术实现:让每一帧都是 t 的纯函数
渲染架构与最硬的一条约束
渲染链路是 Puppeteer 起 Headless Chrome,把 p5.js 画布按 24 FPS 逐帧截图到帧序列,最后 ffmpeg 合成。这条链路可能跳帧、并行、从任意时间点重渲,所以整个项目遵守最硬的一条约束:每一帧都只能是时间 t 的纯函数。
- 不用
Math.random(),稳定变化用固定种子的hash(),手绘抖动用boilSeed()/jit(); - 不跨帧保存位置、透明度或物理状态,运动轨迹直接由 t 计算;
- 共享角色和场景只提供无状态绘制接口。
违反这条约束的代价很典型:单机预览一切正常,多 worker 正式渲染时闪烁、跳位、无法复现。
图层透明度要作用于整层,还要测中间值
“回忆半透明叠加”这类效果,只降低填色的 alpha 是不够的——描边可能仍然不透明。正确做法是先以完整不透明度画进离屏图层,再对整个图层统一合成:
1 | const layer = createFramebuffer({ width: W, height: H }); |
临时 Framebuffer 泄漏在静帧里完全看不出来,表现为渲染若干分钟后显存耗尽崩溃。所以验收不能只测 alpha: 0 和 alpha: 1 两个端点,要测 .35、.5 这类中间值,并连续渲染多帧观察资源数量是否增长——本次用连续 20 帧、累计 80 次临时合成确认 Framebuffer 数量保持稳定。
p5 会覆盖你的全局变量
p5 在 setup 后会把一些”看起来很安全”的全局名覆盖掉。本次共享模型挂在 window.FULL 上,setup 之后被 p5 覆盖成了字符串常量,章节里直接报 FULL.room is not a function。修复约定很简单:每章在 p5 setup 之前把引用存下来,之后只走这个别名。
1 | const API = window.FULL; // 必须在 p5 setup 之前 |
配套的还有脚本加载顺序:共享脚本必须先于所有章节脚本同步加载。这类约定写进了章节接口文档,而不是只留在某次修复的聊天记录里。
章节时长必须自包含
如果末镜的结束时间靠”下一章的起点”来算,单独开发某一章时,末镜会被延长到全曲末尾。每章都应该知道自己明确的起止秒数——既能独立渲染调试,也能在全曲里保持同样的时长。同理,章节接缝不能只分别看两章的首尾静帧,必须在所有章节都注册之后,检查真实边界前后的连续帧。
“越来越快”要写进时间结构
C07 装忙桥段初版做了四段家务蒙太奇,每段等长、动作频率一致——看起来完全没在加速。修复不是加镜头,而是让每段做相同次数的动作、段长依次缩短:
1 | 1.820 s → 1.540 s → 1.260 s → 0.980 s |
可复用的原则:节奏变化必须进入时间参数本身,靠文案、切镜数量或”感觉快一点”都不算数。类似地,水彩灰化这类视觉算法除了中间值,还要测 0、接近 1 和恰好 1 的极端——本次灰化接近 1 时 wash 与 fill 颜色收敛出现大片斑驳,靠单变量测试定位后限制了最大混合幅度。参数合法不代表视觉结果稳定。
验收:静帧说明不了任何事
动画的问题几乎不出现在”某一帧”,而是出现在动作中间、透明度中间值、章节接缝和最后几秒。所以验收从静帧升级成完整证据链,全部产物落在 out/check/full/ 目录:

图 3:全曲时间线采样,每 5 秒一帧共 51 帧。整体色彩弧线一眼可见:靛蓝等待 → 暖赭期待 → 深褐记忆 → 玫瑰红秘密 → 灰蓝麻木 → 居家暖绿 → 紫灰忙碌 → 冷暖对峙 → 纸色尾声。

图 4:C04→C05 真实章节边界前后一秒的逐帧条。接缝是设计过的节拍切镜,猫与枕头的连续性跨章保持。

图 5:全曲最后两秒的逐帧条——iris 圆形光圈从完整画面收到针尖再到黑场,无跳帧、无残帧。
最终一轮验收做了这些事:5958 帧完整渲染;51 帧时间线检查整体色彩与叙事弧线;8 条真实章节边界逐一检查前后连续帧;单独检查最后一段和最后一帧的收束;帧序列数量正确、编号连续;ffmpeg 完整解码成片确认退出码为 0,并核对分辨率、帧率、时长、音频采样率和声道。
把验收清单压缩成下次可以直接勾选的版本:
渲染前: 试片含实际演唱与代表性情绪;歌词已校对且原始转写分开保存;主题、情绪曲线、三层叙事规则写清;分镜时间连续无空洞;共享模型与身份编码统一;每镜有 contact sheet、关键动作有连续 strip;透明度与离屏资源做过中间值和重复渲染测试。
渲染后: 生成全曲时间线采样图;每条真实章节边界看连续帧;单独检查最后一段与最后一帧;帧数编号正确;ffmpeg 完整解码退出码 0;参数逐一核对;既有试片与原始音频未被覆盖。
留下的改进项
复盘也如实记录没做好的地方:
- C05 的行李始终没有被真正提起或拖动,”走不了”是靠猫卧箱顶、人物停步和垂肩暗示的。下次类似的关键动作,应该补握把 anticipation 和少量真实位移。
- 字幕字体依赖 Google Fonts,已生成的 MP4 不受影响,但离线重渲可能回退到默认字体。字体应该在项目启动时就本地化。
- 多代理审查报告只代表审查通过,不等于创作方向被认可——方向认可以用户看过试片后的反馈为准。
项目最终保留的结构,是一个可以直接复用的模板:
1 | SONG_ANALYSIS.md # 歌曲理解、来源、结构分析 |
写在最后
下次做同类 MV,主线可以直接复用:读技能指导 → 锁定原音频 → Whisper 初转写 → 可靠歌词校对 → 检索多种解读 → 音频结构分析 → 写主题与叙事规则 → 写分镜 → 做带人声的十秒试片 → 确认方向 → 建共享模型 → 分章制作 → 连续帧与接缝验收 → 全帧渲染 → 完整解码与参数核验。
其中最值得坚持的是三点:
- 先理解再画,不用视觉风格掩盖叙事误读。
- 先做有代表性的短试片,把创作反馈放在昂贵渲染之前。
- 保留从原始分析到最终成片的证据链,让下一次复用不必重新踩坑。
延伸阅读
- 让 AI 写出产品级前端:frontend-design skill 实战对比
- 智谱 GLM Coding 抢购机器人实战
- 多 Agent 协作开发 Android 应用:Agent Team Lab 实战总结
本文根据 2026 年 10 月 30 日至 31 日《别问很可怕》MV 项目的创作复盘笔记整理。成片音乐为 J.Sheon《别问很可怕》,仅作个人学习与展示;文中代码为讲解用的简化示意,完整实现以项目仓库为准。