一、这个 skill 是做什么的
这个 skill 不是简单粗暴地「把一段话铺到视频上」,而是先看懂每一镜拍了什么,再写出与画面情绪契合的逐镜字幕。比如生日视频里,祝福语会随着画面从「期待」走到「庆祝」「祝福」,而不是全程一句干巴巴的「生日快乐」。
它用 ASS 字幕格式来精确控制颜色、位置、字号、淡入淡出,最后用 ffmpeg 把字幕「烧」进视频(变成画面的一部分,任何播放器都能看到)。全部在本地完成,不联网、不消耗额度。
它的核心能力是「内容感知」+「样式精确控制」+「逐帧验证」,专门解决「字幕和画面对不上、位置丑、时间戳写错导致字幕卡住不消失」这类问题。
二、什么时候用它
- 「给生日祝福视频加一段贴画面的祝福语」——生日 / 节日贺卡。
- 「给旅行 vlog 配字幕」「给产品展示视频加文案」——展示类短视频。
- 「卡点混剪,每一下都来句标题」——卡点视频。
- 「我要字幕能控制颜色、位置、淡入淡出、字号」——需要 ASS 样式控制时优先用它(而非纯 SRT)。
- 「原视频已经有屏幕文字了,别再叠一样的」——它会自动错位避让。
三、前置条件 / 准备
- ffmpeg / ffprobe:需要在 PATH 里可用(用于探测参数和烧录)。
- 中文字体:建议装有「微软雅黑 / 思源黑体 / 站酷快乐体」(站酷快乐体是圆润手写感,很适合祝福语)。
- 输入视频已存在:这个 skill 处理的是你已有的视频,不负责生成视频本身。
- 不需要账号、不需要 API Key、不需要联网。
四、具体用法(步骤)
- 探测视频参数:用 ffprobe 取出时长、宽高、帧率、音轨,记下宽高(决定字幕坐标系)和总时长。
- 看懂内容:抽出每镜代表帧,AI大模型或AI智能体 用看图能力逐张理解「这一镜拍了什么、什么情绪」。这是「内容感知」的核心。
- 设计逐镜字幕:用「情感递进法」把字幕串成一条情感弧线(如:期待 → 点题 → 生长 → 陪伴 → 庆祝 → 自由 → 祝福)。每条短(≤12 字)、口语、与画面强相关。
- 编写 ASS 文件:严格按格式写,注意颜色是 BGR 反转、对齐码用九宫格、时间戳必须是
HH:MM:SS.cc。
- 烧录:用 ffmpeg 把 ASS 烧进视频,音频原样保留。
- 逐帧验证:抽出字幕各时间点的帧查看,确认位置、字号、切换都正确,再交付。
对应命令(进阶 / 可选)
下面是每个步骤在本地终端里实际跑的命令,普通用户让 AI大模型或AI智能体 代跑即可。重点是理解「先抽帧看图、再写 ASS、最后烧录验证」的顺序。
# 第1步:探测参数
ffprobe -v quiet -print_format json -show_format -show_streams input.mp4
# 第2步:抽帧(自动场景切分)
python scripts/extract_frames.py input.mp4 --out frames --scene 0.3
# 第5步:烧录字幕(音频原样保留 -c:a copy)
ffmpeg -y -hide_banner -i input.mp4 -vf "ass=subtitle.ass" \
-c:v libx264 -preset fast -crf 18 -c:a copy output.mp4
# 若 ffmpeg 没有 ass 滤镜,改用 -vf "subtitles=subtitle.ass"
写 ASS 的 3 个致命坑(用本 skill 时 AI大模型或AI智能体 会自动规避,但你改文件时要知道):
- 时间戳必须是
00:00:02.70(时:分:秒.厘秒),绝不能写成 00:02:70.00,否则这句字幕会从头到尾一直显示、不切换。
- 颜色是 BGR 反转顺序:白色是
&H00FFFFFF,不是 RGB 顺序。
- 对齐码用九宫格:
8=顶部居中、2=底部居中;PlayResX/Y 必须填视频真实分辨率,否则字号会失真。
五、可直接照用的示例
你直接对 AI大模型或AI智能体 说:「这是给妈妈的生日视频 birthday.mp4,帮我加一段贴画面、有递进感的祝福字幕,最后烧进视频里。」
AI大模型或AI智能体 会:先抽帧看懂每一镜(烛光、笑脸、蛋糕……),设计「愿你的光永远明亮 → 如花般向阳而生 → 岁岁平安」这类逐镜文案,写成 ASS 烧录,再逐帧验证位置字号后交给你。
你直接对 AI大模型或AI智能体 说:「给旅行 vlog trip.mp4 配字幕,要顶部居中、暖金色描边、有淡入淡出,原视频结尾已经有『岁岁无忧』四个字了,别在同样位置叠。」
AI大模型或AI智能体 会:把新增字幕放到空白处(原文字居中就放顶部),用暖金描边和 {\fad(400,400)} 淡入淡出,避开已有屏幕文字,烧录并验证。
六、常见注意 / 避坑
- 时间戳格式:
HH:MM:SS.cc,秒位 00–59。写错分秒会让字幕全程不消失。
- 颜色字节序:
&H00BBGGRR,BGR 反转,不是 RGB。
- 对齐码九宫格:7/8/9 顶部、1/2/3 底部;
MarginV 的含义会随对齐翻转(顶中时表示距顶距离)。
- PlayRes 不匹配:字幕视觉大小会失真,务必填真实分辨率。
- 原视频已有屏幕文字:新增字幕要错位放置,避免叠加竞争,也不要额外加「署名/落款」句。
- 交付前务必逐帧验证:抽字幕时间点的帧用看图确认,不要盲交付。
七、相关 skill / 延伸
- qwen-watermark-subtitle:如果你要处理的是「千问 APP 生成的视频」,它把去水印和加字幕合成一条流水线。
- synced-narration-subtitle:如果你要的是「人声旁白 + 字幕同步」,用这个。
- video-editor:它也有一个
subtitle 子命令能烧字幕,但本 skill 强在「内容感知 + 样式精控」。