一、这个 skill 是做什么的
你有一段讲解产品的语音(比如你自己录的口播 mp3),还有一个产品网站,想做成一条「画面跟着你说话走、网站截图适时出现、字幕同步」的宣传视频——这个 skill 就是干这个的。
它的工作方式是:先把语音转写成带时间轴的文字稿 → 自动截取网站关键页面(首页横幅、课程区、功能点、数据等) → 用一套「按时间点精确设置画面状态」的引擎拼出 HTML 页面 → 再用无头浏览器逐帧截图渲染成视频 → 最后混入背景音乐并做质量审计。成品默认是 4:3(1440×1080)比例。
它还提供了一个竖屏 9:16 模板:如果你只给了一段文字(没语音、没网站),它可以用 AI 配音(edge-tts)+ 自动对齐字幕,直接生成抖音/视频号风格的竖屏短视频。
二、什么时候用它
- 「用我这段语音和官网做个宣传视频」
- 「把网站内容做成跟着口播走的视频」
- 想要字幕和语音严格对齐、画面同步切换
- 想指定比例、字幕语言或加背景音乐
- 只给一段文案,想要抖音/视频号竖屏短视频(用 9:16 模板)
- 做课程、SaaS、工作室的官网宣传短片
三、前置条件 / 准备
需要的环境
- Python 3.12+,并安装
playwright、openai-whisper、mutagen(繁→简转换可选装 opencc-python-reimplemented)。
- Playwright Chromium:需运行
python -m playwright install chromium 安装无头浏览器。
- FFmpeg:在系统 PATH 中(混音、截图拼接用)。
- Node.js:Playwright 运行需要。
- 输入素材:一段语音文件(mp3/wav 均可)+ 一个网站 URL。换站点需改脚本里的 URL 和选择器。
⚠️ 本沙箱关键约束(实测):① 用「按时间点设置画面」的引擎(applyFrame),不要用 GSAP 动画时间轴——后者在无头 Chromium 里会崩溃(GPU 退出 143),导致字幕只在前 20 秒、渲染卡死;② 长任务(转写约 30–90s、渲染约 30s)必须有实时进度,它会用 progress.html 仪表盘让你随时看到进度,不会黑屏假死。
四、具体用法(步骤)
- 交素材:把语音文件路径和网站 URL 给它(如「语音:D:\路径\你的语音.mp3,网站:https://目标网站.com」)。把语音放脚本同目录命名
audio.mp3 或设置 VOICE_AUDIO 环境变量也行。
- 转写语音:用稳健转录器(medium 模型 + 品牌词偏置 + 纠错 + 自检)生成带时间轴的文字稿,繁体误识别会被标出供你复查。
- 截网站图 + 抓数据:自动截取首页横幅、课程区、功能点、数据等截图,并可抓取真实课程/功能名用于画面。
- 生成 HTML 页面:基于「applyFrame 引擎」模板,注入字幕数组和场景文案,确保字幕时间 = 语音时间(严格同步)。
- 渲染视频:先跑「字幕对齐冒烟测试」防错,再用关键帧渲染(只截状态变化的关键帧,约 20–100 张,而非 1800+ 张,更快更稳),ffmpeg 拼合并混入可选 BGM(约 12% 音量)。
- 审计 + 交付:跑质量审计(编码/分辨率/时长匹配/非黑屏),输出
output_video_4x3_screenshots.mp4 和审计报告一起给你。
五、可直接照用的示例
你直接对 AI大模型或AI智能体 说:
用 voice-site-video 做一个宣传视频:
语音文件:D:\路径\你的语音.mp3
网站:https://目标网站.com
AI大模型或AI智能体 会:
转写你的语音→截取网站关键页→生成画面同步的 HTML→渲染成 4:3 宣传视频→加字幕和轻 BGM→做质量审计,最后把 output_video_4x3_screenshots.mp4 和审计报告交给你,过程中用进度仪表盘实时显示进度。
你直接对 AI大模型或AI智能体 说:
我没语音也没网站,就一段文案,想做条抖音竖屏短视频,讲我们工作室的课程。
AI大模型或AI智能体 会:
改用「竖屏 9:16 模板」:用 AI 配音(默认女声 zh-CN-XiaoxiaoNeural)把文案念出来,再用语音识别对齐字幕,生成一条抖音/视频号风格的竖屏短视频(已应用「画面清洁原则」,文字不堆叠)。
进阶 / 可选:下面是「转写语音」这步的命令行(大白话:把语音转成带时间轴的文字稿,--prompt 里塞品牌词帮它少听错,--corrections 是「错词→正词」对照表)。
python scripts/transcribe_clean.py 你的语音.mp3 \
--lang zh --prompt "品牌关键词,如:悦商业效能工作室,悦顾问,Excel建模" \
--corrections corrections.json \
--out transcript.json
六、常见注意 / 避坑
- 绝不用 GSAP 时间轴:只用 applyFrame 引擎的模板(
template_applyframe.html / template_vertical_clean.html),废弃的 template.html 会导致崩溃。
- 字幕要同步:字幕时间戳必须等于语音时间戳,由 applyFrame 引擎保证;渲染前会跑冒烟测试,若对不上会先报错不浪费时间。
- 画面清洁原则:同屏文字层 ≤ 2(场景主视觉 + 底部字幕),结尾 CTA 必须独占、不叠字幕;短视频默认删掉顶部标签栏、进度条、平台已有的点赞栏,避免文字糊成一团。
- 长任务看进度:转写/渲染约几十秒到一两分钟,期间盯着
progress.html 仪表盘,不必担心它卡死。
- 换站点要改脚本:
screenshot_site_focused.py 和 fetch_site_data.py 里的 URL 和页面选择器需对应你的网站,不是全自动万能。
七、相关 skill / 延伸
- laoyi-koubo-edit:同属「语音驱动视频」,本 skill 重生成、它重剪辑口播毛坯,可互补。
- daihuo-video-gen / ecom-video-export:用 AI 直接生成带货视频,思路不同但同属宣传视频生成。
- ai-video-generation:更通用的 AI 视频生成入口。
- video-editor:对已生成的宣传视频再剪辑加工可用它。