宣传视频语音+网站字幕同步AI 生成

语音+网站宣传视频生成(voice-site-video)

用一段语音 + 网站截图,生成画面跟随口播同步、带字幕的宣传视频

一、这个 skill 是做什么的

你有一段讲解产品的语音(比如你自己录的口播 mp3),还有一个产品网站,想做成一条「画面跟着你说话走、网站截图适时出现、字幕同步」的宣传视频——这个 skill 就是干这个的。

它的工作方式是:先把语音转写成带时间轴的文字稿 → 自动截取网站关键页面(首页横幅、课程区、功能点、数据等) → 用一套「按时间点精确设置画面状态」的引擎拼出 HTML 页面 → 再用无头浏览器逐帧截图渲染成视频 → 最后混入背景音乐并做质量审计。成品默认是 4:3(1440×1080)比例。

它还提供了一个竖屏 9:16 模板:如果你只给了一段文字(没语音、没网站),它可以用 AI 配音(edge-tts)+ 自动对齐字幕,直接生成抖音/视频号风格的竖屏短视频。

二、什么时候用它

三、前置条件 / 准备

需要的环境

⚠️ 本沙箱关键约束(实测):① 用「按时间点设置画面」的引擎(applyFrame),不要用 GSAP 动画时间轴——后者在无头 Chromium 里会崩溃(GPU 退出 143),导致字幕只在前 20 秒、渲染卡死;② 长任务(转写约 30–90s、渲染约 30s)必须有实时进度,它会用 progress.html 仪表盘让你随时看到进度,不会黑屏假死。

四、具体用法(步骤)

  1. 交素材:把语音文件路径和网站 URL 给它(如「语音:D:\路径\你的语音.mp3,网站:https://目标网站.com」)。把语音放脚本同目录命名 audio.mp3 或设置 VOICE_AUDIO 环境变量也行。
  2. 转写语音:用稳健转录器(medium 模型 + 品牌词偏置 + 纠错 + 自检)生成带时间轴的文字稿,繁体误识别会被标出供你复查。
  3. 截网站图 + 抓数据:自动截取首页横幅、课程区、功能点、数据等截图,并可抓取真实课程/功能名用于画面。
  4. 生成 HTML 页面:基于「applyFrame 引擎」模板,注入字幕数组和场景文案,确保字幕时间 = 语音时间(严格同步)。
  5. 渲染视频:先跑「字幕对齐冒烟测试」防错,再用关键帧渲染(只截状态变化的关键帧,约 20–100 张,而非 1800+ 张,更快更稳),ffmpeg 拼合并混入可选 BGM(约 12% 音量)。
  6. 审计 + 交付:跑质量审计(编码/分辨率/时长匹配/非黑屏),输出 output_video_4x3_screenshots.mp4 和审计报告一起给你。

五、可直接照用的示例

你直接对 AI大模型或AI智能体 说:

用 voice-site-video 做一个宣传视频:
语音文件:D:\路径\你的语音.mp3
网站:https://目标网站.com

AI大模型或AI智能体 会:

转写你的语音→截取网站关键页→生成画面同步的 HTML→渲染成 4:3 宣传视频→加字幕和轻 BGM→做质量审计,最后把 output_video_4x3_screenshots.mp4 和审计报告交给你,过程中用进度仪表盘实时显示进度。

你直接对 AI大模型或AI智能体 说:

我没语音也没网站,就一段文案,想做条抖音竖屏短视频,讲我们工作室的课程。

AI大模型或AI智能体 会:

改用「竖屏 9:16 模板」:用 AI 配音(默认女声 zh-CN-XiaoxiaoNeural)把文案念出来,再用语音识别对齐字幕,生成一条抖音/视频号风格的竖屏短视频(已应用「画面清洁原则」,文字不堆叠)。

进阶 / 可选:下面是「转写语音」这步的命令行(大白话:把语音转成带时间轴的文字稿,--prompt 里塞品牌词帮它少听错,--corrections 是「错词→正词」对照表)。

python scripts/transcribe_clean.py 你的语音.mp3 \ --lang zh --prompt "品牌关键词,如:悦商业效能工作室,悦顾问,Excel建模" \ --corrections corrections.json \ --out transcript.json

六、常见注意 / 避坑

七、相关 skill / 延伸

← 返回 SKILL 库