ESP32-S3ESP-SR离线语音WakeNetMultiNetESP-IDF

ESP32-S3 离线语音识别(esp-sr-offline-voice-esp32s3)

在 Windows + ESP-IDF v5.5.x 上,给 ESP32-S3 做出「本地唤醒词 + 中文命令词」的离线语音控制固件,并避开编译 / PSRAM / 麦克风采集等一堆坑。

一、这个 skill 是做什么的

你想让一块 ESP32-S3 不联网也能「听懂人话」——喊一声唤醒词(比如「你好小智」)它就醒,再说一句中文命令(比如「打开灯」「关闭灯」)它就执行。这用的是乐鑫官方的 ESP-SR 离线语音方案:WakeNet 负责唤醒,MultiNet 负责中文命令词识别。整个识别都在芯片本地完成,不需要联网、不需要语音助手账号。

这套流程是踩了无数坑之后总结出来的「避坑手册」:新版 esp-skainet 已经不带 esp-sr 了、命令词必须用代码注册、INMP441 麦克风有采集大坑、PSRAM 配置错会直接读不到芯片。照着做能少走很多弯路。

二、什么时候用它

三、前置条件 / 准备

四、具体用法(步骤)

第 1 步:拉对组件依赖

新版 esp-skainet 已不自带 esp-sr,不要依赖它。在 main/idf_component.yml 写:

dependencies: espressif/esp-sr: "^2.0.0" espressif/led_strip: "^3.0.0"

第 2 步:写对 sdkconfig 符号名

用 esp-sr 2.5.3 的真实符号名(旧 esp-skainet 名无效):唤醒词是布尔项 CONFIG_SR_WN_WN9S_NIHAOXIAOZHI,中文命令模型 CONFIG_SR_MN_CN_MULTINET7_QUANT。注意:sdkconfig.defaults 只在 sdkconfig 不存在时生效,改完 defaults 必须删掉工程根的 sdkconfig 再 build。

第 3 步:命令词用代码注册(关键)

mn6/mn7 下,esp_mn_commands_update_from_sdkconfig() 会直接 return、不加载任何命令!必须用代码注册,中文一律用拼音(「绿」写成 lv):

esp_mn_commands_alloc(multinet, model_data); esp_mn_commands_add(0, "da kai deng"); // 打开灯 esp_mn_commands_add(1, "guan bi deng"); // 关闭灯 esp_mn_commands_update();

第 4 步:搭 AFE 流水线

用 esp-sr v2 API 初始化模型与 AFE(音频前端),唤醒后把音频送进 MultiNet 做命令识别,取 command_id。初始化约 1.3 秒,期间会打 Ringbuffer ... full,注册完命令后调 afe_handle->reset_buffer() 消除。

第 5 步:INMP441 采集(最大坑)

I2S 槽模式必须用 I2S_SLOT_MODE_STEREO(32bit 槽),再在循环里取左声道喂给 AFE。自检法:每秒打印左右声道峰值,哪边上千哪边是麦克风,另一边应≈0;正常说话时 mic level 在 -20~-10 dBFS、vad_state 会变。INMP441 的 L/R 脚接 GND = 左声道。

五、可直接照用的示例

你直接对 AI大模型或AI智能体 说:「帮我在 ESP32-S3 上做一个离线语音控制,喊『你好小智』唤醒,说『打开灯』『关闭灯』执行。」

AI大模型或AI智能体 会:按这套流程建工程——拉 esp-sr 组件、写对 sdkconfig 唤醒词与命令模型、在代码里用拼音注册「da kai deng / guan bi deng」、搭 AFE 流水线并接好 INMP441(强调 I2S 用 STEREO 取左声道)。编译前提醒你 set PYTHONUTF8=1 且目录纯英文。

你直接对 AI大模型或AI智能体 说:「麦克风明明有声音,怎么喊它都不唤醒。」

AI大模型或AI智能体 会:判断是 INMP441 采集坑——多半 I2S 用了 MONO 导致读到空路/错位比特,表现为峰值大但直流乱跳、平均电平极低。让你每秒打印 Lpeak/Rpeak 自检:哪边上千哪边才是麦克风;并确认 INMP441 的 L/R 脚接了 GND(左声道),代码里改 STEREO 取左声道。

你直接对 AI大模型或AI智能体 说:「编译报 PSRAM chip is not connected。」

AI大模型或AI智能体 会:先用 esptool flash_id 确认 Flash 四线/八线,再按「四线/八线 PSRAM、80M/40M 速度、先不开 XIP」逐处只改一处、一烧一验排查。若四线和八线都失败且都卡在读 ID,那是板载 PSRAM 硬件问题(克隆模组常见),建议换一块板子,而不是继续改配置。

六、常见注意 / 避坑

INMP441 采集大坑:I2S 必须用 I2S_SLOT_MODE_STEREO 再取左声道喂 AFE。用 MONO 会让 ESP32-S3 读到空路/错位比特 → 「峰值大但直流乱跳、平均电平极低」→ 怎么喊都不唤醒。自检:每秒打印 Lpeak/Rpeak,哪边上千哪边是麦克风。

七、相关 skill / 延伸

← 返回 SKILL 库