news 2026/9/3 13:35:00

3步把ESP32变成AI语音助手:xiaozhi-esp32上手指南

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
3步把ESP32变成AI语音助手:xiaozhi-esp32上手指南

3步把ESP32变成AI语音助手:xiaozhi-esp32上手指南

【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32

面包板通电,对着麦克风喊一声"你好小智",板子抬起头听你说,扬声器里回了一句人话——这就是 xiaozhi-esp32 烧录完成后的样子。它是一套开源的 AI语音助手 固件,把支持列表里的 ESP32 开发板变成能离线唤醒、能流式对话、还能通过 MCP 协议控制外设的语音交互入口,背后接的是 Qwen、DeepSeek 这类大模型。

图:面包板方案完整接线,图中标注了适用的开发板型号(NodeMcu32s / Devkit C / ESP32-D0LD / GoouuuESP32)和注意事项

30秒速览:值不值得读下去

xiaozhi-esp32 一句话定义:给 ESP32 装上"耳朵、嘴和脑子"的开源固件,语音交互 + MCP 多端控制。

维度情况
硬件门槛一块 ESP32 开发板 + 麦克风 + 喇叭即可;官方已适配 138 个板卡目录、171 个固件变体
上手时间新手用现成固件镜像,烧录 + 配网约 10 分钟;自建编译环境另需安装 ESP-IDF v6.0.2
通信方式WebSocket 和 MQTT + UDP 两种,音频走 Opus 流
扩展方式设备端 MCP 控制本地硬件(音量、灯光、GPIO),云端 MCP 扩展智能家居、知识搜索等能力

5分钟烧录第一个AI语音助手

  1. 获取代码(自建固件才需要):

    git clone https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32

    新手建议跳过自建环境,直接用官方免开发环境固件镜像。

  2. 选硬件配置:你的板子在 main/boards/ 下有对应目录,menuconfig 里选对应选项即可,配置和引脚都已在目录里写死。

  3. 烧录并配网:固件默认接入 xiaozhi.me 官方服务器,个人注册账号可免费使用 Qwen 实时模型。首次启动按提示用手机热点或 BluFi 把 Wi-Fi 配给设备。

  4. 开始交互:说出唤醒词"你好小智",进入对话;有显示屏的板子还会同步显示表情。

图:README 中展示的面包板成品效果,含 4G 模组与显示屏,可作为焊接/插线参照

原理速读:MCP 怎么把云端和硬件接起来

MCP(Model Context Protocol,模型上下文协议)可以理解成一个"统一插座标准":云端大模型负责思考和决策,但"拧哪个开关、调多大音量"这些动作,交给设备端去执行。

图:左侧是设备端 MCP 控制喇叭、LED、舵机、GPIO 等本地硬件,右侧是云端 MCP 对接 Home Assistant、知识搜索、邮件等扩展能力

好处是双向的:设备端用同一套协议控制本地硬件,云端用同一套协议扩展能力,你以后加新工具不用改通信层。

音频链路走的是流式:麦克风采样 → 本地离线唤醒(基于 ESP-SR,不联网也能喊醒,保护隐私)→ Opus 编码上云做流式识别 → 大模型生成 → TTS 语音流边生成边播。带 AEC(回声消除)的硬件还能做到边说边听的实时全双工。

能玩出什么花样

  • 自定义唤醒词:不喜欢"你好小智"?menuconfig 里选自定义唤醒词类型,训练一个自己的专属短语,设备就叫你的名字。
  • 桌面学习搭子:放在书桌上查资料、翻译、练口语,界面支持 38 种语言,语音提示缺本地资源时自动回退英文。
  • 语音控设备:通过 MCP 工具让它操作 GPIO、舵机、灯光——仓库里的机器人板卡(如 otto-robot)就是"说话 + 动腿"的完整例子。

改造入口:想动手改哪里

  • 加一块新板子:在main/boards/下建目录,写一个 config.json 加驱动文件,照着 docs/custom-board_zh.md 走,效果是 menuconfig 里多一个你的板型。
  • 加一个新工具:改 main/mcp_server.cc,注册一个 MCP 工具(比如控制 RGB 灯),效果是云端模型直接能用语音调它。
  • 换音色和表情:改 main/assets/locales/ 下的 ogg 语音包,或参考 main/display/ 添加表情资源,效果是唤醒提示音、界面风格全变。

避坑与答疑

  • Q:面包板版本支持我的 ESP32-C3 / S3 吗?不支持。面包板目录明确标注"非 C3、非 S3",适用 NodeMcu32s、Devkit C、ESP32-D0LD、GoouuuESP32 这类标准 ESP32/S2。有屏幕和 4G 的进阶接线可看 docs/v1/wiring2.jpg。
  • Q:上电就重启、时断时续?九成是供电。面包板用 USB 5V 直供,别从 3.3V 引出取电;扬声器瞬态电流很大。
  • Q:喊唤醒词没反应?先确认板子烧的是不是带唤醒模型的固件(menuconfig 中 WAKE_WORD 选项),再查麦克风接线和供电;不要在没解决硬件问题前调灵敏度参数。
  • Q:语音识别经常听错?安静环境测试基线,麦克风靠近声源;仓库提供 scripts/audio_debug_server.py 可把设备音频导到 PC 端排查。
  • Q:电池供电发热掉电快?多数板卡带电源管理(见各板目录的 power_manager.h),支持深度睡眠;长期无人交互场景让它睡得更久即可,具体参数以板卡配置为准。

文档与下一步

进阶内容都在仓库 docs/ 里:MCP 交互流程、MQTT + UDP 协议、WebSocket 协议、自定义开发板指南,大模型配置说明见 README_zh.md。

挑一块手头的 ESP32,先按"5分钟烧录"那节的四步走通第一次对话,再决定往哪个方向改——动手比通读源码学得快。

【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/3 13:33:00

混凝土骨料粒度图像识别:面向国标级配的工业细粒度分类数据集

简介:本资源是面向计算机视觉初学者与工程实践者的混凝土骨料粒度图像分类专用数据集,适用于图像分类模型训练(如YOLOv5分类模式)、算法验证及教学演示等场景。数据集严格划分为train(600张)与val&#xff…

作者头像 李华
网站建设 2026/9/3 13:32:11

基于SSM框架的自习室座位管理系统设计与实现详解

简介:本资源是一套完整的基于SSM框架的自习室座位管理系统毕业设计项目,面向计算机专业本科生、Java Web初学者及课程设计/期末大作业实践者,旨在解决高校自习室座位预约混乱、资源分配不均、使用状态不透明等实际管理痛点。压缩包共400个文件…

作者头像 李华
网站建设 2026/9/3 13:31:41

C# OpenCvSharp实现可解释素描生成:从像素到结构线稿

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/3 13:30:58

DeepSeek API涨价应对指南:从成本优化到本地部署的完整方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/3 13:30:11

学生智能手表选购指南:从核心功能到实测避坑

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/3 13:29:01

Converge发动机CFD仿真全流程实战:从零掌握内燃机流动燃烧分析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华