ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

3小时把 ESP32 变成 AI 语音助手

3小时把 ESP32 变成 AI 语音助手 3小时把 ESP32 变成 AI 语音助手【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32给开发板接上麦克风说出唤醒词设备就开始回答——小智xiaozhi-esp32就是干这件事的开源项目。它把 ESP32 系列芯片变成能离线唤醒、云端对话的 AI 语音助手语音识别、大模型理解和语音合成整条链路都已打通支持 Wi-Fi、4G 和以太网接入兼容 138 个板卡目录、171 个固件变体。手头有一块 ESP32 开发板的硬件爱好者、想做智能硬件作业的学生、想低成本落地语音终端的开发者都可以直接用上这套固件。硬件选型3 档方案对比选型看两件事芯片算力够不够跑离线唤醒外设接口够不够接麦克风和喇叭。档位代表方案芯片典型外设成本区间人民币入门面包板手工搭建ESP32-C3/S3 最小系统 I2S 麦克风 小喇叭 OLEDESP32-C3 / S3麦克风、喇叭、OLED均需自焊约 50~120均衡乐鑫 ESP32-S3-BOX-3、M5Stack CoreS3、LILYGO T-Circle-S3ESP32-S3集成麦克风、喇叭、显示屏、按键开箱即用约 200~400进阶微雪 ESP32-S3 触摸 AMOLED、ML307/NT26 4G 版本ESP32-S3触摸屏或 4G 联网适合带屏与离线场景约 300~600入门档适合想搞懂接线的人均衡档最省心进阶档面向带屏或无 Wi-Fi 的部署场景。各方案对应的板卡配置都能在项目里的 main/boards/ 目录找到现成代码。图面包板搭建方案的完整接线包含 ESP32 最小系统、麦克风、扬声器和按键原理速览MCP 协议与语音链路核心机制只有一个MCPModel Context Protocol。云端的大模型不直接驱动硬件而是像调用工具一样调用设备上报的 MCP 工具清单——音量、GPIO、电机都注册成工具模型判断后下发调用设备端执行并回传结果云端一侧也能注册自己的工具把智能家居、桌面操作、知识搜索挂到对话里。图基于 MCP 协议的系统架构大模型经单一协议同时控制本地硬件与云端服务语音链路串起来很短本地用 ESP-SR 跑离线唤醒词命中后打开连接设备把麦克风音频用 Opus 编码流式上传服务端依次走 ASR、大模型、TTS再把合成的音频流式传回播放。带 AEC 回声消除的硬件可以做到边说边听的实时全双工。通信传输提供 WebSocket 和 MQTTUDP 两种音频格式统一切换对上层透明。从克隆到出声的 5 步获取代码git clone https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32选择芯片目标idf.py set-target s3根据手头板子选择对应芯片c3、s3、p4 等目标错了后面全白做。选定开发板方案idf.py menuconfig里进入 Xiaozhi Assistant 菜单选板卡界面语言、是否烧录默认资源也在这一步确认。编译烧录idf.py build flash monitor。首次编译会拉取 ESP-SR 等组件耗时较长属正常。配网上线首次启动后设备进入热点配网手机连接热点、在浏览器里填 Wi-Fi 密码即可。两个容易卡住的点。第一配网热点只支持 2.4GHz5GHz 网络下手机搜不到设备换热点再连。第二模型与服务器地址不用手动填 API Key默认固件接入官方服务器注册账号即可免费使用 Qwen 实时模型自建服务器时在 menuconfig 的 OTA URL 项里改成自己的地址即可。跑通之后怎么玩语音控制本地硬件把音量、灯光、电机注册为设备端 MCP 工具后说一句小智把音量调到 50或小智开灯就能执行工具注册代码可参考 main/boards/common/ 下的按钮与灯光控制器。接入云端能力在服务器侧挂 MCP 工具后小智帮我查下明天天气打开客厅的灯这类请求会由模型分派到对应工具设备只负责播读结果。换唤醒词和表情录一段自己的声音训练自定义唤醒词替换表情与字体资源后重新烧录界面和叫法就都变了。图ESP32-C3 面包板完整接线展示麦克风、电位器等外设的模块化连接方式避坑与调优现象常见原因排查顺序烧录无反应BOOT 键未按住、USB 线只供电按住 BOOT 再点烧录换数据线再换 USB 口设备搜不到配网热点连了 5GHz 网络手机切到 2.4GHz 热点重连唤醒不灵敏麦克风离声源远、环境噪声大先挪位置、关电视再考虑调唤醒参数对话卡顿、声音断续供电不足、带宽被占换 5V/2A 以上电源4G 场景留意信号强度电池版续航短唤醒轮询频繁、屏幕常亮调低唤醒灵敏度空闲时进深睡排查总原则先看串口日志里的错误码和分区名对照配置修正后再重试效率比反复烧录高得多。继续深入协议与开发者文档集中在 docs/WebSocket 协议、MQTTUDP、自定义开发板指南都在这各板卡适配示例在 main/boards/新板子照着现有目录抄改最快协议层实现在 main/protocols/读 websocket_protocol 和 mqtt_protocol 能看懂收发全貌设备端 MCP 的交互流程见 docs/mcp-protocol_zh.md物联网控制用法见 docs/mcp-usage_zh.md社区讨论入口Issues、Discord、QQ 群列在 README_zh.md 文末遇到编译问题先搜一遍遇到烧录失败先读 monitor 日志里的错误码和分区名对照 sdkconfig 改完再烧比反复重试有效得多。【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表