尧图网站建设 
Moonshine Micro STT 模块深入解析基于 TFLM 与 CMSIS-NN 的端侧孤立词语音识别【免费下载链接】moonshineVery low latency speech to text, intent recognition, and text to speech, for building voice agents and interfaces项目地址: https://gitcode.com/GitHub_Trending/moonshine3/moonshineMoonshine Micro 的 STTSpeech to Text模块为嵌入式设备提供了一套面向孤立字母、数字与命令词的端侧语音识别方案它以 int8 量化的 SpellingCNN 分类模型为核心通过 TensorFlow Lite MicroTFLM解释器包装成spelling::Classifier配合 CMSIS-NN 内核在 RP2350 等资源受限的 MCU 上完成从 log-mel 特征到分类结果的完整推理。阅读本文后你将掌握该模块的 51 类词表结构、单一公共头文件 API 的使用方式、内存与算力预算、模型内嵌数据生成流程以及桌面端回归验证的完整方法。本文基于仓库中的 micro/stt/README.md 展开并深入对应的 include/stt/stt.h、src/classifier.cc、src/predictor.cc 与脚本源码进行佐证。模块定位为 MCU 打造的孤立词识别STT 模块是 Moonshine Micro 三大组件之一另外两个是 VAD 语音活动检测 与 神经 TTS整个 Micro 项目以 80 美分的 Raspberry Pi RP2350 作为参考平台整体可在约 470 KiB RAM 内运行见 micro/README.md。该模块解决的是孤立词分类问题而非通用连续语音转写给定一段经过规范化处理的 log-mel 特征平面由 feature-generation 模块产出模块用 TFLM 包装的 int8 SpellingCNN 分类器执行推理返回反量化后的 fp32 logits再借助随附的辅助函数将其转换为带标签的预测结果。其典型应用场景是语音控制的命令入口——例如说出一个字母来拼写、说一个数字来输入、说wifi/ip/yes/no等命令词来驱动后续流程。从 CMake 构建配置micro/stt/CMakeLists.txt可以看出该模块的依赖刻意保持最小化只链接tflmTFLM 解释器与 micro_log在部署路径上还依赖feature_generation产出的输入特征除此之外没有应用级或平台级依赖它构建为静态库stt要求 C17并且测试通过MOONSHINE_MICRO_BUILD_TESTS选项按需启用。51 类词表字母、数字与命令词随仓库内置的 SpellingCNN 是一个51 类分类器覆盖孤立语音的字母、数字与命令词。类别标签来自 micro/examples/rp2350/generated/classes.h 与 micro/examples/rp2350/generated/classes.cc如下字母26 类a、b、c、…、z数字10 类zero、one、two、three、four、five、six、seven、eight、nine命令/符号词15 类capital、uppercase、star、dollar、underscore、exclamation、percent、dash、delete、finish、cancel、wifi、ip、yes、no、hey rp其中最后 15 类是面向语音控制场景的专用命令词——capital/uppercase用于大写切换、star/dollar/underscore等用于符号输入、delete/finish/cancel用于编辑控制hey rp则可用作唤醒热词。需要注意的是README 中列出的类别清单包含hey rp而当前仓库实际生成的classes.cc中最后一类是no51 个标签恰好为 26 字母 10 数字 15 个命令词说明类别集由模型元数据侧车文件 micro/models/spelling_cnn_meta.json 的classes数组决定——该数组正是上述 51 项且顺序即类别索引顺序。模型的基本约束如下每个类别是一个单个超发音hyperarticulated词元窗口约1 秒 16 kHz由clip_seconds: 1.0、sample_rate: 16000确认见 micro/models/spelling_cnn_meta.json模型只支持孤立词——不支持 NATO/ICAO 音标名、逐字母拼读或连续语音通过替换内嵌的.tflite与classes.*二进制块经由 micro/stt/scripts/generate_embedded_data.py可以整体更换标签集但更换不同架构或类别数的模型后flash 与推理 arena 的尺寸必须重新验证。此外README 明确说明面向其他部署场景的自定义词表模型可通过 Moonshine AI 商业获取仓库内的 micro/stt-training 目录则提供了自定义词识别的训练流程可供希望自行产出模型的开发者参考。公共 API单一头文件与调用链模块的全部公共接口收敛在单一头文件 micro/stt/include/stt/stt.h 中命名空间为spelling包括两个层次spelling::Classifier——TFLM 包装器。构造函数接收模型字节、调用方持有的 tensor arena以及期望的(n_mels, target_frames, n_classes)维度并做健全性校验Run()完成 fp32 特征量化 → 推理 → logits 反量化spelling::Argmax/spelling::SoftmaxProb——把 logits 变成预测索引与 top-1 概率的无状态辅助函数。典型调用序列README 给出的端到端调用代码特征由 feature-generation 模块的LogMelSpectrogram产出spelling::Classifier clf(model, model_size, arena, arena_size, n_mels, target_frames, n_classes); float* feats clf.feature_scratch(); // borrowed from the arena overlay log_mel.Compute(waveform, n_samples, feats); float logits[n_classes]; clf.Run(feats, logits); // quantize - Invoke - dequantize int pred spelling::Argmax(logits, n_classes); float prob spelling::SoftmaxProb(logits, n_classes, pred);这段代码背后的关键设计点均可在 micro/stt/include/stt/stt.h 与 micro/stt/src/classifier.cc 中找到实现证据arena 所有权归调用方构造函数要求传入tensor_arena且其生命周期必须长于Classifier实例——MicroInterpreter内部持有指向该 arena 的指针形状健全性检查noisy halt构造阶段会对expected_n_mels * expected_target_frames与模型的输入字节数、expected_n_classes与输出字节数做逐一比对并校验输入/输出张量类型为 int8任何不匹配都会MicroPrintf报错后死循环while(true)。之所以采用响亮地停机而非返回错误码是因为启动早期没有任何有意义的恢复路径feature_scratch()零额外 RAMfp32 log-mel 特征缓冲区是从 arena 激活区activation overlay借用的与推理工作区共享同一段字节不设独立特征缓冲区Run()三步走先在热路径外缓存的input_quant_scale/zero_point指导下把 fp32 特征饱和量化Saturate8与宿主流参考分类器在 int8 输入边界保持一致写入模型输入张量再Invoke()最后按output_quant_反量化为 fp32 logits。算子集合被锁定分类器只注册模型实际使用的算子且MicroMutableOpResolver的模板参数是精确算子数量而非上限。当前模型用到 7 个算子PAD、DEPTHWISE_CONV_2D、CONV_2D、ADD、SUM、FULLY_CONNECTED、RESHAPE见 micro/stt/src/classifier.cc 中MicroMutableOpResolver7与AddConv2D()等注册代码。如果模型被重新导出并引入了新算子AllocateTensors()会以明确的 Op not found 错误响亮失败届时需要同步扩展 resolver 的算子计数与注册列表。无堆的内存布局Classifier::Impl内部持有 resolver、interpreter、输入/输出张量指针通过placement-new 直接放入用户提供的 arena 头部arena 前 1 KiBkStaticsReservation预留给这些静态对象其余部分交给MicroInterpreter作为工作区。这意味着解释器与 resolver 完全不使用堆分配整个工作集保持在一块连续内存中见 micro/stt/src/classifier.cc 第 43–135 行的实现。arena_used_bytes()在AllocateTensors()后读取真实占用供应用层核对。内存与算力预算模块在资源受限平台上的占用数据来自 micro/stt/README.md与 micro/models/README.md 中spelling_cnn_mel_int8.tflite约 1.28 MiB 的记载一致资源大小说明Flash模型~1.3 MiBint8 SpellingCNN 权重model_data.*RAMarena 峰值~346 KiBTFLM 工作集应用预留 384 KiBRAM特征0 额外占用fp32 log-mel 写入空闲的 arena overlay堆0解释器与 resolver 以 placement-new 置于 arena 头部约 1 KiB需要强调的设计事实是特征生成与推理共享同一块内存不存在独立的特征缓冲区参见上文feature_scratch()的实现micro/stt/src/classifier.cc 第 176–223 行对 overlay 布局做了详细注释。arena 峰值约 346 KiB 也解释了应用层为何预留 384 KiB。250 MHz 下的推理延迟操作延迟计算量约说明Classifier::Run()双核每 1 s 音频约 314 ms每 1 s 音频约 36 MMAC约 36 MMAC/s 输入CMSIS-NN int8 SIMDClassifier::Run()单核每 1 s 音频约 507 ms每 1 s 音频约 36 MMAC约 36 MMAC/s 输入同一模型无核拆分MAC 计数来自导出模型图结构64×128 输入即n_mels64、target_frames128与 micro/models/spelling_cnn_meta.json 一致。双核拆分把单核 507 ms 压到约 314 ms这与整个 Moonshine Micro demo 流水线分类 语音约 0.7–1.0 s的预算micro/README.md吻合。特征生成阶段本身约 40 ms/1 s 音频见 micro/feature-generation/README.md相对推理延迟可以忽略。测试与桌面端回归验证单元测试宿主机micro/stt/tests/predictor_test.cc 使用 TFLM 的micro_test.h框架覆盖以下辅助逻辑仅测试逻辑不含解释器因此可在宿主机运行Argmax选取最大 logit含并列时取最小索引的约定稳定 softmax 的概率总和为 1、与手工计算一致两个相等 logit 各 0.5稳定 softmax 在大 logit如{1000, 0, -1000}下不溢出且概率质量集中于 argmax。测试通过 micro/stt/tests/CMakeLists.txt 注册宿主机构建MOONSHINE_MICRO_HOST_TESTS下stt库只编译src/predictor.cc省略解释器包装classifier.cc从而无需宿主 TFLM 构建即可单测辅助函数。SoftmaxProb在 micro/stt/src/predictor.cc 中先减去最大值再以 double 累加exp()在 Pico 2 的 M33 内核上这一步没有 FPU 惩罚。桌面端一致性回归desktop paritymicro/stt/scripts/desktop_parity.py 在桌面端用ai_edge_litert复现设备端内嵌 clip 的测试循环复用generate_embedded_data.py的 clip 选择逻辑与int16 往返round(x*32767)饱和存储、按int16 * (1/32768)读回见_int16_roundtrip保证送入桌面解释器的 fp32 波形与板端逐字节一致用同一套models.log_mel_pure参考前端计算 log-mel 特征逐 clip 输出exp.. got..对比表统计桌面端准确率并可解析pico_monitor.log与板端结果逐条比对设备一致性百分比命令行参数包括--tflite、--wavs-dirs、--clips-per-class、--max-classes、--n-mels/--target-frames/--hop-length/--n-fft覆盖侧车元数据、--no-int16跳过 int16 往返与--device-log。运行方式在micro/stt/scripts/目录下python desktop_parity.py python desktop_parity.py --tflite models/spelling_cnn_letters_digits_mel_int8.tflite生成内嵌数据从模型到固件二进制块RP2350 没有文件系统因此模型与测试音频必须以 C 数组形式编译进固件。micro/stt/scripts/generate_embedded_data.py 读取仓库内置的 micro/models/spelling_cnn_mel_int8.tflite 及其元数据侧车 micro/models/spelling_cnn_meta.json生成 RP2350 示例所需的内嵌二进制块model_data.{h,cc}——int8 TFLite 模型以alignas(16) const unsigned char[]数组形式内嵌16 字节对齐是 TFLM flatbuffer 读取器的要求classes.{h,cc}——51 个类别标签从spelling_cnn_meta.json读取mel_tables.{h,cc}——预计算的周期 Hann 窗 CSR 稀疏 Slaney mel 滤波器组浮点值按最接近的 IEEE-754 float32 烘焙与桌面参考逐位一致常驻 flash、零 RAM、零启动三角/对数开销audio_config.h——kSampleRate、kClipSeconds、kClipNumSamples、kNMels、kTargetFrames、kHopLength、kNFft、kWinLength、kFMin、kFMax等前端常量全部派生自侧车元数据避免在main.cc手工硬编码当前值16 kHz、1 s、64 mel、128 帧、hop125、n_fft512test_clips.{h,cc}——每类 N 条测试 clip解码为 1 s 16 kHz 的 int16 PCM每条附带标签索引与来源路径供设备端测试循环直接评分。侧车元数据是硬失败设计n_mels/target_frames/hop_length缺失或与模型不符时脚本直接报错退出杜绝了C 构建成功但固件在AllocateTensors()内静默死机的隐性损坏模式。README 给出的两个典型用法python scripts/generate_embedded_data.py # 2 clips/class python scripts/generate_embedded_data.py --clips-per-class 1实际脚本的默认行为略有差异默认--clips-per-class 1并支持更多参数--max-classes快速迭代时裁剪类别数、--tflite指定模型路径、--wavs-dirs本地 clip 根目录逗号分隔按顺序搜索、--hub-dataset/--hub-config从 Hugging Face 打包语音数据集中拉取测试 clip解码路径与本地分支一致以保证逐字节相同、--hub-cache-dir与--out-dir。默认输出目录为micro/examples/rp2350/generated/脚本中的MOONSHINE_MICRO_ROOT / examples/rp2350/generated。内存影响需要结合 flash 预算理解每条内嵌 clip 为 1 s 16 kHz int16 32 KiB。当前 51 类模型约 1.3 MB配合固件开销--clips-per-class 151 条 clip约 1.6 MB可放入 4 MB QSPI flash每类 2 条会让moonshine_micro_echo_test溢出约 500 KiB因此--clips-per-class 2仅在配合--max-classes裁剪时用于快速迭代构建。参考与延伸阅读模块入口文档micro/stt/README.md公共头文件与实现micro/stt/include/stt/stt.h、micro/stt/src/classifier.cc、micro/stt/src/predictor.cc模型与元数据micro/models/README.md、micro/models/spelling_cnn_mel_int8.tflite、micro/models/spelling_cnn_meta.json特征前端STT 的输入来源micro/feature-generation/README.md端到端示例含生成的内嵌数据micro/examples/rp2350/README.md自定义词表训练micro/stt-training/README.md整个 Micro 平台的资源总览micro/README.md【免费下载链接】moonshineVery low latency speech to text, intent recognition, and text to speech, for building voice agents and interfaces项目地址: https://gitcode.com/GitHub_Trending/moonshine3/moonshine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Moonshine Micro STT 模块深入解析：基于 TFLM 与 CMSIS-NN 的端侧孤立词语音识别
Moonshine Micro STT 模块深入解析基于 TFLM 与 CMSIS-NN 的端侧孤立词语音识别【免费下载链接】moonshineVery low latency speech to text, intent recognition, and text to speech, for building voice agents and interfaces项目地址: https://gitcode.com/GitHub_Trending/moonshine3/moonshineMoonshine Micro 的 STTSpeech to Text模块为嵌入式设备提供了一套面向孤立字母、数字与命令词的端侧语音识别方案它以 int8 量化的 SpellingCNN 分类模型为核心通过 TensorFlow Lite MicroTFLM解释器包装成spelling::Classifier配合 CMSIS-NN 内核在 RP2350 等资源受限的 MCU 上完成从 log-mel 特征到分类结果的完整推理。阅读本文后你将掌握该模块的 51 类词表结构、单一公共头文件 API 的使用方式、内存与算力预算、模型内嵌数据生成流程以及桌面端回归验证的完整方法。本文基于仓库中的 micro/stt/README.md 展开并深入对应的 include/stt/stt.h、src/classifier.cc、src/predictor.cc 与脚本源码进行佐证。模块定位为 MCU 打造的孤立词识别STT 模块是 Moonshine Micro 三大组件之一另外两个是 VAD 语音活动检测 与 神经 TTS整个 Micro 项目以 80 美分的 Raspberry Pi RP2350 作为参考平台整体可在约 470 KiB RAM 内运行见 micro/README.md。该模块解决的是孤立词分类问题而非通用连续语音转写给定一段经过规范化处理的 log-mel 特征平面由 feature-generation 模块产出模块用 TFLM 包装的 int8 SpellingCNN 分类器执行推理返回反量化后的 fp32 logits再借助随附的辅助函数将其转换为带标签的预测结果。其典型应用场景是语音控制的命令入口——例如说出一个字母来拼写、说一个数字来输入、说wifi/ip/yes/no等命令词来驱动后续流程。从 CMake 构建配置micro/stt/CMakeLists.txt可以看出该模块的依赖刻意保持最小化只链接tflmTFLM 解释器与 micro_log在部署路径上还依赖feature_generation产出的输入特征除此之外没有应用级或平台级依赖它构建为静态库stt要求 C17并且测试通过MOONSHINE_MICRO_BUILD_TESTS选项按需启用。51 类词表字母、数字与命令词随仓库内置的 SpellingCNN 是一个51 类分类器覆盖孤立语音的字母、数字与命令词。类别标签来自 micro/examples/rp2350/generated/classes.h 与 micro/examples/rp2350/generated/classes.cc如下字母26 类a、b、c、…、z数字10 类zero、one、two、three、four、five、six、seven、eight、nine命令/符号词15 类capital、uppercase、star、dollar、underscore、exclamation、percent、dash、delete、finish、cancel、wifi、ip、yes、no、hey rp其中最后 15 类是面向语音控制场景的专用命令词——capital/uppercase用于大写切换、star/dollar/underscore等用于符号输入、delete/finish/cancel用于编辑控制hey rp则可用作唤醒热词。需要注意的是README 中列出的类别清单包含hey rp而当前仓库实际生成的classes.cc中最后一类是no51 个标签恰好为 26 字母 10 数字 15 个命令词说明类别集由模型元数据侧车文件 micro/models/spelling_cnn_meta.json 的classes数组决定——该数组正是上述 51 项且顺序即类别索引顺序。模型的基本约束如下每个类别是一个单个超发音hyperarticulated词元窗口约1 秒 16 kHz由clip_seconds: 1.0、sample_rate: 16000确认见 micro/models/spelling_cnn_meta.json模型只支持孤立词——不支持 NATO/ICAO 音标名、逐字母拼读或连续语音通过替换内嵌的.tflite与classes.*二进制块经由 micro/stt/scripts/generate_embedded_data.py可以整体更换标签集但更换不同架构或类别数的模型后flash 与推理 arena 的尺寸必须重新验证。此外README 明确说明面向其他部署场景的自定义词表模型可通过 Moonshine AI 商业获取仓库内的 micro/stt-training 目录则提供了自定义词识别的训练流程可供希望自行产出模型的开发者参考。公共 API单一头文件与调用链模块的全部公共接口收敛在单一头文件 micro/stt/include/stt/stt.h 中命名空间为spelling包括两个层次spelling::Classifier——TFLM 包装器。构造函数接收模型字节、调用方持有的 tensor arena以及期望的(n_mels, target_frames, n_classes)维度并做健全性校验Run()完成 fp32 特征量化 → 推理 → logits 反量化spelling::Argmax/spelling::SoftmaxProb——把 logits 变成预测索引与 top-1 概率的无状态辅助函数。典型调用序列README 给出的端到端调用代码特征由 feature-generation 模块的LogMelSpectrogram产出spelling::Classifier clf(model, model_size, arena, arena_size, n_mels, target_frames, n_classes); float* feats clf.feature_scratch(); // borrowed from the arena overlay log_mel.Compute(waveform, n_samples, feats); float logits[n_classes]; clf.Run(feats, logits); // quantize - Invoke - dequantize int pred spelling::Argmax(logits, n_classes); float prob spelling::SoftmaxProb(logits, n_classes, pred);这段代码背后的关键设计点均可在 micro/stt/include/stt/stt.h 与 micro/stt/src/classifier.cc 中找到实现证据arena 所有权归调用方构造函数要求传入tensor_arena且其生命周期必须长于Classifier实例——MicroInterpreter内部持有指向该 arena 的指针形状健全性检查noisy halt构造阶段会对expected_n_mels * expected_target_frames与模型的输入字节数、expected_n_classes与输出字节数做逐一比对并校验输入/输出张量类型为 int8任何不匹配都会MicroPrintf报错后死循环while(true)。之所以采用响亮地停机而非返回错误码是因为启动早期没有任何有意义的恢复路径feature_scratch()零额外 RAMfp32 log-mel 特征缓冲区是从 arena 激活区activation overlay借用的与推理工作区共享同一段字节不设独立特征缓冲区Run()三步走先在热路径外缓存的input_quant_scale/zero_point指导下把 fp32 特征饱和量化Saturate8与宿主流参考分类器在 int8 输入边界保持一致写入模型输入张量再Invoke()最后按output_quant_反量化为 fp32 logits。算子集合被锁定分类器只注册模型实际使用的算子且MicroMutableOpResolver的模板参数是精确算子数量而非上限。当前模型用到 7 个算子PAD、DEPTHWISE_CONV_2D、CONV_2D、ADD、SUM、FULLY_CONNECTED、RESHAPE见 micro/stt/src/classifier.cc 中MicroMutableOpResolver7与AddConv2D()等注册代码。如果模型被重新导出并引入了新算子AllocateTensors()会以明确的 Op not found 错误响亮失败届时需要同步扩展 resolver 的算子计数与注册列表。无堆的内存布局Classifier::Impl内部持有 resolver、interpreter、输入/输出张量指针通过placement-new 直接放入用户提供的 arena 头部arena 前 1 KiBkStaticsReservation预留给这些静态对象其余部分交给MicroInterpreter作为工作区。这意味着解释器与 resolver 完全不使用堆分配整个工作集保持在一块连续内存中见 micro/stt/src/classifier.cc 第 43–135 行的实现。arena_used_bytes()在AllocateTensors()后读取真实占用供应用层核对。内存与算力预算模块在资源受限平台上的占用数据来自 micro/stt/README.md与 micro/models/README.md 中spelling_cnn_mel_int8.tflite约 1.28 MiB 的记载一致资源大小说明Flash模型~1.3 MiBint8 SpellingCNN 权重model_data.*RAMarena 峰值~346 KiBTFLM 工作集应用预留 384 KiBRAM特征0 额外占用fp32 log-mel 写入空闲的 arena overlay堆0解释器与 resolver 以 placement-new 置于 arena 头部约 1 KiB需要强调的设计事实是特征生成与推理共享同一块内存不存在独立的特征缓冲区参见上文feature_scratch()的实现micro/stt/src/classifier.cc 第 176–223 行对 overlay 布局做了详细注释。arena 峰值约 346 KiB 也解释了应用层为何预留 384 KiB。250 MHz 下的推理延迟操作延迟计算量约说明Classifier::Run()双核每 1 s 音频约 314 ms每 1 s 音频约 36 MMAC约 36 MMAC/s 输入CMSIS-NN int8 SIMDClassifier::Run()单核每 1 s 音频约 507 ms每 1 s 音频约 36 MMAC约 36 MMAC/s 输入同一模型无核拆分MAC 计数来自导出模型图结构64×128 输入即n_mels64、target_frames128与 micro/models/spelling_cnn_meta.json 一致。双核拆分把单核 507 ms 压到约 314 ms这与整个 Moonshine Micro demo 流水线分类 语音约 0.7–1.0 s的预算micro/README.md吻合。特征生成阶段本身约 40 ms/1 s 音频见 micro/feature-generation/README.md相对推理延迟可以忽略。测试与桌面端回归验证单元测试宿主机micro/stt/tests/predictor_test.cc 使用 TFLM 的micro_test.h框架覆盖以下辅助逻辑仅测试逻辑不含解释器因此可在宿主机运行Argmax选取最大 logit含并列时取最小索引的约定稳定 softmax 的概率总和为 1、与手工计算一致两个相等 logit 各 0.5稳定 softmax 在大 logit如{1000, 0, -1000}下不溢出且概率质量集中于 argmax。测试通过 micro/stt/tests/CMakeLists.txt 注册宿主机构建MOONSHINE_MICRO_HOST_TESTS下stt库只编译src/predictor.cc省略解释器包装classifier.cc从而无需宿主 TFLM 构建即可单测辅助函数。SoftmaxProb在 micro/stt/src/predictor.cc 中先减去最大值再以 double 累加exp()在 Pico 2 的 M33 内核上这一步没有 FPU 惩罚。桌面端一致性回归desktop paritymicro/stt/scripts/desktop_parity.py 在桌面端用ai_edge_litert复现设备端内嵌 clip 的测试循环复用generate_embedded_data.py的 clip 选择逻辑与int16 往返round(x*32767)饱和存储、按int16 * (1/32768)读回见_int16_roundtrip保证送入桌面解释器的 fp32 波形与板端逐字节一致用同一套models.log_mel_pure参考前端计算 log-mel 特征逐 clip 输出exp.. got..对比表统计桌面端准确率并可解析pico_monitor.log与板端结果逐条比对设备一致性百分比命令行参数包括--tflite、--wavs-dirs、--clips-per-class、--max-classes、--n-mels/--target-frames/--hop-length/--n-fft覆盖侧车元数据、--no-int16跳过 int16 往返与--device-log。运行方式在micro/stt/scripts/目录下python desktop_parity.py python desktop_parity.py --tflite models/spelling_cnn_letters_digits_mel_int8.tflite生成内嵌数据从模型到固件二进制块RP2350 没有文件系统因此模型与测试音频必须以 C 数组形式编译进固件。micro/stt/scripts/generate_embedded_data.py 读取仓库内置的 micro/models/spelling_cnn_mel_int8.tflite 及其元数据侧车 micro/models/spelling_cnn_meta.json生成 RP2350 示例所需的内嵌二进制块model_data.{h,cc}——int8 TFLite 模型以alignas(16) const unsigned char[]数组形式内嵌16 字节对齐是 TFLM flatbuffer 读取器的要求classes.{h,cc}——51 个类别标签从spelling_cnn_meta.json读取mel_tables.{h,cc}——预计算的周期 Hann 窗 CSR 稀疏 Slaney mel 滤波器组浮点值按最接近的 IEEE-754 float32 烘焙与桌面参考逐位一致常驻 flash、零 RAM、零启动三角/对数开销audio_config.h——kSampleRate、kClipSeconds、kClipNumSamples、kNMels、kTargetFrames、kHopLength、kNFft、kWinLength、kFMin、kFMax等前端常量全部派生自侧车元数据避免在main.cc手工硬编码当前值16 kHz、1 s、64 mel、128 帧、hop125、n_fft512test_clips.{h,cc}——每类 N 条测试 clip解码为 1 s 16 kHz 的 int16 PCM每条附带标签索引与来源路径供设备端测试循环直接评分。侧车元数据是硬失败设计n_mels/target_frames/hop_length缺失或与模型不符时脚本直接报错退出杜绝了C 构建成功但固件在AllocateTensors()内静默死机的隐性损坏模式。README 给出的两个典型用法python scripts/generate_embedded_data.py # 2 clips/class python scripts/generate_embedded_data.py --clips-per-class 1实际脚本的默认行为略有差异默认--clips-per-class 1并支持更多参数--max-classes快速迭代时裁剪类别数、--tflite指定模型路径、--wavs-dirs本地 clip 根目录逗号分隔按顺序搜索、--hub-dataset/--hub-config从 Hugging Face 打包语音数据集中拉取测试 clip解码路径与本地分支一致以保证逐字节相同、--hub-cache-dir与--out-dir。默认输出目录为micro/examples/rp2350/generated/脚本中的MOONSHINE_MICRO_ROOT / examples/rp2350/generated。内存影响需要结合 flash 预算理解每条内嵌 clip 为 1 s 16 kHz int16 32 KiB。当前 51 类模型约 1.3 MB配合固件开销--clips-per-class 151 条 clip约 1.6 MB可放入 4 MB QSPI flash每类 2 条会让moonshine_micro_echo_test溢出约 500 KiB因此--clips-per-class 2仅在配合--max-classes裁剪时用于快速迭代构建。参考与延伸阅读模块入口文档micro/stt/README.md公共头文件与实现micro/stt/include/stt/stt.h、micro/stt/src/classifier.cc、micro/stt/src/predictor.cc模型与元数据micro/models/README.md、micro/models/spelling_cnn_mel_int8.tflite、micro/models/spelling_cnn_meta.json特征前端STT 的输入来源micro/feature-generation/README.md端到端示例含生成的内嵌数据micro/examples/rp2350/README.md自定义词表训练micro/stt-training/README.md整个 Micro 平台的资源总览micro/README.md【免费下载链接】moonshineVery low latency speech to text, intent recognition, and text to speech, for building voice agents and interfaces项目地址: https://gitcode.com/GitHub_Trending/moonshine3/moonshine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考