新闻详情

新闻详情

首页 / 资讯中心 / 详情

TinyML在ESP32上的部署实践:语音唤醒词模型量化、推理延迟与内存优化

发布时间:2026/11/21 10:52:51来源:尧图网络
TinyML在ESP32上的部署实践:语音唤醒词模型量化、推理延迟与内存优化
TinyML是什么为什么在ESP32上做TinyML指在微控制器上运行机器学习推理。传统AI推理需要GPU服务器TinyML把模型压缩到几十KB甚至几KB在RAM只有几百KB的MCU上跑起来。ESP32有240MHz双核、520KB SRAM和向量指令加速是TinyML最主流的硬件平台之一。语音唤醒词检测是TinyML最经典的应用。设备一直监听麦克风音频流检测到特定关键词如打开灯后触发动作。如果用云端AI每次录音传到服务器处理延迟高、隐私成问题、还费流量。本地推理100ms内完成检测体验和隐私都好得多。模型训练与量化先在PC上用TensorFlow训练模型。使用Google的speech_commands数据集包含35个关键词的音频样本。目标关键词设为positive class其他关键词和背景噪声设为negative class# train_keyword_model.pyimporttensorflowastfimportnumpyasnp# 音频参数16kHz采样率1秒音频SAMPLE_RATE16000DURATION1.0NUM_SAMPLESint(SAMPLE_RATE*DURATION)# MFCC特征提取参数NUM_MFCC13HOP_LENGTH512NUM_FFT2048defextract_mfcc(audio,srSAMPLE_RATE):提取MFCC特征# 转换为时频特征mfccstf.signal.mfccs_from_log_mel_spectrograms(tf.signal.linear_to_mel_weight_matrix(num_mel_bins40,num_spectrogram_binsNUM_FFT//21,sample_ratesr,lower_edge_hertz80.0,upper_edge_hertz8000.0,))returnmfccs[:NUM_MFCC,:]# 构建模型modeltf.keras.Sequential([tf.keras.layers.Input(shape(NUM_MFCC,49,1)),tf.keras.layers.Conv2D(8,(3,3),activationrelu),tf.keras.layers.MaxPooling2D((2,2)),tf.keras.layers.Conv2D(16,(3,3),activationrelu),tf.keras.layers.MaxPooling2D((2,2)),tf.keras.layers.Flatten(),tf.keras.layers.Dense(32,activationrelu),tf.keras.layers.Dense(1,activationsigmoid)])model.compile(optimizeradam,lossbinary_crossentropy,metrics[accuracy])# 训练省略数据加载部分model.fit(train_ds,epochs30,validation_dataval_ds)model.save(keyword_model.h5)模型训练完成后需要量化压缩。INT8量化把32位浮点权重转为8位整数模型体积缩小4倍推理速度在ESP32上提升2-3倍# quantize_model.pyimporttensorflowastf# 加载训练好的模型modeltf.keras.models.load_model(keyword_model.h5)# 转换为TFLite模型并量化convertertf.lite.TFLiteConverter.from_keras_model(model)converter.optimizations[tf.lite.Optimize.DEFAULT]converter.target_spec.supported_ops[tf.lite.OpsSet.TFLITE_BUILTINS_INT8]converter.inference_input_typetf.int8 converter.inference_output_typetf.int8# 提供代表性数据集用于量化校准defrepresentative_dataset():fordataincalibration_data.take(100):yield[data]converter.representative_datasetrepresentative_dataset quantized_modelconverter.convert()# 保存量化模型withopen(keyword_model_quant.tflite,wb)asf:f.write(quantized_model)# 转换为C头文件供ESP32编译importsubprocess subprocess.run([xxd,-i,-n,keyword_model,keyword_model_quant.tflite,keyword_model.h])量化后的模型通常在20-50KB之间ESP32的520KB SRAM完全可以装下。生成的keyword_model.h是一个C数组直接编译进固件。ESP32推理部署ESP-IDF集成TensorFlow Lite Micro库。推理流程是采集音频→提取MFCC特征→模型推理→判断是否触发关键词#includekeyword_model.h#includetensorflow/lite/micro/tflite_micro.h#includetensorflow/lite/micro/micro_interpreter.h#includetensorflow/lite/micro/micro_error_reporter.h// 推理所需内存Arena大小需根据模型调整constexprintkTensorArenaSize30*1024;uint8_ttensor_arena[kTensorArenaSize]__attribute__((aligned(16)));// 音频采集缓冲区#defineAUDIO_BLOCK_SIZE512#defineMFCC_FRAME_SIZE49// 时间帧数#defineMFCC_COEFFS13// MFCC系数数staticint16_taudio_buffer[NUM_SAMPLES];statictflite::MicroInterpreter*interpreternullptr;TfLiteTensor*input_tensornullptr;TfLiteTensor*output_tensornullptr;voidinit_tinyml(void){// 创建模型statictflite::MicroErrorReporter error_reporter;staticconsttflite::Model*modeltflite::GetModel(keyword_model_data);// 创建解释器statictflite::MicroInterpreterstatic_interpreter(model,tflite::CreateOpResolver(),tensor_arena,kTensorArenaSize,error_reporter);interpreterstatic_interpreter;interpreter-AllocateTensors();input_tensorinterpreter-input(0);output_tensorinterpreter-output(0);printf(TinyML model loaded. Arena used: %d bytes\n,interpreter-arena_used_bytes());}kTensorArenaSize是推理所需的临时内存。设置太小会AllocateTensors失败太大会浪费RAM。先设大一点如50KB跑通然后打印arena_used_bytes()看实际用量再缩小到合适值。推理执行部分floatrun_inference(int16_t*audio_samples,intnum_samples){// 1. 提取MFCC特征int8_tmfcc_features[MFCC_COEFFS*MFCC_FRAME_SIZE];extract_mfcc_int8(audio_samples,num_samples,mfcc_features);// 2. 填充输入张量int8_t*input_datainput_tensor-data.int8;memcpy(input_data,mfcc_features,sizeof(int8_t)*MFCC_COEFFS*MFCC_FRAME_SIZE);// 3. 执行推理TfLiteStatus statusinterpreter-Invoke();if(status!kTfLiteOk){printf(Inference failed: %d\n,status);return-1.0f;}// 4. 读取输出sigmoid概率值int8_toutput_valoutput_tensor-data.int8[0];// 反量化将INT8转为浮点概率floatscaleoutput_tensor-params.scale;intzero_pointoutput_tensor-params.zero_point;floatprobability(output_val-zero_point)*scale;returnprobability;}推理延迟与内存优化ESP32上TinyML推理的实际性能数据指标量化前(float32)量化后(int8)优化幅度模型大小84KB22KB74%↓Arena内存45KB30KB33%↓单次推理180ms65ms64%↓SRAM占用率8.6%5.8%33%↓65ms的推理延迟对语音唤醒词检测来说够用。音频流以100ms为单位分块每块推理一次延迟在200ms以内用户几乎无感。进一步优化可以从三方面入手。第一开启ESP32的向量指令加速在menuconfig里开启CONFIG_ESP32_VECTOR_INLINE对卷积运算有15-20%加速。第二减小Arena大小到刚好够用多出来的内存留给音频缓冲区。第三降低推理频率——不必每个音频块都推理可以每3个块推理一次中间用能量阈值过滤静音段。端侧推理的误检处理模型不可能100%准确误检是TinyML部署的核心问题。工程上用三层过滤降低误检率#defineDETECTION_THRESHOLD0.85f#defineCONSECUTIVE_HITS2// 连续2次检测到才触发#defineCOOLDOWN_MS3000// 触发后3秒冷却staticintconsecutive_count0;staticuint32_tlast_trigger_time0;voidcheck_keyword(floatprobability){uint32_tnowesp_timer_get_time()/1000;// 冷却期内忽略检测结果if(now-last_trigger_timeCOOLDOWN_MS){return;}if(probabilityDETECTION_THRESHOLD){consecutive_count;if(consecutive_countCONSECUTIVE_HITS){printf(Keyword detected! Triggering action...\n);// 触发实际动作开灯、播放语音等trigger_device_action();last_trigger_timenow;consecutive_count0;}}else{consecutive_count0;}}CONSECUTIVE_HITS2要求连续两次检测到才触发把单次误检概率从5%降到0.25%。冷却期防止同一个关键词被重复触发。这两个策略虽然简单但对误检率改善非常显著。做ESP32音频采集和通信调试时串口数据监控很重要。虎王科技开源的随身WiFi硬件调试工具支持多芯片串口调试在调试ESP32的I2S音频接口和AT指令通信时能快速定位硬件问题。Gitee上开源做嵌入式开发的同学可以收藏备用。TinyML在ESP32上的部署难点不在模型本身而在量化、内存管理和误检处理这三个工程环节。觉得这篇实战内容有用的同学点个赞收藏后面会更新图像分类模型在ESP32-S3上的部署和ESP-NN加速库的使用关注我不漏下一期更新。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/20 0:44:51

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/19 15:17:14

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/20 20:45:42

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/20 16:11:20

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/20 18:41:01

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/20 0:44:55

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉