新闻详情

新闻详情

首页 / 资讯中心 / 详情

ONNX_day3

发布时间:2026/11/19 7:49:18来源:尧图网络
ONNX_day3
可以。我们继续你前面的学习路线:Step 1:PyTorch → ONNX → ONNX RuntimeStep 2:ONNX → ONNX Runtime → Linux/x86Step 3:ONNX → INT8 Quantization而且你的目标不是单纯"把模型变小",而是理解:FP32 ONNX → Calibration → INT8 ONNX → INT8 inference → 后续 Linux/x86 / MCUONNX Runtime 官方目前支持Dynamic Quantization和Static Quantization;对于我们这种后面希望理解 TinyML/Embedded INT8 的场景,我建议这一步直接学习Static INT8 Quantization。静态量化会用 calibration dataset 预先计算 activation 的 scale/zero-point。1. 先明确我们这一阶段的目标最终目录类似:onnx_int8/├── model.onnx├── model_preprocessed.onnx├── model_int8.onnx├── calibrate.py└── test_int8.py整个流程:这里最重要的是:INT8 量化不是简单地把 FP32 数字转换成 int8。而是建立一个映射:ONNX Runtime 官方也是采用这种 scale/zero-point 的线性量化方式。2. 为什么这一步对你后面的 STM32 很重要?你之前已经做过:Keras ↓ TFLite ↓ Full Integer INT8 ↓ TFLite Micro ↓ STM32F303RE现在我们换一条工业界非常重要的路线:PyTorch ↓ ONNX ↓ ONNX Runtime ↓ INT8 ↓ Linux/x86于是你可以直接比较:技术模型RuntimeTFLite.tfliteTFLiteTFLite Micro.tfliteTFLMONNX.onnxONNX RuntimeONNX INT8.onnxONNX RuntimeONNX INT8 → Embedded.onnx/转换后格式取决于目标平台这正好把你之前学的TFLM和现在的ONNX Runtime联系起来。3. 第一步:确认 ONNX Runtime 环境在你的 Mac 上进入之前的 ONNX 项目:cd ~/learn/onnx/onnx_int8如果你已经建立 .venv:source .venv/bin/activate检查:python --version然后:python -m pip install -U onnx onnxruntime numpy官方 CPU Python package 就是:pip install onnxruntime检查:python -c “import onnxruntime as ort; print(ort._version_)”再检查:python -c “import onnx; print(onnx._version_)”4. 第二步:先看看我们的 FP32 ONNX假设 Step 1 最终生成:model.onnx执行:ls -lh model.onnx然后:测试inspect_onnx.pyimportonnx model=onnx.load("model.onnx")print("IR version:",model.ir_version)print("Opset:")foropsetinmodel.opset_import:print(" ",opset.domain,opset.version)print("\\nInputs:")forxinmodel.graph.input:print(x.name)print("\\nOutputs:")forxinmodel.graph.output:print(x.name)python inspect_onnx.py特别注意:Opset = 10ONNX Runtime 当前量化工具要求模型至少是opset(Operator Set)10。5. 第三步:为什么不能直接 quantize?这是这一步最重要的概念。假设模型:input ↓ Conv ↓ ReLU ↓ Conv ↓ output我们知道:input = \[-1.2,-0.5,0.1,0.8,1.3\]但是中间 activation:Conv1 output Conv2 output...我们不知道它们的真实范围。例如:Activation A: min =-2.37 max = 3.82那么 calibration 就是:输入大量真实数据 ↓ 运行 FP32 model ↓ 观察 activation ↓ 统计 min/max ↓ 计算 scale ↓ 计算 zero_point所以:Calibration dataset 是 Static INT8 Quantization 的核心。ONNX Runtime 的 static quantization 正是先用 calibration data 运行模型,再计算 activation 的量化参数。6. 第四步:准备 calibration dataset这里一定不要随便生成完全随机的数据。例如你的模型是:input shape = [1]如果原始训练数据是:x = np.linspace(0, 2*np.pi, 1000)那么 calibration data 应该来自类似的数据分布:calibration_data = \[\[0.0\],\[0.01\],\[0.02\],...\[6.28\]\]而不是:np.random.randn(...)因为 calibration 的作用就是告诉量化器:“真实世界的数据进入这个模型以后,大概会产生什么样的 activation 范围?”7. 第五步:创建 CalibrationDataReader建立:calibrate.py先写一个最小版本:importnumpyasnpimportonnxruntimeasortfromonnxruntime.quantizationimportCalibrationDataReaderclassMyCalibrationDataReader(CalibrationDataReader):def\__init_\_(self,input_name):self.input_name=input_name self.data=\[np.array(\[\[0.0\]\],dtype=np.float32),np.array(\[\[0.5\]\],dtype=np.float32),np.array(\[\[1.0\]\],dtype=np.float32),np.array(\[\[1.5\]\],dtype=np.float32),np.array(\[\[2.0\]\],dtype=np.float32),np.array(\[\[2.5\]\],dtype=np.float32),np.array(\[\[3.0\]\],dtype=np.float32),\]self.iterator=iter(self.data)defget_next(self):try:data=next(self.iterator)return{self.input_name:data}exceptStopIteration:returnNonesession=ort.InferenceSession("model.onnx",providers=\["CPUExecutionProvider"\])input_name=session.get_inputs()\[0\].nameprint("Input name:",input_name)print("Input shape:",session.get_inputs()\[0\].shape)print("Input type:",session.get_inputs()\[0\].type)先运行: ```powershell python calibrate.py你应该看到类似:Input name: input Input shape: \[1,1\]Inputtype: tensor(float)8. 第六步:真正执行 INT8 Quantization然后继续在 calibrate.py 中加入:fromonnxruntime.quantizationimport(quantize_static,QuantType,QuantFormat,CalibrationMethod,)然后:reader=MyCalibrationDataReader(input_name)quantize_static(model_input="model.onnx",model_output="model_int8.onnx",calibration_data_reader=reader,quant_format=QuantFormat.QDQ,activation_type=QuantType.QInt8,weight_type=QuantType.QInt8,calibrate_method=CalibrationMethod.MinMax,)完整结构就是:importnumpyasnpimportonnxruntimeasortfromonnxruntime.quantizationimport(CalibrationDataReader,quantize_static,QuantType,QuantFormat,CalibrationMethod,)classMyCalibrationDataReader(CalibrationDataReader):def\__init_\_(self,input_name):self.input_name=input_name self.data=\[{"input":np.array(\[\[0.1,0.2,0.3,0.4\]\],dtype=np.float32)},{"input":np.array(\[\[0.2,0.3,0.4,0.5\]\],dtype=np.float32)},{"input":np.array(\[\[0.3,0.4,0.5,0.6\]\],dtype=np.float32)}
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/18 21:21:17

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/18 14:20:46

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/18 20:01:42

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/18 11:04:06

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/18 15:55:22

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/18 21:21:16

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉