新闻详情

新闻详情

首页 / 资讯中心 / 详情

ONNX_day5

发布时间:2026/11/16 14:48:02来源:尧图网络
ONNX_day5
摘要:本文是 ONNX 部署学习路线的 Step 5,讲解如何将 ONNX 模型转换为 TensorRT Engine 并在 NVIDIA GPU 上高效推理。内容涵盖 TensorRT 与 ONNX Runtime 的定位差异、Engine 核心概念、FP32/FP16/INT8 精度支持、与 TFLM INT8 的区别、MacBook Air 的硬件限制,以及从 trtexec 命令行工具到 Python API 的完整实践路径,最终通过 6 个小步骤带你跑通 ONNX → TensorRT 全流程。好。按照你前面的学习路线,Step 5:ONNX → TensorRT很适合放在 Step 4(ONNX → ARM Linux)之后。不过这里要先明确一个关键点:TensorRT 主要面向 NVIDIA GPU,不是 ARM CPU。所以这一阶段我们先在你的Intel MacBook Air上学习 TensorRT 的工作流程和概念;真正运行 TensorRT inference,建议使用NVIDIA GPU Linux 环境,例如 Ubuntu + NVIDIA GPU,或者后面使用 Jetson。Step 5:ONNX → TensorRT整个路线可以理解成:Training │ ▼ PyTorch Model │ │export▼ model.onnx │ │ TensorRT ▼ TensorRT Engine(.engine / .plan)│ ▼ NVIDIA GPU │ ▼ Inference和你前面的路线对应起来:Step1PyTorch ↓ ONNX ↓ ONNX Runtime ↓ Linux/x86 Step2ONNX ↓ ONNX Runtime ↓ ARM Linux Step3ONNX ↓ INT8 Quantization Step4ONNX ↓ ARM Linux Step5ONNX ↓ TensorRT ↓ NVIDIA GPU5.1 TensorRT 到底是什么?可以把:ONNX Runtime和TensorRT理解成两种不同的 inference runtime。ONNX Runtime 更强调:通用性TensorRT 更强调:NVIDIA GPU 上的性能TensorRT 会对 ONNX 模型进行进一步优化,例如:ONNX Model │ ▼ TensorRT Parser │ ▼ Graph Optimization │ ├── Layer Fusion ├── Kernel Selection ├── Precision Optimization └── Memory Optimization │ ▼ TensorRT Engine最终得到一个针对特定 NVIDIA GPU 优化的 inference engine。5.2 最重要的概念:Engine这是 Step 5 最需要理解的东西。ONNX:model.onnx本质上是一个:神经网络计算图 + 权重 + 模型信息而 TensorRT 最终产生:model.engine或者:model.plan它更接近:已经针对 NVIDIA GPU 优化好的可执行 inference engine因此:ONNX │ │ TensorRT build ▼ Engine这个过程叫:Engine Building5.3 TensorRT 的基本工作流程典型流程:这里要特别区分:BuildONNX → EngineRuntimeEngine → Inference也就是说:TensorRT Builder │ │ build once ▼ model.engine │ │ run manytimes▼ TensorRT Runtime5.4 TensorRT 支持哪些 Precision?这是你前面学习 INT8 Quantization 后非常重要的一环。TensorRT 常见 precision:FP32 │ ├── FP16 │ └── INT8例如:FP32ONNX ↓ TensorRT ↓ FP32 EngineFP16ONNX ↓ TensorRT ↓ FP16 EngineINT8ONNX ↓ Calibration / Quantization ↓ TensorRT ↓ INT8 Engine因此你前面学的:ONNX → INT8并不是只能用于 CPU/ARM。它同样是进入:TensorRT INT8 inference的重要基础。5.5 TensorRT INT8 和 TFLM INT8 的区别这个对你的学习路线非常重要。你已经做过:model.keras ↓ TFLite ↓ Full Integer INT8 ↓ TFLM ↓ STM32F303RE现在 TensorRT:model.keras ↓ ONNX ↓ TensorRT ↓ INT8 Engine ↓ NVIDIA GPU虽然都叫 INT8,但是:TFLM INT8 ↓ MCU ↓ 极低功耗 ↓ CPU而:TensorRT INT8 ↓ NVIDIA GPU ↓ 高吞吐量 ↓ AI inference这是两个完全不同的优化方向。5.6 你的 MacBook Air 有一个问题你现在的机器是:MacBook AirIntel CPUmacOS所以:不适合直接做 TensorRT GPU inference。TensorRT 的核心目标平台是 NVIDIA GPU。你的 Mac 可以用于:PyTorch ↓ ONNX ↓ ONNX inspection ↓ ONNX Runtime CPU但 TensorRT 最终测试最好放到:UbuntuNVIDIA GPUCUDATensorRT例如:Ubuntu22.04│ ├── NVIDIA Driver ├── CUDA ├── cuDNN └── TensorRT │ ▼ model.onnx │ ▼ model.engine │ ▼ NVIDIA GPU5.7 我建议你的 Step 5 实验不要一开始就搞复杂模型我们继续使用你之前的简单 Sine 模型。例如:input │ ▼ Dense │ ▼ ReLU │ ▼ Dense │ ▼ output然后完整走:PyTorch/Keras ↓ ONNX ↓ ONNX Runtime ↓ TensorRT ↓ FP32 Engine ↓ FP16 Engine ↓ INT8 Engine最后比较:Accuracy Latency ONNX Runtime ─── ─── TensorRT FP32 ─── ─── TensorRT FP16 ─── ─── TensorRT INT8 ─── ───这样你会真正理解 TensorRT 的价值,而不是只会执行一个命令。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/14 10:11:15

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/15 4:06:36

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉