新闻详情

新闻详情

首页 / 资讯中心 / 详情

为什么选 INT8 而不是 FP8?minimax-h3-int8 昇腾 NPU 量化选型深度解析

发布时间:2026/11/20 21:04:19来源:尧图网络
为什么选 INT8 而不是 FP8?minimax-h3-int8 昇腾 NPU 量化选型深度解析
为什么选 INT8 而不是 FP8minimax-h3-int8 昇腾 NPU 量化选型深度解析【免费下载链接】minimax-h3-int8项目地址: https://ai.gitcode.com/xujiashuai/minimax-h3-int8minimax-h3-int8是一个面向**昇腾 NPUAscend 910**的 [MiniMax H3] 视频生成模型INT8 量化权重仓库5 个模型文件共 53 GB一条 curl 命令即可克隆部署让文生视频全链路跑在国产 NPU 上。本文深度解析一个新手最容易困惑的选型问题在模型量化上为什么这里选 INT8而不是听起来更先进的 FP8e4m3fn答案浓缩成一句话在 A910 上FP8 没有硬件原生算子支持INT8 才有——下面用仓库里的实测数据完整拆解。1️⃣ 先认识 minimax-h3-int8一张表看懂 5 个模型这个仓库把 MiniMax H3 视频生成所需的全部模型都做了 NPU 适配量化策略各取所需组件权重文件models/量化大小部署设备文本编码器32Bqwen3vl_32b_minimax_h3_int8_convrotINT8ConvRot~27 GBnpu:1扩散模型DiT 主干minimax_h3_fl2va_pruned_int8_convrotINT8ConvRot~21 GBnpu:0视频 VAEminimax_h3_video_vae_fp16FP16~5.2 GBnpu:0音频 VAEminimax_h3_audio_vae_fp32FP32~0.6 GBnpu:0Turbo LoRAminimax_h3_fl2v_turbo_8step_v1.0_comfyui_bf16BF161.9 GB可选 注意规律大模型32B 文本编码器 20B 级扩散模型才做 INT8 量化VAE 这类小模型保持高精度格式。这正是量化选型的精髓——按显存压力和算子支持度分别施策而不是无脑全部压成一种格式。各文件的大小、SHA-256 校验值与目标设备均可在机读清单 MANIFEST.json 中查到。2️⃣ FP8 为什么在昇腾 A910 上走不通2.1 权重切片本身就带毒Float8_e4m3fnMiniMax H3 官方权重仓库提供了多个量化切片INT8、NVFP4、AWQ 等。其中NVFP4 / AWQ 版本的张量数据格式是Float8_e4m3fn——这是 8 位浮点格式4 位指数 3 位尾数。问题在于Ascend 910 A3A910的 torch_npu 不支持Float8_e4m3fn算子。这不是猜测而是部署时踩出来的真实错误见踩坑记录 docs/performance/bug-log.md项目内容现象T2V 生成失败KSampler 节点报错报错RuntimeError: Float8_e4m3fn has not been supported/ERR01007 OPS feature not supported根因工作流UNETLoader.weight_dtype被误设为fp8_e4m3fnINT8 权重被强制按 FP8 加载forward 时 cast 到torch.float8_e4m3fnA910 的 torch_npu 无此算子修复weight_dtype改回default走 INT8 本地算子路径2.2 日志铁证INT8 是原生算子FP8 只是软件模拟ComfyUI 启动日志里有一行关键信息直接列出了硬件支持的算子清单类别算子含义Native ops硬件原生加速int8_tensorwise、convrot_w4a4、asym_w4a8_int8INT8 系列走 NPU 硬件加速 ✅Emulated ops软件模拟float8_e4m3fn、nvfp4、mxfp8、float8_e5m2FP8 / NVFP4 只能 CPU 模拟慢且不可用 ⚠️这就是选型的第一性原理量化格式必须落在目标硬件的原生算子清单里。在 A910 上INT8 是原生路径FP8 即使理论上压缩比更高也只能模拟运行性能与稳定性都无法保证。该日志出自 docs/references.md 引用的部署验证记录工作流生成脚本 scripts/make_dual_npu_workflow.py 里也有硬性注释严禁fp8_e4m3fnA910 torch_npu 不支持。3️⃣ INT8 胜出的三大理由理由一官方就是给 A910 生态发 INT8 切片INT8 ConvRot 是官方面向昇腾 A910 生态的量化切片。所谓ConvRot是量化时对权重施加的旋转变换旋转矩阵已吸收进权重推理端无需额外旋转运算直接喂给矩阵乘法即可。从结构分析analysis/reports/structure-analysis.md可以看到每个被量化的线性层都由 4 个键组成键格式作用weight [out, in]INT8量化后的权重本体weight_scale [out, 1]FP32per-output-channel 反量化缩放comfy_quant元数据格式标记int8_tensorwiseconvrot: true理由二INT8 有已验证的 NPU 推理路径文本编码器32B是重灾区——它要跑在 NPU 上就必须有 NPU 支持的量化算子。INT8 正好走两条实测通过的算子算子职责验证状态npu_dynamic_quant激活值动态量化BF16 per-token✅ A910 验证npu_quant_matmulINT8 权重 × 量化激活的矩阵乘✅ A910 验证而 NVFP4/AWQ 因含Float8_e4m3fn被直接排除依据见 docs/resource-profile.md 与 docs/references.md。理由三数值精度实测达标仓库用真实 INT8 权重在 NPU 上做了前向验证analysis/reports/npu-forward-verification.md与 CPU 上反量化 FP32 矩阵乘的参考结果对比层Frobenius 相对误差余弦相似度扩散模型qkv_proj0.00921.0002扩散模型mlp.fc10.00921.0004文本编码器q_proj0.00910.9999文本编码器mlp.gate_proj0.00911.0002BF16 普通线性对照组0.00171.0000结论INT8 前向路径数值正确——误差约 0.9%是 INT8 per-token/per-channel 量化的正常水平余弦相似度 ≈ 1.0对视频生成质量无感知影响。4️⃣ 省下的显存换来全模型上 NPU的质变INT8 不只是能跑更决定了架构成败。以 32B 文本编码器为例格式显存占用能否上 NPUBF16~64 GB❌ 超出单卡 64 GBINT8 ConvRot~26 GB✅ 单卡即可承载配合双卡拆分部署见 docs/dual-npu-deployment.md设备承载组件权重合计npu:1文本编码器INT8~26 GBnpu:0扩散INT8 视频 VAEFP16 音频 VAEFP32~25.5 GB 如果没有 INT827G 文本 21G 扩散 5.8G VAE ≈ 54 GB 权重加激活根本塞不进单卡 64 GB历史上单卡方案在加载期直接进程退出。INT8 减半后的双卡拆分让全部模型都驻留 NPU这才是质变所在。显存预算与运行时实测占用详见 docs/resource-profile.md。5️⃣ 性能对比量化选对了速度差出 7 倍三个工作流的真实端到端耗时双卡 2× Ascend 910每卡 64 GB工作流文本编码器位置步数实测耗时api_t2v_int8_turbo.json ⭐ 默认npu:1INT8 on NPU876 sapi_t2v_int8_dual.jsonnpu:1INT8 on NPU20102 s热启动api_t2v_int8_single.jsonCPU降级方案20548 s⚡ 关键点文本编码器从 CPU 挪到 NPU靠 INT8 做到单请求耗时从 548 s 压到 76~102 s提速 5~7 倍——这就是量化选型对最终体验的杠杆。6️⃣ 新手快速上手三步跑起来git clone https://gitcode.com/xujiashuai/minimax-h3-int8 cd minimax-h3-int8 ./bootstrap.sh # 一键clone ComfyUI submodule 53GB LFS 权重 软链然后启动服务并提交工作流./scripts/start-comfyui-dual-npu.sh start # 默认端口 8188需求用什么速度优先日常创作api_t2v_int8_turbo.json8 步 Turbo LoRA76 s质量优先api_t2v_int8_dual.json20 步102 s 热启动只有单卡 NPU 的机器api_t2v_int8_single.json文本编码器降级 CPU慢一倍⚠️ 两条新手红线weight_dtype必须是default严禁fp8_e4m3fn——A910 无 FP8 算子一改必崩双卡机器不要用 single 工作流——NPU 1 会完全闲置白白慢一倍。分步部署细节见 docs/step-by-step-setup.mdNPU 适配补丁见 patches/含 comfy_kitchen_npu.patch 中的npu_quant_matmul路径。7️⃣ 总结昇腾 NPU 量化选型清单决策点本仓库的选择依据大模型量化格式INT8 ConvRot官方 A910 切片 原生算子 数值验证通过FP8 (e4m3fn) / NVFP4❌ 排除torch_npu 无原生算子实测崩溃小模型VAEFP16 / FP32 不量化显存占比小保精度部署架构双卡各 ~27 GBINT8 减半后才放得下一句话带走量化格式没有绝对的高下只有硬件支持与不支持之别。在昇腾 A910 上INT8 是唯一被原生算子支持的 8 位路径——minimax-h3-int8 用一份 INT8 权重换来了全模型 NPU 化和 7 倍提速这就是选型的完整答案。更多参考资料与权重源索引见 docs/references.md。【免费下载链接】minimax-h3-int8项目地址: https://ai.gitcode.com/xujiashuai/minimax-h3-int8创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/20 0:44:51

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/19 15:17:14

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/20 20:45:42

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/20 16:11:20

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/20 18:41:01

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/20 0:44:55

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉