最近很火的 Ternary-Bonsai-2-27BBonsai-2 技术把 27B 压进 5.95GB我拿 RTX 3070 8G 真跑了两组数据。网上原理讲得很多这篇只讲实测推理预算怎么设是个坑上下文的悬崖在速度不在显存。两组成手数据8G 显卡党直接抄参数。一、实测环境项配置CPUAMD Ryzen 9 7900内存64GB DDR5 5200GPUNVIDIA GeForce RTX 30708GB驱动581.15CUDA 13.0推理引擎llama-server 0.2.0-devbuild 10709commit 9a9394a89PrismML fork模型Ternary-Bonsai-2-27B-PTQ1_0.gguf5.95 GBSHA25653107F53…33EE3KV 缓存q8_0说明必须用 PrismML 的 llama.cpp fork原版 llama.cpp 要么拒绝加载要么静默加载吐乱码后者更坑详见前文。二、极简背景三板斧把每个权重从65536 档的 16 位浮点压成-1/0/1 三档靠三板斧顺序不能反旋转分块哈达玛摊平离群值离线塞进权重推理时逆变换——这就是 fork 才能跑的原因三值化每权重只留三个值缩放每 128 个权重配一把 FP16 尺子 → 5.95GB。网上四个 bit 数1.585/1.71/1.72/1.76量的是四件事别混着比记住 1.76 和 5.95GB 就行。1.76 是实测全文件位宽精确值 1.76548截断口径0.0976% 高精度白名单我拿 GGUF 文件逐张量核对过FP16 留 ssm_alpha/betaFP32 留 norm/ssm_a/dt.bias/conv1d厂商数字是实的。三、实测①推理预算横扫固定一道 174 字逻辑题只改--reasoning-budget推理预算生成 token墙钟完整?生成速度关闭思考 (--reasoning off)7214198.5s✅36.5 t/s512335190.8s✅37.3 t/s102416210472s7.8分钟❌ 截断34.4 t/s20488835247.1s✅35.9 t/s40968216228.9s✅36.0 t/s反直觉点预算越大 ≠ 越稳。1024 档吐了 16210 token比 4096 多近一倍反而被 16K 窗口截断答案半截。但我要收回1024 是坑这个初判。补测把 1024 那轮完整思考拉出来看它全程在用英文认真证明一道题——“O(n) 时间、O(1) 空间、不新建任何数据结构找出出现奇数次元素”——而这道题的约束互相矛盾、严格说不可解。模型在 discovering 不可解性没坏是在干正事。翻车 预算 × 难度 × 窗口三者没匹配不是 1024 本身有坑换成简单题 1024 可能秒回给足预算或更大上下文同样的题它能写完论证。另一个隐藏事实快慢根本不是问题。五档速度 34.4~37.3 t/s 几乎没动。8G 卡上瓶颈不是算力是想没想完 窗口够不够装。四、实测②上下文悬崖在速度不在显存固定--reasoning-budget 2048q8_0 KV扫不同上下文上下文显存占用生成速度完整?4K6.0G~38 t/s✅8K6.1G~37 t/s✅16K6.4G~37 t/s✅32K7.0G~37 t/s✅48K7.6G~38 t/s✅64K7.8G~20 t/s腰斩✅ 但慢一倍显存几乎不随上下文涨4K→64K 只涨 1.8G全程 8G 以内。原因Bonsai-2 是混合注意力架构64 层里约 75% 线性注意力KV 缓存本来小。真正的悬崖在速度4K–48K 全程满速打平一跨 64K速度直接腰斩到 ~20。基本排除 CPU 卸载——64K 时显存才 7.8G离 8G 天花板还差一截真要卸载显存早吃满了。断崖另有成因很可能 64K 下注意力/某条内核路径突变具体成因我标 TBD不写死。结论纸面 262K 在 8G 上是数字游戏实测满速区4K–48K6.0–7.6G37–38 t/s 打平。五、操作建议 启动命令8G 卡直接抄难题要么给足预算≥2048 开大上下文要么直接关思考简单题 512 或关思考。默认不写 flag 无限思考到截断必须显式给值。语法坑--reasoning-budget off非法日志直接 invalid stoi argument关思考写--reasoning off。启动示例路径按你机器实际D:\llama27B\llama-server.exe ^ -m D:\AI_Models\Ternary-Bonsai-2-27B-PTQ1_0.gguf ^ --host 127.0.0.1 --port 8080 ^ -ngl 99 --ctx-size 16384 ^ --reasoning-budget 2048 ^ --cache-type-k q8_0 --cache-type-v q8_0 ^ --jinja已实测确认-ngl 99全量上卡--ctx-size 1638416K是 8G 卡舒适区预算改512/2048/-1不限制按需。六、GGUF 内部核对表我拿 Python 解析了 GGUF 头部851 个张量、49 条元数据项值架构qwen35llama.cpp 对 Qwen3.8 混合注意力架构代号层数64全注意力间隔4 → 16 全注意力 / 48 线性注意力 75%上下文262,144三值张量type-143402 个26,869,760,000 元素精确 1.75000 bit/权重高精度白名单FP16 96 个48层×ssm_alpha/ssm_beta FP32 353 个norm/ssm_a/ssm_dt.bias/ssm_conv1d合计 0.0976%全文件实测位宽1.76548 bit/权重旋转元数据prism.hadamard.weight_names / inverse_weight_names 存在一个口径提醒GGUF 内实存参数约 26.90B 元素与宣传的27.36B差约 1.7%——qwen35 架构可能有 embedding 共享/裁剪我未当 bug 处理列此供参考。七、MoE 能不能套能但两道硬约束收益比稠密更大MoE 的痛是装不下三值直接解决。加速收益打折MoE 本来就只读激活专家。约束一router 不能三值化——router 输出过 argmax不吃噪声。CSDN 工程师实测DeepSeek-MoE-16B全 4-bit 困惑度 12.8router 保高精度 8.3。约束二稀有专家更脆——反直觉按脆弱度分配精度不按使用频率。八、结语8G 卡上它脾气我摸清了预算别只认准某个值难题给足预算大窗口或直接关思考上下文 4K–48K 满速、64K 才腰斩成因 TBD。拿你自己的活儿跑一轮更见真章。评论区互动你的显卡显存多大跑预算 512 和 2048 两档把显卡型号 生成速度报上来我汇总成速查表。更多相关信息可关注GZH获取。