如何用 llama.cpp 快速部署 Ornith-1.5-35B-A3BOpenAI 兼容 API 与 256K 长上下文完全实战指南【免费下载链接】Ornith-1.5-35B-A3B-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ornith-ai/Ornith-1.5-35B-A3B-GGUF本文以Ornith-1.5-35B-A3B-GGUF仓库为例手把手教你用llama.cpp的llama-server一条命令搭建OpenAI 兼容 API服务并完整启用256K262,144 tokens长上下文。无论你是想在本地跑一个能边思考边回答的推理模型还是想把它接入 Agent 框架和编码 CLI这篇指南都能帮你在半小时内搞定部署。一、为什么 Ornith-1.5-35B-A3B 适合 llama.cpp 本地部署 先简单认识一下这个模型再决定怎么部署它MoE 架构推理成本极低它是约 35B 总参数的混合专家Mixture-of-Experts模型但每个 token 只激活约3B 参数。这意味着推理时的计算量和内存带宽需求远低于同级别的稠密模型消费级显卡 CPU 卸载即可跑得动。推理Reasoning模型默认会在回答前输出一段think… think思考链。用 llama.cpp 正确配置后思考内容会被解析到独立的reasoning_content字段最终答案放在content字段客户端不会看到脏输出。Agent 能力强在 SWE-bench Verified79 分、Terminal-Bench 2.1 等编码与智能体基准上表现突出支持 OpenAI 风格的函数调用tool calls可无缝对接各种 Agent 框架。详细的评测数据与说明见 README.md。二、准备工作选择 GGUF 量化版本仓库内置了 5 个量化档位按质量优先还是显存优先对号入座即可量化文件质量适合场景Ornith-1.5-35B-BF16.gguf最高原始精度大显存/多卡追求无损Ornith-1.5-35B-Q8_0.gguf接近无损显存较充裕的推荐档Ornith-1.5-35B-Q6_K.gguf高显存与质量平衡Ornith-1.5-35B-Q5_K_M.gguf较高中等显存Ornith-1.5-35B-Q4_K_M.gguf良好显存紧张 / 入门首选另外mmproj-Ornith-1.5-35B-BF16.gguf 是视觉投影文件如果后续需要多模态图片理解能力启动时加--mmproj指向它即可本篇以纯文本 API 服务为主线。 不需要手动 clone 仓库llama.cpp 的-hf参数可以直接指定 HuggingFace 仓库名并自动下载所需的 GGUF 文件是最省事的获取方式。三、一条命令启动 llama-serverOpenAI 兼容 API 256K 上下文核心启动命令就这一行摘自官方 README.mdllama-server -hf ornith-ai/Ornith-1.5-35B-A3B-GGUF --port 8000 -c 262144启动后服务会监听http://localhost:8000并自动暴露 OpenAI 兼容端点。如果你想手动指定本地文件已下载过 GGUF 时把-hf …换成-m 模型路径即可。3.1 关键参数逐个讲参数作用说明-c 262144上下文长度即 256K本文的核心目标--port 8000监听端口OpenAI 兼容 API 地址为http://localhost:8000/v1--host 0.0.0.0对外暴露局域网其他设备/容器要访问时加上-ngl 99GPU 卸载尽量把层数放到 GPU--jinja启用模板该模型的工具调用模板在jinja中必须开启--reasoning-format思考链格式把思考内容解析到reasoning_content字段--alias模型别名让/v1/models返回更友好的名字-np 4并发数允许 4 个并行对话槽位--cache-type-k q8_0 --cache-type-v q8_0KV 量化256K 长上下文的省显存关键3.2 256K 长上下文怎么跑得动两个技巧 ⚡技巧 1KV Cache 量化省内存的钥匙256K 上下文的 KV 缓存会占据大量显存。加上--cache-type-k q8_0 --cache-type-v q8_0后KV 缓存以 8-bit 量化存储体积大约只有 BF16 的一半对长文本质量影响很小——这是跑满 256K 的推荐配置。技巧 2MoE 专家层 CPU 卸载35B 总参数的权重不必全部塞进显卡。llama.cpp 支持把 MoE 的专家层留在 CPU只让 GPU 处理注意力层激活参数仅约 3Bllama-server -hf ornith-ai/Ornith-1.5-35B-A3B-GGUF --port 8000 \ -c 262144 -ngl 99 --n-cpu-moe \ --cache-type-k q8_0 --cache-type-v q8_0 \ --jinja --alias Ornith-1.5-35B-A3B这套组合让单张 24GB 级别显卡 64GB 内存这类配置也有机会跑通 256K 服务。如果你的显存更宽裕去掉--n-cpu-moe换速度即可。 注意256K 是模型的原生长度直接用-c 262144即可无需任何 RoPE 缩放只有当你需要超过 256K如 512K、1M时才需要研究 YaRN 外推官方 README.md 给出了参数参考。四、验证服务调用 /v1/chat/completions服务起来后先确认模型列表再发一条对话请求curl http://localhost:8000/v1/modelscurl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: Ornith-1.5-35B-A3B, messages: [{role: user, content: 写一个 Python 平方函数}], temperature: 0.6, top_p: 0.95, max_tokens: 1024 }响应中你会看到两类内容choices[0].message.content最终答案choices[0].message.reasoning_content模型完整的思考过程think内容4.1 官方推荐采样参数官方 README.md 给出的建议如下直接照抄即可用途temperaturetop_ptop_k日常对话/通用任务0.60.9520复现官方基准成绩1.0——4.2 工具调用Function Calling开启--jinja后模型的tool_call块会被解析成标准 OpenAItool_calls字段你可以像调用云端 API 一样传入tools参数——这是把它接入编码 Agent 的关键一环。五、接入 Agent 框架只需改两个环境变量 绝大多数 Agent 框架和编码 CLI如 Hermes、OpenClaw、OpenCode 等都支持 OpenAI 兼容端点只需把环境变量指向本地服务export OPENAI_BASE_URLhttp://localhost:8000/v1 export OPENAI_API_KEYEMPTY export OPENAI_MODELornith-ai/Ornith-1.5-35B-A3B更多框架的接入示例可以参考 README.md 的 Agentic Usage 与 Coding CLIs 章节。这样一个能理解大型代码库、执行终端任务的本地 Agent 就跑起来了。六、常见问题排查清单 ✅症状排查方向启动后显存 OOM换 Q4_K_M / Q5_K_M加--n-cpu-moe确认已加 KV 量化256K 上下文加载失败减小-c如 131072先验证服务再逐步调大检查 KV 量化参数回答里混着原始思考标签检查是否遗漏--reasoning-format和--jinja工具调用格式报错确认--jinja已开启模板解析依赖它局域网无法访问加--host 0.0.0.0并放行端口七、小结用 llama.cpp 部署 Ornith-1.5-35B-A3B 的全部要点选量化显存够选 Q8_0紧张就 Q4_K_M一条命令llama-server -hf ornith-ai/Ornith-1.5-35B-A3B-GGUF -c 262144加--jinja、KV 量化与--n-cpu-moe稳住 256K即插即用/v1/chat/completions端点兼容所有 OpenAI SDK 和 Agent 框架思考链与工具调用均按标准字段返回。35B 总参数、3B 激活、256K 上下文、OpenAI 兼容接口——这套组合让它成为本地跑能干活的 Agent 模型的高性价比选择。部署完成后不妨先把它接到你的编码 CLI 上试试这正是它最擅长的场景。【免费下载链接】Ornith-1.5-35B-A3B-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ornith-ai/Ornith-1.5-35B-A3B-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考