Strata API 参考OpenAI/Anthropic兼容接口、流式输出、采样与工具调用实战【免费下载链接】StrataQwen3.8-Flash-Next (125B MoE) on a 8GB NVIDIA GPU: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/StrataStrata 是能把 1250 亿参数 Qwen3.8-Flash-Next MoE 大模型跑在单张 NVIDIA 显卡上的本地推理引擎它在localhost上同时提供OpenAI Chat Completions与Anthropic Messages两套兼容接口。本文是完整的 API 实战参考端点清单、流式输出、采样与思考等级、工具调用含 MCP和图片输入帮你把 Strata API 接进任何应用。一、Strata API 一览一个服务器两大模型厂商的接口Strata 的 API 层是一个纯 Python 的 HTTP 服务见 serve/server.py背后驻留着一个 C 推理引擎进程模型只加载一次、常驻内存。你在浏览器、终端或任何支持「OpenAI 兼容」协议的应用里看到的都是同一套端点。API端点说明OpenAI Chat CompletionsPOST /v1/chat/completions流式/非流式支持工具调用与图片Anthropic MessagesPOST /v1/messages流式/非流式支持工具调用与图片模型列表 / 健康检查GET /v1/models、GET /models、GET /health列出已加载模型与上下文上限模型属性GET /props上下文、采样默认值、chat 模板、引擎版本当前状态GET /status、GET /slots正在读提示词还是生成答案、已生成 token 数监控数据GET /metrics即 Web 应用 Monitor 页的数据源MCP 服务器GET /mcp已配置的 MCP 工具服务器及其工具两个关键设计对新手很友好模型名随便填model: strata还是别的名字都会被忽略服务器只有一个已加载的模型API Key 随便填本地监听127.0.0.1时不校验密钥只有你主动配置了api_key后/v1/*才要求Authorization: Bearer或x-api-key头。二、快速上手三种方式接入 Strata 本地 API方式 1curl 一发入魂curl http://127.0.0.1:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model: strata, max_tokens: 512, messages: [{role: user, content: 用 GPU 写一首俳句}]}方式 2OpenAI SDK最常用from openai import OpenAI client OpenAI(base_urlhttp://127.0.0.1:8080/v1, api_keynone) r client.chat.completions.create( modelstrata, messages[{role: user, content: 你好}]) print(r.choices[0].message.content)方式 3Anthropic SDK 或 Claude CodeAnthropic 客户端把 base URL 指向http://127.0.0.1:8080/v1/messages即可。Strata 0.1.17 可直接驱动 Claude Code设置ANTHROPIC_BASE_URLhttp://127.0.0.1:8080、ANTHROPIC_MODEL填任意一个它认识的 Claude 模型名Strata 会忽略名字再加任意ANTHROPIC_AUTH_TOKEN。此外还有一个零依赖的终端聊天器 chat.py直接python chat.py就能对着本 API 对话支持/think、/image、/reset等命令。三、流式输出答案边生成边送达断开连接就真的停请求里加stream: true响应就是标准 SSEServer-Sent Events思考内容先流出来OpenAI 侧是 delta 里的reasoning_content字段Anthropic 侧是thinking内容块正文随后以content/text增量送达实现见 serve/server.py 的 OpenAI 分块组装工具调用逐片段推送先给工具名再逐段发 JSON 参数与 OpenAI / Anthropic 官方行为一致长提示词读取期自动保活模型读长文时流里会发: keep-alive注释Agent 客户端不会超时误判断开即停客户端断连或点「停止」服务器会发 STOP 指令真正终止生成下一个请求立即开始。非流式请求则直接聚合返回完整的chat.completion/message对象最后一个 chunk 里带usage含cached_tokens会话缓存命中数和timingsllama.cpp 风格的速度统计。四、采样参数与思考等级如何控制温度与「想多久」采样参数按请求生效️ OpenAI 与 Anthropic 的字段都认temperature、top_p、top_k最多 64 个候选、min_p、seed以及三种惩罚presence_penalty/frequency_penalty/repetition_penaltypenalty_last_n控制统计窗口默认 64。这些值在 serve/server.py 中被逐条转发给引擎不带任何采样键的请求按贪心解码。两点值得注意运行配置strata-model.json里可选的sampling块是缺省值——请求里自己写的字段永远优先显式temperature: 0依然是贪心默认自适应专家分层下带采样的输出不保证跨次可复现要按seed复现需给引擎加--adapt-every 100000见 docs/DETAILS.md。思考等级none / low / medium / high 模型回答前会先思考默认high。各客户端的写法API写法OpenAIreasoning_effort: none \| low \| medium \| high或chat_template_kwargs: {enable_thinking: false}直接关闭Anthropicoutput_config: {effort: low}thinking: {type: disabled}或thinking: {type: enabled, budget_tokens: N}2Klow8Kmedium更多high等级是模型受训时的指令而非硬性 token 上限简单问题各等级都很快作答难题上 high 思考最久、也最准。上下文规则max_tokens不填或填 0/-1 表示「用到上下文剩余为止」若提示词 max_tokens超出上下文请求会被400 拒绝而非静默截断配置里加fit_max_tokens: true可改为自动缩短。五、工具调用实战OpenAI tools、Anthropic tool_use 与 MCP标准工具调用 两种接口都支持在请求里传toolsOpenAI 用function包装Anthropic 用input_schema模型决定调用时会以标准格式回传——OpenAI 侧是tool_calls数组流式下名字先到、参数逐段到Anthropic 侧是tool_use内容块流式下以input_json_delta推送。你执行完工具后把结果作为role: toolOpenAI或tool_result块Anthropic发回去模型继续作答。解析逻辑在 serve/frontend.py 的增量解析器里跨数据块拆开的标签会先被扣住客户端永远看不到tool_这种半成品。MCP 工具让本地模型直接动手 Strata 还能把 MCP 服务器文件系统、搜索等的工具注入对话类似 LM Studio 和 Claude Desktop 的做法实现见 serve/mcp.py在strata-model.json里按 Claude Desktop 的mcpServers格式列服务器支持本地命令或url远程Web 聊天页默认启用API 客户端则需显式在请求体加strata_mcp: true才注入且仅限 Strata 自己的页面来源模型读完工具结果后继续推理单次回答最多连调max_rounds默认 8 轮工具失败或超时默认 60 s会回一个error: ...结果而不是中断对话。⚠️ 安全提示MCP 工具以你的用户权限在本机运行且由模型决定何时调用。只给文件类服务器必要的目录优先只读工具陌生设备可访问时务必设置 API key。六、图片输入随 API 一起发图安装时选择开启图片后OpenAI 请求用image_url部件支持data:base64、http(s)URL 甚至本机文件路径Anthropic 请求用常规的image块base64 或 url 源。JPEG/PNG/BMP/GIF 直接处理WebP/TIFF/AVIF 会自动转成 PNG同一张图在后续轮次重发时只编码一次。GPU 上每张图仅需 0.1–0.5 秒CPU 约 10–30 秒。七、监控与远程访问GET /status返回模型此刻在做什么reading the prompt/answering、已生成 token 数与实时 tok/sGET /metrics则是 Monitor 页的全部数据引擎信息、最近请求、GPU/内存历史。默认服务只监听127.0.0.1想让手机或局域网其他电脑接入重新跑一遍 setupSTART-HERE.bat --setup --host 0.0.0.0 --api-key 你的密钥服务器窗口会打印局域网地址用.../v1作 base URL 即可。对外暴露前请一定设置api_key。八、相关文件速查内容路径API 服务端OpenAI/Anthropic 端点、流式、采样serve/server.py请求/响应转换与输出解析serve/frontend.pyMCP 工具服务器接入serve/mcp.py终端聊天器chat.py完整细节与排障表docs/DETAILS.md项目入口与安装说明README.mdStrata API 的设计目标就一句话本地 8GB 显卡跑 125B MoE同时讲 OpenAI 和 Anthropic 两种「方言」——流式、采样、思考等级、工具调用、图片输入一应俱全你的应用只需改一个 base URL。【免费下载链接】StrataQwen3.8-Flash-Next (125B MoE) on a 8GB NVIDIA GPU: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/Strata创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考