1. 先想清楚你要的到底是能跑还是能扛很多人第一次做大模型部署卡点不在模型权重下载而在选错框架。直接拿 Transformers 的generate()写个 Flask 接口本地跑通没问题一上并发就露馅KV Cache 按最大长度预留导致显存爆掉、静态批处理让短请求干等长请求、相同 System Prompt 每个请求都重算一遍 Prefill。这些不是代码写得烂而是朴素实现天生不具备服务能力。vLLM、TGI、llama.cpp、SGLang 这四类框架解决的就是这件事——把固定硬件榨成稳定服务能力。它们各自有明确的甜点区vLLM 是通用 GPU 在线服务的默认答案SGLang 对 Agent 和共享前缀工作负载更狠llama.cpp 在本地、Mac、边缘和隐私场景几乎无对手TGI 则已经进入维护模式存量系统能跑但新项目要慎重。这篇不给你排谁第一而是按硬件位置、请求形态、前缀重复率三个维度帮你选再把 TaoToken 作为统一 Key/API 通道接进去让本地框架和云端模型走同一套配置。适合谁看手里有 GPU 想自建推理服务的后端、要在 Mac 上跑本地模型的独立开发者、以及已经在用多个框架但被 Key 管理搞烦的团队。下面每个框架都给启动参数骨架TaoToken 部分给settings.json和config.toml两份可直接抄的配置。2. TaoToken 前置为什么部署框架旁边要放一个统一通道自建推理服务有个绕不开的现实你不可能所有请求都走本地。小模型本地跑大模型调云端高峰期本地扛不住要溢出到 APIAgent 的工具调用和长上下文推理可能分别落在不同模型上。如果每个框架、每个模型都维护一套 Key 和 endpoint配置会迅速失控。TaoToken 在这里的角色是统一入口。官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite 上有完整说明API 地址是 https://taotoken.net/api这个不加 UTM。它提供 OpenAI 兼容的接口形态意味着 vLLM、SGLang、llama.cpp 的llama-server这些本身就暴露 OpenAI 兼容端点的框架可以和 TaoToken 用同一套客户端代码切换。关键动作是先拿到 Key。进控制台 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 创建然后在 API Keys 页面 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 生成。建议按用途分 Key本地调试一个、生产服务一个、Agent 一个方便单独吊销和统计。注意Key 只显示一次生成后立刻存进环境变量或密钥管理别硬编码进代码仓库。拿到 Key 后本地框架和 TaoToken 的关系是这样本地框架负责你自己的 GPU 算力TaoToken 负责云端模型和统一路由。两者用同一个base_url切换逻辑代码里只改一个变量。3. 可复制配置四个框架的启动骨架 TaoToken 双配置3.1 vLLM通用 GPU 在线服务优先候选vLLM 的核心是 PagedAttention把 KV Cache 切成固定大小 Block 按需分配请求用多少 token 占多少 Block。现在它已经不只是单点优化连续批处理、Chunked Prefill、Automatic Prefix Caching、量化、推测解码、OpenAI 兼容接口都齐了。vllm serve Qwen/Qwen3-8B \ --host 0.0.0.0 \ --port 8000 \ --max-model-len 32768 \ --enable-prefix-caching \ --gpu-memory-utilization 0.90--enable-prefix-caching对长文档问答和固定 System Prompt 场景收益明显但要注意它只省 Prefill不加速 Decode。--gpu-memory-utilization别拉满留 10% 给激活和碎片。3.2 SGLangAgent 和共享前缀工作负载SGLang 的 RadixAttention 把不同请求的公共 token 前缀组织成树Agent 反复携带工具说明、系统约束、对话历史时命中率很高。python -m sglang.launch_server \ --model-path Qwen/Qwen3-8B \ --host 0.0.0.0 \ --port 30000 \ --mem-fraction-static 0.85别简单认为有共享前缀就只能选 SGLangvLLM 现在也有 Automatic Prefix Caching。正确做法是用真实 Agent 轨迹同口径压测比缓存命中率、TTFT、TPOT 和显存占用。3.3 llama.cpp本地、Mac、边缘与隐私llama.cpp 纯 C/C、依赖少、后端覆盖 Apple Metal、CUDA、Vulkan、SYCL、WebGPU支持 CPUGPU 混合推理模型格式是 GGUF。llama-server -hf ggml-org/gemma-3-1b-it-GGUF \ --host 0.0.0.0 \ --port 8080 \ --ctx-size 8192 \ --n-gpu-layers 99--n-gpu-layers 99表示尽量把层放 GPUMac 上会自动走 Metal。它也能当轻量 Embedding 和 Rerank 服务用。3.4 TGI存量维护新项目慎选TGI 曾经提供 HF Hub 快速部署、连续批处理、张量并行、Prometheus 指标。但 Hugging Face 已将 TGI 仓库归档转入维护模式只接受小型修复和文档改进官方推荐转向 vLLM、SGLang 和 llama.cpp。已有系统不必推倒新项目要把迁移能力和长期维护风险写进选型清单。3.5 TaoToken 的 settings.json 配置给 Claude Code 或类似工具用{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_AUTH_TOKEN: sk-your-taotoken-key, ANTHROPIC_MODEL: claude-sonnet-4-5 } }3.6 TaoToken 的 config.toml 配置给 Codex 或 TOML 风格客户端用[model_providers.taotoken] name TaoToken base_url https://taotoken.net/api env_key TAOTOKEN_API_KEY [profiles.default] model_provider taotoken model gpt-5两份配置的共同点base_url指向https://taotoken.net/apiKey 从环境变量读。这样本地 vLLM 的http://localhost:8000/v1和 TaoToken 的云端端点在客户端代码里只是换一个base_url。4. 验证请求连通性和推理延迟怎么测配置写完别急着上业务先做三步验证。第一步确认本地框架活着curl http://localhost:8000/v1/models返回模型列表说明 OpenAI 兼容端点正常。第二步测一次真实推理并记录 TTFTcurl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: Qwen/Qwen3-8B, messages: [{role: user, content: 用一句话解释 PagedAttention}], stream: true }流式输出下第一个 chunk 到达的时间就是 TTFT后续 chunk 间隔反映 TPOT。第三步验证 TaoToken 通道curl https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: gpt-5, messages: [{role: user, content: ping}] }两边都通说明本地和云端走同一套客户端逻辑没问题。想直接对比模型输出可以进模型对话 https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentchatutm_campaignrewrite 手动试几个 Prompt确认路由和模型名对得上。压测别只报一个 tokens/s。固定模型版本、量化方式、GPU、上下文长度分布、输出长度分布、并发和采样参数至少准备短问短答、长文档问答、Agent 多轮三套负载。TTFT 看首字等待TPOT 看流式节奏P95/P99 暴露排队抖动显存和成本决定商业可行性。5. 本篇常见错排查启动就 OOM--max-model-len设太大KV Cache 按最大长度预留。先降到 8192 跑通再按实际上下文分布往上调。vLLM 的--gpu-memory-utilization别超过 0.92。Prefix Cache 命中率低提示词前面有变化的内容。固定 System Prompt 和 Few-shot 放最前面用户变量放后面缓存块边界才稳定。llama.cpp 速度慢--n-gpu-layers没设或设太小层还在 CPU 上。Mac 上确认走 MetalLinux 上确认 CUDA/Vulkan 后端编译进去了。TaoToken 返回 401Key 没读到或环境变量名写错。settings.json里是ANTHROPIC_AUTH_TOKENconfig.toml里是env_key指定的变量名两者别混。并发一高尾延迟爆炸只盯吞吐没看 P99。连续批处理在高并发下如果调度参数激进会牺牲首 token 延迟。生产环境必须同时观察吞吐和尾延迟。多框架 Key 管理混乱本地框架和 TaoToken 用同一个客户端封装base_url和 Key 从配置读别在每个脚本里硬编码。6. 选型落地与统一通道选型从三个问题开始硬件在哪、请求是否高并发、前缀重复率多高。本地和边缘优先 llama.cpp通用 GPU 在线服务优先 vLLMAgent、多轮、共享前缀明显时把 SGLang 拉进同口径压测NVIDIA 大集群且模型稳定再考虑 TensorRT-LLM 的深度优化。TGI 作为存量维护对象新项目别默认选它。框架更新很快锁定版本和容器镜像每次升级保留可重复 benchmark 和一小套业务质量回归数据。长期做编码和 Agent 的可以看 Coding Plan https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 把云端模型和本地推理串成一条链路接入细节和参数说明在接入文档 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里Claude Code 相关配置参考 ClaudeCodeAnthropic https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaudecodeanthropicutm_campaignrewrite。先把本地curl打通再把 TaoToken 的 Key 塞进环境变量两套端点跑同一份客户端代码部署这件事就从选型焦虑变成改一个 base_url。