SGLang 开源大模型推理框架教程代码结构、启动流程与配置速查【免费下载链接】sglangSGLang is a high-performance serving framework for large language models and multimodal models.项目地址: https://gitcode.com/GitHub_Trending/sg/sglangSGLang 是一个高性能的大语言模型与多模态模型推理服务框架serving framework目标是把 LLM 的在线推理做到低延迟、高吞吐——从单卡开发机到上千卡集群都能跑。如果你正在部署 LLM 服务、做 RL 训练中的 rollout 后端或者关心推理性能调优这个项目值得花十分钟了解它的代码是怎么组织的、服务是怎么拉起来的。项目全景代码是怎么组织的仓库的顶层目录一眼看下来会发现它其实是个多语言 多子项目的结构主体在 Python 里外围配了 Rust 网关、基准测试和文档站。先扫一遍下面这棵树sglang/ ├── python/sglang/ # 项目主包推理运行时srt、前端语言lang、多模态生成等都在这里 │ ├── srt/ # 核心源码调度器、KV缓存、模型加载、各硬件后端90%的改动发生在这 │ ├── lang/ # 前端 DSL用 Python 风格描述复杂生成流程多轮、分支、结构化输出 │ └── kernels/ # 高性能算子Attention、MoE、量化等 CUDA/HIP 内核 ├── sgl-model-gateway/ # Rust 写的模型网关原 sgl-router多实例路由、负载均衡 ├── experimental/sgl-router/ # 实验性路由组件含 KV 索引器等 ├── benchmark/ # 各场景压测脚本gsm8k、mmlu、lora、hicache 等跑性能回归就看这 ├── test/ # 注册式测试集registered/与手工测试manual/ ├── examples/ # 可直接跑的示例OpenAI 兼容调用、LoRA、多模态 ├── docs/ # 文档站源码Mintlify含教程与模型支持清单 └── rust/ # Rust 扩展内存缓存、gRPC 服务、多模态预处理等读代码时最该关心的是 python/sglang/srt/ 下的 srt 目录entrypointsHTTP/gRPC 入口、managers调度与 token 管理、mem_cacheRadixAttention 前缀缓存、models各模型实现是四块核心。想了解性能优化手段PD 分离、DP 注意力、专家并行官方文档 docs/ 里有专门章节比直接啃源码快得多。上图展示的是 SGLang 的 DP Attention 专家子组调度示意不同 DP rank 处理不同 batch再经 All2All 把请求分发到专家子组。这也是它区别于普通推理框架的核心设计之一。从哪跑起来入口与启动流程要拉起一个推理服务第一步看 python/sglang/launch_server.py约 78 行很薄。它做的事就三步load_plugins() # 1. 加载插件扩展后端、量化等 server_args prepare_server_args(sys.argv[1:]) # 2. 解析命令行参数 run_server(server_args) # 3. 按模式分派到对应 server这段代码的意思是所有配置最终都收敛成一个ServerArgs对象run_server再根据你传的标志位选择启动路径——默认走 HTTP 服务传--grpc-port会加挂 Rust 原生 gRPC 服务--use-ray则交给 Ray 分布式调度。实际执行顺序是参数解析 → 初始化 tokenizer 和模型并行组 → 加载权重 → 启动 scheduler 事件循环 → 对外暴露 OpenAI 兼容 API。注意这里还有个更推荐的入口sglang serve命令CLI 定义在 python/sglang/cli/功能等价只是不用走python -m的老路径。配置在哪、怎么改SGLang 没有传统意义上的config.json所有配置都是启动参数定义集中在 server_args.py上千行每个参数都有文档字符串。你最可能碰到的几类模型与并行--model-pathHuggingFace 模型名或本地路径、--tp-size张量并行卡数、--ep-size专家并行MoE 模型用网络--host/--port服务监听的地址和端口网关多实例时每台都要错开显存--mem-fraction-static静态显存占比权重 KV 缓存的上限OOM 时先调它、--max-running-requests并发上限量化--quantization支持 FP8、AWQ、GPTQ、INT4 等直接吃量化权重可显著省显存高级特性--speculative-algorithm投机解码、--enable-dp-attention、PD 分离相关开关改完不用重启进程以外的任何操作——参数只读一次就生效服务本身是无状态转发 无盘缓存设计重启代价不高。上手建议下一步做什么先跑通再读码按 examples/ 里的示例起一个 Qwen/Llama 服务用 OpenAI SDK 打一条请求确认环境没问题读三处源码入口 launch_server.py → managers/ 里的 scheduler 事件循环 → mem_cache/ 的 RadixAttention 缓存这条线就是整个推理引擎的主干跟一次文档从 docs/docs/get-started/ 的安装与 Quickstart 开始遇到具体特性投机解码、PD 分离、结构化输出再翻 docs/docs/advanced_features/ 对应章节。需要本地代码时可执行git clone https://gitcode.com/GitHub_Trending/sg/sglang。项目迭代很快以上目录与参数以仓库最新版本为准。【免费下载链接】sglangSGLang is a high-performance serving framework for large language models and multimodal models.项目地址: https://gitcode.com/GitHub_Trending/sg/sglang创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考