如何设计大模型Agent服务架构cgft-llm Agent智能体系统完整指南架构设计到落地实践【免费下载链接】cgft-llmcgft-llm 是一个学习大语言模型LLM开发的开源资源。它提供代码、文档和视频教程帮助用户通过实践掌握前沿核心 LLM 技术项目地址: https://gitcode.com/echonoshy/cgft-llmcgft-llm 是一个动手学习大语言模型LLM开发的开源资源库其 Agent 智能体系统系列围绕 Agent 服务架构设计、AI 记忆与上下文、用户沙箱 Agent 三大主题展开。本文带你完整拆解多租户 Agent 服务的五层架构、Agent 核心循环、记忆与 RAG 知识体系及工程落地实践新手也能快速搭建自己的 Agent 服务。 为什么需要 Agent 服务架构很多人对大模型的印象还停留在对话框你问它答。但Agent智能体的本质是给大模型装上一个行动循环——模型能自主判断是否需要调用外部工具、执行后观察结果、再继续推理直到任务完成。当 Agent 从 Demo 走向生产级服务你会立刻面临一系列真实问题多端接入同一套 Agent 能力要同时暴露给 Web、小程序、飞书/钉钉等 IM 机器人多租户隔离不同企业、不同团队用同一套服务配置、模型、Token 额度互不干扰上下文爆炸长对话很快撑爆模型上下文窗口会话结束记忆全部丢失工具安全模型能调哪些工具在哪执行如何防止越权cgft-llm 的 Agent 服务架构设计文档 给出了一个清晰的答案把系统拆成五层。️ 多租户 Agent 服务五层架构逐层拆解层级代表组件核心职责接入层Web Chat、小程序、IM Webhook、Open API多端、多协议统一入口网关层API GatewayJWT 认证 → 租户识别 → 限流 → 路由分发核心服务Agent Engine / Memory Service / Knowledge Service对话循环、记忆检索、知识注入能力层Skill 系统 / Tool Runtime / 会话管理 / 租户管理技能插件化、工具执行、会话压缩、租户隔离基础设施PostgreSQL pgvector、Redis、S3/MinIO、Celery、K8s数据、缓存、异步任务、弹性扩缩容接入层多端多协议统一接入四种入口共用同一套后端服务Web 端支持富文本、文件上传与 SSE 流式输出移动端与小程序复用 REST API飞书 / 钉钉 / Slack 机器人通过 Webhook OAuth 接入第三方系统凭 API Key 调用。网关层认证、租户识别与限流一次搞定网关是系统的前台所有请求先过 JWT 认证再做租户识别、速率限制Redis 计数最后路由分发。配合数据库的行级安全策略即可实现租户级数据隔离。核心服务Agent Engine、记忆服务、知识服务三件套Agent Engine系统心脏执行收消息 → 组装上下文 → 调 LLM → 执行工具的循环下一节详解Memory Service每轮对话后台自动提取记忆按向量相似度 关键词 时间衰减混合检索分类存储Knowledge Service用户文档PDF / DOCX / XLS经解析、分块、向量化入库统一走 RAG 检索注入对话能力层技能系统与工具运行时标准化技能系统用 YAML / Markdown 定义技能每个 Skill 提示词 所需工具 触发条件可像插件一样从市场安装/卸载工具运行时以 JSON Schema 标准化输入、统一执行入口兼容内置、自定义与 MCP 工具并全部在隔离沙箱中运行。基础设施层为什么 PostgreSQL pgvector 就够了不必引入独立向量数据库租户、用户、会话等关系数据与记忆、文档片段的向量数据同库存储pgvector 负责向量检索加速——架构更简单运维成本更低非常适合作为 Agent 服务的起步方案。 Agent 核心循环一条消息如何从进走到出Agent 服务的核心是Agent Loop一条用户消息要经历 6 步入口处理文本消息进入循环文件上传则先解析、分块、向量化存储记忆检索混合检索向量 0.7 关键词 0.2 时间衰减 0.1取 Top-5 相关记忆注入 System Prompt知识 RAG从文档库与网络检索相关片段受 Token 预算约 5000 tokens控制组装 ContextSystem Prompt 基础指令 租户配置 Skill 提示词 记忆 知识片段调用 LLM流式输出响应若模型请求工具则在沙箱执行后把结果回填继续循环最多 20 轮返回响应并行后处理——保存会话、按需触发上下文压缩、异步提取记忆、记录用量计费整个节奏就是经典的函数调用循环工具执行结果会不断回灌给模型继续推理函数调用的具体实现在 02-llm-core/function-calling/ 章节工具调用Tool Calling原理与极简 Browser-use 实现见 02-llm-core/tool-calls/readme.md。 三层上下文架构给 Agent 装上记忆的秘诀上下文窗口有限会话却可以无限长。AI 记忆与上下文文档 提出了三层上下文设计每次对话时分层组装注入层级名称注入方式存什么L1常青记忆始终全量注入 System Prompt用户长期事实偏好、关系、目标L2知识检索按相关性检索注入情节、事件、前瞻等知识片段L3会话上下文作为 Messages 历史当前会话近期未压缩消息对应地系统定义了四种记忆类型情节记忆一段对话的叙事总结、事件日志原子事实、前瞻预测带时间窗口的未来事件推断、常青记忆长期稳定的事实不参与检索排序。检索也不是单纯向量相似度而是一条四段式流水线混合检索向量 0.7 全文 0.3→ 时间衰减半衰期 30 天→ MMR 重排序兼顾多样性与相关性→ Top-K 结果注意记忆不会被删除而是随时间自然衰减——一个月前权重减半两个月前只剩四分之一。新鲜记忆天然获得更高优先级既省成本又贴合人类记忆规律。 知识服务与 RAG让 Agent 读懂用户文档知识服务是 Agent 的外部大脑文档处理遵循标准流水线解析 → 分块 → 向量化 → 存储 → 按需检索 → 注入上下文这正是经典的 RAG检索增强生成思路数据先进 Index查询时把提示词 查询 检索到的相关数据拼给模型由它生成最终回答。动手实践可以配合项目中的完整 RAG 教程 02-llm-core/llama-index/以及 02-llm-core/rag-knowledge-base/readme.md 了解如何构建高效 RAG 知识库。️ 工程实践4 个让系统稳得住的设计决策架构设计只占一半工程实现占另一半。工程设计文档 提炼了 4 个关键决策Provider 工厂模式LLM / Embedding 抽象为可插拔 Provider配置一行切换本地 vLLM 或云端服务协议统一走 OpenAI 兼容接口异步任务管理上下文压缩、记忆提取等耗时任务后台发射后不管不阻塞用户响应手动任务返回 task_id客户端轮询进度并发控制PostgreSQL 行级锁FOR UPDATE skip_locked防止多个请求同时触发同一会话的压缩三层配置体系YAML 基础配置 → Pydantic 类型校验 → 环境变量覆盖敏感信息不落地到代码完整的目录结构与核心数据流聊天流、记忆提取流、语义压缩流可查阅 01-agent-sys/memory-context/architecture.html。 快速上手三步完成部署与实战第一步克隆项目git clone https://gitcode.com/echonoshy/cgft-llm cd cgft-llm第二步按顺序读 Agent 系列文档先读 agent-service-architecture.html 建立五层架构全局观再看 memory-context 目录下的 memory.html 理解记忆设计最后补工程细节。第三步衔接大模型核心技术系列架构看懂后深入配套实现用 vllm/README.md 部署推理服务、llama-cpp/README.md 做轻量化部署、dify-agent-llm-workflow.md 编排 Agent 工作流并用 docker/README.md 完成容器化部署。 Agent 的下一步从文本对话到数字人Agent 的最终形态不止于文字框——它可以是会说、有情感、能做动作的 AI 数字人对话、情绪表达、动作执行正是上下文组装 工具调用循环的自然延伸。这也是项目不着调的 AI 项目系列一直在探索的方向——把你学会的 Agent 服务架构变成真实可感的产品。 常见问题Q新手需要哪些基础才能做 Agent 服务APython 基础、FastAPI 开发、数据库基本操作、大模型 API 调用即可起步。完整学习路径参考 02-llm-core/docs/llm-roadmap.md。Q多租户架构对单用户产品是不是过度设计A架构是可伸缩的。单用户场景可简化网关与租户管理部分保留核心循环 记忆 知识三件套即可。Q必须自部署模型吗A不需要。Provider 工厂模式直接对接云端 API 即可自部署 vLLM / llama-cpp 适合成本敏感或数据隐私场景。【免费下载链接】cgft-llmcgft-llm 是一个学习大语言模型LLM开发的开源资源。它提供代码、文档和视频教程帮助用户通过实践掌握前沿核心 LLM 技术项目地址: https://gitcode.com/echonoshy/cgft-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考