Rakazo的7层测试金字塔如何不烧API额度地验证AI机器人行为【免费下载链接】rakazoOpen-source Grok Bot alternative. Choose your own model and sandbox.项目地址: https://gitcode.com/gh_mirrors/ra/rakazoRakazo 是一个开源的 AI 机器人Grok Bot替代平台支持自带模型与沙箱在 Web、桌面和移动端运行持久的 AI 队友。它的工程团队用一套7 层测试金字塔来验证机器人行为从零成本的单元测试到完全隔离的模型模拟器、消息模拟器再到默认跳过、手动开启的真实模型金丝雀测试——绝大多数测试不花一分钱 API 额度只有最后一层才会调用真实模型并且有预算上限控制。为什么 AI 机器人的测试会烧钱 传统软件测试跑的是确定逻辑而 AI 机器人每一轮对话、每一次工具调用都可能产生一次真实的模型请求。如果你直接拿生产模型跑回归测试一个包含几十步工具调用的场景一次失败重试就是几倍 token 开销模型输出不稳定断言机器人说了什么经常误报CI 里反复失败重试账单比修复代码还贵。Rakazo 的解法很直接把模型从被测系统里抽离出去用模拟器替身跑掉 90% 的测试真实模型只在受控的最后一层出场。第 1 层零成本单元测试Vitest金字塔最底层是海量*.test.ts单元测试与源码同目录存放由根目录的 vitest.config.ts 统一配置覆盖packages/*/src、apps/*和infra/*的所有测试文件。pnpm test这一层只测纯逻辑路由、序列化、状态机、权限判断等。通过 turbo.json 的test任务做增量缓存零网络、零 API 调用。第 2 层模型模拟器——不烧额度的关键 这是整个金字塔最巧妙的一层。packages/testkit/src/model-emulator.ts 实现了一个仅回环loopback的模型协议桩Pi itself and its HTTP/SSE transport stay real. This tests execution, not whether a model can choose these actions. —— Pi 运行时和真实 HTTP/SSE 传输保持不变测的是执行而不是模型能否做出这些选择。模拟器把真实的/v1/chat/completions流式接口换成脚本化的响应步骤model-emulator.ts✅ 真实的 SSE 流、真实的工具调用执行、真实的错误传播✅ 可编排多步对话第 1 步返回文本第 2 步返回工具调用第 3 步返回断连❌ 零 token 消耗断言完全确定每一步还支持expect前置断言验证运行时发出的请求体是否符合预期相当于把模型的意图和系统的执行分开测试。第 3 层外部服务模拟器 除了模型Rakazo 还模拟了所有外部依赖全部集中在 packages/testkit/ 与 adapters 层模拟器替代对象位置DestinationEmulator外部写入目标notes 等集合packages/testkit/src/index.tsMcpEmulatorMCP 远程工具服务器packages/testkit/src/index.tsMessagingTeamChatEmulatorSlack 等团队聊天平台messaging-team-chat-emulator.tsFakeSandbox/FakeBrowser/FakeWeb沙箱、浏览器、网络packages/adapters/src/以团队聊天模拟器为例messaging-team-chat-emulator.ts它构建确定性的入站消息夹具并把机器人发出的每条消息记录到sent数组供断言——不需要真实的 Slack 网络却完整覆盖了收发消息链路。第 4 层Postgres 集成测试 ️文件名带.postgres.test.ts后缀的测试会启动真实的 PostgreSQL 容器testcontainers验证 Prisma 数据模型、事件流、用量记录等跨模块行为。例如 computer-approval.postgres.test.ts 验证计算机审批在真实数据库上的幂等性。这一层仍然不需要任何模型 API。第 5 层Playwright 端到端测试 ️apps/web/e2e/ 下有 60 个 Playwright 规格文件在本地完整栈Docker 沙箱 API Web上模拟真实用户操作。黄金路径测试 golden.spec.ts 验证了两个核心承诺多用户隔离Bob 看不到 Ada 的数据和持久化工作机器人写的文件在刷新后依然存在。第 6 层计算机回放测试Dockerpackages/testkit/src/computer-replay.ts 用第 2 层的模型模拟器驱动真实的 Pi 运行时 真实的生产工具辅助函数在真实 Docker 沙箱里重放一段完整的机器人操作序列导航、截图、执行工具、验证结果。它排除了数据库执行器和 UI专门回答一个问题生产工具链在真实沙箱里是否按剧本工作——依旧零模型开销。第 7 层真实模型金丝雀——默认关闭预算受控 只有最顶层才花钱且有两道保险1️⃣ 金丝雀测试默认跳过。providers.canary.test.ts 通过VERIFY_PROVIDERS环境变量 各家 API Key 双重门控const describeE2b liveE2b ? describe : describe.skip;没有配置密钥时E2B / Box / CreateOS / OpenRouter 的活体测试自动跳过CI 永远不产生费用。2️⃣ 真实模型评测有硬性预算。cli/evals.ts 提供--trials默认 3 次、--timeout-ms默认 180s、--max-tool-calls默认 30三个预算阀门并明确声明assistedRetries: false不允许辅导式重试避免失败重跑翻倍烧钱。报告自动脱敏 API Key并如实标注局限与用量。省钱心法总结 ✅原则对应层效果模型替身传输真实第 2 层验证执行逻辑0 token外部世界全部模拟第 3 层无真实网络依赖真实环境只留必要部分第 4–6 层DB/沙箱真实模型仍为桩花钱层默认关闭 预算阀门第 7 层CI 零费用按需抽查如何上手运行 # 本地开发环境需 Node 22/pnpm 9/Docker详见 README git clone https://gitcode.com/gh_mirrors/ra/rakazo cd rakazo pnpm install pnpm test # 第 1–6 层零 API 费用完整测试配置vitest.config.ts模型模拟器源码packages/testkit/src/model-emulator.ts模拟测试工具包packages/testkit/src/自托管指南docs/self-host.md一句话总结Rakazo 的测试金字塔证明——验证 AI 机器人行为靠的不是更大的模型预算而是把确定性的部分和概率性的部分分层隔离下面 6 层白嫖本地资源最顶层花钱但有闸门。这套模式可以直接抄进你自己的 AI 应用项目。【免费下载链接】rakazoOpen-source Grok Bot alternative. Choose your own model and sandbox.项目地址: https://gitcode.com/gh_mirrors/ra/rakazo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考