数据库流处理后端数据工程【免费下载链接】risingwaveEvent streaming platform for agentic AI. Continuously ingest, transform, and serve event streams in real time, at scale.项目地址https://gitcode.com/gh_mirrors/ri/risingwave点击查看免费下载RisingWave 的持续集成体系以 Buildkite 为核心通过pull-request与main-cron两条流水线覆盖从代码提交到发布验证的全过程。本文基于仓库中的 CI 开发文档结合ci/workflows/下的真实流水线定义与ci/scripts/find-regression.py实现完整讲解 Fork PR 的构建审批机制、CI 标签Label的触发规则以及用二分法自动定位回归提交的实操方案帮助贡献者与维护者高效驾驭这套 CI 工作流。RisingWave CI 概览两条核心流水线在动手之前先理解 RisingWave 的 CI 是由Buildkite承载的。仓库中所有流水线定义都集中在ci/workflows/目录下其中两条流水线与日常开发关系最密切pull-request流水线定义于 ci/workflows/pull-request.yml每个 Pull Request 的常规检查流水线包含build、build-other构建 Java connector node、UDF 等组件、docslt、单元测试、E2E 测试、确定性模拟测试等步骤。main-cron流水线定义于 ci/workflows/main-cron.yml更完整的主分支回归与发布流水线包含 release 版 E2E 测试覆盖 SQLite / PostgreSQL / MySQL 三种 Meta 存储后端、确定性madsim集成测试、向后兼容测试、Sqlsmith 差分测试、微基准测试以及打 tag 时的发布与多架构 Docker 镜像构建步骤。两条流水线都大量使用 YAML 锚点anchors来复用公共配置。例如 ci/workflows/main-cron.yml 中定义的auto-retry锚点会在 Agent 被 AWS EC2 spot 实例回收signal_reason: agent_stop或进程异常退出exit_status: -1时自动重试最多 3 次这体现了 CI 基础设施针对云上不稳定环境的容错设计。Fork PR 的 Buildkite 审批机制为什么 Fork PR 需要人工审批Buildkite 会对分支位于 RisingWave 仓库内的、符合条件的 Pull Request 自动运行流水线但对于从 Fork 仓库发起的 PR出于安全考虑必须先获得维护者审批Buildkite 才会执行 PR 中的代码。审批方式非常简单维护者审阅完改动后在 GitHub 的 PR 评论区原样发布如下评论即可/approve-run-bk谁的命令会被采纳Buildkite 只接受来自以下身份的/approve-run-bk命令受信任的 GitHub 仓库 owner、member 或 collaborator或关联到 Buildkite 用户、且具备该流水线运行权限的 GitHub 账号。来自外部贡献者的同一条评论不会触发构建。审批的有效范围与重新审批这条命令会为 PR 的当前 head commit创建一次新的构建。有两个关键细节需要留意审批不随提交延续贡献者每次新推送 commit 之后之前获得的审批自动失效维护者必须重新发布/approve-run-bk评论才能对新 commit 触发构建。pull-request与main-cron可一并触发审批通过后当 PR 进入 ready-for-review 状态时pull-request流水线就会运行。若还想为 Fork PR 运行main-cron流水线需要先添加相应的标签见下文 CI 标签指南再发布/approve-run-bk。一条审批评论在其各自条件满足时可以同时触发两条流水线。CI 标签Label完全指南RisingWave 通过给 PR 打 GitHub Label 来控制 CI 运行哪些步骤。所有标签对应的触发条件都写在两条流水线的 YAML 中——各步骤的if条件会同时检查 PR 标签和CI_STEPS环境变量例如 ci/workflows/main-cron.yml 中 e2e 测试步骤的if就是!(build.pull_request.labels includes ci/main-cron/run-selected) build.env(CI_STEPS) null || build.pull_request.labels includes ci/run-e2e-tests || build.env(CI_STEPS) ~ /(^|,)e2e-tests?(,|$$)/标签体系分为四类官方文档原意如下标签作用ci/run-xxx ...在 PR 工作流中运行ci/run-xxx所指示的额外步骤ci/pr/run-selectedci/run-xxx ...在DRAFT PR中只运行ci/run-xxx选中的步骤ci/main-cron/run-all为你的 PR 运行完整的main-cron工作流ci/main-cron/run-selectedci/run-xxx ...在你的 PR 中只运行来自main-cron工作流的、由ci/run-xxx指定的步骤可用于验证某个main-cron修复是否生效ci/run-xxx的具体候选值可以直接从pull-request.yml和main-cron.yml各步骤的if条件中查到。例如在 ci/workflows/pull-request.yml 中可以找到ci/run-e2e-tests、ci/run-unit-test、ci/run-check、ci/run-e2e-test-deterministic-simulation、ci/run-recovery-test-deterministic-simulation、ci/run-sqlsmith-fuzzing-tests等在 ci/workflows/main-cron.yml 中则有ci/run-e2e-tests、ci/run-e2e-source-tests、ci/run-e2e-sink-tests、ci/run-micro-benchmarks、ci/run-backwards-compat-tests等。从源码结构看main-cron中绝大多数步骤都保留了ci/run-xxx标签与CI_STEPS环境变量两条触发路径这正是“在 PR 中验证 main-cron 修复”的设计基础。实战示例为 PR 运行 main-cron 的指定步骤以官方文档给出的案例对应 upstream PR #17197说明假设你想在自己的 PR 中运行main-cron工作流里的e2e-test和e2e-source-test只需要依次添加三个标签添加ci/run-e2e-test注意该标签同时会被 pull-request 与 main-cron 两条流水线的相应步骤识别添加ci/run-e2e-source-tests添加ci/main-cron/run-selected跳过所有未被ci/run-xxx选中的其他步骤。添加标签后main-cron中两个对应步骤的if条件分别命中build.pull_request.labels includes ci/run-e2e-tests与... includes ci/run-e2e-source-tests见 ci/workflows/main-cron.yml 与 ci/workflows/main-cron.yml而其余步骤由于ci/main-cron/run-selected标签存在而被第一条条件否定从而实现“精准定向验证”。Main Cron Bisect Guide自动二分定位回归提交当main-cron流水线在某个提交上失败、需要定位是哪一次提交引入回归时可以使用仓库内置的main-cron-bisect流水线它会基于二分查找自动缩小问题区间。第一步创建 Bisect 构建在 Buildkite 的main-cron-bisect流水线页面新建构建builds/#new并配置以下环境变量环境变量含义GOOD_COMMIT已知正常的提交哈希BAD_COMMIT已知异常的提交哈希BISECT_BRANCH执行二分定位的分支名CI_STEPS二分过程中要运行的 CI 步骤名多个步骤用逗号分隔其中CI_STEPS的候选值同样可以从 ci/workflows/main-cron.yml 中每个步骤的if条件里查到例如e2e-tests、unit-tests、recovery-tests-deterministic-simulation等。第二步官方示例配置文档给出的可直接尝试的完整示例GOOD_COMMIT29791ddf16fdf2c2e83ad3a58215f434e610f89a BAD_COMMIT7f36bf17c1d19a1e6b2cdb90491d3c08ae8b0004 BISECT_BRANCHkwannoel/test-bisect CI_STEPStest-bisect,disable-build注意示例中CI_STEPS带上了disable-buildmain-cron的build、build-other、build-simulation、docslt四个步骤都会检查build.env(CI_STEPS) !~ /(^|,)disable-build(,|$$)/见 ci/workflows/main-cron.yml因此把disable-build写进CI_STEPS可以跳过重复构建让二分过程更快。第三步二分流程的底层原理main-cron-bisect流水线定义在 ci/workflows/main-cron-bisect.yml 中它的第一步find-regressed-step会调用 ci/scripts/find-regression.py 的start命令并在满足CI_STEPS ! null时运行。真正执行二分逻辑的是该脚本262 行自带单元测试可直接./ci/scripts/find-regression.py运行测试。从 ci/scripts/find-regression.py 的注释与实现看算法核心如下以GOOD_COMMIT含与BAD_COMMIT不含为区间上下界取中间提交git rev-list --count GOOD..BAD统计提交数再git rev-list --reverse GOOD..BAD | head -n N | tail -n 1取出中间那一条通过buildkite-agent pipeline upload动态上传一个新的 pipelineformat_step其中包含一个trigger: main-cron的步骤在BISECT_BRANCH分支的中间提交上、以CI_STEPS环境变量运行main-cron并标记soft_fail: true后续的check命令读取该步骤的 outcome若soft_failed说明回归在前半段把BAD_COMMIT收缩到该提交若passed说明回归在后半段用git log --reverse --ancestry-path取该提交的下一个提交更新GOOD_COMMIT当GOOD_COMMIT BAD_COMMIT时通过report_step上报 “Regressed Commit” 结果二分结束。整个过程中脚本只运行CI_STEPS指定的步骤而非整条流水线且每一步都会等待上次运行成功后再继续从而把每次验证的开销降到最低。这种“动态上传 pipeline 软失败收集结果 迭代收缩区间”的模式是定位大规模分布式系统回归的高效做法。延伸CI 中的 Meta 后端矩阵与失败信息收集理解 CI 全貌对日常排查也很有帮助。main-cron的 release E2E 测试通过sql-backend锚点见 ci/workflows/main-cron.yml以矩阵方式同时验证三种 Meta 存储后端SQLitesqlite:///tmp/rwmeta.db?moderwcPostgreSQLpostgres://postgres:postgresdb:5432/rwmetaMySQLmysql://root:123456mysql-meta:3306/rwmeta这些端点通过RISEDEV_SQL_ENDPOINT环境变量注入测试脚本保证流式计算引擎在不同元数据存储下的兼容性。此外几乎所有 E2E 步骤都挂载了./ci/plugins/upload-failure-logs插件失败时会把容器日志上传方便贡献者直接下载日志定位问题确定性恢复测试则改用upload-failure-logs-zipped压缩后上传避免日志量过大。main-cron的结尾还会在测试全部结束后即使部分失败上传覆盖率报告ci/workflows/main-cron.yml并通过ci/scripts/notify.py对失败测试发送通知。小结RisingWave 的 CI 体系围绕“安全、可控、可定向”三条原则设计Fork PR 用/approve-run-bk评论把执行权交还给维护者ci/run-xxx与ci/main-cron/run-selected标签让贡献者可以在不跑完整流水线的前提下定向验证特定步骤main-cron-bisect配合 ci/scripts/find-regression.py 把回归定位变成一次自动化的二分搜索。掌握了这三块内容无论是提交代码、review Fork PR还是追踪主分支回归都能在 ci/workflows/pull-request.yml、ci/workflows/main-cron.yml 与 ci/workflows/main-cron-bisect.yml 三份配置中找到清晰的依据与入口。赞分享数据库流处理后端数据工程【免费下载链接】risingwaveEvent streaming platform for agentic AI. Continuously ingest, transform, and serve event streams in real time, at scale.项目地址https://gitcode.com/gh_mirrors/ri/risingwave点击查看免费下载相关推荐用 GitNexus 污点与程序依赖证据审查 PR 安全回归CI 审查集群 ci-security-lens 实战指南用 GitNexus 污点与程序依赖证据审查 PR 安全回归CI 审查集群 ci security lens 实战指南 本文围绕 GitNexus CI 审查开发者工具知识图谱静态分析MCP 服务人工智能Device.Net NuGet包使用指南快速集成到你的项目中Device.Net NuGet包使用指南快速集成到你的项目中 Device.Net是一个强大的C 跨平台连接设备框架能够帮助开发者轻松实现与USB、HIDSubdominator输出格式全攻略从JSONL到HTML报告的灵活应用Subdominator输出格式全攻略从JSONL到HTML报告的灵活应用 Subdominator是一款高效的子域名枚举工具专为Bug Bounty研究者上一篇PoB2物品系统实战指南3步模拟出毕业装与最优词缀组合下一篇仓颉语言 Qt 跨平台GUI完整指南用CJQT搭一个桌面应用创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考