OpenSRE 云原生日志链路实战Grafana Log Sink 与 Tempo 追踪深度集成完整指南【免费下载链接】opensreBuild your own AI SRE agents. The open source toolkit for the AI era.项目地址: https://gitcode.com/GitHub_Trending/op/opensreOpenSRE是一个开源的 AI SRE 智能体工具包这篇文章带你从零搭建它的云原生日志链路用Grafana Log Sink把 AI 调查报告实时推送进Loki 日志系统再通过Grafana Tempo 分布式追踪让 Agent 自己查询 Trace、定位慢请求与 5xx 错误。适合刚接触可观测性、想让 AI 帮你查日志、看链路的新手。1️⃣ 日志链路全景从 Prometheus 告警到 Loki 报告一次典型的排查流程是这样的Prometheus 检测到500错误率升高 → 告警触发 OpenSRE 调查 → Agent 调用 Tempo 查询分布式追踪 → 生成根因报告 →Log Sink 把报告作为低基数日志流推送到 Loki同时在 Grafana 面板上打一条标注Annotation。告警触发后Agent 会自动收集日志、指标与追踪证据最终形成一份结构化调查报告关键设计在于Log Sink 是一个汇报通道而非查询工具——它不参与调查过程只在调查完成后负责送达。核心实现在 log_sink.py 中的GrafanaLogSink类。2️⃣ Grafana Log Sink一条 Loki 日志流 一条 Grafana 标注Log Sink 将每次调查转换为两类产物通道目标关键配置Loki 日志流loki/api/v1/push推送 APIGRAFANA_LOKI_PUSH_URL必需Grafana 标注/api/annotations接口已配置的 Grafana 集成Editor 权限两种部署模式怎么选Loki-only 模式最轻量只设置GRAFANA_LOKI_PUSH_URL无需配置 Grafana 集成记录适合只想把报告存进日志的场景标注模式推荐配置 Grafana 集成后Agent 会复用集成凭证创建带严重度标签的标注值班同学在 Dashboard 上一眼就能看到 AI 结论。模式判定逻辑见 reporting_adapter.py只要GRAFANA_LOKI_PUSH_URL有值就自动启用 Loki-only 兜底。通过交互式 CLI 完成 Grafana 集成配置凭证保存在本地 integrations.json推送到 Loki 的日志长什么样每条日志只保留job、source、severity、alert_source这类低基数标签默认{jobopensre, sourceinvestigation}见 log_sink.py根因、修复步骤、证据数量等细节全部塞进 JSON 日志行。在 Grafana Explore 里就能这样检索{jobopensre, sourceinvestigation} | json | severitycritical 小贴士认证 Token 建议使用专用的GRAFANA_WRITE_TOKEN与查询用的GRAFANA_READ_TOKEN分开遵循最小权限原则。3️⃣ Tempo 深度集成Agent 自己会查分布式追踪如果说 Log Sink 解决报告去哪那Grafana Tempo 集成解决的是证据从哪来。OpenSRE 通过 Tempo 的 HTTP API直连不需要 Grafana 实例中转暴露了一个query_tempo工具包含 4 种查询动作Action用途典型场景search按服务、span 名、耗时、标签搜索 Trace找出 60 分钟内checkout-service的慢请求get_trace按 ID 拉取完整 Trace 并展平所有 span下钻某个 5xx 请求的完整调用链list_services列出已注册的被追踪服务快速摸清系统拓扑list_span_names列出已注册的 span 名称确认埋点是否生效客户端封装在 client.py支持 Bearer Token、Basic Auth 以及多租户X-Scope-OrgID头。配置只需三行完整变量表见 tempo.mdxTEMPO_URLhttp://localhost:3200 TEMPO_API_KEYbearer-token # 可选配置完成后跑一条opensre ask --allowed-tool query_tempo就能让 Agent 完成列服务 → 搜 Trace → 拉全量链路的完整下钻最终报告 trace ID、根 span、耗时与 HTTP 状态码。集成配置后运行 verify 命令状态显示 passed 即代表日志链路打通4️⃣ 本地 5 分钟验证Docker 起一个临时 Tempo仓库内置了本地 Tempo 配置 tempo-local.yaml一条docker run命令即可拉起一次性 all-in-one 实例再用种子脚本注入一条 2 秒超时的 checkout 错误 Trace全程无鉴权、数据随容器销毁——非常适合新手安全地体验整条链路详细步骤见 tempo.mdx 的本地验证章节。5️⃣ 常见问题速查与最佳实践症状解决方法Loki push 失败检查GRAFANA_LOKI_PUSH_URL是否为完整推送端点且网络可达标注没有生成确认已配置 Grafana 集成非 Loki-only 模式且账号为 Editor 及以上Tempo 连接被拒确认端口Tempo 默认 HTTP 端口为3200verify 返回 404Tempo 版本需 1.4 以上/api/search/tags接口搜索不到 Trace确认业务服务确实往 Tempo 发送了 Trace并扩大时间窗口安全建议Tempo 侧尽量使用只读 Token凭证统一放.env或密钥环绝不写进代码网络层限制 Tempo 端口仅对 Agent 开放。相关文件导读官方文档grafana-log-sink.mdx、tempo.mdxLog Sink 源码log_sink.py · 投递适配reporting_adapter.pyTempo 客户端client.py · 连通性验证verifier.py测试用例test_log_sink.py搭好这条告警 → 追踪取证 → 报告入湖的闭环后你的 Grafana 就不再只是看板而是 AI SRE 的汇报出口。【免费下载链接】opensreBuild your own AI SRE agents. The open source toolkit for the AI era.项目地址: https://gitcode.com/GitHub_Trending/op/opensre创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考