大数据批处理流处理数据工程【免费下载链接】beamApache Beam is a unified programming model for Batch and Streaming data processing.项目地址https://gitcode.com/gh_mirrors/beam4/beam点击查看免费下载本篇技术指南围绕 Apache Beam 的核心概念——Runner执行引擎展开结合当前仓库gh_mirrors/beam4/beam的 Python SDK 源码与官方示例系统讲解 Runner 是什么、为什么选择 Runner 是流水线开发的关键一步、如何通过--runner参数指定执行引擎以及如何使用 DirectRunner 在本机完成测试与调试。读完本文你将掌握在本地 Direct Runner 与云端 Dataflow Runner 之间切换运行 Beam 流水线的完整方法。Runner 是什么统一编程模型与执行引擎的解耦在 Apache Beam 中Runner 是负责执行流水线的执行引擎。Beam 的核心设计哲学是一套代码多种执行引擎用户用统一的 Beam 编程模型PCollection、PTransform、DoFn 等编写流水线而 Runner 负责把流水线翻译或适配成可以在某个大规模并行数据处理系统上运行的形式例如 Apache Flink、Apache Spark、Google Cloud Dataflow 等。从当前仓库的源码可以看到这一抽象的直接体现。Python SDK 中定义了抽象基类PipelineRunner位于 sdks/python/apache_beam/runners/runner.pyrun()同步执行给定 PTransform阻塞直到流水线完成内部调用run_async后wait_until_finishrun_async()异步启动执行返回可查询进度的PipelineResultrun_portable_pipeline()接收标准化的beam_runner_api_pb2.Pipeline协议消息执行整个流水线是各 Runner 需要覆写的关键方法run_pipeline()将 Python 端的Pipeline对象转换为 Runner API 协议后交给run_portable_pipeline。这意味着不同 Runner 共享同一套流水线描述Beam Runner API只是执行后端不同。也正因如此选择 Runner才成为流水线开发流程中一个独立的、重要的环节。为什么选择 Runner 是关键一步你选择的 Runner 决定了流水线在哪里运行、以何种方式运行。同一个 WordCount 程序在 DirectRunner 上运行就是本地单机进程在 DataflowRunner 上运行就是提交到 Google Cloud 的托管服务在 FlinkRunner / SparkRunner 上运行则是提交到对应的集群。不同 Runner 对 Beam Model统一批流模型的各个特性支持程度不同——例如窗口、触发、状态、定时器、Splittable DoFn 等能力的完备程度。为此Apache Beam 官方维护了一份Beam Capability Matrix能力矩阵用于横向对比各 Runner 对各类特性的支持情况。该页面在仓库中的源文件为 website/www/site/content/en/documentation/runners/capability-matrix/_index.md其中明确说明Beam 的可移植 API 层允许流水线跨多种执行引擎执行而每个 Runner 对 Beam Model 的实现程度各不相同能力矩阵正是为澄清这一点而设计。因此在选择 Runner 时应重点评估运行环境本地开发机、自建 Flink/Spark 集群还是云上托管服务特性支持流水线用到的窗口、触发、状态等特性在该 Runner 上是否完备对照能力矩阵生产需求吞吐、容错、资源弹性、运维成本等。如何指定 Runner--runner 参数在执行流水线时通过--runner标志指定 Runner。Beam 的 Python SDK 中StandardOptions负责解析该参数源码位于 sdks/python/apache_beam/options/pipeline_options.py。该参数接受的有效值由ALL_KNOWN_RUNNERS定义当前仓库版本包括Runner 名称对应实现类模块路径DataflowRunnerapache_beam.runners.dataflow.dataflow_runner.DataflowRunnerDirectRunnerapache_beam.runners.direct.direct_runner.DirectRunnerBundleBasedDirectRunnerapache_beam.runners.direct.direct_runner.BundleBasedDirectRunnerSwitchingDirectRunnerapache_beam.runners.direct.direct_runner.SwitchingDirectRunnerInteractiveRunnerapache_beam.runners.interactive.interactive_runner.InteractiveRunnerFlinkRunnerapache_beam.runners.portability.flink_runner.FlinkRunnerFnApiRunnerapache_beam.runners.portability.fn_api_runner.FnApiRunnerKafkaStreamsRunnerapache_beam.runners.portability.kafka_streams_runner.KafkaStreamsRunnerPortableRunnerapache_beam.runners.portability.portable_runner.PortableRunnerPrismRunnerapache_beam.runners.portability.prism_runner.PrismRunnerSparkRunnerapache_beam.runners.portability.spark_runner.SparkRunner除上述名称外--runner也接受任何PipelineRunner子类的完整限定名。若未指定默认值为DirectRunner见StandardOptions.DEFAULT_RUNNER。从源码可以看出Runner 名称到实例的解析逻辑位于create_runner()函数sdks/python/apache_beam/runners/runner.py它先把小写名称映射到_RUNNER_MAP中的模块路径再通过importlib动态导入并实例化若导入失败还会给出针对性提示例如 Dataflow Runner 需要pip install apache_beam[gcp]Interactive Runner 需要apache_beam[interactive]。实战在 Google Cloud Dataflow 上运行 WordCount官方文档给出的在 Dataflow 上运行 WordCount 的完整命令如下python -m apache_beam.examples.wordcount \ --region DATAFLOW_REGION \ --input gs://dataflow-samples/shakespeare/kinglear.txt \ --output gs://STORAGE_BUCKET/results/outputs \ --runner DataflowRunner \ --project PROJECT_ID \ --temp_location gs://STORAGE_BUCKET/tmp/各参数含义参数说明--region DATAFLOW_REGIONDataflow 作业运行的 Google Cloud 区域例如us-central1--input gs://...输入文件的 Cloud Storage 路径此处为公开示例数据kinglear.txt--output gs://...输出结果写入的 Cloud Storage 前缀--runner DataflowRunner指定执行引擎为 Google Cloud Dataflow--project PROJECT_ID提交作业的 Google Cloud 项目 ID--temp_location gs://STORAGE_BUCKET/tmp/临时文件staging 文件、中间结果存放位置Dataflow 必需注意--project与--temp_location在 DataflowRunner 下属于必填项--runner以外的参数大多可由PipelineOptions统一解析无需在代码中单独声明。该示例程序的源码位于仓库 sdks/python/apache_beam/examples/wordcount.py它演示了从文本读取、正则分词、按单词计数到写出结果的完整流水线是理解 Runner 行为的最小可运行样例。DirectRunner本地执行引擎Apache Beam Direct Runner 在本地机器上执行流水线非常适合测试与调试。它不需要任何分布式集群或云环境安装 Beam SDK 后即可直接运行。从源码看Direct Runner 并非单一实现sdks/python/apache_beam/runners/direct/direct_runner.pyBundleBasedDirectRunner基于 Bundle 机制的本地执行器支持流式执行以及某些 FnApiRunner 尚未实现的原语SwitchingDirectRunner根据流水线特性自动在 FnApiRunner批处理吞吐高与 BundleBasedDirectRunner支持流式之间切换是本地执行的智能入口DirectRunner默认的别名入口作为DEFAULT_RUNNER直接可用。python -m apache_beam.examples.wordcount \ --input /path/to/input.txt \ --output /tmp/wordcount-output不指定--runner时Beam 默认使用 DirectRunner上面的命令即会在本地完成整个 WordCount 计算输出结果写入/tmp/wordcount-output前缀对应的分片文件。本地调试时可以省略--project、--region、--temp_location等云端参数这让先本地跑通、再上云跑批的开发节奏非常顺畅。DirectRunner 的价值在于流水线中的每个变换ParDo、GroupByKey、Combine 等都在本地真实执行配合 Beam 的日志、Metrics 与PipelineResult查询接口可以快速定位逻辑错误、验证窗口与触发语义。Runner 与流水线生命周期PipelineResult 与 PipelineState运行流水线后得到的PipelineResult对象sdks/python/apache_beam/runners/runner.py提供三个核心能力state查询流水线当前状态wait_until_finish(duration)阻塞等待流水线结束并返回最终状态可指定毫秒级超时cancel()/metrics()取消执行或获取运行指标。PipelineState枚举sdks/python/apache_beam/runners/runner.py是各 Runner 状态的并集包含STARTING、RUNNING、DONE、FAILED、CANCELLED、DRAINING、DRAINED等状态其中DONE、FAILED、CANCELLED、UPDATED、DRAINED是终态。这在调试 DirectRunner 时特别有用wait_until_finish()的返回值能明确告诉你流水线是成功DONE还是失败FAILED配合异常堆栈即可完成问题定位。如何选择 Runner 并继续深入学习面对多个 Runner建议的决策路径是开发阶段一律使用默认的DirectRunner快速验证逻辑正确性评估特性对照能力矩阵仓库源文件website/www/site/content/en/documentation/runners/capability-matrix/_index.md确认所需特性在目标 Runner 上的支持程度生产运行根据基础设施情况选择 Dataflow云托管、Flink、Spark、Prism 等 Runner并通过--runner参数切换代码本体无需改动调优与排查利用PipelineResult的状态查询与 Metrics 接口结合各 Runner 的控制台监控定位执行问题。进一步上手可参考仓库内各 SDK 的 Quickstart 与示例Java 示例见 sdks/java/core 相关模块Python 示例见 sdks/python/apache_beam/examplesGo 示例见 sdks/go/examples。按照各自的 Quickstart 配置开发环境与 Runner 后即可动手实践本文中的命令。赞分享大数据批处理流处理数据工程【免费下载链接】beamApache Beam is a unified programming model for Batch and Streaming data processing.项目地址https://gitcode.com/gh_mirrors/beam4/beam点击查看免费下载相关推荐Apache Beam 执行引擎(Runner)核心概念详解Apache Beam 执行引擎 Runner 核心概念详解 一、Apache Beam 执行引擎概述 Apache Beam 作为一个统一的大数据处理编程模型大数据批处理流处理数据工程Apache Beam Runner选型指南DirectRunner、Flink、Spark与Dataflow如何选Apache Beam Runner选型指南DirectRunner、Flink、Spark与Dataflow如何选 Apache Beam 是一个统一的批大数据批处理流处理数据工程Apache Beam 入门指南统一批流处理模型、多语言 SDK 与 Runner 执行体系Apache Beam 入门指南统一批流处理模型、多语言 SDK 与 Runner 执行体系 Apache Beam 是一个用于定义批处理和流处理数据并行管道大数据批处理流处理数据工程上一篇StableStudio自定义快捷键开发个性化工作流下一篇让AI写出你团队风格的代码Copilot for Xcode 自定义指令实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考