数据工程数据编排ETL任务调度批处理流处理数据集成后端【免费下载链接】mage-ai Build, run, and manage data pipelines for integrating and transforming data.项目地址https://gitcode.com/gh_mirrors/ma/mage-ai点击查看免费下载本指南以 mage_integrations 仓库中 Salesforce 目标端文档 为骨架围绕其在 Mage 数据集成体系中的定位完整讲解认证方式、配置参数、批量写入行为与 schema 校验机制。读完本文你将掌握如何在 Mage 中配置 Salesforce 目标端、理解insert/update/upsert/delete/hard_delete五种写入动作的差异并能依据源码解释allow_failures、table_name、external_id_name等参数的真实作用。概述Salesforce 目标端在 Mage 中的定位Mage 的数据集成Data Integration能力基于 Singer 协议构建将「源端Source」与「目标端Destination」解耦。当管道需要将数据从任意数据源写入 Salesforce 时便会使用本仓库中位于 mage_integrations/mage_integrations/destinations/salesforce 的目标端实现。该目标端是一个基于singer_sdk构建的 Target 插件name target-salesforce其核心能力包括支持OAuth 2.0与用户名/密码两种认证方式通过Salesforce Bulk APIsimple-salesforce的bulk接口批量写入数据提供insert、update、upsert、delete、hard_delete五种数据操作动作在写入前对上游记录做schema 与 Salesforce 对象的匹配校验避免无效写入以批处理batch方式消费 Singer 流并在批次提交后自动刷新会话。从源码结构看整个目标端由以下模块组成路径均相对仓库根目录模块作用target.pyTarget 主类定义配置 JSON Schema、处理 Singer 消息流sinks.pySink 实现负责校验、转换、分批与批量提交session_credentials.py两种认证方式的登录实现utils/transformation.py记录转换日期时间格式化utils/validation.py上游 schema 与 Salesforce 对象的字段校验utils/exceptions.py自定义异常类型templates/config.json配置模板__init__.pyMageDestination子类接入 Mage 管道执行框架配置参数详解在 Mage 中配置该目标端时必须填写以下凭据与参数。下表完整继承了原文档的字段说明并补充了 target.py 中 JSON Schema 定义的默认值与约束Key说明必填/可选client_idOAuth 认证的client_id即 Salesforce Connected App 的 Consumer Key可选client_secretOAuth 认证的client_secretConsumer Secret可选refresh_tokenOAuth 认证的refresh_token在 OAuth 授权流程中生成可选username用户名/密码认证方式的用户名可选password用户名/密码认证方式的密码可选security_token用户名/密码认证方式生成的 Security Token可在你的 Account Settings 下重置可选domain你的 Salesforce 实例域名使用login默认生产环境或test沙箱也可填写 Salesforce My Domain必填action对入站记录的默认处理动作insert/update/upsert/delete/hard_delete。源码中默认值为update而 config.json 模板 给出的是insert必填external_id_name执行upsert时所需的外部 Id 字段名默认值为Id可选allow_failures允许目标端在个别记录提交失败时继续写入默认值为False可选table_name允许目标端使用与源端不同的对象名详见「Limitations」一节可选几点需要注意的细节认证方式的二选一client_id/client_secret/refresh_token三件套与username/password/security_token三件套是互斥可选的。从 session_credentials.py 的parse_credentials实现看它会按顺序尝试构造OAuthCredentials与PasswordCredentials只要某一组凭据全部填全即采用该方式两组都不完整则抛出Cannot create credentials from config异常。secret 字段在 target.py 的 JSON Schema 定义中client_secret、refresh_token、password、security_token均被标记为secretTrue意味着在 Mage 的日志与状态输出中它们会被脱敏处理。action的合法值Schema 中将allowed_values约束为SalesforceSink.valid_actions即 sinks.py 中定义的[insert, update, delete, hard_delete, upsert]。传入其他值会在配置校验阶段直接报错。获取 OAuth 凭据的完整步骤原文档指出获取 OAuth 凭据的详细流程可参考仓库中 Salesforce源端文档的说明。下面将该流程的核心步骤整理如下详见 sources/salesforce/README.md创建 Connected App在 Salesforce 中创建 Connected App并勾选「Enable OAuth Settings for API Integration」。授权 OAuth Scopes至少为 Connected App 授予以下 2 个 Scope随时发起请求refresh_token。获取 Consumer Key 与 Consumer Secret创建完成后进入 Setup → Home在「API (Enable OAuth Settings)」部分点击「Manage Consumer Details」页面中的Consumer Key 即client_idConsumer Secret 即client_secret。授权 Connected App在浏览器中访问授权 URL 并同意授权随后从回调 URL 中取出code参数https://[your_salesforce_domain].my.salesforce.com/services/oauth2/authorize?client_id[client_id]redirect_urihttps://login.salesforce.com/services/oauth2/successresponse_typecode换取refresh_token使用code调用 OAuth2 token 端点例如通过curl携带grant_typeauthorization_code、code、client_id、client_secret与redirect_uri参数从返回的 JSON 响应中取出refresh_token字段。随后将client_id、client_secret、refresh_token三项填入目标端配置即可。两种认证方式的登录原理从源码看认证逻辑集中在 session_credentials.pyOAuth 方式SalesforceAuthOAuth向https://{domain}.salesforce.com/services/oauth2/token发送grant_typerefresh_token的 POST 请求从响应中取得access_token与instance_url封装为Session对象。密码方式SalesforceAuthPassword直接调用simple-salesforce的SalesforceLogin(domain..., username..., password..., security_token...)得到session_id与instance同样封装为Session。SalesforceAuth.from_credentials根据凭据类型自动选择对应登录类SalesforceSink._new_session()与Salesforce.test_connection()都会复用这套逻辑。值得一提的是每次批次提交完成后 Sink 都会调用_new_session()主动刷新会话源码注释说明这是「为避免超时Refresh session to avoid timeouts」见 sinks.py。五种写入动作Action的行为差异action参数决定了批量写入时调用 Salesforce Bulk API 的方式实现在 sinks.py 的_process_batch_by_action中insert调用bulk.Object.insert(records)update调用bulk.Object.update(records)delete调用bulk.Object.delete(records)hard_delete调用bulk.Object.hard_delete(records)物理删除不进入回收站upsert与其他动作不同需要额外传入外部 Id 字段名即bulk.Object.upsert(records, external_id_name)external_id_name缺省时使用Id。schema 校验与各动作的约束在真正写入之前每个 Sink 构造时都会执行_validate_schema_against_object()通过simple-salesforce获取目标对象的describe()元数据将每个字段的类型、createable、updateable属性缓存为ObjectField再对上游 schema 逐字段校验。校验规则在 utils/validation.py 中非常明确以_sdc_开头的元数据字段Singer SDK 附加的抽取元数据直接跳过字段名必须是目标 Salesforce 对象中真实存在的字段否则抛出InvalidStreamSchema当动作是update/upsert时字段必须可更新updateable当动作是insert/upsert时字段必须可创建createableId字段不允许出现在insert中因为 Id 不可创建而delete/hard_delete的 schema 只应包含Id任一校验失败Sink 初始化即抛错并附带「incoming schema is incompatible with your 对象名 object」的说明。因此传入与目标对象不匹配的上游 schema 会在第一批记录写入前就被拦截而不是等到 Bulk API 返回失败这是该目标端在工程可靠性上的一个关键设计。批量写入Batching与限流参数该目标端的 Sink 继承自BatchSink其父类在 sink.py 中定义了基于 Singer SDK 的批处理生命周期start_batch()→process_record()逐条累积→process_batch()整体提交→ 批次完成。Salesforce Sink 的具体实现sinks.pymax_size 5000每个批次最多累积 5000 条记录达到该阈值即触发一次drain即一次 Bulk API 批量提交。这是继承自Sink.is_full判断current_size max_size的批次上限。process_record对每条记录调用transform_record做转换后暂存。process_batch通过getattr(self.sf_client.bulk, self.stream_name)取得目标对象的 Bulk 句柄按action提交整批数据随后校验返回结果并刷新会话。记录转换规则utils/transformation.py 中的transform_record负责在提交前把 Python 的日期时间对象转换为字符串保证记录可 JSON 序列化Salesforce 对象的date字段 →%Y-%m-%d如2026-09-24datetime字段 →%Y-%m-%dT%H:%M:%S.%LZISO 8601 风格末尾带Z表示 UTC如2026-09-24T07:29:33.000Z其他类型的值原样保留。字段类型正是来自前面describe()缓存的ObjectField.type因此转换精度与 Salesforce 对象元数据完全一致。allow_failures失败记录的容错语义allow_failures的语义在原文档中表述得比较精炼这里结合 sinks.py 的_validate_batch_result展开说明提交批次后目标端会遍历 Bulk API 返回的每条结果success True的记录计入records_processed失败记录计数records_failed并记录日志包含失败原因与对应记录内容日志输出形如{action} {成功数}/{总数} to {对象名}.。随后执行容错判断allow_failures为False默认只要批次中存在失败记录就抛出SalesforceApiError{N} error(s) in {action} batch commit to {对象名}.中断整个目标端执行。这里的「失败」针对的是「符合 schema、以合法动作执行的记录」在提交时未被 Salesforce 标记为 success 的情况——也就是说只有真正够资格写入却写失败的记录才会触发异常。allow_failures为True仅跳过这些写入失败但本应写入的记录目标端继续处理后续批次实现「允许部分失败、整体不中断」的容错语义。反过来说如果记录本身在 schema 校验阶段就不合格如字段不存在于目标对象、insert时携带Id目标端会在批次提交前直接抛错与allow_failures无关——这正是原文档强调「eligible」一词的原因。Limitations更换写入对象时的table_name用法原文档明确指出该目标端存在一个使用限制当上游源端与目标 Salesforce 对象的名称不一致时必须在配置中指定table_name参数且该参数必须是 Salesforce 对象名例如Accounts。其原理在 target.py 的_process_lines_internal中可见端倪当一行 Singer 消息带有stream字段且配置了table_name时目标端会把消息中的stream改写为table_nameif line_dict.get(stream) is not None and \ self.config[table_name] is not None: line_dict[stream] self.config[table_name]也就是说table_name充当了「源流 → 目标对象」的映射层无论上游流名是什么记录最终都会被写入该 Salesforce 对象。因此它必须与 Salesforce 中真实存在的对象名严格一致否则后续getattr(self.sf_client.bulk, self.stream_name)将拿不到有效对象。接入 Mage 管道的方式该目标端通过 __init__.py 中的Salesforce(Destination)子类接入 Mage 的管道执行框架_process(input_buffer)将state_file_path写入配置然后以TargetSalesforce(config..., logger...)实例读取输入文件流通过listen_override消费 Singer 消息test_connection()用配置的凭据执行一次真实的登录SalesforceAuth.from_credentials(...).login()用于 Mage 界面中的「测试连接」按钮__main__入口支持以argument_parser与batch_processingTrue独立运行该目标端。目标端在运行时会持续消费输入流中的 SCHEMA、RECORD、ACTIVATE_VERSION、STATE、BATCH 消息target.py并输出处理统计日志读取行数、record/batch/state 消息计数管道结束时通过state_path写出最新状态。配置模板位于 templates/config.json它给出了最小可用的字段骨架用户名/密码方式 insert动作 table_name留空实际使用时按上文的参数表补全即可。小结Salesforce 目标端是 Mage 数据集成体系中一个典型的「Singer Target 云服务 Bulk API」组合实现。配置上只需在 OAuth 与密码认证之间二选一配合domain与action两个必填项即可跑通工程上则通过「对象元数据驱动的 schema 校验」「5000 条一组的批量提交」「提交结果逐条核验与allow_failures容错」三层机制在保证写入效率的同时避免了脏数据悄悄入库。理解这些源码细节能帮助你在实际配置与排障时准确判断报错究竟是上游 schema 不匹配、动作不合法还是 Salesforce 提交阶段的数据质量问题。赞分享数据工程数据编排ETL任务调度批处理流处理数据集成后端【免费下载链接】mage-ai Build, run, and manage data pipelines for integrating and transforming data.项目地址https://gitcode.com/gh_mirrors/ma/mage-ai点击查看免费下载相关推荐Mage AI 数据集成 MSSQL 目标Destination配置与实现深度指南Mage AI 数据集成 MSSQL 目标Destination配置与实现深度指南 本指南以 Mage AI 开源仓库中的 MSSQL 目标连接器 mag数据工程数据编排ETL任务调度批处理流处理数据集成后端前端Mage 数据集成 BigQuery 目标端Destination完整配置指南与源码解析Mage 数据集成 BigQuery 目标端Destination完整配置指南与源码解析 BigQuery 是 Mage 开源数据集成框架内置的 SQL 类数据工程数据编排ETL任务调度批处理流处理数据集成后端前端Mage AI 集成 ClickHouse 目标DestinationSQLAlchemy 配置、Singer 加载链路与源码原理深度解析Mage AI 集成 ClickHouse 目标DestinationSQLAlchemy 配置、Singer 加载链路与源码原理深度解析 本文是围绕 M数据工程数据编排ETL任务调度批处理流处理数据集成后端前端上一篇AndroidLibs资源链接所有分类的GitHub仓库直达链接下一篇Wireshark源码构建缓存ccache使用配置创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考