TDengine 边云协同数据同步与汇聚的完整实践指南【免费下载链接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios项目地址: https://gitcode.com/GitHub_Trending/tde/TDengine导读在工业互联网IIoT场景中边缘设备负责局部数据的实时采集与告警而决策者需要基于全局数据形成整体认知。本文基于 TDengine 企业版系统讲解边云协同的数据同步与汇聚方案如何让边缘侧 TDengine 将数据上报至云端、如何选择推送 / 拉取 × 数据订阅 / 数据查询四种同步路径、如何通过 taosExplorer 零代码配置与 taosx 命令行工具完成跨集群同步并深入剖析 TMQ 订阅、DSN 连接串等底层机制帮助你快速搭建一套从生产车间到集团总部的分层数据汇聚架构。为什么需要边云协同在工业互联网场景中边缘设备往往只处理局部数据。例如一个生产车间内监测设备对某几项实时生产数据进行监控与告警但决策者无法仅凭边缘侧信息形成对整个系统的全局认知。因此实际应用中边缘设备需要将数据上报给云计算平台公有云或私有云在云端实现数据的汇聚与信息融合从而让决策者获得全局洞察。这种边云协同架构已成为支撑工业互联网发展的重要支柱。边缘侧与中心侧的资源特征差异决定了这种同步必须逐级上报、有选择地上报边缘侧对实时性要求高但数据量相对不大。一个生产车间的监测点数量小到几千个大到几万个。中心侧计算资源充足有能力汇聚边缘侧数据进行分析计算。选择性上报在整体数据量非常大的场景中必须有所取舍。例如边缘侧每秒采集一次的原始记录上报至中心侧时降采样为一分钟一次。这种降采样极大减少了数据量同时保留关键信息可用于长期数据的分析和预测。从历史演进看传统的工业数据采集流程是从工业逻辑控制器PLC采集数据进入 Historian工业实时库再支撑业务应用。这类系统多采用主备架构不易水平扩展且严重依赖 Windows 生态相对封闭难以适应现代工业互联网对数据实时汇聚与全局洞察的要求。TDengine 的边云协同解决方案TDengine 企业版提供了完整的边云协同能力具备以下显著特性高效数据同步支持每秒百万条数据的同步效率确保数据在边缘侧和云端之间快速、稳定地传输。多数据源对接兼容 AVEVA PI System、OPC-UA、OPC-DA、MQTT 等多种外部数据源实现数据的广泛接入和整合。灵活配置同步规则提供可配置的同步规则用户可根据实际需求自定义数据同步的策略和方式。断线续传与重新订阅支持断线续传和重新订阅功能确保在网络不稳定或中断时数据同步的连续性和完整性。历史数据迁移支持历史数据迁移方便用户在升级或更换系统时将历史数据无缝迁移到新系统。TDengine 的数据订阅功能TMQ为订阅方提供了极大的灵活性用户可以订阅一个数据库、一张超级表甚至是一个包含筛选条件的查询语句。这使得用户能够实现选择性的数据同步将真正关心的数据包括离线数据和乱序数据从一个集群同步到另一个集群满足各种复杂场景下的数据需求。从底层实现看TDengine 的订阅能力由 TMQTDengine Message Queue机制支撑。在 taosX 参考手册 中可以看到TMQ 订阅支持with.meta是否同步创建表、删除表、修改表等元数据操作默认false、group.id订阅组 ID必填、client.id客户端 ID选填、auto.offset.reset订阅起始位置、experimental.snapshot.enable是否同步已落盘到 TSDB 时序数据存储文件中的数据等参数这些参数共同构成了边云同步规则可配置的底层基础。选择同步方式TDengine 支持边缘节点主动向云端推送也支持云端从边缘节点拉取两种方向均可使用数据订阅或查询因此共有四种组合路径。选择原则如下场景特征推荐方案边缘节点较少且云端可以直接访问边缘节点云端拉取边缘节点较多或不允许从外部访问边缘节点边缘推送要求近实时同步数据订阅要求定期或按需同步查询下面分别介绍四种方式的配置方法。边缘推送与数据订阅当边缘节点较多、云端不便逐个访问或需要近实时同步时由边缘节点将数据推送到云端。配置步骤如下在云端创建用于接收边缘数据的数据库。在浏览器中打开边缘节点的 taosExplorer。在左侧主菜单中选择管理。打开数据复制标签页点击新增数据复制。选择要同步到云端的数据库。在目标 DSN中输入云端节点的 DSN。点击确认。边缘节点会将指定数据库的数据推送到云端。可以重复上述步骤以同步其他数据库或将数据同步到多个云端节点。边缘推送与数据查询该方式适合定期或按需同步的场景通过 taosX 命令行工具直接执行无需图形界面在云端创建用于接收边缘数据的数据库。在边缘节点打开终端。执行以下命令将数据推送到云端taosx run -f taos://edge-user:edge-passwordedge-ip:edge-port/edge-db -t taos://cloud-user:cloud-passwordcloud-ip:cloud-port/cloud-db -v例如以下命令使用默认用户名和密码把192.0.2.1:6030上边缘节点的sync_test数据库同步到198.51.100.1:6030上云端节点的edge_data数据库taosx run -f taos://root:taosdata192.0.2.1:6030/sync_test -t taos://root:taosdata198.51.100.1:6030/edge_data -v理解 taosX 的命令行格式与 DSNtaosX 的命令行参数格式为taosx -f from-DSN -t to-DSN 其它参数其中-f指定数据源Source DSN-t指定写入目标Sink DSN。DSN 采用 URL 风格driver[protocol]://[[username:password]host:port][/object][?p1v1[p2v2]]driver数据源驱动类型常见的有taos使用查询接口从 TDengine 获取数据、tmq启用数据订阅从 TDengine 获取数据、local数据备份或恢复、pi/opc/mqtt/kafka/influxdb/csv/parquet等。protocol协议修饰符如ws表示使用 WebSocketREST方式连接不使用ws时使用原生连接此时 taosx 所在服务器需安装 taosc。host:port数据源的地址和端口。object具体数据源可以是 TDengine 的数据库、超级表、表也可以是备份文件路径。username / password数据源的用户名和密码。paramsDSN 查询参数如start、end、mode、interval等。-v用于指定日志级别-v为 info-vv为 debug-vvv为 trace。taosx 还支持更丰富的同步粒度例如同步指定超级表taos://.../db1?stablesmeters、同步指定子表taos://.../db1?tablesmeters.d0,d1,table1、同步指定时间区间?start2022-10-10T00:00:00Z使用 RFC3339 格式并注意时区、持续同步?moderealtimerestro5minterval1sexcursion500ms其中excursion表示允许 500ms 的延时或乱序数据、以及历史 实时全量同步?modeall。更多细节参见 taosX 数据迁移。云端拉取与数据订阅当云端可以直接访问边缘节点且需要近实时同步时由云端主动订阅边缘节点的数据。配置步骤如下在浏览器中打开边缘节点的 taosExplorer。在左侧主菜单中选择主题。找到要同步到云端的数据库在获取 DSN列点击复制保存该 DSN。打开云端节点的 taosExplorer。在左侧主菜单中选择数据写入。打开数据写入任务标签页点击新增数据源。输入任务名称。在类型下拉列表中选择TDengine 数据订阅。在目标下拉列表中选择接收边缘数据的数据库如果没有合适的数据库点击创建数据库。在连接配置中把之前复制的 DSN 粘贴到Topic DSN。点击检查连通性确认云端可以访问边缘节点。在订阅选项的Client ID中输入唯一标识并按需配置其他选项。点击提交。云端会订阅边缘节点的指定数据库并将其数据写入云端目标数据库。可以重复上述步骤从更多边缘数据库或节点同步数据。完整的任务创建与监控步骤参见 TDengine 数据订阅数据源。订阅任务的进阶配置在 taosExplorer 的订阅任务中除了 Client ID 之外以下选项值得重点关注订阅初始位置可选择从最早数据earliest或最晚数据latest开始订阅默认为earliest。超时时间支持ms、s、m、h、d、M、y等时间单位。订阅组 IDgroup.id用于标识一个订阅组的任意字符串最大长度 192。同一个订阅组内的订阅者共享消费进度不指定时将使用随机生成的 group ID。同步已落盘数据启用后可以同步已经落盘到 TSDB 时序数据存储文件中的数据关闭则只同步保存在 WAL 中、尚未落盘的数据。同步删表 / 删数据操作控制是否将删表、删数据操作同步到目标数据库。压缩启用 WebSocket 压缩支持降低网络带宽占用。taosX 还支持在一个任务中订阅多个 Topic用逗号分隔如tmqws://root:taosdatalocalhost:6041/topic1,topic2,topic3并且可以直接用数据库名、超级表名或子表名代替 Topic 名——此时 taosX 会自动在源集群创建对应的订阅 Topic无需提前手工创建。在 DSN 中也可以显式指定group.id参数。云端拉取与数据查询该方式适合定期或按需同步由云端通过 SQL 查询主动拉取边缘数据打开云端节点的 taosExplorer。在左侧主菜单中选择数据写入。打开数据写入任务标签页点击新增数据源。输入任务名称。在类型下拉列表中选择TDengine 查询。在目标下拉列表中选择接收边缘数据的数据库如果没有合适的数据库点击创建数据库。在连接配置中选择WS协议填写边缘节点 taosAdapter 的主机名或 IP 地址、端口以及要同步的数据库。在认证中填写有权访问该数据库的边缘节点用户名和密码。点击检查连通性确认云端可以访问边缘节点。按需配置其他选项点击提交。云端会查询边缘节点的指定数据库并将数据写入云端目标数据库。详情参见 TDengine 查询数据源。查询迁移模式解析TDengine 查询数据源的底层由 taosX 通过 SQL 查询源集群数据并写入目标库实现taosX 以一个子表的一个时间段的数据作为查询的基本单元将要迁移的数据分批写入目标数据库。它支持三种迁移模式history 模式迁移指定时间范围内的数据若不指定时间范围则迁移截至创建任务前的所有数据迁移完任务即停止。realtime 模式同步从任务创建时间起之后的数据若不手动停止任务则持续运行。both 模式先执行 history 模式再执行 realtime 模式。每种模式下都可以指定是否迁移表结构选择always会先同步表结构再迁移数据子表数量多时耗时较长如果目标数据库已有与源库相同的表结构建议选择none以节省时间。任务运行过程中会持续保存进度信息到硬盘因此任务暂停后重启或从异常中自动恢复时不会从头开始执行。边云协同架构实践一个三层数据汇聚实例下图以一个具体的生产车间实例展示了在 TDengine 企业版中实现边云协同的完整架构。在生产车间设备产生的实时数据存储至部署在边缘侧的 TDengine部署在分厂的 TDengine 会去订阅生产车间的 TDengine 中的数据。为了更好地满足业务需求数据分析师可以设置订阅规则例如将数据进行降采样或只同步超过指定阈值的数据部署在集团侧的 TDengine 再订阅来自各座分厂的数据实现集团维度的数据汇聚后即可进行下一步的分析和处理。从图中可以看出这套架构形成了清晰的车间 → 分厂区域级节点→ 集团总集群分层订阅链路每个车间的 TDengine 节点将数据实时订阅同步到所属分厂的区域级 TDengine 节点各分厂节点再进一步上传至集团总 TDengine 集群最终支撑全局数据分析。该实现思路主要有以下几点优势零代码不需要编写一行代码只须在边缘侧和云端进行简单配置即可。自动化程度高数据跨区同步自动化程度大大提高错误率降低。无数据缓存数据无须缓存减少批量发送避免流量高峰阻塞带宽。规则可配置通过订阅方式同步数据规则可配置简单、灵活、实时性高。数据模型统一边云均采用 TDengine数据模型完全统一降低数据治理难度。制造业企业通常面临的一个痛点就是数据同步很多企业目前采用离线方式同步数据。TDengine 企业版实现了数据的实时同步且规则可配置能够避免定期传输大数据量导致的资源浪费和带宽阻塞风险。边云协同的优势打破数据孤岛支撑智能化升级传统产业的 IT 和 OTOperational Technology运营技术建设状况各异相较于互联网行业大多数企业在数字化方面的投入明显滞后。许多企业仍在使用过时的系统处理数据而这些系统往往相互独立形成了所谓的数据孤岛。在这样的背景下要让 AI 为传统产业注入新的活力首要任务是整合分散在各个角落的系统及其采集的数据打破数据孤岛的限制。然而这一过程充满挑战由于涉及多种系统和繁多的工业互联网协议数据汇聚并非简单的合并工作它要求对来自不同数据源的数据进行清洗、加工和处理以便将其整合到一个统一的平台上。当所有数据汇聚于一个系统时可以带来三方面显著收益处理效率提升访问和处理数据的效率显著提高企业在应对实时数据时能够更迅速地做出反应更有效地解决问题企业内外的工作人员也能实现高效合作。实时告警与异常监测数据汇聚后可以利用先进的第三方 AI 分析工具进行更优质的异常监测和实时告警。精准预测为产能、成本、设备维护等方面提供更精准的预测使决策者更好地把握整体宏观情况助力传统产业实现数字化转型和智能化升级。延伸阅读掌握 taosX 的完整命令、DSN 参数、服务模式配置/etc/taos/taosx.toml与监控指标taosX 参考手册了解数据订阅任务在 taosExplorer 中的完整创建与监控流程TDengine 数据订阅数据源了解TDengine 查询迁移任务的三种模式与高级选项TDengine 查询数据源深入 TMQ 数据订阅机制与 Topic 语法数据订阅【免费下载链接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios项目地址: https://gitcode.com/GitHub_Trending/tde/TDengine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考