几种主流数据同步ETL工具的比较 数据同步工具有哪些

几种主流数据同步ETL工具的比较(TurboDX、Goldengate、Kettle、DataX)

一、 设计与架构

比较维度: 适用场景

1) TurboDX: 异构数据库实时复制同步、读写分离(支持视图增量)、备份、实时ETL/ELT、数据汇聚、数据分发、文件同步分发、WS/REST服务对接、大数据MPP/NoSQL加载、数据跨网络节点安全传输

2) Oracle Goldengate: 主要用于数据库复制、备份、容灾，不支持视图

3) Kettle: 面向数据仓库建模传统批处理ETL工具

4) DataX：面向数据仓库建模传统批处理ETL工具

比较维度: 产品架构

1) TurboDX: 批流一体化处理架构、内存多线程流式处理、非侵入性架构、高容错机制设计、完全web界面任务配置和监控管理；简单易用、适应变化、灵活性高，可无缝升级为高可用性集群

2) Oracle Goldengate: 任务的源端读与目标端写进程分别运行在两个实例进程中，中间通过TCP网络协议传输私有文件格式数据；可做集群部署，规避单点故障，但需依赖于外部环境，如OracleRAC等

3) Kettle: C/S客户端组件流程设计，批处理模式，线上生产环境没有管理界面；主从结构非高可用，扩展性差，架构容错性低，灵活性差

4) DataX：脚本方式执行任务，批处理模式、没有图形开发界面和监控界面；支持单机部署和集群部署两种方式

比较维度: 使用方式

1) TurboDX: 完全web图形化界面“点击式”任务设计和监控管理，简单易用，不需要额外的开发和生产发布；无需在源库端或目标库端部署代理程序，对源库性能影响几乎为零；高级企业版支持HA高可用性集群和多租户SaaS服务平台的使用方式

2) Oracle Goldengate: 没有图形化的界面，操作皆为命令行方式，可配置能力差

3) Kettle: C/S客户端模式，开发和生产环境需要独立部署，任务的编写、调试、修改都在本地，再发布到生产环境，线上生产环境没有界面，需要通过日志来调试、debug，效率低，费时费力

4) DataX: 是以脚本的方式执行任务的，需要完全吃透源码才可以调用，学习成本高，没有图形开发化界面和监控界面，运维成本相对高

比较维度: 元数据目录及智能分析

1) TurboDX: 具有字段识别、关系分析、主数据梳理等智能元数据分析功能，交换任务基于元数据厍配置

2) Oracle Goldengate: 无此功能

3) Kettle: 无此功能

4) DataX: 无此功能

比较维度: 任务场景类型

1) TurboDX: 支持：1.全量任务；2.实时增量任务(日志CDC)；3. 全量+增量任务(源库不停服模式)； 4. 动态复制任务(DDL+DML); 5. 交换整合任务（表、视图增量触发方式可选：CDC触发、标识位、时间戳、触发器、全量比对)；6. 自定义SQL-EL任务; 7. WS/RSET服务对接; 8、文件交换任务; 9. 数据文件加载任务

2) Oracle Goldengate: 只支持CDC增量(日志模式)的复制同步任务，不支持全量任务；按表交换整合的任务(ETL)需另购ODI产品；不支持二进制文件的复制同步任务，不支持数据文件加载数据库/仓库的任务场景；没有数据比对的功能

3) Kettle: 支持批处理的任务(ETL)，不支持日志模式的CDC增量复制同步任务；不支持二进制文件的复制同步任务场景，没有数据比对的任务功能

4) DataX: 支持批处理的任务(ETL)，不支持日志模式的CDC增量复制同步任务；不支持二进制文件的复制同步任务场景，没有数据比对的任务功能

二、 功能比较

比较维度: CDC机制

1) TurboDX: 事务增量CDC基于无侵入的日志模式(如Oracle redo、Mysql binlog），按表/视图增量支持CDC触发、标识位、时间戮、触发器、全量比对等多种方式可选

2) Oracle Goldengate: 主要是基于日志

3) Kettle: 基于时间戳、触发器等

4) DataX：离线批处理

比较维度: 对数据库的影响

1) TurboDX: 基于日志流的采集方式无需在源库端部署任务代理程序(Agent)及建任何表，对源数据库无侵入和影响压力几乎为零

2) Oracle Goldengate: 源端数据库需要预留额外的缓存空间

3) Kettle: 对数据库表结构有要求，存在一定侵入性

4) DataX：通过sql select 采集数据，对数据源有压力

比较维度: 自动断点续传

1) TurboDX: 支持；且集群版中任务转移后，任务在新节点会自动从断点续传

2) Oracle Goldengate: 支持

3) Kettle: 不支持

4) DataX：不支持

比较维度: 数据转换

1) TurboDX: 图形界面化自动化的schema mapping和智能化的异构数据类型匹配；支持schema级、表级、字段级的映射、函数处理；支持记录级的数据过滤

2) Oracle Goldengate: 需手动配置异构数据间的映射

3) Kettle: 手动配置schema mapping及代码逻辑处理

4) DataX：通过编写json脚本进行schema mapping映射及代码函数处理

比较维度: 数据清洗、处理

1) TurboDX: 图形化界面支持的预制函数库和拖拉函数方式，并且用户可自定义处理函数和出口程序。提供各种预制脱敏函数

2) Oracle Goldengate: 轻量清洗

3) Kettle: 围绕数据仓库的数据需求进行建模计算，清洗功能相对复杂，需要手动编程

4) DataX：需要根据自身清晰规则编写清洗脚本，进行调用

比较维度: 冲突策略

1) TurboDX: 支持用户勾选：1.以源为主；2. 以目标为主；3. 自定义策略及智能规则

2) Oracle Goldengate: 支持

3) Kettle: 不支持

4) DataX：不支持

比较维度: 流量控制

1) TurboDX: 全量和增量均支持流量调节

2) Oracle Goldengate: 不支持

3) Kettle: 不支持

4) DataX：不支持

比较维度: 写端加载优化

1) TurboDX: 支持用户勾选CDC串行、batched、或协同并行加载方式，以提升CDC事务增量的写入目标库的性能

2) Oracle Goldengate: 支持事务增量的串行及并行加载方式

3) Kettle: 不支持按事务增量的加载，不保证表增量的时间次序性

4) DataX：不支持按事务增量的加载，不保证表增量的时间次序性

比较维度: 双向双写场景

1) TurboDX: 支持

2) Oracle Goldengate: 支持

3) Kettle: 不支持

4) DataX：不支持

比较维度: 数据发布/订阅服务

1) TurboDX: 支持

2) Oracle Goldengate: 可支持，如通过第三方通道服务如Kafka

3) Kettle: 不支持

4) DataX：不支持

比较维度: Oracle视图实时增量

1) TurboDX: 支持Oracle视图实时增量同步并保证数据一致性，解决了重型应用软件读写分离的痛点

2) Oracle Goldengate: 不支持

3) Kettle: 不支持

4) DataX：不支持

比较维度: WS/REST服务双向对接

1) TurboDX: 支持

2) Oracle Goldengate: 不支持

3) Kettle: 不支持

4) DataX：不支持

比较维度: NoSQL、Kafka、MQ

1) TurboDX: 支持Hadoop（Hdfs、Hive、HBase、Kudu)、MongoDB、Elasticsearch、Kafka，及消息中间件MQ等

2) Oracle Goldengate: 支持Kafka

3) Kettle: 不支持Kafka

4) DataX：不支持Kafka

比较维度: 监控预警通知

1) TurboDX: 可视化的过程实时监控，提供多样化的图表，辅助运维，故障问题可实时预警和邮件通知(短信通知接口可定制)；提供对异常数据的回补功能，数据比对功能可生成报告

2) Oracle Goldengate: 无图形化的界面预警和通知

3) Kettle: 依赖日志定位故障问题，往往只能是后处理的方式，缺少过程预警

4) DataX：依赖工具日志定位故障问题，没有图形化运维界面和预警机制，需要自定义开发

比较维度: HA高可用性/负载集群

1) TurboDX: 支持。集群任务节点互为热备，实现高可用性和负载均衡，及任务故障转移/自动恢复

2) Oracle Goldengate: 需要与OracleRAC集成来支持

3) Kettle: 不支持

4) DataX：不支持

比较维度: 多租户SaaS服务平台使用模式

1) TurboDX: 支持

2) Oracle Goldengate: 不支持

3) Kettle: 不支持

4) DataX：不支持

比较维度: 部署位置

1) TurboDX: 本地、云端、跨云

2) Oracle Goldengate: 本地

3) Kettle: 本地

4) DataX：本地、云端

比较维度: 跨网络节点分布部署

1) TurboDX: 支持，通过内置的数据通道服务

2) Oracle Goldengate: 支持

3) Kettle: 不支持

4) DataX：不支持

三、 特性比较

比较维度: 数据实时性

1) TurboDX: 实时，秒级延时

2) Oracle Goldengate: 实时

3) Kettle: 非实时、定时

4) DataX：定时

比较维度: 应用难度

1) TurboDX: 低

2) Oracle Goldengate: 中

3) Kettle: 高

4) DataX：高

比较维度: 是否需要二次开发

1) TurboDX: 不需要

2) Oracle Goldengate: 需要

3) Kettle: 需要

4) DataX：需要

比较维度: 易用性

1) TurboDX: 高

2) Oracle Goldengate: 中

3) Kettle: 低

4) DataX：低

比较维度: 稳定性

1) TurboDX: 高

2) Oracle Goldengate: 高

3) Kettle: 低

4) DataX：中

四、 其它

比较维度: 实施及售后服务

1) TurboDX: 产品简单易用，用户或实施服务商可自我实施，原厂商售后技术支持服务

2) Oracle Goldengate: 第三方的实施和售后服务

3) Kettle: 开源软件，需要客户自行实施、维护

4) DataX：需要客户自行实施、开发、维护

比较维度: 产地

1) TurboDX: 国产自主

2) Oracle Goldengate: 美国

3) Kettle: 国外开源软件

4) DataX：阿里开源软件