《博主主页》CSDN主页奈斯DBIF Club社区主页奈斯、《擅长领域》️数据库阿里云AnalyticDB(云原生分布式数据仓库)、Oracle、MySQL、SQLserver、NoSQL(Redis)️运维平台与工具Prometheus监控、DataX离线异构同步工具如果觉得文章对你有所帮助欢迎点赞收藏加关注如标题所示这篇将全程通过Web界面来配置不同数据源之间的同步任务 。将以Oracle → MySQL的数据同步为例详细介绍只要掌握了这个案例的配置逻辑与关键参数其他任意数据源之间的同步如 MySQL → PostgreSQL、SQL Server → Kafka 等均可轻松上手 DataX全系列文章实时更新 序号文章1【DataX篇】剖析离线全量异构同步工具DataX以及图形化界面DataX-Web了解其核心架构设计以及功能上的限制2【DataX篇】DataX的两种部署方式以及DataX-Web可视化管理平台的搭建3【DataX篇】通过对比DTS、Canal/Debezium数据同步工具原理探讨DataX的设计局限4【DataX篇】MySQLReader插件介绍5【DataX篇】MySQLWriter插件介绍6【DataX篇】基于DataX-Web可视化管理平台实现各个数据源之间的数据同步7【DataX篇】通过在DataX-Web配置的Oracle→MySQL同步案例理解并发通道、分片字段、TaskGroup(任务组)、Task(子任务)配置单个表从Oracle同步至MySQL的案例1部署完成后在浏览器中输入http://ip:port/index.html就可以访问对应的主界面ip为datax-admin部署所在服务器ipport为datax-admin 指定的运行端口默认95272输入用户名 admin 密码 123456 就可以直接访问系统3创建一个同步项目项目管理相当于一个“文件夹”或“命名空间”用于按业务线对数据同步任务进行分类管理和权限隔离让任务组织更清晰。4添加数据源添加数据源没什么好说的想要在各个数据库之间同步数据如Oracle同步至MySQL那么就需要先连接对应的数据源。添加Oracle数据源添加MySQL数据源5配置DataX任务模版执行器选择由哪个执行器节点运行任务。集群部署时可配合路由策略如轮询、故障转移指定具体节点。任务描述为任务模板起一个易懂的名称方便管理。Cron表达式配置任务的定时调度策略决定任务的执行周期。这里特别说明下配置Cron让任务自动执行时必须搭配where条件限定同步范围否则每次触发都会重复搬运全量数据导致主键冲突DataX只做离线T1不做实时增量⚠️详细说明参考下面的7任务管理阻塞处理当任务到达调度时间但上一次任务还未结束时选择是串行等待还是并行运行等处理方式。所属项目为这个同步任务模版选择创建好的“同步项目”。6构建DataX同步任务步骤一构建reader步骤二构建writer步骤三字段映射步骤四构建这里需要只保留一种并发设置去掉byte: 1048576如果有多种并发设置会在启动任务的时候报错- 在有总bps限速条件下单个channel的bps值不能为空也不能为非正数引用任务模版7任务管理这里没有启动自动同步任务因为这里案例构建的 DataX 同步任务是全表数据同步并没有配置where条件。如果启用了就会导致一到“下次触发时间”就会全量同步一次从而引发主键冲突或者数据重复。DataX其核心原理是“批量数据抽取 数据转换 批量数据加载”的框架是一个面向批处理的、离线的、全量数据同步工具。它的目标是离线稳定高效地搬运全量数据而非处理实时流不是一个实时的增量同步工具。如果启动自动同步任务但没有配置where条件一旦到达Cron表达式定义的下次触发时间DataX就会执行全量同步这将导致问题后果表现主键冲突数据无法写入任务失败报主键重复错误数据重复目标表出现重复记录业务查询出现多条相同数据性能下降全表扫描重复搬运资源浪费同步时间变长很多人误以为DataX支持增量同步这其实是一个常见的理解偏差。准确来说概念DataX是否支持说明实时增量同步❌ 不支持DataX不是实时流工具无法监听binlog或实时捕获变更离线T1同步✅ 支持通过where条件筛选数据实现伪增量全量同步✅ 支持DataX最擅长、最稳定的场景DataX实现伪增量的原理所谓DataX的增量同步本质上是利用where条件筛选数据每次执行时读取某个时间范围的数据实现的是离线T1数据同步例如where:create_time date_sub(current_date(), interval 1 day)这个配置实现的是每天同步前一天的数据而不是实时捕获新增数据DataX适合的场景场景说明示例全量数据迁移一次性搬运所有数据一次性搬运所有数据 系统升级、换库离线数仓建设每天T1同步昨日数据业务库→Hive历史数据归档批量迁移过期数据MySQL→OSS批量数据交换异构数据源批量对拷Oracle→MySQLDataX不适合的场景场景说明推荐工具实时数据同步秒级延迟要求Canal、Debezium、Flink CDC变更数据捕获监听binlog实时同步Canal、Maxwell流式计算实时处理数据流Flink、Spark Streaming✅ 正确使用DataX实现增量同步如果想用DataX实现增量效果必须做到必须配置where条件where:update_time ${lastSyncTime}配合外部系统记录上次同步时间DataX本身不记录同步状态需要借助DataX-Web或外部调度系统维护同步点位接受T1延迟DataX同步的是截止到当前时间之前的数据无法做到实时捕获新增数据8查看同步日志关于同步生成的日志在下篇文章中会详细介绍文章直通车【DataX篇】通过在DataX-Web配置的Oracle→MySQL同步案例理解并发通道、分片字段、TaskGroup(任务组)、Task(子任务)。这里演示的10万行的表。在实际测试时亿级别的表3.7亿行也可以在数小时内完成。9查看资源监控DataX在执行多个同步任务的时候比较消耗内存所以DataX—Web也做出了监控服务器CPU和内存的图形化界面这篇文章通过《配置单个表从Oracle同步至MySQL》的案例让大家对数据同步的整个配置流程有了清晰的认识。其实无论是哪种数据源操作方法都完全一致——只需在图形界面中简单几步就能搞定比繁琐的命令行操作简直丝滑太多啦
