zl程序教程

您现在的位置是:首页 >  数据库

当前栏目

大数据-数仓-数据采集-业务数据(三):增量同步采集【MySQL-(Maxwell)->Kafka-(Flume)->HDFS】【每日增量:每天只将业务数据中新增及变化的数据同步到数据仓库】

mysqlKafka同步数据HDFS 业务 每日 变化
2023-09-27 14:20:41 时间

 在这里插入图片描述

在这里插入图片描述

增量同步策略

  • 解释:每日增量,就是每天只将业务数据中的新增及变化的数据同步到数据仓库中,
  • 适用表数据量大,且每天只会有新的数据插入的场景,
  • 特点采用每日增量的表,通常会在首日先进行一个全量同步。
  • 例如:退单表、订单状态表、支付流水表、订单详情表、活动与订单关联表、商品评论表

Maxwell的实现原理很简单,就是将自己伪装成Slave,并遵循Mysql主从复制的协议,从master中同步数据。