Flink CDC 同步mysql数据
2023-09-27 14:28:03 时间
前言
在实际开发中,需要做数据同步的场景是非常多的,比如不同的应用之间不想直接通过RPC的方式进行数据交互,或者说下游应用需要检测来自上游应用的某些业务指标数据的变化时,这些都可以考虑使用数据同步的方式完成;
数据同步通常分为离线同步,和准实时同步,以mysql为例,当下游应用需要通过监控上游的mysql某个表的数据变化来完成自身的业务时,数据同步的实现方式可以有很多种,比如通过canal的方式在应用层做监控,这也是比较常用的一种方式;
在大数据场景下,我们可以考虑另一种方式,即Flink CDC,这也是一种比较通用的数据同步解决方案;
不管是使用哪种方式,其底层的核心原理都是通过监控mysql的binlog的日子变化,从而进行日子解析,得到变化的数据;
下面通过Flink CDC提供的2种常用的数据同步方式,演示下如何使用Flink CDC同步mysql的数据;
github配置参考地址:https://github.com/ververica/flink-cdc-connectors
前置准备
1、安装mysql服务,并开启binlog;
注意,这里的: binlog_format一定要选择为 row的模式
相关文章
- PHP+Mysql 实现数据库增删改查
- mysql主从切换选择
- mysql参数配置文件
- mysql存储过程3-1 实现每天定时从A表按天同步到B表(含建表,同步数据,删除旧数据)
- java+s2sh+mysql报刊订阅系统系统
- 大数据实践-数据同步篇tungsten-relicator(mysql->mongo)
- MySQL上云同步脚本-Python3
- MySQL数据库范式
- 1月14日科技资讯|京东回应「被薅 7000 万、项目组全体开除」;微信朋友圈屏蔽支付宝集五福;MySQL 8.0.19 发布
- MySQL 半同步复制模式说明及配置示例 - 运维小结
- mysql数据实时同步到Elasticsearch
- 细说mysql索引
- Mysql 跨库数据迁移 -- python 脚本
- servlet+mysql实现的学生评教系统(角色:学生、教师、管理员 功能:评教、修改密码、评教规则管理、评教结果查看、学生管理、教师管理、班级管理、学生信息、评教结果可视化展示等)
- MySQL 同步之otter+canal
- 京东云开发者|mysql基于binlake同步ES积压解决方案
- mysql主从同步配置
- 大数据Canal(三):使用Canal同步MySQL数据
- 线上mysql内存持续增长直至内存溢出被killed分析(已解决)
- docker环境安装mysql、canal、elasticsearch,基于binlog利用canal实现mysql的数据同步到elasticsearch中
- MySQL 数据同步
- redis与mysql数据同步
- 在Mysql中如何显示所有用户?