数据交换平台的双内存设计
2023-09-14 09:07:57 时间
一、数据交换平台
数据交换平台的项目目的,就是为了解决异构数据库之间的数据交换问题。
这个平台的设计。參考了淘宝开源的DataX、大众点评的Wormhole。等,受到的启示非常大。
项目由小到大,逐步形成平台化发展,差点儿汇总了公司后台db之间的全部数据同步,任务个数有近500个。每天数据量达3亿。
眼下,平台执行稳定。推广部署到其它分公司。
趁这个机会。整理了一些文档,拿出来分享。也算是回馈感恩吧。
上一篇文档,说了一些需求和初步设计。
这一篇重点说下。两块共享内存的设计细节,直接上图。
二、任务实时数据:Shmrt
三、任务具体參数:Shmtd
相关文章
- Java内存模型FAQ(七)同步会干些什么呢
- static的使用场景、静态内存的申请
- java学习-----jvm的内存分配及运行机制
- iOS/OS X 内存管理(二):借助工具解决内存问题
- php之 Zend 内存管理器
- centos8平台使用pidstat监控cpu/内存/io
- 面试- 阿里-. 大数据题目- 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?
- 【JVM与内存调优】JVM的平台无关性与语言无关性介绍
- 【华为云技术分享】容易造成单片机内存溢出的几个陷阱
- VB编程:利用地址偏移访问内存-42
- 【Linux 内核 内存管理】虚拟地址空间布局架构 ④ ( 内存描述符 mm_struct 结构体成员分析 | hiwater_rss | start_code | start_brk )
- RK3399平台开发系列讲解(内存篇)15.18、Linux swap的实现
- RK3399平台开发系列讲解(内存篇)15.17、物理内存的组织形式
- RK3399平台开发系列讲解(内存篇)15.13、图解kmem_cache结构体
- RK3399平台开发系列讲解(内存篇)15.11、如何对内核内存泄漏做些基础的分析?
- RK3399平台开发系列讲解(内存篇)15.9、内存泄漏排查方法
- RK3399平台开发系列讲解(内存篇)15.8、free -m命令查看内存占用情况介绍
- RK3399平台开发系列讲解(内存篇)15.6、OOM触发机制
- RK3399平台开发系列讲解(内存篇)15.2、 Page Cache是怎样产生和释放的?
- Linux 搞懂物理内存和虚拟内存