如何实现丝滑般的数据库扩容
2023-03-14 09:41:43 时间
本文转载自微信公众号「sowhat1412」,作者sowhat1412。转载本文请联系sowhat1412公众号。
引言
初版
如果我们的线上服务不重要,一般来个单体的数据库DB来存储数据即可来。
单体应用
优点:简单,省事,方便。
缺点:数据并发性,稳定性都有问题。
进阶
随着数据量的不断增大,一般我们要对数据进行水平切分,水平切分的规则你可以简单根据用户id或者用户IP对数据进行取模,实现路由功能。当然也可以增加Slave跟KeepAlived来实现高可用。
主从+路由
但问题是,如果随着业务发展,目前我们2个库的性能扛不住了,还要继续水平拆分,造出更多库咋办?你一般是如何实现丝滑扩容的呢?
扩容
第一版:停机扩容
停机扩容
简单直接暴力的方法。
- APP通知用户在某个时间段停机维护升级。
- 新建若干个具有高可用的库。
- 停止当前服务,然后写个数据迁移程序,实现把老库数据全部迁移到新库中。
- 修改代码路由规则后重新对外提供服务。
优点:简单
缺点:中间停服务了,无法保证高可用。数据切换前跟切换过程中需确保无任何出错。
第二版:在线双写
在线双写
- 建立好新到数据库,然后接下来用户在写原有数据库到同时也写一份数据到我们的新库中。
- 写个数据迁移程序,实现旧库中的历史数据迁移到新库中。
- 迁移过程中,每次插入数据时,需检测数据的更新情况。比如,如果新的表中没有当前的数据,则直接新增;如果新表有数据并没有我们要迁移的数据新的话,我们就更新为当前数据,只能允许新的数据覆盖旧的数据,推荐使用Canal这样到中间件。
- 经过一段时间后需要校验新库跟旧库两边数据是否一样。如果检查到一样了,则直接切换即可。
优点:高可用了。
缺点:不够丝滑,来回挪动数据较大。
第三版:丝滑般扩容
目标:打算将原来到两个数据库扩容到4个。
第一步:修改配置
修改配置
修改配置信息,注意旧库跟新库之间到映射关系。确保扩容后数据可以正确路由到服务器。
- Id % 2 = 0 的库变为了 id % 4 = 0 或 id % 4 = 2
- Id % 2 = 1 的库变为了 id % 4 = 1 或 id % 4 = 3
第二步:reload配置
服务层reload配置,可以重启服务,也可以CLoud那样配置中心发送信号来实现重读配置文件。
至此,数据库的2 --> 4 扩容完成,原来是2个数据库实例提供服务,现在变为4个数据库实例提供服务。
第三步:收缩数据
丝滑扩容
此时 id % 4 = 0 跟 id % 4 = 2 的两个DB 还在同步数据。id % 4 = 1 跟 id % 4 = 3的两个DB还在同步数据。需做一些收尾操作。
- 接触上面的两个同步操作。
- 对新库新建高可用。
- 删除冗余数据,比如id % 4 = 0的机器中删除id % 4 = 2的冗余数据,只为id % 4 = 0的数据提供服务,其余三个类似操作。
- 至此实现成倍扩容,还避免来数据迁移。
相关文章
- AWS 一周回顾 – 2022 年 3 月 21 日
- AWS Lambda 现在支持高达 10 GB 的短暂存储空间
- Apache Hudi 0.7.0 和 0.8.0 新功能已在 Amazon EMR 中可用
- Amazon Redshift 的新功能 — 2021 年回顾
- 基于AWS Batch搭建量化回测系统
- 利用QuickSight实现AWS精细化成本管理
- 使用AWS 托管的普罗米修斯监控SAP HANA
- 使用 Amazon SageMaker Clarify 解释德甲赛况 xGoals
- 欢迎参加 AWS Pi Day 2022
- Python find()方法
- 使用 Amazon Glue DataBrew 对数据进行预处理
- mysql import java_Java执行Mysql导入
- 适用于 Amazon Redshift 的 AWS Data Exchange
- 面向 Oracle 的 Amazon RDS 自定义 – 数据库环境中的新控制功能
- 宣布推出面向数据科学家的完全托管式 RStudio on Amazon SageMaker
- 宣布推出适用于 API 的 AWS Data Exchange:查找、订阅和使用具有一致身份验证的第三方 API
- AWS Control Tower 新增功能 – 区域拒绝和防护机制可帮助您满足数据驻留要求
- 宣布推出 Amazon SageMaker Canvas — 面向业务分析师的可视化、无代码机器学习功能
- Amazon Kinesis Data Streams 按需模式 – 无需管理容量即可大规模流式传输数据
- AWS Lake Formation — 具有自动压缩功能的单元格级安全性和受控表正式发布