Redis(1.8)Redis与mysql的数据库同步(缓存穿透与缓存雪崩)
【1】缓存穿透与缓存雪崩
【1.1】缓存和数据库间数据一致性问题
分布式环境下(单机就不用说了)非常容易出现缓存和数据库间的数据一致性问题,针对这一点的话,只能说,如果你的项目对缓存的要求是强一致性的,那么请不要使用缓存。
我们只能采取合适的策略来降低缓存和数据库间数据不一致的概率,而无法保证两者间的强一致性。
合适的策略包括 合适的缓存更新策略,更新数据库后要及时更新缓存、缓存失败时增加重试机制,例如MQ模式的消息队列。
【1.2】缓存击穿(缓存穿透)问题
缓存击穿表示恶意用户模拟请求很多缓存中不存在的数据(数据库也不存在,导致查询为null),由于缓存中都没有,导致这些请求短时间内直接落在了数据库上,导致数据库异常。
这个我们在实际项目就遇到了,有些抢购活动、秒杀活动的接口API被大量的恶意用户刷,导致短时间内数据库宕机了,好在数据库是多主多从的,hold住了。
把数据库查询为null的情况,也缓存到redis中去,给其 key 赋值 '' 空,到时候在程序里再次查询的时候,该key就存在了,直接返回空字符串或Null给查询端。
使用互斥锁排队
业界比价普遍的一种做法,即根据key获取value值为空时,锁上,从数据库中load数据后再释放锁。若其它线程获取锁失败,
则等待一段时间后重试。这里要注意,分布式环境中要使用分布式锁,单机的话用普通的锁(synchronized、Lock)就够了
布隆过滤器(推荐)
bloomfilter就类似于一个hash set,用于快速判某个元素是否存在于集合中,其典型的应用场景就是快速判断一个key是否存在于某容器,不存在就直接返回。
【1.3】缓存雪崩问题
缓存在同一时间内大量键过期(失效),接着来的一大波请求瞬间都落在了数据库中导致连接异常。
解决方案:
1、也是像解决缓存穿透一样加锁排队,实现同上;
2、建立备份缓存,缓存A和缓存B,A设置超时时间,B不设值超时时间,先从A读缓存,A没有读B,并且更新A缓存和B缓存;
【1.4】缓存并发问题
这里的并发指的是多个redis的client同时set key引起的并发问题。比较有效的解决方案就是把redis.set操作放在队列中使其串行化,必须的一个一个执行,具体的代码就不上了,当然加锁也是可以的,至于为什么不用redis中的事务,留给各位看官自己思考探究。
【2】Redis与Mysql数据同步解决方案
方案1(普通)
读:读redis,没有数据就读mysql,将MySQL数据保存到缓存中。
写:写mysql,同时让redis缓存失效(删除key,过期)
缺点:数据量巨大,更新频繁的数据写入无能为力。比如数量巨大,每个变跟状态又很频繁,这样很容易把数据库写挂。
方案2(binlog)
基于binlog使用mysql_udf_redis,将数据库中的数据同步到Redis。
缺点: mysql_udf_redis是有人实现的同步数据到Redis的功能,需要学习成本,第三方的插件不稳定。
方案3(MQ或定时任务)
MQ.队列同步,变跟数据2份,使用消息队列,一份给Redis消费,一份给Mysql消费。
定时任务 后台定时任务,定时刷新Redis中信息到数据库。
【2.1】数据库与缓存读写模式策略
【2.2】数据库与缓存双写情况下导致数据不一致问题
场景一
场景一解决方案
场景二
场景二解决方案
这里有一个优化点,如果发现队列里有一个查询请求了,那么就不要放新的查询操作进去了,用一个while(true)循环去查询缓存,循环个200MS左右,如果缓存里还没有则直接取数据库的旧数据,一般情况下是可以取到的。
(1)读请求时长阻塞
由于读请求进行了非常轻度的异步化,所以一定要注意读超时的问题,每个读请求必须在超时间内返回,该解决方案最大的风险在于可能数据更新很频繁,导致队列中挤压了大量的更新操作在里面,然后读请求会发生大量的超时,最后导致大量的请求直接走数据库,像遇到这种情况,一般要做好足够的压力测试,如果压力过大,需要根据实际情况添加机器。
(2)请求并发量过高
这里还是要做好压力测试,多模拟真实场景,并发量在最高的时候QPS多少,扛不住就要多加机器,还有就是做好读写比例是多少
(3)多服务实例部署的请求路由
可能这个服务部署了多个实例,那么必须保证说,执行数据更新操作,以及执行缓存更新操作的请求,都通过nginx服务器路由到相同的服务实例上
(4)热点商品的路由问题,导致请求的倾斜
某些商品的读请求特别高,全部打到了相同的机器的相同丢列里了,可能造成某台服务器压力过大,因为只有在商品数据更新的时候才会清空缓存,然后才会导致读写并发,所以更新频率不是太高的话,这个问题的影响并不是很大,但是确实有可能某些服务器的负载会高一些。
参考:
Redis缓存穿透、缓存雪崩、redis并发问题分析
redis做mysql的缓存,怎么把redis数据和mysql数据同步?
相关文章
- Mysql远程连接数据库报错排查:pymysql.err.OperationalError: (2003, "Can't connect to MySQL server on '**.**.**.**' (timed out)")
- Mysql授权允许远程访问解决Navicat for MySQL连接mysql提示客户端不支持服务器请求的身份验证协议;考虑升级MySQL客户端
- 【C/C++学院】(23)Mysql数据库编程--C语言编程实现mysql客户端
- 【MySQL】批量删除mysql中数据库中的表
- MySQL按照汉字的拼音排序,mysql汉字排序
- 3类数据库的联动:mysql、mongodb、redis
- 连接Mysql提示Can’t connect to local MySQL server through socket的解决方法
- Redis-Cluster实战--5.使用redis-cli安装
- MYSQL错误解决:ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)
- ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (111)
- Redis-Cluster实战--5.使用redis-cli安装
- mysql数据向Redis快速导入
- 【高并发简单解决方案】redis缓存队列+mysql 批量入库+php离线整合
- Mysql 如果有多个可选条件怎么加索引_MySQL|mysql-索引
- Atitit postgresql data type 数据类型与mysql对应表 数据库常用数据类型 PostgreMysql 整数intgreterInt 小数numericFL
- 〖Python 数据库开发实战 - Python与Redis交互篇④〗- 利用 redis-py 实现集合与有序集合的常用指令操作
- redis启动报错,需要关闭快照,报错-MISCONF Redis is configured to save RDB snapshots-解决
- Python:mysql-connector-python模块对MySQL数据库进行增删改查
- MySQL Study之--Mysql无法启动“mysql.host”
- Mysql的mysqldump详解 mysql数据库备份和导入
- Mysql数据库的mysql Schema 究竟有哪些东西& 手工注入的基础要领
- Linux MySQl 5.7.17 MySQL ERROR 1366(HY000):Incorrect string value 解决方法
- mysql 数据库 分表后 怎么进行分页查询?Mysql分库分表方案?
- MySQL数据库篇之mysql的快速启动和停止
- 【最全最详细Docker】用docker部署mysql、tomcat、nginx、redis 环境部署
- 【中间件】Redis与MySQL双写一致性如何保证?--缓存和数据库在双写场景下一致性是如何保证的
- 【MySql】MySQL数据库--什么是MySQL的回表 ?
- redis单线程原理___Redis为何那么快-----底层原理浅析