用REDIS实现分布式缓存
第一:Redis 是什么?
Redis是基于内存、可持久化的日志型、Key-Value数据库 高性能存储系统,并提供多种语言的API.
第二:出现背景
数据结构(Data Structure)需求越来越多, 但memcache中没有, 影响开发效率 性能需求, 随着读操作的量的上升需要解决,经历的过程有:数据库读写分离(M/S)– 数据库使用多个Slave– 增加Cache (memcache)– 转到Redis 解决写的问题:
水平拆分,对表的拆分,将有的用户放在这个表,有的用户放在另外一个表;
可靠性需求
Cache的"雪崩"问题让人纠结
Cache面临着快速恢复的挑战
开发成本需求
Cache和DB的一致性维护成本越来越高(先清理DB, 再清理缓存, 不行啊, 太慢了!)
开发需要跟上不断涌入的产品需求
硬件成本最贵的就是数据库层面的机器,基本上比前端的机器要贵几倍,主要是IO密集型,很耗硬件;
一致性维护成本越来越高;
BerkeleyDB使用B树,会一直写新的,内部不会有文件重新组织;这样会导致文件越来越大;大的时候需要进行文件归档,归档的操作要定期做;
这样,就需要有一定的down time;
支持strings, hashes, lists, sets, sorted sets
string是很好的存储方式,用来做计数存储。sets用于建立索引库非常棒;
2. K-V 存储 vs K-V 缓存
新浪微博目前使用的98%都是持久化的应用,2%的是缓存,用到了600+服务器
Redis中持久化的应用和非持久化的方式不会差别很大:
非持久化的为8-9万tps,那么持久化在7-8万tps左右;
当使用持久化时,需要考虑到持久化和写性能的配比,也就是要考虑redis使用的内存大小和硬盘写的速率的比例计算;
3. 社区活跃
Redis目前有3万多行代码, 代码写的精简,有很多巧妙的实现,作者有技术洁癖
Redis的社区活跃度很高,这是衡量开源软件质量的重要指标,开源软件的初期一般都没有商业技术服务支持,如果没有活跃社区做支撑,一旦发生问题都无处求救;
Redis基本原理
redis持久化(aof) append online file:
写log(aof), 到一定程度再和内存合并. 追加再追加, 顺序写磁盘, 对性能影响非常小
1. 单实例单进程
Redis使用的是单进程,所以在配置时,一个实例只会用到一个CPU;
在配置时,如果需要让CPU使用率最大化,可以配置Redis实例数对应CPU数, Redis实例数对应端口数(8核Cpu, 8个实例, 8个端口), 以提高并发:
单机测试时, 单条数据在200字节, 测试的结果为8~9万tps;
2. Replication
过程: 数据写到master– master存储到slave的rdb中– slave加载rdb到内存。
存储点(save point): 当网络中断了, 连上之后, 继续传.
Master-slave下第一次同步是全传,后面是增量同步;、
3. 数据一致性
长期运行后多个结点之间存在不一致的可能性;
开发两个工具程序:
1.对于数据量大的数据,会周期性的全量检查;
2.实时的检查增量数据,是否具有一致性;
对于主库未及时同步从库导致的不一致,称之为延时问题;
对于一致性要求不是那么严格的场景,我们只需要要保证最终一致性即可;
对于延时问题,需要根据业务场景特点分析,从应用层面增加策略来解决这个问题;
例如:
1.新注册的用户,必须先查询主库;
2.注册成功之后,需要等待3s之后跳转,后台此时就是在做数据同步。
第四:分布式缓存的架构设计
1.架构设计
由于redis是单点,项目中需要使用,必须自己实现分布式。基本架构图如下所示:
2.分布式实现
通过key做一致性哈希,实现key对应redis结点的分布。
一致性哈希的实现:
l hash值计算:通过支持MD5与MurmurHash两种计算方式,默认是采用MurmurHash,高效的hash计算。
l 一致性的实现:通过java的TreeMap来模拟环状结构,实现均匀分布
3.client的选择
对于jedis修改的主要是分区模块的修改,使其支持了跟据BufferKey进行分区,跟据不同的redis结点信息,可以初始化不同的 ShardInfo,同时也修改了JedisPool的底层实现,使其连接pool池支持跟据key,value的构造方法,跟据不同 ShardInfos,创建不同的jedis连接客户端,达到分区的效果,供应用层调用
4.模块的说明
l 脏数据处理模块,处理失败执行的缓存操作。
l 屏蔽监控模块,对于jedis操作的异常监控,当某结点出现异常可控制redis结点的切除等操作。
整个分布式模块通过hornetq,来切除异常redis结点。对于新结点的增加,也可以通过reload方法实现增加。(此模块对于新增结点也可以很方便实现)
对于以上分布式架构的实现满足了项目的需求。另外使用中对于一些比较重要用途的缓存数据可以单独设置一些redis结点,设定特定的优先级。另外对 于缓存接口的设计,也可以跟据需求,实现基本接口与一些特殊逻辑接口。对于cas相关操作,以及一些事物操作可以通过其watch机制来实现。
声明:所有博客服务于分布式框架,作为框架的技术支持及说明,框架面向企业,是大型互联网分布式企业架构,后期会介绍linux上部署高可用集群项目。
欢迎大家一起学习研究相关技术
2021年你还不会Shiro?----10.使用redis实现Shiro的缓存 上一篇文章已经总结了使用ehCache来实现Shiro的缓存管理,步骤也很简单,引入依赖后,直接开启Realm的缓存管理器即可。如果使用Redis来实现缓存管理其实也是一样的,我们也是需要引入redis的依赖,然后开启缓存传入自定义的redis的缓存管理器就行。区别是我们需要为自定义的redis缓存管理器提供自定义的缓存管理类。这个缓存管理类中需要使用到redisTemplate模板,这个模板我们也是需要自己定义。
异步结果通知实现——基于Redis实现,我这操作很可以 前段时间,我在内存中实现了一个简单异步通知框架。但由于没有持久化功能,应用重启就会导致数据丢失,且不支持分布式和集群。今天这篇笔记,引入了 Redis 来解决这些问题,以下是几点理由: 数据结构丰富,支持 List、Sorted Set 等 具有持久化功能,消息的可靠性能得到保证 高可用性,支持单机、主从、集群部署 项目中已使用,接入成本更低 基于 Redis 实现延时队列也有几种方法,展开详细讲讲。
相关文章
- [Redis]windows下redis的安装和启动
- Flink-Sink(Kafka、Redis、ES、JDBC)
- 分布式缓存技术redis学习(一)——redis简介以及linux上的安装
- SpringBoot2.0 基础案例(13):基于Cache注解模式,管理Redis缓存
- c#实例化继承类,必须对被继承类的程序集做引用 .net core Redis分布式缓存客户端实现逻辑分析及示例demo 数据库笔记之索引和事务 centos 7下安装python 3.6笔记 你大波哥~ C#开源框架(转载) JSON C# Class Generator ---由json字符串生成C#实体类的工具
- (Windows Maven项目)Redis数据库的安装和操作实现
- PHP+Redis 定长队列(redis.call)
- 使用bitnamiredis-sentinel部署Redis 哨兵模式
- 分布式系列教程(06) -分布式Redis缓存 (集群)
- 分布式系列教程(05) -分布式Redis缓存 (持久化)
- memcached&redis等分布式缓存的实现原理
- Spring Cache + Redis;用Spring Cache的注解自动管理Redis缓存
- 实时流计算、Spark Streaming、Kafka、Redis、Exactly-once、实时去重
- 顶级“Redis 笔记”, 缓存雪崩 + 击穿 + 穿透 + 集群 + 分布式锁,NB 了
- redis
- PHP 开发 APP 接口 学习笔记与总结 - Redis 缓存
- (error) LOADING Redis is loading the dataset in memory
- 《Redis实战》一2.4 数据行缓存
- 《Redis入门指南(第2版)》一3.4 列表类型
- 缓存技术比拼:Redis与Memcached的同与不同
- Spring集成Redis集群(含spring集成redis代码)
- SpringMVC使用Redis作为缓存提供者
- Redis 错误1067:进程意外终止,Redis不能启动,Redis启动不了
- Redis缓存与数据库双写一致性
- Redis for Windows(C#缓存)安装和使用
- springboot+拦截器+redis+注解实现接口放重复提交
- Redis-缓存击穿
- redis 3.0.1 在CentOS上的安装
- Redis Cluster(Redis 3.X)设计要点
- Redis(1.20)redis慢查询,redis slowlog
- Django使用Redis进行缓存详细最全流程
- Java 实现访问Redis哨兵(六)
- 【Redis】一文搞懂 Redis 中的缓存穿透、缓存击穿、缓存雪崩及其解决方案