Redis 并发限流控制
2023-03-14 11:26:06 时间
令牌桶概念
令牌桶是一种用于控制请求速率的算法。它可以限制在特定时间内可以提交的请求数量,以避免超过系统的处理能力。令牌桶算法基于一个抽象的“令牌桶”,该桶中可以存放一定数量的令牌。在每个时间单位内,新的令牌会按一定的速率添加到桶中。如果一个请求需要处理,就需要从桶中消耗一定数量的令牌。如果桶中没有足够的令牌,则请求将被拒绝。令牌桶算法的优点在于它可以根据当前的系统负载动态调整请求的处理速率,并可以控制请求的速率和延迟。
优缺点
- 可能会导致请求延迟,如果请求速率较高,则桶中的令牌可能会被消耗完,导致新的请求无法被处理。
- 可以避免系统被大量请求涌入而导致的资源耗尽,并可以根据实际情况动态调整请求处理速率。
分析
核心参数:
- 桶的容量:它表示桶中最多能存放多少令牌。
- 令牌添加速率:每个时间单位内(1s)令牌桶中能添加的令牌数量。
- 每个请求需要的令牌数量:表示每个请求需要消耗的令牌数量,一般默认为 1。
其中令牌添加速率的实现方式为:维护一个时间戳,来记录上一次添加令牌的时间,以便在处理请求时计算令牌添加速率。
综上可以进行代码设计:
基于Redis+lua的分布式令牌桶限流
redis key 设计:
- Key[1] :记录桶的剩余容量
- Key[2] :记录桶上次刷新时间,以此推算当前需要填入的令牌数量
- 第一次:需要新填入的令牌数量 = (当前时间 - 0) * 速率
- 其他后:需要新填入的令牌数量 = (当前时间 - Key[2]) * 速率
综上:当前桶内可用令牌数 = 桶的剩余容量 + 需要新填入的令牌数量
参数设计:
- capacity:桶的容量:它表示桶中最多能存放多少令牌。
- rate:令牌添加速率:每个时间单位内(1s)令牌桶中能添加的令牌数量。
- requested:每个请求需要的令牌数量:表示每个请求需要消耗的令牌数量,一般默认为 1。
核心公式:
- fill_time:填充时间:capacity / rate,例如 10/2,即每秒填充 5 个令牌。
- ttl:redis key[1]、key[2] 的过期时间,填充时间*2;为什么是2倍:这样可以保证令牌桶中的令牌能够被充分利用,并避免过早的过期。例如,如果填充时间的值为 10 秒,那么过期时间的值就应该设置为 20 秒。这样,在令牌桶的生存周期内,用户就有足够的时间来使用令牌桶中的令牌。
LUA 脚本
redis.replicate_commands() 是 Redis 客户端的一个方法,它用于启用命令复制(command replication)。命令复制是指,在多个 Redis 实例之间复制命令,以保证数据的一致性。
例如,如果你在一个 Redis 集群中执行了一条写入命令,那么这条命令就会被复制到集群中的其他实例中。这样,就可以保证集群中的所有实例都保存了相同的数据,并且可以提供高可用性和数据安全性。
相关文章
- 数据孤岛是业务效率的无声杀手
- 2023展望:新的一年将给大数据分析领域带来什么?
- 阿里云ADB基于Hudi构建Lakehouse的实践
- 大数据在医疗保健领域的使用案例
- 微软增加说明:KB5021751 更新扫描已经 / 即将过时 Office 过程中不会触碰用户隐私
- 2022 Gartner全球云数据库管理系统魔力象限发布 腾讯云数据库入选
- 场景化、重实操,分享一个实时数仓实践案例
- Arctic的湖仓一体践行之路
- 分布式计算MapReduce究竟是怎么一回事?
- 淘系数据模型治理优秀实践
- 大数据分析对医疗保健的影响
- 当我们说大数据Hadoop,究竟在说什么?
- 2022年及以后大数据的五个发展趋势
- 网易严选离线数仓治理实践
- 2023 年数据治理趋势
- 一份“靠谱”的年度经营计划,你学会了吗?
- 漫谈对大数据的思考
- 测试一下,读懂数据的能力,你有吗?
- 用艺术的眼光探索数据之美
- 聊聊数据分析成果如何落地