利用redis-lua+python实现接口限流
2023-09-14 09:12:23 时间
公司目前在市面上有大量的机器在运转。每天对接到服务器就有数百万的请求过来,无形中消耗了带宽和计算资源。可以通过一定的策略来过滤掉部分请求,保证服务器的稳定。
扩展阅读:
1.当然这层逻辑既可以落到接入层,也可以落到业务层。这里为了不影响线上其它业务,保证系统的稳定和代码可追溯。也方便实行最小验证,我把它落在业务层。
2.限流的算法有多种,例如:计数器、令牌桶、漏桶。这次用到的是计数器,也相对简单。
计数器算法就是在某个时间周期内,接入的请求数自增。超过上限的请求全部抛掉。
1.首先创建lua脚本(ratelimit.lua)
local key = KEYS[1]
local limit = tonumber(ARGV[1])
local expire_time = ARGV[2]
local current = tonumber(redis.call('get', key) or "0")
if current > 0 then
if current + 1 > limit then
return 0
else
redis.call("INCR", key)
return 1
end
else
redis.call("SET", key, 1)
redis.call("EXPIRE", key, expire_time)
return 1
end
2.获取lua脚本的摘要
redis-cli script load "$(cat ratelimit.lua)"
"123456789b24c879d926f3a38cb21a3fd9062e55"
3.定义装饰器
# 异步限流策略 2个/10秒
# key_str: 部门:项目:路由:ID 例: a:b:Test:ratelimit:1234
# 装饰器这里的参数都是根据Lua定义的参数来配置的
# sha1: 就是redis-cli script load "$(cat ratelimit.lua)"的返回值
# 1: 表示key的个数
# limit: 限制次数
# expire: key过期时间
def async_ratelimit(key_str, limit=2, expire=10, sha1="123456789b24c879d926f3a38cb21a3fd9062e55"):
def decorator(func):
async def wrap(*args, **kw):
self = args[0]
key = key_str % (self.__class__.__name__, func.__name__, self.get_argument('id'))
raw = redis.evalsha(sha1, 1, key, limit, expire)
if raw == 0:
return self.send_json(errcode=10001, errmsg='接口请求频率过高')
else:
await func(*args, **kw)
return wrap
return decorator
示例
@async_ratelimit('a:b:%s:%s:%s')
async def ratelimit(self, method):
try:
mac_id = self.get_argument('id')
except Exception as e:
logging.error(e)
return self.send_json(errcode=10001)
return self.send_json()
相关文章
- 【Python】python 多线程两种实现方式
- Python库资源大全【收藏】
- python-django-redis拒绝连接问题解决_20191121
- 详解用python实现简单的遗传算法
- Atitit python3.0 3.3 3.5 3.6 新特性 Python2.7新特性1Python 3_x 新特性1python3.4新特性1python3.5新特性1值得关注的新特性1Python3.6新特性2 Python2.7新特性Python 2.7的新特性 - 牛皮糖NewPtone - 博客园.html Python 3_x 新特性及10大变化_python_脚本之家.htm
- 华为OD机试 - 积木最远距离(Java & JS & Python)
- Python编程:利用python编程实现对基于时间序列的数据(dataframe格式)按照指定时间范围进行单方向关联,不存在的日期补充为默认的NaN
- Python语言学习:利用python语言实现调用内部命令(python调用Shell脚本)—命令提示符cmd的几种方法
- Python的IDE之PyCharm:PyCharm的使用技巧图文教程(修改Pycharm默认风格颜色、编辑器内代码注释区域的颜色、编辑器内的Python Interpreter等)之详细攻略
- ubuntu搭建【python】运行环境
- Python可视化数据分析01、python环境搭建
- 〖Python自动化办公篇⑯〗 - PPT 文件自动化 - PPT 段落的使用
- 〖Python 数据库开发实战 - Redis篇③〗- Mac系统下通过homebrew安装Redis数据库
- 〖Python 数据库开发实战 - Redis篇⑥〗- Redis数据结构 - 字符串类型
- 〖Python 数据库开发实战 - Redis篇⑧〗- Redis数据结构 - 列表类型
- 〖Python 数据库开发实战 - Python与Redis交互篇③〗- 利用 redis-py 实现列表数据类型的常用指令操作
- 〖Python 数据库开发实战 - Python与Redis交互篇⑦〗- 利用 redis-py 实现缓存学生考试信息
- 〖Python 数据库开发实战 - Python与Redis交互篇⑧〗- 利用 redis-py 实现缓存观众投票数据信息案例
- Python浮点数转整数int、round、ceil、floor
- Python编程:twine模块打包python项目上传pypi
- python 输出上个月的月末日期
- python IDLE 背景修改 IDLE (Python GUI)
- 第1章 MySQL Python连接器的介绍
- 使用rdb文件进行redis数据迁移--python脚本
- Redis进阶学习10---redis最佳实践
- opencv-python视频处理之多个视频合并
- python 实现简单的二维卷积