提供了编程的基础技术教程

zl程序教程

您现在的位置是：首页 >  数据库

当前栏目

redis大key删除

Redis 删除 Key
2023-09-11 14:21:08 时间

一、直接删除大Key的风险

DEL命令在删除单个集合类型的Key时，命令的时间复杂度是O(M)，其中M是集合类型Key包含的元素个数。

DEL keyTime complexity: O(N) where N is the number of keys that will be removed. When a key to remove holds a value other than a string, the individual complexity for this key is O(M) where M is the number of elements in the list, set, sorted set or hash. Removing a single key that holds a string value is O(1).

生产环境中遇到过多次因业务删除大Key，导致Redis阻塞，出现故障切换和应用程序雪崩的故障。测试删除集合类型大Key耗时，一般每秒可清理100w~数百w个元素; 如果数千w个元素的大Key时，会导致Redis阻塞上10秒可能导致集群判断Redis已经故障，出现故障切换；或应用程序出现雪崩的情况。

说明：Redis是单线程处理。单个耗时过大命令，导致阻塞其他命令，容易引起应用程序雪崩或Redis集群发生故障切换。所以避免在生产环境中使用耗时过大命令。

Redis删除大的集合键的耗时, 测试估算，可参考；和硬件环境、Redis版本和负载等因素有关

Key类型Item数量耗时
Hash ~100万 ~1000ms
List ~100万 ~1000ms
Set ~100万 ~1000ms
Sorted Set ~100万 ~1000ms

当我们发现集群中有大key时，要删除时，如何优雅地删除大Key？

二、如何优雅地删除各类大Key

从Redis2.8版本开始支持SCAN命令，通过m次时间复杂度为O(1)的方式，遍历包含n个元素的大key.这样避免单个O(n)的大命令，导致Redis阻塞。 这里删除大key操作的思想也是如此。

2.1  Delete Large Hash Key

通过hscan命令，每次获取500个字段，再用hdel命令，每次删除1个字段。Python代码：

def del_large_hash():
 
r = redis.StrictRedis(host='redis-host1', port=6379)
 
large_hash_key ="xxx"
 
cursor = '0'
 
while cursor != 0:
 
cursor, data = r.hscan(large_hash_key, cursor=cursor, count=500)
 
for item in data.items():
 
r.hdel(large_hash_key, item[0])

 

2.2  Delete Large Set Key

删除大set键，使用sscan命令，每次扫描集合中500个元素，再用srem命令每次删除一个键Python代码：

def del_large_set():
 
r = redis.StrictRedis(host='redis-host1', port=6379)
 
large_set_key = 'xxx'
 
cursor = '0'
 
while cursor != 0:
 
cursor, data = r.sscan(large_set_key, cursor=cursor, count=500)
 
for item in data:
 
r.srem(large_size_key, item)

 

2.3  Delete Large List Key

删除大的List键，未使用scan命令； 通过ltrim命令每次删除少量元素。Python代码：

 
def del_large_list():
 
r = redis.StrictRedis(host='redis-host1', port=6379)
 
large_list_key = 'xxx'
 
while r.llen(large_list_key)>0:
 
r.ltrim(large_list_key, 0, -101)

 

2.4  Delete Large Sorted set key

删除大的有序集合键，和List类似，使用sortedset自带的zremrangebyrank命令,每次删除top 100个元素。Python代码：

def del_large_sortedset():
 
r = redis.StrictRedis(host='large_sortedset_key', port=6379)
 
large_sortedset_key='xxx'
 
while r.zcard(large_sortedset_key)>0:
 
r.zremrangebyrank(large_sortedset_key,0,99)

三、Redis Lazy Free

应该从3.4版本开始，Redis会支持lazy delete free的方式，删除大键的过程不会阻塞正常请求。

【最佳实践】

核心思路是拆分，通过上面相关方法，分批获取，分批删除；

（1）关于任意类型key删除

#!/bin/bash
source /etc/profile
next_position=0
del_key_file='6381_del_key.txt'
redis_port=6381

while read line
do
while [ 1 ]
do
key_info=`redis-cli -a bfengzlgdredis2017 -p $redis_port scan ${next_position} match $line count 10000`
next_position=`echo ${key_info}|awk '{print $1}'`
echo ${key_info}|awk '{$1=null;print }'|sed 's/ /\n/g'|sed '/^$/d'|sed 's#^#del #g' >> all_${redis_port}.txt


if [ ${next_position} -eq 0 ];then
   break
fi
done
done<$del_key_file
 
6381_del_key.txt 这个文件里存放的是需要被删除的key 信息，或通配符信息

（2）单个key前缀的所有key查找

获取 userplaylist: 开头的所有key   

#!/bin/bash
source /etc/profile
next_position=0
#del_key_file='6379_del_key.txt'
redis_port=6379

while [ 1 ]
do
key_info=`redis-cli -a bfengzlgdredis2017 -p $redis_port scan ${next_position} match userplaylist:* count 10000`
next_position=`echo ${key_info}|awk '{print $1}'`
echo ${key_info}|awk '{$1=null;print }'|sed 's/ /\n/g'|sed '/^$/d'|sed 's#^#del #g' >> all_${redis_port}.txt


if [ ${next_position} -eq 0 ];then
   break
fi
done

 

（3）关于应用删除key命令

#!/bin/bash
source /etc/profile
cd `dirname $0`

f_del_key(){
redis_port=$1
key_name=$2

all_number=`ls -l ${key_name}*|wc -l`
for i in `ls  |grep ${key_name}`
do 
 redis-cli -a bfengzlgdredis2017 -p ${redis_port} --pipe <$i
date "+%F-%T"
echo "${all_number}-${i}"
sleep 0.3
done
}

main(){

f_del_key 6383 6383_del_key_
}

main

 【清理 set 大key实践 】

直接使用 spop，再结合一个 shell 爽飞

　　（4）spop（随机删除）：spop setkey del_count

 

【使用 unlink 代替 del】

Redis UNLINK 命令跟 DEL 命令十分相似：用于删除指定的 key 。

就像 DEL 一样，如果 key 不存在，则将其忽略。

但是，该命令会执行命令之外的线程中执行实际的内存回收，因此它不是阻塞，而 DEL 是阻塞的。这就是命令名称的来源：UNLINK 命令只是将键与键空间断开连接。实际的删除将稍后异步进行。

参考：redis-cli -a 12345678qwert --scan --pattern "refresh:*" |  xargs -L 10   redis-cli -a 12345678qwert -n 0 unlink

【参考文档】

转自：https://blog.csdn.net/weixin_33970449/article/details/92369718

相关文章