《Redis入门指南》一5.3　Python与Redis

本节书摘来异步社区《Redis入门指南》一书中的第5章，第5.3节，作者： 李子骅 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

5.3 Python与Redis

Redis入门指南
Redis官方推荐的Python客户端是redis-py1。

5.3.1 安装

推荐使用pip install redis安装最新版本的redis-py，也可以使用easy_install：easy_install redis。

5.3.2 使用方法

首先需要引入redis-py：

import redis

下面的代码将创建一个默认连接到地址127.0.0.1，端口6379的Redis连接：

r = redis.StrictRedis()

也可以显式地指定需要连接的地址：

r = redis.StrictRedis(host=127.0.0.1, port=6379, db=0)

使用起来很容易，这里以SET和GET命令作为示例：

r.set(foo, bar) # True

r.get(foo) # bar

5.3.3 简便用法

1．HMSET/HGETALL
HMSET支持将字典作为参数存储，同时HGETALL的返回值也是一个字典，搭配使用十分方便：

r.hmset(dict, {name: Bob})

people = r.hgetall(dict)

print people # {name: Bob}

2．事务和管道
redis-py的事务使用方式如下：

pipe = r.pipeline()

pipe.set(foo, bar)

pipe.get(foo)

result = pipe.execute()

print result # [True, bar]

管道的使用方式和事务相同，只不过需要在创建时加上参数transaction=False：

pipe = r.pipeline(transaction=False)

事务和管道还支持链式调用：

result = r.pipeline().set(foo, bar).get(foo).execute()

# [True, bar]

5.3.4 实践：在线的好友

一般的社交网站上都可以看到用户在线的好友列表，如图 5-4 所示。在 Redis 中可以很容易地实现这个功能。

在线好友其实就是全站在线用户的集合和某个用户所有好友的集合取交集的结果。如果现在我们的网站就是使用集合类型键来存储用户的好友 ID 的，那么只需要一个存储在线用户列表的集合即可。如何判定一个用户是否在线呢？通常的方法是每当用户发送HTTP 请求时都记录下请求发生的时间，所有指定时间内发送过请求的用户就算作在线用户。这段时间根据场景不同取值也不同，以10分钟为例：某个用户发送了一个HTTP请求，9分钟后系统仍然认为他是在线的，但到了第11分钟就不算作他在线了。

在 Redis 中我们可以每隔 10 分钟就使用一个键来存储该 10分钟内发送过请求的用户ID列表。如12点20分到12点29分的用户ID存储在active.users:2中，12点30分到12点39分的用户ID存储在active.users:3中，以此类推（注意每次调用SADD命令增加用户ID时需要同时设置键的生存时间在50分钟内以防止命名冲突）。这样需要获得当前在线用户只需要读取当前分钟数对应的键即可。不过这种方案会造成较大的误差，比如某个用户在29分访问了一个页面，他的ID被记录在active.users:2键中，而在30分时系统会读取active.users:3键来获取在线用户列表，即该用户的在线状态只持续了1分钟而不是预想的10分钟。

这时就需要粒度更小的记录方案来解决这个问题。我们可以将原先每 10 分钟记录一个键改为每 1 分钟记录一个键，即在 12点29分访问的用户的ID将会被记录在active.users:29中。而判断一个用户是否在最近10分钟在线只需要判断其在最近的10个集合键中是否出现过至少一次即可，这一过程可以通过SUNION命令实现。

下面介绍使用Python来实现这一过程。我们这里使用了web.py框架，web.py是一个易于使用的Python网站开发框架，可以通过sudo pip install web.py来安装它。

代码如下：

# -*- coding: utf-8 -*-

import web

import time

import redis

r = redis.StrictRedis()

""" 配置路由规则

/: 模拟用户的访问

/online: 查看在线用户

urls = (

 /, visit,

 /online, online

app = web.application(urls, globals())

""" 返回当前时间对应的键名

如28分对应的键名是active.users:28

def time_to_key(current_time):

 return active.users: + time.strftime(%M, time.localtime(current_time))

""" 返回最近10分钟的键名

结果是列表类型

def keys_in_last_10_minutes():

 now = time.time()

 result = []

 for i in range(10):

 result.append(time_to_key(now - i * 60))

 return result

class visit:

 """ 模拟用户访问

 将用户的User agent作为用户的ID加入到当前时间对应的键中

 def GET(self):

 user_id = web.ctx.env[HTTP_USER_AGENT]

 current_key = time_to_key(time.time())

 pipe = r.pipeline()

 pipe.sadd(current_key, user_id)

 # 设置键的生存时间为10分钟

 pipe.expire(current_key, 10 * 60)

 pipe.execute()

 return User:\t + user_id + \r\nKey:\t + current_key

class online:

 """ 查看当前在线的用户列表

 def GET(self):

 online_users = r.sunion(keys_in_last_10_minutes())

 result = 

 for user in online_users:

 result += User agent: + user + \r\n

 return result

在代码中我们建立了两个页面。首先我们打开http://127.0.0.1:8080，该页面对应visit类，每次访问该页面都会将用户的浏览器User agent存储在记录当前分钟在线用户的键中，并将User agent和键名显示出来，如图5-5所示。

从键名可知该次访问是在某时26分钟的时候发生的。然后使用另一个浏览器打开该页面，如图5-6所示。

该次访问发生在29分钟。最后我们在37分钟时访问http://127.0.0.1:8080/online来查看当前在线用户列表，如图5-7所示。

结果与预期一样，在线列表中只有在29分钟访问的用户。

另一种方法：有序集合
有时网站本来就要记录全站用户的最后访问时间（如图5-8所示），这时就可以直接利用此数据获得最后一次访问发生在10分钟内的用户列表（即在线用户）。

我们使用一个有序集合来记录用户的最后访问时间，元素值为用户的ID，分数为最后一次访问的UNIX时间。要获得最近10分钟访问过的用户列表可以使用ZRANGEBYSCORE命令：

ten_minutes_ago = time.time() - 10 * 60

online_users = r.zrangebyscore(last.seen, ten_minutes_ago, +inf)

那么如何获取在线的好友列表呢（与上一个例子一样，此时依然使用集合类型存储用户的好友列表）？最直接的方法就是将上面存储在线用户列表的online_users变量存入 Redis 的一个集合类型的键中然后和用户的好友列表取交集。然而这种方法需要在服务端和客户端之间传输数据，如果在线用户多的话会有较大的网络开销，而且这种方法也不能通过Redis的事务功能实现原子操作。为了解决这些问题，我们希望实现一个方法将ZRANGEBYSCORE命令的结果直接存入一个新键中而不返回到客户端。思路如下：有序集合只有ZINTERSTORE和ZUNIONSTORE两个命令支持直接将运算结果存入键中，然而这两个命令都不能实现我们要的操作。所以只能换种思路：既然没办法直接把有序集合中某一分数段的元素存入新键中，那何不干脆复制一个新建，并使用ZREMRANGEBYSCORE命令将我们不需要的分数段的元素删除？

有了这一思路后下面的实现方法就很简单了，步骤如下。

（1）复制一个last.seen键的副本temp.last.seen，方法为ZUNIONSTORE temp.last.seen 1 last.seen。在这里我们巧妙地借助了ZUNIONSTORE命令实现了对有序集合类型键的复制过程，即参加求并集操作的元素只有一个，结果自然就是它本身。

（2）将不在线的用户（即10分钟以前的用户）删除。方法为ZREMRANGEBYSCOREtemp.last.seen 0 10分钟前的UNIX时间。

（3）现在temp.last.seen键中存储的就是当前的在线用户了。我们将其和用户的好友列表做交集：ZINTERSTORE online.friends 2 temp.last.seen user:42:friends。这里我们以ID为42的用户举例，user:42:friends是存储其好友的集合类型键2。

（4）使用ZRANGE命令获取online.friends键的值。

（5）收尾工作，删除temp.last.seen和online.friends键。因为temp.last.seen键可以被所有用户共用，所以可以根据情况将其缓存一段时间，在下次需要生成时先判断是否有该键，如果有则直接使用。

以上5步需要使用事务或脚本实现以保证每个步骤的原子性。

有的时候我们会使用有序集合键来存储用户的好友列表以记录成为好友的时间，此时第3步依然奏效。

虽然以上的步骤有些复杂，但是实现起来并不难，有兴趣的读者可以自己完成。

随着互联网业务对性能需求日益强烈，作为Key/Value存储的Redis具有数据类型丰富和性能表现优异的特点。如果能够熟练地驾驭它，不管是把它用做缓存还是存储，对很多大型应用都很多帮助。新浪作为世界上最大的Redis使用者，体会到了Redis为高并发在线业务带来的好处，但同时也遇到了很多挑战，新浪为推动Redis这种NoSQL产品在中国互联网产品技术架构中的使用做出了卓越的贡献。
《Redis入门指南》一导读 Redis如今已经成为Web开发社区中最火热的内存数据库之一，而它的诞生距现在不过才4年。随着Web 2.0的蓬勃发展，网站数据快速增长，对高性能读写的需求也越来越多，再加上半结构化的数据比重逐渐变大，人们对早已被铺天盖地地运用着的关系数据库能否适应现今的存储需求产生了疑问。
异步社区 异步社区(www.epubit.com)是人民邮电出版社旗下IT专业图书旗舰社区，也是国内领先的IT专业图书社区，致力于优质学习内容的出版和分享，实现了纸书电子书的同步上架，于2015年8月上线运营。公众号【异步图书】，每日赠送异步新书。