用RxJava快速获取海量数据
试想,需要一些动态数据的时候,只要每次都请求网络就可以了。但是,更有效率的做法是,把联网得到的数据,缓存到磁盘或内存。
具体的说,计划如下:
-
偶尔的联网操作,只为获取***数据。
-
尽可能快的读取到数据(通过获取之前缓存的网络数据)。
我将通过使用 RxJava,来实现这个计划。
基本模式
为每一个数据源(网络,磁盘和内存)创建Observable<Data>,使用concat()和first()操作符,构造一个简单的实现方式。
concat()操作符持有多个Observable对象,并将它们按顺序串联成队列。 first()操作符只从串联队列中取出并发送***个事件。因此,如果使用concat().first(),无论多少个数据源,只有***个事件会被检索出并发送。
- // Our sources (left as an exercise for the reader)
- Observable<Data> memory = ...;
- Observable<Data> disk = ...;
- Observable<Data> network = ...;
- // Retrieve the first source with data
- Observable<Data> source = Observable
- .concat(memory, disk, network)
- .first();
这种模式的关键在于concat()操作符只有需要数据的时候才会订阅所有的Observable数据源。由于first()操作符会较早的停止检索队列,所以,如果存在缓存数据,就没有必要访问较慢的数据源。 也就是说,如果memory返回结果,就不必担心disk和network会被访问。相反地,如果内存和磁盘都没有数据,才执行网络请求。
注意concat()所持有的Observable数据源,是按照一个接一个的顺序被检索的。
持久化数据
很明显,下一步是缓存数据。如果不把网络请求后的结果缓存到磁盘,磁盘访问后的结果缓存到内存,那么这根本不就不叫缓存。接下来要写的代码就是,网络数据的持久化操作。
我的解决方案是,让每个数据源在发送完事件后,都保存或者缓存数据。
- Observable<Data> networkWithSave = network.doOnNext(new Action1<Data>() {
- @Override public void call(Data data) {
- saveToDisk(data);
- cacheInMemory(data);
- }
- });
- Observable<Data> diskWithCache = disk.doOnNext(new Action1<Data>() {
- @Override public void call(Data data) {
- cacheInMemory(data);
- }
- });
现在,如果你使用networkWithSave和diskWithCache,数据将会在加载后自动保存。
(这個策略的另一个优势在于networkWithSave和diskWithCache可以在任何地方被使用,不局限于我们的多数据模式下。)
陈旧的数据
不幸的,现在我们保存数据的那些代码,执行的有点过头了。无论数据是否过时,它总是返回相同的数据。我们希望做到,偶尔连接服务器抓取***的数据。
解决方法在于,使用first()操作符进行过滤。就是设置它拒绝接收毫无价值的数据。
- Observable<Data> source = Observable
- .concat(memory, diskWithCache, networkWithSave)
- .first(new Func1<Data, Boolean>() {
- @Override public Boolean call(Data data) {
- return data.isUpToDate();
- }
- });
现在,我们只需要发送被断定为***数据的事件就OK了。因此,只要有一个数据源的数据过期,就继续检索下一个数据源,直到找到***数据为止。
first()和takeFirst()操作符的比较
对于这种设计模式,first()和takeFirst()操作符可以二选其一。
两种调用方式的区别在于,如果所有数据源的数据均过期,没有任何的有效数据作为事件发送,first()会抛出NoSuchElementException异常(译者注:first()操作符均 return false),而takeFirst()操作符则直接调用完成操作,不会抛出任何异常。
使用哪个操作符,完全取决于是否需要明确处理缺失的数据。
代码示例
可以从这里检出,以上所有代码的实现示例:https://github.com/dlew/rxjava-multiple-sources-sample。
如果需要一个真实示例,检出 Gfycat App,它在获取数据的时候使用了这种模式。项目并没有使用以上展示的所有功能(因为不需要),但是,示范了concat().first()的基本用法。
相关文章
- 【技术种草】cdn+轻量服务器+hugo=让博客“云原生”一下
- CLB运维&运营最佳实践 ---访问日志大洞察
- vnc方式登陆服务器
- 轻松学排序算法:眼睛直观感受几种常用排序算法
- 十二个经典的大数据项目
- 为什么使用 CDN 内容分发网络?
- 大数据——大数据默认端口号列表
- Weld 1.1.5.Final,JSR-299 的框架
- JavaFX 2012:彻底开源
- 提升as3程序性能的十大要点
- 通过凸面几何学进行独立于边际的在线多类学习
- 利用行动影响的规律性和部分已知的模型进行离线强化学习
- ModelLight:基于模型的交通信号控制的元强化学习
- 浅谈Visual Source Safe项目分支
- 基于先验知识的递归卡尔曼滤波的代理人联合状态和输入估计
- 结合网络结构和非线性恢复来提高声誉评估的性能
- 最佳实践丨云开发CloudBase多环境管理实践
- TimeVAE:用于生成多变量时间序列的变异自动编码器
- 具有线性阈值激活的神经网络:结构和算法
- 内网渗透之横向移动 -- 从域外向域内进行密码喷洒攻击