使用Redis导入ES实现高效数据迁移（把redis数据导入es）

导入elasticsearch（ES）是数据迁移的一项重要业务任务，ES以全文搜索技术为基础，在企业间流转的人脉、事件、财务账目等数据挖掘中被广泛使用。然而，当数据量比较大时，传统的插入代码会为ES引入性能问题，这时候，可以考虑使用Redis导入ES，实现高效数据导入。

Redis是一种开源的内存数据库，拥有简单易用的接口和高效的读写性能，而且占用内存要比ES少很多，所以可以作为一个中间介质，在ES和传统数据源之间传输数据。Redis存储的是一个数据队列，将数据陆续放入Redis队列中，再用ES的bulk API（批量导入）一次性导入到ES中，就可以大大提高导入效率。

下面是一个使用Redis导入ES的示例代码，欢迎大家试用：

我们需要建立Redis和ES的连接：

`Python

redis_client = redis.StrictRedis(host= 127.0.0.1 , port=6379, db=0)

es = Elasticsearch(hosts=[{ host : localhost , port : 9200}])

然后，向Redis中放入数据，数据为字典格式：```Python
data = { "field_1": "value-1",
 "field_2": "value-2"}
redis_client.rpush("documents", json.dumps(data))

用ES的bulk API将Redis中的数据导入ES：

`Python

while True:

data_raw = redis_client.lpop( documents )

if not data_raw:

break

data = json.loads(data_raw)

es.bulk(index= es-index , body=[

{

_index : es-index ,

_type : documents ,

_source : data

}

])

使用Redis导入ES可以有效提高数据导入效率，是一项非常有用的技术应用，节省成本、提升业务效率，值得我们重视起来。