zl程序教程

您现在的位置是:首页 >  后端

当前栏目

java实现es的search after查询(三种方式详解)

JAVAES 实现 详解 查询 方式 三种 search
2023-09-27 14:28:03 时间

一、概念说明

1、form size查询

"浅"分页可以理解为简单意义上的分页。它的原理很简单,就是查询前20条数据,然后截断前10条,只返回10-20的数据。这样其实白白浪费了前10条的查询。

其中,from定义了目标数据的偏移值,size定义当前返回的数目。默认from为0,size为10,即所有的查询默认仅仅返回前10条数据。

性能上:越往后的分页,执行的效率越低。总体上会随着from的增加,消耗时间也会增加。而且数据量越大,就越明显!

注意:因为es是基于分片的,假设有5个分片,from=100,size=10。则会根据排序规则从5个分片中各取回110条数据,然后汇总成550条数据,最后选择第100条后面的10条数据返回给客户端。

2、scroll深分页

from+size查询在10000-50000条数据(1000到5000页)以内的时候还是可以的,但是如果数据过多的话,就会出现深分页问题。

scroll,就是为解决深分页问题,而出现,scroll查询每次只能获取一页的内容,然后会返回一个scroll_id。根据返回的这个scroll_id可以不断地获取下一页的内容,直到数据读取完毕或者scroll_id保留时间截止,所以scroll并不适用于有跳页的情景。

注意:请求的接口不再使用索引名了,而是 _search/scroll,其中GET和POST方法都可以使用。

根据官方文档的说法,scroll的搜索上下文会在scroll的保留时间截止后自动清除,但是我们知道scroll是非常消耗资源的,所以一个建议就是当不需要了scroll数据的时候,尽可能快的把scroll_id显式删除掉。

清除指定的scroll_id:

DELETE _search/scroll/scroll编号

清除所有的scroll:

DELETE _search/scroll/_all

3、search after深分页

scroll 的方式,官方的建议不用于实时的请求(一般用于数据导出),因为每一个 scroll_id 不仅会占用大量的资源,而且会生成历史快照,对于数据的变更不会反映到快照上。

search_after 分页的方式是根据上一页的最后一条数据来确定下一页的位置,同时在分页请求的过程中,如果有索引数据的增删改查,这些变更也会实时的反映到游标上。但是需要注意,因为每一页的数据依赖于上一页最后一条数据,所以无法跳页请求。

为了找到每一页最后一条数据,每个文档必须有一个全局唯一值,官方推荐使用 _uid 作为全局唯一值,其实使用业务层的 id 也可以。

二、curl命令操作

1、form size

GET test_dev/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "age": "24"
          }
        }
      ],
      "must_not": [],
      "should": []
    }
  },
  "from": 0,
  "size": 3,

  "track_total_hits":true,
  "sort": [],
  "aggs": {}
}

2、scroll

GET test_dev/_search?scroll=5m
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "age": "24"
          }
        }
      ],
      "must_not": [],
      "should": []
    }
  },
  "size": 10,
  "from": 0
}

参数说明:

  1. scroll=5m表示设置scroll_id保留5分钟可用。
  2. scroll查询时from必须为0。
  3. size决定后面每次调用_search搜索返回数据的数量

GET _search/scroll

{

        "scroll_id": "**************",

        "scroll": "5m"

}

3、search after

GET test/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "age": "24"
          }
        }
      ],
      "must_not": [],
      "should": []
    }
  },
  "from": 0,
  "size": 20,
  "sort": [
      "_id": {
        "order": "desc"
      }
    }
  ]
}

参数说明:

  1. 使用search_after必须要设置from=0。
  2. 这里我使用timestamp和_id作为唯一值排序。
  3. 我们在返回的最后一条数据里拿到sort属性的值传入到search_after。

往后的每次访问都携带上一次返回数据的最后一条的sort编号。

GET test/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "age": "24"
          }
        }
      ],
      "must_not": [],
      "should": []
    }
  },
  "size": 10,
  "from": 0,
  "search_after": [
    "b90cd1e6cbe7429d105dff4b2e516c62"
  ],
  "sort": [
      "_id": {
        "order": "desc"
      }
    }
  ]
}

三、代码实现

1、form size

太简单,此处省略10000字。

该代码加上后,可以让返回值的条数,跨越9999的限制。

searchSourceBuilder .trackTotalHits(true);

2、scroll

劳烦大驾,请移步到以下:

Java实现es的scroll滚动查询_聶小白的博客-CSDN博客_es java 滚动查询public void selectData() throws IOException { int i=1,size=2; SearchRequest searchRequest = new SearchRequest("index"); Scroll scroll = new Scroll(TimeValue.timeValueMinutes(5L)); searchRequest.scroll(scroll); S...https://blog.csdn.net/m0_50008952/article/details/121633350

3、search after

//第一次请求获取数据
@Test
public void test01() throws IOException {
    SearchRequest searchRequest = new SearchRequest();
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    TermQueryBuilder queryBuilder = QueryBuilders.termQuery("age", 24);
    searchRequest.indices("person");
    searchSourceBuilder.query(queryBuilder).sort("id",SortOrder.ASC);
    searchSourceBuilder.from(0).size(3);
    searchRequest.source(searchSourceBuilder);
    SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
    //处理数据获取最后一条的sortid
    SearchHit[] hits = searchResponse.getHits().getHits();
    Object[] sortValues1 = hits[hits.length - 1].getSortValues();
    System.out.println("最后一条数据sort_id为:"+Arrays.toString(sortValues1));
    for (SearchHit hit : searchResponse.getHits().getHits()) {
        Object[] sortValues = hit.getSortValues();
        System.out.println(Arrays.toString(sortValues));
        System.out.println(hit.getSourceAsString());
    }
}


代码执行返回值:
最后一条数据sort_id为:[14]
[7]
{"nama":"牛二","age":"24","id":7}
[13]
{"nama":"李彬","age":"24","id":13}
[14]
{"nama":"菠萝","age":"24","id":14}


//往后的每次请求都携带上一次的sort_id进行访问。
@Test
public void test02() throws IOException {
    TermQueryBuilder queryBuilder = QueryBuilders.termQuery("age", 24);
    Object[] objects= new Object[]{"14"};
    //第二次请求,携带sortid进行查询。
    SearchRequest searchRequest = new SearchRequest();
    searchRequest.indices("person");
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    searchSourceBuilder.query(queryBuilder).sort("id",SortOrder.ASC).searchAfter(objects);
    searchSourceBuilder.from(0).size(3);
    searchRequest.source(searchSourceBuilder);
    SearchResponse search = client.search(searchRequest, RequestOptions.DEFAULT);
    for (SearchHit hit : search.getHits().getHits()) {
        System.out.println(Arrays.toString(hit.getSortValues()));
    }
}