Java中Elasticsearch 实现分页方式(三种方式)

目录
  • ES 简介
  • ES 的特点:
  • 一、from + size 浅分页
  • 二、scroll 深分页
    • scroll删除
  • 三、search_after 深分页

    ES 简介

    Elasticsearch 是一个基于 Lucene 实现的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。Elasticsearch是用java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。Elasticsearch用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

    ES 的特点:

    分布式实时文件存储,可以将每一个字段都编入索引,使其可以被检索

    可以作为一个大型分布式集群(数百台服务器)技术,处理PB级数据

    Elasticsearch不是什么新技术,主要是将全文检索、数据分析以及分布式技术,合并在了一起,才形成了独一无二的ES。

    下面介绍下Java中Elasticsearch 实现分页的 3 种方式,还有谁不会??

    一、from + size 浅分页

    "浅"分页可以理解为简单意义上的分页。

    它的原理很简单,就是查询前20条数据,然后截断前10条,只返回10-20的数据。这样其实白白浪费了前10条的查询。

    GET test_dev/_search
    {
      "query": {
        "bool": {
          "filter": [
            {
              "term": {
                "age": 28
              }
            }
          ]
        }
      },
      "size": 10,
      "from": 20,
      "sort": [
        {
          "timestamp": {
            "order": "desc"
          },
          "_id": {
            "order": "desc"
          }
        }
      ]
    }
    

    其中,from定义了目标数据的偏移值,size定义当前返回的数目。默认from为0,size为10,即所有的查询默认仅仅返回前10条数据。

    在这里有必要了解一下from/www.cppcns.comsize的原理:

    因为es是基于分片的,假设有5个分片,from=100,size=10。则会根据排序规则从5个分片中各取回100条数据数据,然后汇总成500条数据后选择最后面的10条数据。

    做过测试,越往后的分页,执行的效率越低。总体上会随着from的增加,消耗时间也会增加。而且数据量越大,就越明显!

    二、scroll 深分页

    from+size查询在10000-50000条数据(1000到5000页)以内的时候还是可以的,但是如果数据过多的话,就会出现深分页问题。

    为了解决上面的问题,elasticsearch提出了一个scroll滚动的方式。

    scroll 类似于sql中的cursor,使用scroll,每次只能获取一页的内容,然后会返回一个scroll_id。根据返回的这个scroll_id可以编程客栈不断地获取下一页的内容,所以scroll并不适用于有跳页的情景。

    GET test_dev/_search?scroll=5m
    {
      "query": {
        "bool": {
          "filter": [
            {
              "term": {
                "age": 28
              }
            }
          ]
        }
      },
      "size": 10,
      "from": 0,
      "sort": [
        {
          "timestamp": {
            "order": "desc"
          },
          "_id": {
            "order": "desc"
          }
        }
      ]
    }
    
    • scroll=5m表示设置scroll_id保留5分钟可用。
    • 使用scroll必须要将from设置为0。
    • size决定后面每次调用_search搜索返回的数量

    然后我们可以通过数据返回的_scroll_id读取下一页内容,每次请求将会读取下10条数据,直到数据读取完毕或者scroll_id保留时间截止:

    GET _search/scroll
    {
      "scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAJZ9Fnk1d......",
      "scroll": "5m"
    }
    

    注意:请求的接口不再使用索引名了,而是 _search/scroll,其中GET和POST方法都可以使用。

    scroll删除

    根据官方文档的说法,scroll的搜索上下文会在scroll的保留时间截止后自动清除,但是我们知道scroll是非常消耗资源的,所以一个建议就是当不需要了scrwww.cppcns.comoll数据的时候,尽可能快的把scroll_id显式删除掉。

    清除指定的scroll_id

    DELETE _search/scroll/DnF1ZXJ5VGhlbkZldGNo.....
    

    清除所有的scroll:

    DELETE _search/scroll/_all
    

    三、search_after 深分页

    scroll 的方式,官方的建议不用于实时的请求(一般用于数据导出),因为每一个 

    Java中Elasticsearch 实现分页方式(三种方式)

    扫一扫手机访问