【Elasticsearch】DSL 篇_elasticsearch dsl

css 样式肯定是前端实现页面的时候写好的，但是前端编写页面的时候是不知道页面要展示什么数据的，不可能给数据加标签。而服务端实现搜索功能，要是有 elasticsearch 做分词搜索，是知道哪些词条需要高亮的。

因此词条的高亮标签肯定是由服务端提供数据的时候已经加上的。

因此实现高亮的思路就是：

• 用户输入搜索关键字搜索数据
• 服务端根据搜索关键字到 elasticsearch 搜索，并给搜索结果中的关键字词条添加 html 标签
• 前端提前给约定好的 html 标签添加 CSS 样式

实现高亮

事实上 elasticsearch 已经提供了给搜索关键字加标签的语法，无需我们自己编码。

基本语法如下：

GET /{索引库名}/_search{ \"query\": { \"match\": { \"搜索字段\": \"搜索关键字\" } }, \"highlight\": { \"fields\": { \"高亮字段名称\": { \"pre_tags\": \"\", \"post_tags\": \"\" } } }}

注意：

• 搜索必须有查询条件，而且是全文检索类型的查询条件，例如 match
• 参与高亮的字段必须是 text 类型的字段
• 默认情况下参与高亮的字段要与搜索字段一致，除非添加：required_field_match=false

总结

查询的DSL是一个大的JSON对象，包含下列属性：

• query：查询条件
• from 和 size：分页条件
• sort：排序条件
• highlight：高亮条件

RestClient 查询

DSL 参数名 和 JavaAPI 命名相似

快速入门

文档搜索的基本步骤是：

1. 创建SearchRequest对象
2. 准备request.source()，也就是DSL。
   • QueryBuilders来构建查询条件
   • 传入request.source() 的query()方法
3. 发送请求，得到结果
4. 解析结果（参考JSON结果，从外到内，逐层解析）

代码示例：

 @Test void testMatchAll() throws IOException { // 1.创建Request SearchRequest request = new SearchRequest(\"items\"); // 2.组织请求参数 request.source().query(QueryBuilders.matchAllQuery()); // 3.发送请求 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 4.解析响应 handleResponse(response); } private void handleResponse(SearchResponse response) { SearchHits searchHits = response.getHits(); // 1.获取总条数 long total = searchHits.getTotalHits().value; System.out.println(\"共搜索到\" + total + \"条数据\"); // 2.遍历结果数组 SearchHit[] hits = searchHits.getHits(); // 只会返回 10 条数据 for (SearchHit hit : hits) { // 3.得到_source，也就是原始json文档 String source = hit.getSourceAsString(); // 4.反序列化并打印 ItemDoc item = JSONUtil.toBean(source, ItemDoc.class); System.out.println(item); } }

叶子查询

所有的查询条件都是由 QueryBuilders 来构建的，叶子查询也不例外。因此整套代码中变化的部分仅仅是 query 条件构造的方式，其它不动。

例如match查询：

@Testvoid testMatch() throws IOException { // 1.创建Request SearchRequest request = new SearchRequest(\"items\"); // 2.组织请求参数 request.source().query(QueryBuilders.matchQuery(\"name\", \"脱脂牛奶\")); // 3.发送请求 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 4.解析响应 handleResponse(response);}

再比如multi_match查询：

@Testvoid testMultiMatch() throws IOException { // 1.创建Request SearchRequest request = new SearchRequest(\"items\"); // 2.组织请求参数 request.source().query(QueryBuilders.multiMatchQuery(\"脱脂牛奶\", \"name\", \"category\")); // 3.发送请求 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 4.解析响应 handleResponse(response);}

还有range查询：

@Testvoid testRange() throws IOException { // 1.创建Request SearchRequest request = new SearchRequest(\"items\"); // 2.组织请求参数 request.source().query(QueryBuilders.rangeQuery(\"price\").gte(10000).lte(30000)); // 3.发送请求 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 4.解析响应 handleResponse(response);}

还有term查询：

@Testvoid testTerm() throws IOException { // 1.创建Request SearchRequest request = new SearchRequest(\"items\"); // 2.组织请求参数 request.source().query(QueryBuilders.termQuery(\"brand\", \"华为\")); // 3.发送请求 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 4.解析响应 handleResponse(response);}

复合查询

复合查询也是由 QueryBuilders 来构建，

以 bool 查询为例：

@Testvoid testBool() throws IOException { // 1.创建Request SearchRequest request = new SearchRequest(\"items\"); // 2.组织请求参数 // 2.1.准备bool查询 BoolQueryBuilder bool = QueryBuilders.boolQuery(); // 2.2.关键字搜索 bool.must(QueryBuilders.matchQuery(\"name\", \"脱脂牛奶\")); // 2.3.品牌过滤 bool.filter(QueryBuilders.termQuery(\"brand\", \"德亚\")); // 2.4.价格过滤 bool.filter(QueryBuilders.rangeQuery(\"price\").lte(30000)); request.source().query(bool); // 3.发送请求 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 4.解析响应 handleResponse(response);}

排序和分页

之前说过，requeset.source() 就是整个请求 JSON 参数，所以排序、分页都是基于这个来设置

代码示例如下：

@Testvoid testPageAndSort() throws IOException { int pageNo = 1, pageSize = 5; // 1.创建Request SearchRequest request = new SearchRequest(\"items\"); // 2.组织请求参数 // 2.1.搜索条件参数 request.source().query(QueryBuilders.matchQuery(\"name\", \"脱脂牛奶\")); // 2.2.排序参数 request.source().sort(\"price\", SortOrder.ASC); // 2.3.分页参数 request.source().from((pageNo - 1) * pageSize).size(pageSize); // 3.发送请求 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 4.解析响应 handleResponse(response);}

高亮

高亮查询与前面的查询有两点不同：

• 条件同样是在 request.source() 中指定，只不过高亮条件要基于 HighlightBuilder 来构造
• 高亮响应结果与搜索的文档结果不在一起，需要单独解析

示例代码如下：

 @Test void testHighlight() throws IOException { // 1.创建Request SearchRequest request = new SearchRequest(\"items\"); // 2.组织请求参数 // 2.1.query条件 request.source().query(QueryBuilders.matchQuery(\"name\", \"脱脂牛奶\")); // 2.2.高亮条件 request.source().highlighter( SearchSourceBuilder.highlight() .field(\"name\") .preTags(\"\") .postTags(\"\") ); // 3.发送请求 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 4.解析响应 handleResponse(response); } private void handleResponse(SearchResponse response) { SearchHits searchHits = response.getHits(); // 1.获取总条数 long total = searchHits.getTotalHits().value; System.out.println(\"共搜索到\" + total + \"条数据\"); // 2.遍历结果数组 SearchHit[] hits = searchHits.getHits(); for (SearchHit hit : hits) { // 3.得到_source，也就是原始json文档 String source = hit.getSourceAsString(); // 4.反序列化 ItemDoc item = JSONUtil.toBean(source, ItemDoc.class); // 5.获取高亮结果 Map hfs = hit.getHighlightFields(); if (CollUtil.isNotEmpty(hfs)) { // 5.1.有高亮结果，获取name的高亮结果 HighlightField hf = hfs.get(\"name\"); if (hf != null) {  // 5.2.获取第一个高亮结果片段，就是商品名称的高亮值  String hfName = hf.getFragments()[0].string();  item.setName(hfName); } } System.out.println(item); } }

数据聚合

官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.12/search-aggregations.html

聚合（aggregations）可以让我们极其方便的实现对数据的统计、分析、运算。例如：

• 什么品牌的手机最受欢迎？
• 这些手机的平均价格、最高价格、最低价格？
• 这些手机每月的销售情况如何？

实现这些统计功能的比数据库的 sql 要方便的多，而且查询速度非常快，可以实现近实时搜索效果。

聚合常见的有三类：

• **桶（Bucket）**聚合：用来对文档做分组
• TermAggregation：按照文档字段值分组，例如按照品牌值分组、按照国家分组
• Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组
• **度量（Metric）**聚合：用以计算一些值，比如：最大值、最小值、平均值等
• Avg：求平均值
• Max：求最大值
• Min：求最小值
• Stats：同时求 max、min、avg、sum 等
• **管道（pipeline）**聚合：其它聚合的结果为基础做进一步运算

**注意：**参加聚合的字段必须是keyword、日期、数值、布尔类型

DSL 实现聚合

Bucket 桶聚合

例如我们要统计所有商品中共有哪些商品分类，其实就是以分类（category）字段对数据分组。category 值一样的放在同一组，属于 Bucket 聚合中的 Term 聚合。

基本语法如下：

GET /items/_search{ \"size\": 0, \"aggs\": { \"category_agg\": { \"terms\": { \"field\": \"category\", \"size\": 20 } } }}

语法说明：

• size：设置 size 为 0，就是每页查 0 条，则结果中就不包含文档，只包含聚合
• aggs：定义聚合
  • category_agg：聚合名称，自定义，但不能重复
    • terms：聚合的类型，按分类聚合，所以用 term
      • field：参与聚合的字段名称
      • size：希望返回的聚合结果的最大数量

来看下查询的结果：

带条件聚合

真实场景下，用户会输入搜索条件，因此聚合必须是对搜索结果聚合。那么聚合必须添加限定条件。

例如，我想知道价格高于3000元的手机品牌有哪些，该怎么统计呢？

语法如下：

GET /items/_search{ \"query\": { \"bool\": { \"filter\": [ { \"term\": { \"category\": \"手机\" } }, { \"range\": { \"price\": {  \"gte\": 300000 } } } ] } }, \"size\": 0, \"aggs\": { \"brand_agg\": { \"terms\": { \"field\": \"brand\", \"size\": 20 } } }}

Metric 度量聚合

假设现在我们需要对桶内的商品做运算，获取每个品牌价格的最小值、最大值、平均值。

这就要用到 Metric 聚合了，例如 stat 聚合，就可以同时获取 min、max、avg 等结果。

语法如下：

GET /items/_search{ \"query\": { \"bool\": { \"filter\": [ { \"term\": { \"category\": \"手机\" } }, { \"range\": { \"price\": {  \"gte\": 300000 } } } ] } }, \"size\": 0, \"aggs\": { \"brand_agg\": { \"terms\": { \"field\": \"brand\", \"size\": 20 }, \"aggs\": { \"stats_meric\": { \"stats\": { \"field\": \"price\" } } } } }}

可以看到我们在 brand_agg 聚合的内部，我们新加了一个 aggs 参数。这个聚合就是 brand_agg 的子聚合，会对 brand_agg 形成的每个桶中的文档分别统计。

• stats_meric：聚合名称
  • stats：聚合类型，stats 是 metric 聚合的一种
    • field：聚合字段，这里选择 price，统计价格

由于 stats 是对 brand_agg 形成的每个品牌桶内文档分别做统计，因此每个品牌都会统计出自己的价格最小、最大、平均值。

结果如下：

另外，我们还可以让聚合按照每个品牌的价格平均值排序：

总结

aggs 代表聚合，与 query 同级，此时 query 的作用是？

• 限定聚合的的文档范围

聚合必须的三要素：

• 聚合名称
• 聚合类型
• 聚合字段

聚合可配置属性有：

• size：指定聚合结果数量
• order：指定聚合结果排序方式
• field：指定聚合字段

RestClient 实现聚合

可以看到在 DSL 中，aggs 聚合条件与 query 条件是同一级别，都属于查询 JSON 参数。

• 因此依然是利用 request.source() 方法来设置。

• 不过聚合条件的要利用 AggregationBuilders 这个工具类来构造。

 @Test void testAgg() throws IOException { // 1.创建Request SearchRequest request = new SearchRequest(\"items\"); // 2.准备请求参数 BoolQueryBuilder bool = QueryBuilders.boolQuery() .filter(QueryBuilders.termQuery(\"category\", \"手机\")) .filter(QueryBuilders.rangeQuery(\"price\").gte(300000)); request.source() .query(bool) .size(0); // 3.聚合参数 request.source().aggregation( AggregationBuilders.terms(\"brand_agg\").field(\"brand\").size(5) ); // 4.发送请求 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 5.解析聚合结果 Aggregations aggregations = response.getAggregations(); // 5.1.获取品牌聚合 Terms brandTerms = aggregations.get(\"brand_agg\"); // 5.2.获取聚合中的桶 List<? extends Terms.Bucket> buckets = brandTerms.getBuckets(); // 5.3.遍历桶内数据 for (Terms.Bucket bucket : buckets) { // 5.4.获取桶内key String brand = bucket.getKeyAsString(); System.out.print(\"brand = \" + brand); long count = bucket.getDocCount(); System.out.println(\"; count = \" + count); } }

竞价排名

官方文档：Compound queries | Java API (deprecated) 7.12 | Elastic

elasticsearch 的默认排序规则是按照相关性打分排序，而这个打分是可以通过 API 来控制的。

• 可参考上文中的《算分函数查询》章节

业务场景：在商品的数据库表中，已经设计了 isAD 字段来标记广告商品，请利用 function_score 查询在原本搜索的结果基础上，让这些 isAD 字段值为 true 的商品排名到最前面。

DSL 语法参考：

POST /items/_search{ \"query\": { \"function_score\": { \"query\": { // 原始查询条件（例如关键词搜索、过滤条件等） \"match_all\": {} // 示例中匹配所有文档，按需替换为实际查询 }, \"functions\": [ { \"filter\": { \"term\": { \"isAD\": true } // 仅针对广告商品 }, \"weight\": 1000 // 赋予极大权重，确保广告商品分数足够高 } ], \"boost_mode\": \"sum\" // 将权重分与原始分相加 } }, \"sort\":[ { \"_score\":{ \"order\":\"desc\" } } ]}

RestClinet 写法参考：

 @Test void testBiddingRanking() throws IOException { // 1. 构建基础查询（例如关键词搜索） // QueryBuilder mainQuery = QueryBuilders.matchQuery(\"name\", \"手机\"); MatchAllQueryBuilder mainQuery = QueryBuilders.matchAllQuery(); // 2. 构建广告商品的权重函数 FilterFunctionBuilder[] functions = new FilterFunctionBuilder[]{ new FilterFunctionBuilder( QueryBuilders.termQuery(\"isAD\", true), // 过滤广告商品 ScoreFunctionBuilders.weightFactorFunction(1000) // 设置权重为 1000 ) }; // 3. 组合 FunctionScore 查询 // FunctionScoreQueryBuilder functionScoreQueryBuilder = new FunctionScoreQueryBuilder(mainQuery, functions); // functionScoreQueryBuilder.boostMode(CombineFunction.SUM); FunctionScoreQueryBuilder functionScoreQuery = QueryBuilders.functionScoreQuery(mainQuery, functions) .boostMode(CombineFunction.SUM); // 权重分与原始分相加 // 4. 构建完整的搜索请求 SearchSourceBuilder sourceBuilder = new SearchSourceBuilder(); sourceBuilder.query(functionScoreQuery); sourceBuilder.sort(SortBuilders.scoreSort().order(SortOrder.DESC)); // 按总分降序 // 打印生成的 DSL 查询 JSON（调试用途） System.out.println(JSONUtil.toJsonPrettyStr(sourceBuilder.toString())); // 5. 执行搜索 SearchRequest searchRequest = new SearchRequest(\"items\"); searchRequest.source(sourceBuilder); SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT); System.out.println(response); }

学习参考

• ‍‍‍‬‌‌‌‬⁠⁠‍‍⁠‍‬‬‬day09-Elasticsearch02 - 飞书云文档