【Elasticsearch】 Composite Aggregation 详解
1.什么是 Composite Aggregation？
Composite Aggregation 是 Elasticsearch 中的一种特殊聚合方式，适用于需要分页展示的聚合结果。它与传统的聚合方式不同，采用了基于游标的分页模型。这种聚合方式可以高效地处理多级聚合中的所有桶，并支持分页功能。
2.基本结构
一个典型的 Composite Aggregation 查询如下：
```json
GET /your_index_name/_search
{
\"size\": 0,
\"aggs\": {
\"my_composite_agg\": {
\"composite\": {
\"size\": 10,
\"sources\": [
{
\"field1\": {
\"terms\": {
\"field\": \"your_field_name1\"
}
}
},
{
\"field2\": {
\"terms\": {
\"field\": \"your_field_name2\"
}
}
}
]
}
}
}
}
```
在上述查询中：
• `sources`定义了按哪些字段分组，字段顺序决定了分组键（bucket key）的生成顺序。
• `size`定义每页的桶数量。
• 响应结果中的`after_key`用于获取下一页数据。
3.分页机制
Composite Aggregation 的分页机制通过`after`参数实现。每次查询返回指定数量的桶，并通过`after_key`提供下一页的游标。这种方式可以确保分页查询中数据无重复、无遗漏。
例如：
```json
GET /your_index_name/_search
{
\"size\": 0,
\"aggs\": {
\"my_composite_agg\": {
\"composite\": {
\"size\": 10,
\"sources\": [
{
\"field1\": {
\"terms\": {
\"field\": \"your_field_name1\"
}
}
}
],
\"after\": {
\"field1\": \"last_value_of_field1\"
}
}
}
}
}
``
4.排序和方向
Composite Aggregation 支持对每个值源进行排序，可以通过设置`order`参数为`asc`（升序）或`desc`（降序）。
```json
GET /your_index_name/_search
{
\"size\": 0,
\"aggs\": {
\"my_composite_agg\": {
\"composite\": {
\"size\": 10,
\"sources\": [
{
\"field1\": {
\"terms\": {
\"field\": \"your_field_name1\",
\"order\": \"desc\"
}
}
},
{
\"field2\": {
\"terms\": {
\"field\": \"your_field_name2\",
\"order\": \"asc\"
}
}
}
]
}
}
}
}
```
5.处理缺失值
默认情况下，缺少指定字段值的文档会被忽略。通过设置`missing_bucket`参数为`true`，可以将这些文档包含在响应中。
```json
GET /your_index_name/_search
{
\"size\": 0,
\"aggs\": {
\"my_composite_agg\": {
\"composite\": {
\"size\": 10,
\"sources\": [
{
\"field1\": {
\"terms\": {
\"field\": \"your_field_name1\",
\"missing_bucket\": true
}
}
}
]
}
}
}
}
```
6.性能优化
Composite Aggregation 的设计特别适合大规模数据的聚合和分页，是传统`from + size`分页方法的高效替代方案。为了进一步优化性能，建议在索引中设置索引排序，使其与复合聚合中的源顺序部分或完全匹配。
7.应用场景
Composite Aggregation 适用于以下场景：
• 需要分页展示聚合结果。
• 处理大规模数据时，需要高效分页和排序。
• 需要对多个字段进行分组和聚合。
通过上述特性，Composite Aggregation 提供了一种强大且灵活的方式来处理复杂的聚合需求，特别是在需要分页和排序的场景中表现出色。
好的，下面我将通过一个具体的例子来展示如何使用 Composite Aggregation 来实现分页聚合查询。假设我们有一个电商数据集，其中包含商品的销售记录，我们希望按日期和商品类别进行分组，并计算每个分组的销售总额。
数据示例
假设我们的索引名为`sales`，其中的文档如下：
```json
{
\"timestamp\": \"2024-01-01T00:00:00Z\",
\"product\": \"T-shirt\",
\"category\": \"Clothing\",
\"price\": 20
}
{
\"timestamp\": \"2024-01-01T00:00:00Z\",
\"product\": \"Jeans\",
\"category\": \"Clothing\",
\"price\": 40
}
{
\"timestamp\": \"2024-01-02T00:00:00Z\",
\"product\": \"T-shirt\",
\"category\": \"Clothing\",
\"price\": 20
}
{
\"timestamp\": \"2024-01-02T00:00:00Z\",
\"product\": \"Laptop\",
\"category\": \"Electronics\",
\"price\": 1000
}
```
查询目标
我们希望按日期和商品类别进行分组，并计算每个分组的销售总额。同时，我们希望分页显示结果，每页显示 2 个分组。
第一页查询
首先，我们查询第一页的结果：
```json
GET /sales/_search
{
\"size\": 0,
\"aggs\": {
\"sales_by_date_and_category\": {
\"composite\": {
\"size\": 2,
\"sources\": [
{
\"date\": {
\"date_histogram\": {
\"field\": \"timestamp\",
\"calendar_interval\": \"1d\"
}
}
},
{
\"category\": {
\"terms\": {
\"field\": \"category\"
}
}
}
]
},
\"aggregations\": {
\"total_sales\": {
\"sum\": {
\"field\": \"price\"
}
}
}
}
}
}
```
解释
• `size`:每页返回的分组数量。
• `sources`:定义了两个分组字段：
• `date`:按日期分组，每天一个桶。
• `category`:按商品类别分组。
• `aggregations`:在每个复合桶中计算销售总额。
查询结果
返回的结果如下：
```json
{
\"aggregations\": {
\"sales_by_date_and_category\": {
\"after_key\": {
\"date\": 1704115200000,
\"category\": \"Clothing\"
},
\"buckets\": [
{
\"key\": {
\"date\": 1704028800000,
\"category\": \"Clothing\"
},
\"doc_count\": 2,
\"total_sales\": {
\"value\": 60
}
},
{
\"key\": {
\"date\": 1704115200000,
\"category\": \"Clothing\"
},
\"doc_count\": 1,
\"total_sales\": {
\"value\": 20
}
}
]
}
}
}
```
解释
• `buckets`:包含两个分组：
• 第一个分组：`2024-01-01`的`Clothing`类别，销售总额为 60。
• 第二个分组：`2024-01-02`的`Clothing`类别，销售总额为 20。
• `after_key`:提供了下一页的游标。
第二页查询
使用`after_key`查询下一页的结果：
```json
GET /sales/_search
{
\"size\": 0,
\"aggs\": {
\"sales_by_date_and_category\": {
\"composite\": {
\"size\": 2,
\"sources\": [
{
\"date\": {
\"date_histogram\": {
\"field\": \"timestamp\",
\"calendar_interval\": \"1d\"
}
}
},
{
\"category\": {
\"terms\": {
\"field\": \"category\"
}
}
}
],
\"after\": {
\"date\": 1704115200000,
\"category\": \"Clothing\"
}
},
\"aggregations\": {
\"total_sales\": {
\"sum\": {
\"field\": \"price\"
}
}
}
}
}
}
``
查询结果
返回的结果如下：
```json
{
\"aggregations\": {
\"sales_by_date_and_category\": {
\"after_key\": {
\"date\": 1704115200000,
\"category\": \"Electronics\"
},
\"buckets\": [
{
\"key\": {
\"date\": 1704115200000,
\"category\": \"Electronics\"
},
\"doc_count\": 1,
\"total_sales\": {
\"value\": 1000
}
}
]
}
}
}
``
解释
• `buckets`:包含一个分组：
• `2024-01-02`的`Electronics`类别，销售总额为 1000。
• `after_key`:提供了下一页的游标。
通过这种方式，我们可以高效地分页查询聚合结果，而不会遗漏或重复任何数据。
好的，接下来我们继续探讨如何处理更多分页结果，以及如何优化和扩展这个查询。
继续分页查询
假设我们继续查询下一页，使用上一页返回的`after_key`：
```json
GET /sales/_search
{
\"size\": 0,
\"aggs\": {
\"sales_by_date_and_category\": {
\"composite\": {
\"size\": 2,
\"sources\": [
{
\"date\": {
\"date_histogram\": {
\"field\": \"timestamp\",
\"calendar_interval\": \"1d\"
}
}
},
{
\"category\": {
\"terms\": {
\"field\": \"category\"
}
}
}
],
\"after\": {
\"date\": 1704115200000,
\"category\": \"Electronics\"
}
},
\"aggregations\": {
\"total_sales\": {
\"sum\": {
\"field\": \"price\"
}
}
}
}
}
}
```
查询结果
如果返回结果为空，说明已经到达最后一页：
```json
{
\"aggregations\": {
\"sales_by_date_and_category\": {
\"buckets\": []
}
}
}
``
这表明所有分组已经查询完毕。
性能优化
为了进一步优化性能，可以考虑以下几点：
1. 设置合理的`size`参数：根据实际需求设置合适的分页大小，避免过大或过小。
2. 索引排序：如果数据量很大，可以在索引创建时设置索引排序，使其与聚合的字段顺序一致。例如：
```json
PUT /sales
{
\"settings\": {
\"index\": {
\"sort.field\": [\"timestamp\", \"category\"],
\"sort.order\": [\"asc\", \"asc\"]
}
}
}
```
3. 禁用`track_total_hits`：在分页查询中，通常不需要统计总命中数，可以通过设置`track_total_hits: false`来节省资源。
扩展应用
Composite Aggregation 不仅可以用于分页查询，还可以结合其他聚合功能，例如：
• 计算平均值：在每个分组中计算平均销售额。
```json
\"aggregations\": {
\"average_sales\": {
\"avg\": {
\"field\": \"price\"
}
}
}
```
• 多级分组：可以增加更多分组字段，例如按地区分组。
```json
\"sources\": [
{
\"date\": {
\"date_histogram\": {
\"field\": \"timestamp\",
\"calendar_interval\": \"1d\"
}
}
},
{
\"category\": {
\"terms\": {
\"field\": \"category\"
}
}
},
{
\"region\": {
\"terms\": {
\"field\": \"region\"
}
}
}
]
```
总结
通过 Composite Aggregation，我们可以高效地实现分页聚合查询，避免了传统分页方法（如`from + size`）在大规模数据下的性能瓶颈。同时，它还支持灵活的排序、多级分组和子聚合功能，能够满足复杂的业务需求。
以下是使用`composite aggregation`结合`terms`、`histogram`、`date_histogram`和`geotile_grid`的示例：
1.`terms`类型的`composite aggregation`
以下示例对`authors`索引中的`author_name`字段进行`terms`聚合：
```json
GET authors/_search
{
\"size\": 0,
\"aggs\": {
\"our_buckets\": {
\"composite\": {
\"sources\": [
{ \"authors\": { \"terms\": { \"field\": \"author_name\" } } }
]
}
}
}
}
```
2.`histogram`类型的`composite aggregation`
以下示例对`authors`索引中的`books_number`字段进行`histogram`聚合，区间设置为5：
```json
GET authors/_search
{
\"size\": 0,
\"aggs\": {
\"our_buckets\": {
\"composite\": {
\"sources\": [
{ \"booksnum\": { \"histogram\": { \"field\": \"books_number\", \"interval\": 5 } } }
]
}
}
}
}
```
3.`date_histogram`类型的`composite aggregation`
以下示例对`books`索引中的`publish_date`字段进行`date_histogram`聚合，时间间隔设置为一周：
```json
GET books/_search
{
\"size\": 0,
\"aggs\": {
\"our_buckets\": {
\"composite\": {
\"sources\": [
{ \"week\": { \"date_histogram\": { \"field\": \"publish_date\", \"calendar_interval\": \"1w\" } } }
]
}
}
}
}
```
4.`geotile_grid`类型的`composite aggregation`
以下示例对`authors`索引中的`authors_location`字段进行`geotile_grid`聚合，精度设置为6：
```json
GET authors/_search
{
\"size\": 0,
\"aggs\": {
\"our_buckets\": {
\"composite\": {
\"sources\": [
{ \"authorsloc\": { \"geotile_grid\": { \"field\": \"authors_location\", \"precision\": 6 } } }
]
}
}
}
}
```
5.组合使用多种聚合类型
以下示例同时使用`date_histogram`和`terms`聚合：
```json
GET books/_search
{
\"size\": 0,
\"aggs\": {
\"our_buckets\": {
\"composite\": {
\"sources\": [
{ \"week\": { \"date_histogram\": { \"field\": \"publish_date\", \"calendar_interval\": \"1w\" } } },
{ \"authors\": { \"terms\": { \"field\": \"author_name\" } } }
]
}
}
}
}
```
这些示例展示了如何在`composite aggregation`中使用不同类型的聚合，以满足不同的数据分析需求。
