【详解】ElasticSearch嵌套聚合，下钻分析，聚合分析
ElasticSearch嵌套聚合：下钻分析与聚合分析
在大数据时代，数据的分析和处理能力成为了企业竞争力的重要组成部分。Elasticsearch 作为一种高性能的全文搜索引擎，不仅支持基本的搜索功能，还提供了强大的聚合分析能力，特别是在处理复杂的数据结构时，如嵌套文档（Nested Documents）。本文将探讨如何利用 Elasticsearch 的嵌套聚合功能进行下钻分析和聚合分析。
1. 嵌套文档简介
在 Elasticsearch 中，嵌套类型允许我们将一个对象数组作为单个单元来索引，同时保持每个对象的独立性。这意味着，即使在一个文档中，每个嵌套对象也可以被单独查询和过滤。这种特性对于处理具有复杂内部结构的数据非常有用，例如产品评论、多地址信息等。
1.1 定义嵌套字段
要在 Elasticsearch 中定义嵌套字段，需要在映射（Mapping）中指定 nested 类型。例如：
PUT /my-index
{
"mappings": {
"properties": {
"user": {
"type": "nested",
"properties": {
"first_name": { "type": "keyword" },
"last_name": { "type": "keyword" }
}
}
}
}
}2. 嵌套聚合
嵌套聚合允许我们对嵌套对象进行聚合操作，从而能够深入分析这些对象的内部属性。嵌套聚合通常与其他类型的聚合（如 terms、histogram 等）结合使用，以实现更复杂的分析需求。
2.1 基本用法
假设我们有一个包含用户评论的产品文档，每个产品可能有多个评论。我们可以使用嵌套聚合来分析不同用户的评论情况。
示例数据
POST /products/_doc/1
{
"name": "Apple iPhone 12",
"comments": [
{ "user": "张三", "rating": 5, "comment": "非常好！" },
{ "user": "李四", "rating": 4, "comment": "不错，但电池续航一般。" }
]
}聚合查询
GET /products/_search
{
"size": 0,
"aggs": {
"users": {
"nested": {
"path": "comments"
},
"aggs": {
"user_names": {
"terms": {
"field": "comments.user.keyword"
}
}
}
}
}
}上述查询将返回所有评论用户的名字及其出现次数。
2.2 下钻分析
下钻分析是指从宏观层面逐步深入到微观层面的过程。通过嵌套聚合，我们可以轻松地从产品的整体评价深入到具体用户的评价细节。
示例：按用户统计平均评分
GET /products/_search
{
"size": 0,
"aggs": {
"users": {
"nested": {
"path": "comments"
},
"aggs": {
"user_names": {
"terms": {
"field": "comments.user.keyword"
},
"aggs": {
"average_rating": {
"avg": {
"field": "comments.rating"
}
}
}
}
}
}
}
}此查询将返回每个用户的平均评分，帮助我们了解哪些用户倾向于给出高分或低分。
Elasticsearch 是一个分布式搜索和分析引擎，广泛用于日志分析、实时应用监控、全文检索等场景。嵌套聚合（Nested Aggregation）、下钻分析（Drill-Down Analysis）和聚合分析（Aggregation Analysis）是其中非常强大的功能。
示例场景
假设我们有一个电商网站，需要对用户购买的商品进行分析。每个用户的购物车中可能包含多个商品，每个商品有名称、价格、类别等属性。我们需要分析不同类别的商品在不同时间段内的销售情况。
数据模型
{
"mappings": {
"properties": {
"user_id": { "type": "keyword" },
"purchase_time": { "type": "date" },
"cart": {
"type": "nested",
"properties": {
"product_name": { "type": "text" },
"price": { "type": "float" },
"category": { "type": "keyword" }
}
}
}
}
}示例数据
{
"user_id": "12345",
"purchase_time": "2023-10-01T10:00:00Z",
"cart": [
{
"product_name": "Laptop",
"price": 999.99,
"category": "Electronics"
},
{
"product_name": "Smartphone",
"price": 699.99,
"category": "Electronics"
},
{
"product_name": "T-shirt",
"price": 19.99,
"category": "Clothing"
}
]
}嵌套聚合示例
假设我们要计算每个用户在每个类别的商品上的总花费。
POST /sales/_search
{
"size": 0,
"aggs": {
"users": {
"terms": {
"field": "user_id"
},
"aggs": {
"categories": {
"nested": {
"path": "cart"
},
"aggs": {
"category_terms": {
"terms": {
"field": "cart.category"
},
"aggs": {
"total_spent": {
"sum": {
"field": "cart.price"
}
}
}
}
}
}
}
}
}
}下钻分析示例
假设我们要分析每个类别的商品在不同时间段内的销售情况。
POST /sales/_search
{
"size": 0,
"aggs": {
"time_ranges": {
"date_histogram": {
"field": "purchase_time",
"calendar_interval": "month"
},
"aggs": {
"categories": {
"nested": {
"path": "cart"
},
"aggs": {
"category_terms": {
"terms": {
"field": "cart.category"
},
"aggs": {
"total_spent": {
"sum": {
"field": "cart.price"
}
}
}
}
}
}
}
}
}
}聚合分析示例
假设我们要找出销售额最高的前10个类别。
POST /sales/_search
{
"size": 0,
"aggs": {
"top_categories": {
"nested": {
"path": "cart"
},
"aggs": {
"category_terms": {
"terms": {
"field": "cart.category",
"size": 10
},
"aggs": {
"total_spent": {
"sum": {
"field": "cart.price"
}
}
}
}
}
}
}
}解释
- 嵌套聚合：通过
nested 聚合，我们可以处理嵌套字段（如 cart），并进一步对嵌套字段中的属性进行聚合。 - 下钻分析：通过
date_histogram 聚合，我们可以按时间区间（如月份）对数据进行分组，并进一步分析每个时间段内的销售情况。 - 聚合分析：通过
terms 聚合，我们可以找出销售额最高的前10个类别，并计算每个类别的总销售额。
在处理复杂查询时，Elasticsearch 提供了丰富的聚合功能，其中嵌套聚合（Nested Aggregation）是一个特别强大的特性，允许对嵌套字段进行分组和统计分析。下面我将详细介绍嵌套聚合的概念，并通过具体的例子来展示如何使用它进行下钻分析和聚合分析。
嵌套聚合基础
在 Elasticsearch 中，nested 类型的字段允许你将一组对象作为单个单元存储，这些对象之间相互独立，但又属于同一个父文档。嵌套聚合则是针对这些 nested 字段的聚合操作，它允许你在这些嵌套的对象上执行聚合，如计数、求平均值、最大值、最小值等。
示例数据结构
假设我们有一个电商网站的数据模型，每个商品可以有多个标签（tags），标签包含名称（name）和类型（type）。我们可以定义索引映射如下：
PUT /products
{
"mappings": {
"properties": {
"title": { "type": "text" },
"price": { "type": "float" },
"tags": {
"type": "nested",
"properties": {
"name": { "type": "keyword" },
"type": { "type": "keyword" }
}
}
}
}
}嵌套聚合示例
1. 简单的嵌套聚合
首先，我们可以通过嵌套聚合来获取所有标签的名称及其出现次数：
GET /products/_search
{
"size": 0,
"aggs": {
"all_tags": {
"nested": {
"path": "tags"
},
"aggs": {
"tag_names": {
"terms": {
"field": "tags.name"
}
}
}
}
}
}这个查询会返回每个标签名称及其在所有商品中出现的次数。
2. 多级嵌套聚合
如果我们想进一步分析每个标签类型的标签名称分布，可以使用多级嵌套聚合：
GET /products/_search
{
"size": 0,
"aggs": {
"by_tag_type": {
"nested": {
"path": "tags"
},
"aggs": {
"types": {
"terms": {
"field": "tags.type"
},
"aggs": {
"names": {
"terms": {
"field": "tags.name"
}
}
}
}
}
}
}
}这个查询首先按标签类型分组，然后在每个类型内部按标签名称分组，显示每个类型下的标签名称及其出现次数。
3. 聚合与过滤结合
如果只想查看价格超过100的商品中的标签分布，可以在聚合前添加一个过滤条件：
GET /products/_search
{
"size": 0,
"query": {
"range": {
"price": {
"gt": 100
}
}
},
"aggs": {
"expensive_products_tags": {
"nested": {
"path": "tags"
},
"aggs": {
"tag_names": {
"terms": {
"field": "tags.name"
}
}
}
}
}
}这个查询会先筛选出价格大于100的商品，然后再对这些商品的标签进行聚合分析。
总结
嵌套聚合是 Elasticsearch 中处理复杂数据结构的强大工具，特别适用于需要对嵌套对象进行深入分析的场景。通过上述示例，你可以看到如何构建基本的嵌套聚合查询，以及如何结合过滤条件和多级聚合来进行更精细的数据分析。希望这些信息对你有所帮助！如果有更多具体问题或需要进一步的例子，请随时提问。
- 点赞
- 收藏
- 关注作者
评论（0）