【DSL】ES+DSL 查询语法

一、前言

工作中遇到ES的查询问题，由于业务方给的条件不清晰，有些查询无法实现，需要用到DSL语法查询实现，很久没用生疏了，借此机会复习下。

二、定义

1.基本介绍

Elasticsearch（简称为ES），一个开源的分布式搜索和分析引擎，主要用于处理大量数据并提供快速、实时的搜索功能。
DSL（Domain Specific Language），一种特定领域的查询语言，用于构建复杂的查询和聚合操作。

在Elasticsearch中，可用DSL语法来定义查询和过滤条件，以及执行聚合操作。
DSL语法具有JSON格式****（敲重点，要考），因此它非常易于阅读和编写。

2.语法说明

（1）关键字(Keywords)

• DSL通常会定义一组关键字，这些关键字具有特殊含义，并在DSL中起到关键作用。关键字通常不能用作标识符或变量名。
• 示例：在一个简单的数学表达式DSL中，可能会定义关键字如"add"、"subtract"等来表示加法和减法操作。

（2）标识符(Identifiers)

• 标识符是用来表示变量名、函数名或其他用户定义的名称。它们需要遵循特定的命名规则，如大小写敏感、不包含特殊字符等。
• 示例：在一个配置文件DSL中，可以使用标识符来表示不同的配置项，如"username"、"password"等。

（3）表达式(Expressions)

• 表达式是DSL中最基本的构建块，用于计算或产生某个值。表达式可以包括变量、常量、运算符和函数调用。
• 示例：在一个数学表达式DSL中，可以将"2 + 3"作为一个表达式，计算结果为5。

（4）运算符(Operators)

• 运算符用于执行各种操作，例如算术运算、逻辑运算、比较运算等。DSL中的运算符根据所涉及的领域和需求而定。
• 示例：在一个布尔表达式DSL中，可以定义逻辑运算符如"and"、"or"用于连接多个条件。

（5）函数调用(Function Calls)

• DSL可以支持函数调用，允许用户使用预定义或自定义的函数来完成特定的任务。函数调用通常由函数名称和传递给函数的参数组成。
• 示例：在一个日期处理DSL中，可以定义函数"formatDate(date, format)"，其中"date"是日期值，"format"是日期格式字符串。

（6）控制流(Control Flow)

• 控制流语句用于控制程序的执行流程，例如条件语句(if-else)和循环语句(while、for)等。DSL可以支持特定的控制流语句来满足领域特定需求。
• 示例：在一个工作流程DSL中，可以使用条件语句来判断某个条件是否满足并执行相应的操作。

（7）注释(Comments)

• 注释用于向DSL代码添加说明性文本，以便开发人员理解和维护代码。注释通常不会被编译或执行，仅用于阅读目的。
• 示例：在DSL中，可以使用双斜杠(//)或特定的注释标记来添加注释，如：“// 这是一个示例注释”。

3.常见语法

（1）查询（Query）

用于指定搜索条件，并返回与之匹配的文档结果集。以下是一些常见的查询类型：

• Match查询：用于根据指定字段的内容进行全文匹配。
• Term查询：用于精确匹配某个字段的值，不进行分词。
• Range查询：用于匹配某个范围内的值。
• Bool查询：用于组合多个查询条件。

（2）过滤（Filter）

用于筛选满足指定条件的文档结果集。过滤器通常用于在查询结果上应用额外的限制。以下是一些常见的过滤器类型：

• Term过滤器：用于精确匹配某个字段的值。
• Range过滤器：用于筛选符合某个范围条件的值。
• Bool过滤器：用于组合多个过滤条件。

（3）聚合（Aggregation）

用于对文档结果集进行分组和统计操作，从而生成各种汇总数据。聚合可以计算平均值、总和、最大值、最小值等。以下是一些常见的聚合类型：

• Terms聚合：根据指定字段的值进行分组，并返回每个分组的文档统计信息。
• Date Histogram聚合：按照时间间隔对文档进行分组，并返回每个时间间隔的文档统计信息。
• Range聚合：将文档分组到不同的范围，并返回每个范围的文档统计信息。

三、示例枚举

1.单独查询

我用的ES版本为7.1.0，以下所有示例均基于这个版本，不同版本在写法上略有差异，使用时要注意喔。

（1）基本查询（Match Query）

• 查询指定字段中匹配关键词或短语的文档。
• 示例：查询"title"字段包含"Elasticsearch"的文档。

GET /index/_search
{
  "query": {
    "match": {
      "title": "Elasticsearch"
    }
  }
}

（2）多字段查询（Multi-match Query）

• 在多个字段中匹配指定的关键词或短语。
• 示例：在"title"和"content"字段中匹配"Elasticsearch"的文档。

GET /index/_search
{
  "query": {
    "multi_match": {
      "query": "Elasticsearch",
      "fields": ["title", "content"]
    }
  }
}

（3）范围查询（Range Query）

• 根据范围条件匹配字段中的值。
• 示例：查询价格在50到100之间的文档。

GET /index/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 50,
        "lte": 100
      }
    }
  }
}

（4）布尔查询（Bool Query）

• 将多个查询组合为逻辑上的AND、OR或NOT关系。
• 示例：查询标题包含"Elasticsearch"且价格大于等于50的文档。

GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } },
        { "range": { "price": { "gte": 50 } } }
      ]
    }
  }
}

（5）聚合查询（Aggregation Query）

• 计算和统计数据集中的汇总信息。
• 示例：计算字段"sales"的总和作为结果返回。

GET /index/_search
{
  "aggs": {
    "total_sales": {
      "sum": { "field": "sales" }
    }
  }
}

（6）排序（Sorting）

• 对搜索结果按照指定字段进行排序。
• 示例：按照"timestamp"字段的降序对结果进行排序。

GET /index/_search
{
  "sort": [
    { "timestamp": { "order": "desc" } }
  ]
}

（7）分页（Pagination）

• 从搜索结果中获取特定范围的文档。
• 示例：返回从0开始的10个文档作为结果。

GET /index/_search
{
  "from": 0,
  "size": 10,
  "query": {
    "match_all": {}
  }
}

2.组合查询

因为大部分日常使用，都是组合查询，所以在此也罗列一些组合查询的示例。

（1）组合多个must查询

• 示例：要求标题包含"Elasticsearch"且内容包含"数据分析"的文档。

GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } },
        { "match": { "content": "数据分析" } }
      ]
    }
  }
}

（2）组合must和should查询

• 示例：要求标题包含"Elasticsearch"且（价格大于等于50或评分高于4）的文档。

GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } }
      ],
      "should": [
        { "range": { "price": { "gte": 50 } } },
        { "range": { "rating": { "gt": 4 } } }
      ]
    }
  }
}

（3）组合must和must_not查询

• 示例：要求标题包含"Elasticsearch"且不包含"教程"的文档。

GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } }
      ],
      "must_not": [
        { "match": { "title": "教程" } }
      ]
    }
  }
}

（4）组合多个should查询

• 示例：要求标题包含"Elasticsearch"或内容包含"数据分析"或作者是"John"的文档。

GET /index/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "title": "Elasticsearch" } },
        { "match": { "content": "数据分析" } },
        { "match": { "author": "John" } }
      ]
    }
  }
}

（5）嵌套组合查询

• 示例：要求标题包含"Elasticsearch"且（价格大于等于50或评分高于4）且（内容包含"搜索引擎"或标签是"技术"）的文档。

GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } }
      ],
      "should": [
        { "range": { "price": { "gte": 50 } } },
        { "range": { "rating": { "gt": 4 } } }
      ],
      "minimum_should_match": 1,
      "filter": [
        { "match": { "content": "搜索引擎" } },
        { "terms": { "tags": ["技术"] } }
      ]
    }
  }
}

• 将多个查询组合使用bool查询的must、should或must_not子句。
• 示例：查询标题包含"Elasticsearch"且（价格大于等于50或评分高于4）的文档。

GET /index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "Elasticsearch" } },
        {
          "bool": {
            "should": [
              { "range": { "price": { "gte": 50 } } },
              { "range": { "rating": { "gt": 4 } } }
            ]
          }
        }
      ]
    }
  }
}

四、总结

对技术的态度还是那句话：只有不断学习才能不断进步，在此也推荐一些关于ES+DSL的主题文章，可以参考学习：

1. “Getting Started with Elasticsearch: A Complete Guide” by Elastic：这篇文章是Elastic官方提供的入门指南，涵盖了Elasticsearch的基本概念、安装和配置，以及常见的用例和查询示例。
2. “Introduction to Domain-Specific Languages” by Martin Fowler：这是Martin Fowler撰写的一篇关于领域特定语言的介绍性文章。它解释了什么是DSL，为什么使用DSL以及如何设计和实现DSL。
3. “Creating Domain-Specific Languages with Xtext” by Lars Vogel：这篇文章介绍了使用Xtext开发领域特定语言的方法。它探讨了Xtext的基本概念、工作流程和示例，帮助您开始构建自己的DSL。
4. “Building Domain-Specific Languages in Python” by Andrew Dalke：这篇文章介绍了在Python中构建领域特定语言的方法。它包含了一些库和工具的示例，可以帮助您在Python项目中实现自定义DSL。

以上是梳理总结的一些关于ES+DSL 查询语法学习的内容，希望能帮到大家， 如有错误，欢迎指正。
原创不易，转载请注意出处：
https://blog.csdn.net/weixin_41613094/article/details/131578855