教程
关于 入门 为了搜索,你懂的 安装Elasticsearch 与Elasticsearch交互 面向文档 开始第一步 检索文档 分析 教程小结 分布式的特性 下一步 集群内部工作方式 空集群 集群健康 添加索引 增加故障转移 横向扩展 继续扩展 应对故障 数据吞吐 什么是文档? 索引一个文档 检索文档 检查文档是否存在 更新整个文档 创建一个新文档 删除文档 处理冲突 文档局部更新 检索多个文档 更省时的批量操作 结语 分布式文档存储 路由文档到分片 主分片和复制分片如何交互 新建、索引和删除文档 检索文档 局部更新文档 多文档模式 为什么是奇怪的格式? 搜索——基本的工具 空搜索 多索引和多类别 分页 简易搜索 映射和分析 映射及分析 确切值(Exact values) vs. 全文文本(Full text) 倒排索引 分析和分析器 映射 复合核心字段类型 结构化查询 请求体查询 结构化查询 Query DSL 查询与过滤 最重要的查询过滤语句 查询与过滤条件的合并 验证查询 结语 排序 相关性排序 多值字段字符串排序 相关性简介 数据字段 分布式搜索的执行方式 查询阶段 取回阶段 搜索选项 扫描和滚屏 索引管理 创建索引 索引设置 配置分析器 自定义分析器 类型和映射 根对象 元数据:_source 字段 元数据:_all 字段 文档 ID 动态映射 自定义动态索引 默认映射 重新索引数据 索引别名和零停机时间 入门 使文本可以被搜索 动态索引 近实时搜索 持久化变更 合并段 结构化搜索 查找准确值 组合过滤 查询多个准确值 包含,而不是相等 范围 处理 Null 值 关于缓存 过滤顺序 地理坐标点 地理坐标点 通过地理坐标点过滤 地理坐标盒模型过滤器 地理距离过滤器 缓存地理位置过滤器 减少内存占用 按距离排序 Geohashes Geohashes Geohashes 映射 geohash单元过滤器 地理位置聚合 地理位置聚合 按距离聚合 geohash单元聚合器 范围(边界)聚合器 地理形状 地理形状 映射地理形状 索引地理形状 查询地理形状 在查询中使用已索引的形状 地理形状的过滤与缓存 嵌套 嵌套-对象 嵌套-映射 嵌套-查询 嵌套排序 嵌套-集合

发布于 2016-02-29 14:42:06 | 328 次阅读 | 评论: 0 | 来源: 网络整理

处理 Null 值

回到我们早期的示例,在文档中有一个多值的字段 tags,一个文档可能包含一个或多个标签,或根本没有标签。如果一个字段没有值,它是怎么储存在倒排索引中的?

这是一个取巧的问题,因为答案是它根本没有存储。让我们从看一下前几节的倒排索引:

Token DocIDs
open_source 2
search 1,2

你怎么可能储存一个在数据结构不存在的字段呢?倒排索引是标记和包含它们的文档的一个简单列表。假如一个字段不存在,它就没有任何标记,也就意味着它无法被倒排索引的数据结构表达出来。

本质上来说,null[](空数组)和 [null] 是相等的。它们都不存在于倒排索引中!

显然,这个世界却没有那么简单,数据经常会缺失字段,或包含空值或空数组。为了应对这些情形,Elasticsearch 有一些工具来处理空值或缺失的字段。

exists 过滤器

工具箱中的第一个利器是 exists 过滤器,这个过滤器将返回任何包含这个字段的文档,让我们用标签来举例,索引一些示例文档:

POST /my_index/posts/_bulk
{ "index": { "_id": "1"              }}
{ "tags" : ["search"]                }  <1>
{ "index": { "_id": "2"              }}
{ "tags" : ["search", "open_source"] }  <2>
{ "index": { "_id": "3"              }}
{ "other_field" : "some data"        }  <3>
{ "index": { "_id": "4"              }}
{ "tags" : null                      }  <4>
{ "index": { "_id": "5"              }}
{ "tags" : ["search", null]          }  <5>

`tags` 字段有一个值 `tags` 字段有两个值 `tags` 字段不存在 `tags` 字段被设为 `null` `tags` 字段有一个值和一个 `null` 结果我们 `tags` 字段的倒排索引看起来将是这样: | Token | DocIDs | |--------------|-------------| |`open_source` | `2` | |`search` | `1`,`2`,`5` | 我们的目标是找出所有设置了标签的文档,我们不关心这个标签是什么,只要它存在于文档中就行。在 SQL 语法中,我们可以用 `IS NOT NULL` 查询: ```sql SELECT tags FROM posts WHERE tags IS NOT NULL ``` 在 Elasticsearch 中,我们使用 `exists` 过滤器: ```json GET /my_index/posts/_search { "query" : { "filtered" : { "filter" : { "exists" : { "field" : "tags" } } } } } ``` 查询返回三个文档: ```json "hits" : [ { "_id" : "1", "_score" : 1.0, "_source" : { "tags" : ["search"] } }, { "_id" : "5", "_score" : 1.0, "_source" : { "tags" : ["search", null] } }, { "_id" : "2", "_score" : 1.0, "_source" : { "tags" : ["search", "open source"] } } ] ``` 文档 5 虽然包含了一个 `null` 值,仍被返回了。这个字段存在是因为一个有值的标签被索引了,所以 `null` 对这个过滤器没有影响 结果很容易理解,所以在 `tags` 字段中有值的文档都被返回了。只排除了文档 3 和 4。 #### `missing` 过滤器 `missing` 过滤器本质上是 `exists` 的反义词:它返回没有特定字段值的文档,像这条 SQL 一样: ```sql SELECT tags FROM posts WHERE tags IS NULL ``` 让我们在前面的例子中用 `missing` 过滤器来取代 `exists`: ```json GET /my_index/posts/_search { "query" : { "filtered" : { "filter": { "missing" : { "field" : "tags" } } } } } ``` 如你所愿,我们得到了两个没有包含标签字段的文档: ```json "hits" : [ { "_id" : "3", "_score" : 1.0, "_source" : { "other_field" : "some data" } }, { "_id" : "4", "_score" : 1.0, "_source" : { "tags" : null } } ] ``` 什么时候 null 才表示 null 有时你需要能区分一个字段是没有值,还是被设置为 `null`。用上面见到的默认行为无法区分这一点,数据都不存在了。幸运的是,我们可以将明确的 `null` 值用我们选择的_占位符_来代替 当指定字符串,数字,布尔值或日期字段的映射时,你可以设置一个 `null_value` 来处理明确的 `null` 值。没有值的字段仍将被排除在倒排索引外。 当选定一个合适的 `null_value` 时,确保以下几点: * 它与字段的类型匹配,你不能在 `date` 类型的字段中使用字符串 `null_value` * 它需要能与这个字段可能包含的正常值区分开来,以避免真实值和 `null` 值混淆 #### 对象的 `exists/missing` `exists` 和 `missing` 过滤器同样能在内联对象上工作,而不仅仅是核心类型。例如下面的文档: ```json { "name" : { "first" : "John", "last" : "Smith" } } ``` 你可以检查 `name.first` 和 `name.last` 的存在性,也可以检查 `name` 的。然而,在【映射】中,我们提到对象在内部被转成扁平化的键值结构,像下面所示: ```json { "name.first" : "John", "name.last" : "Smith" } ``` 所以我们是怎么使用 `exists` 或 `missing` 来检测 `name` 字段的呢,这个字段并没有真正存在于倒排索引中。 原因是像这样的一个过滤器 ```json { "exists" : { "field" : "name" } } ``` 实际是这样执行的 ```json { "bool": { "should": [ { "exists": { "field": { "name.first" }}}, { "exists": { "field": { "name.last" }}} ] } } ``` 同样这意味着假如 `first` 和 `last` 都为空,那么 `name` 就是不存在的。

最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务