跳到主要内容

Elasticsearch

Tips​

  • 文档不会被删除,只会被标记删除
  • 索引在内存中构建, 然后刷到磁盘
  • 一个索引由多个段(segment)组成,搜索会在所有段执行,最终合并结果
  • 段会定期合并
  • 每个段都会缓存 Field 和 Filter
  • Elasticsearch 不支持事务
  • 每个分片为一个 Lucene 索引
  • 近实时程度与性能有关,默认为 1 秒
  • Lucene 自身是增量索引
  • 每个段自身为一个小索引
  • 1.4 之前默认使用 UUID, 之后使用 Flask ID
  • 无法通过查询来删除
  • 无法通过查询来更新

Best practice​

  • 只索引不更新
  • 日志索引分日期
  • 定义好 Mapping
  • 挂载多个磁盘使用多个 path.data
    • 提升索引速度
    • 减少数据丢失
  • 如果允许, 增大刷新间隔
  • 最大使用 32G 内存, 利用 JVM 压缩指针
    • 测试最大内存量
java -Xmx32600m -XX:+PrintFlagsFinal 2> /dev/null | grep UseCompressedOops
bool UseCompressedOops := true
  • 1.7 32600m, 1.8 32766m
  • 关闭内存 swap 
swapoff -a
# 或者
sysctl vm.swappiness=1
# 在 Elasticsearch 配置中添加 bootstrap.mlockall: true

Reference​

常用操作​

批量导入​

# 导入前关闭刷新
curl -XPUT localhost:9200/test/_settings -d '{"index" : {"refresh_interval" : "-1"} }'
# 导入前取消副本
curl -XPUT 'localhost:9200/test/_settings' -d '{"index" : {"number_of_replicas" : 0}}'
# 导入完成强制合并
curl -XPOST 'localhost:9200/test/_forcemerge?max_num_segments=5'

更改解析器​

# 更改前需要先关闭所有
curl -XPOST 'localhost:9200/test/_close'

curl -XPUT 'localhost:9200/test/_settings' -d '{
  "analysis" : {
    "analyzer":{
      "content":{
        "type":"custom",
        "tokenizer":"whitespace"
      }
    }
  }
}'
# 完成后打开索引
curl -XPOST 'localhost:9200/test/_open'

诊断​

# 查看 jvm 内存状态
curl localhost:9200/_nodes/stats | jq ".nodes[].jvm.mem"
# 单个节点内存状态
curl localhost:9210/_nodes/stats | jq "[.nodes[]]|.[1].jvm.mem"

# 快速信息查看端口, ?help 显示列的含义
curl localhost:9200/_cat
# 查看恢复进度
curl localhost:9200/_cat/recovery

模块​

Elasticsearch 的所有功能都是由各个模块组成的.

模块配置分为静态配置和动态配置,静态配置需要在相关节点的 elasticsearch.yml 中指定,动态节点可通过相关接口 进行更改.

模块责任
Cluster控制如何为节点申请分片.
Discovery节点在集群中如何相互发现
Gateway集群中需要多少节点才能开始恢复
HTTP控制 HTTP REST 接口
Indices全局索引相关配置
Network控制默认网络设置
Node client加入到集群中的 Java 客户端,不会持有数据和承担主节点的责任.
Plugins使用插件来扩展 Elasticsearch
Scripting定制化的 Lucene Expressions, Groovy, Python, 和 Javascript 脚本.
Snapshot/Restore备份和恢复数据
Thread poolsElasticsearch 中的线程池信息
Transport传输层控制,节点内部通信
Tribe nodesA tribe node joins one or more clusters and acts as a federated client across them.

Query DSL​

ES 的所有接口都是通过 RESTful 接口暴露的,因此所有对 ES 的数据操作均可以通过 REST Api 完成.所有的接口也都遵循 HTTP 请求方法语义.

ES 提供了一套通过 JSON 表示的查询接口.查询语句主要包含

叶查询语句/Leaf query clauses
用于数据的指定字段,例如字段匹配,字段范围等查询.
组合查询语句/Compound query clauses
使用逻辑运算符来组合一个或多个叶查询或组合查询语句.

查询语句的行为可能会随使用的上下文而发生改变.

查询和过滤上下文​

查询上下文
查询语句在查询上下文中用于回答 "该文档与查询语句有多么匹配" 的问题,在判断一个文档是否匹配的同时,也会计算出每个文档的匹配程度(分数 _score),用于表示该文档与查询的的匹配和相关程度.
过滤上下文
在过滤上下文中查询语句用于回答 "该文档是否匹配该查询语句",其结果只有匹配或不匹配.
GET _search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title":   "Search"        }},
        { "match": { "content": "Elasticsearch" }}
      ],
      "filter": [
        { "term":  { "status": "published" }},
        { "range": { "publish_date": { "gte": "2015-01-01" }}}
      ]
    }
  }
}

查询地址​

所有 Elasticsearch 的 API 均以 RESTful 的形式暴露, 基本查询的格式如下

[/索引名[,索引名...]][/类型名[,类型名...]]/_search

查询中的索引名和类型名是可以缺省的,并且也支持通配符,例如如下请求:

curl -XPOST localhost:9200/mq-*/meta,body/_search -d '{"query":{"match_all":{}}}'

Elasticsearch 的查询除了支持 GET 也支持使用 POST, 因为在现有的部分系统里, GET 不允许携带请求体.例如以下请求是相同的:

curl -XGET localhost:9200/_search -d '{"query":{"match_all":{}}}'
curl -XPOST localhost:9200/_search -d '{"query":{"match_all":{}}}'

除此之外, Elasticsearch 也支持针对单个文档的标示符进行查询,例如:

curl -XGET localhost:9200/mq-meta-local/meta/THIS_IS_MY_DOCUMENT_ID

查询类型​

Elasticsearch 的底层搜索是 Lucene, 其提供的查询也主要是对 Lucene 查询的封装.

查询类型说明
match_all匹配所有文档,_score 为 1.0
可通过 boost 更改分数值
match模糊近似匹配
multi_match与 match 相同,可指定多个字段
common_terms一个更特殊的查询,会更趋向于选择不常见的词
query_string支持 Lucene 查询语法,可使用 AND,OR,NOT 条件,可在单个查询中标示多个字段的搜索
需谨慎使用
simple_query_string一个更高效的 query_string 版本,适合普通用户使用
term匹配字段包含的词
terms匹配字段包含的词
range使用范围匹配字段的值(日期,数字,字符串等)
exists匹配非空字段
missing匹配不存在字段或为空的字段
prefix匹配字段值前缀
wildcard使用通配符来匹配字段的值
? 单个字符,* 多个字符
regexp使用正则表达式来匹配字段的值
fuzzy模糊匹配字段的值,使用莱文斯坦距离进行度量.
type匹配文档类型
ids查找文档 ID
constant_score该查询会包装另外一个查询,并在过滤上下文中执行.所有匹配的文档都会给予一个固定的分数(_score)
bool用于组合多个 must, should, must_not, 和 filter 查询.must 和 should 语句结果的分数会合并, must_not 和 filter 会在过滤上下文中执行.
dis_max生成多个子查询的并集,并为单个查询结果中分数最高的文档进行增强.
function_score使用指定的函数对查询结果的分数进行从新计算.
boosting可使用指定的查询语句来增强和削弱结果分数.
indices在指定索引中进行查询
and, or, not等同于 bool
filtered于 2.0.0-beta1 遗弃,使用 bool 查询替代.
limit限制每个分片查询的文档数
nested用于搜索 nested 类型的字段.
has_child,has_parent用于搜索父子关系的文档.
more_like_this查询类似于给定的字符串,文档或文档集合.
template模板查询
script脚本查询
geo_shape查找形状交叉的文档
geo_bounding_box查找点在该矩形内文档
geo_distance查找点距之内的文档
geo_distance_range查找点距在指定范围内的文档
geo_polygon查找点在该多边形内的文档
geohash_cell查找点与指定点 geohash 交叉的文档
span_term与 term 查询相同,用于与其他跨度查询结合使用
span_multi用于包装 term, range, prefix, wildcard, regexp, 或 fuzzy 查询
span_first匹配字段满足查询,并且在前 N 位置
span_near匹配满足多个查询,并且查询跨度在一定距离内,也可指定是否保持同样的顺序
span_or多个跨度查询的逻辑或
span_not排除一个跨度查询
span_containing指定一列跨度查询,但只返回跨度满足第二个跨度查询的结果
span_within指定一个跨度查询,返回跨度满足另外一列跨度查询的结果
全文查询
match,multi_match,common_terms,query_string,simple_query_string
查询字段必须是 analyzed
在查询前会对查询字符串应用字段的解析器(analyzer,search_analyzer)
词级查询
term,terms,range,exists,missing,prefix,wildcard,regexp,fuzzy,type,ids
不同于全文查询,在之前需要对查询字符串进行解析.词级查询用于查询字段确切的值.
组合查询
constant_score,bool,filter,dis_max,function_score,boosting,indices,and,or,not,filtered,limit
关联查询
nested,has_child,has_parent
GEO 查询
geo_shape,geo_bounding_box,geo_distance,geo_distance_range,geo_polygon,geohash_cell
跨度查询
span_term,span_multi,span_first,span_near,span_or,span_not,span_containing,span_within
除了 span_multi 以外,跨度查询不能与非跨度查询混合使用
https://lucidworks.com/blog/2009/07/18/the-spanquery/

Query String​

Elasticsearch 可以利用 Lucene 中强大的 query_string 查询语法,其功能强大并且书写简单,也可以直接在 url 中进行查询. 例如:

# Query string syntax
curl -XGET 'localhost:9200/index/type/_search?q=name:wener AND age:>10'

如果将该查询转换为基于 DSL 的查询则是

# DSL syntax
curl -XPOST 'localhost:9200/index/type/_search' -d'
{
	"query":{
		"bool":{
			"must":[
				"term":{"name":"wener"},
				"range":{"age":{"gt":10}}
			]
		}
	}
}'

可见善用 query_string 查询是非常有用的.在 Kibana 的视图查询界面均是 query_string 查询.

总结​

Elasticsearch 对于基础的查询提供了非常多的查询方式,但对于关系型的支持较少,官方建议是在应用端做数据关联,对关系型的处理有一定的复杂度.内置了两种对关系型数据的支持(Nested Object, Parent-Child),但支持都相对较为薄弱,难以处理复杂的场景,还不如使用通常的文档,这样对文档的控制更全面.

参考​

高可用机制​

Elasticsearch 的高可用是通过分片的多副本保障的.对于每个索引指定一定的分片数量和副本数量.每个文档都有一个唯一标示,通过该标示符来对文档进行分片路由.如果接受到请求的节点没有该分配,则会由该分片转发到该分片主分片的主节点.

ELasticsearch 的高可用形式和 Kafak, Hazelcast 的高可用几乎相同,均是固定分片和副本.

Elasticsearch 集群中节点角色分为主节点,数据节点,客户端节点, Tribe 节点.

所有的索引操作都会对磁盘进行追加操作,而不是直接的对文档进行修改,后台有固定的线程的追加的数据进行合并.

  • 同步机制
  • 数据刷盘方式

主副本分片交互过程​

  • 主副本分片结构
  • 创建,索引或删除文档
  • 获取单个文档
  • 部分更新
    • 即便是部分更新,每次发送给副本的都是一个全量的文档
    • 此时的文档分发是异步的,不保证其顺序
  • 同时操作多个文档
    • mget
    • bulk

Discovery​

Master
唯一可以发布新的集群状态的节点
用于响应集群操作,修改节点,增删改索引信息,为节点分配分片
索引和搜索等不需要牵涉到主节点
discovery.zen:
  minimum_master_nodes: 选举主节点的最小 master eligible 节点数,类似于 Zookeeper 里的大多数
  ping.unicast: 单播时进行发现的主机信息
  master_election:
    filter_client: 默认 true
    filter_data: 默认 false
  fd: Fault Detection
    ping_interval : 1
    ping_timeout  : 30s
    ping_retries  : 3
  publish_timeout : 30s 发布集群状态的超时时间
  no_master_block: 当没有 Master 时需要拒绝的操作,不会阻止和节点相关的 API
    all
    write 默认.可能会读取到过期数据.

Local Gateway​

  • 用于本地存储集群节点和分片信息.即便在集群完全重启后也会保持.
  • 存储的节点和集群信息会用于确定何时进行数据恢复调度.
  • 配置项的更改只有在集群完全重启后才会生效.

参考​

恢复备份​

Elasticsearch 支持快照和恢复

# 需要配置 path.repo: /home/data/es-backup
# Snapshot repository
curl -XPUT 'localhost:9200/_snapshot/backup' -d '{
  "type": "fs",
    "settings": {
      "compress": "true",
      "location": "/home/data/es-backup/backup"
    }
}'

curl -XGET localhost:9200/_snapshot/backup?pretty

curl -XGET localhost:9200/_snapshot/_all?pretty

# Backup
curl -XPUT 'localhost:9200/_snapshot/backup/bckp1'

curl -XPUT 'localhost:9200/_snapshot/backup/bckp2?wait_for_completion=true&pretty'

curl -XPUT 'localhost:9200/_snapshot/backup/bckp?wait_for_completion=true&pretty' -d '{
  "indices": "mq-*",
  "ignore_unavailable": "true",
  "include_global_state": false,
	"partial":false
}'

# Restore
curl -XPOST 'localhost:9200/_snapshot/backup/bckp1/_restore'
curl -XPOST 'localhost:9200/_snapshot/backup/bck1/_restore?pretty' -d '{"indices": "c*"}'

# Cancel/Delete
curl -XDELETE 'localhost:9200/_snapshot/backup/bckp1/_restore'

参考​

数据建模​

Parent-Child​

  • Parent Child Relationship
  • 适合于子文档特别多,父文档较少的情况
  • 父子关系的映射会存储在内存中
  • 更新父文档不影响子文档
  • 增删改子文档不影响父文档
  • 减少父文档 ID 长度
  • 父子都存储在同一个分片
  • 可以实现祖孙关系,增加时需要使用 routing 来指定分片
  • has_child filter 不会缓存
  • 搜索子文档时,避免使用 score_mode
  • GET /_nodes/stats/indices/id_cache?human 可查看用于缓存父子占用的内存
  • 每次索引更改需要重建 Global Ordinals,当父文档较多时,需要占用大量的时间,可通过修改 fielddata 的 loading 来使其发生在 refresh 时而不是 query 时.

Nested Object​

聚合​

内存控制​

  • Controlling Memory
  • $ES_HEAP_SIZE 可用于控制堆大小,小于可用的一半,小于 32G

Fielddata​

  • 会将所有文档的 fielddata 加载到内存,主要是 uinvert index
  • 缓存以段位单位
  • 主要用于排序,聚合和部分过滤及脚本

插件​

常用插件​

插件开发​

更新​

更新主要指部分更新,部分更新在复杂场景下是非常常见的常见.部分更新分为脚本和文档合并两种方式.

curl -XPUT "localhost:9200/test/test/1" -d '{"name":"wener","age":15}'
# 需要
# script.inline: true
curl -XPOST "localhost:9200/test/test/1/_update" -d '{"script" : "ctx._source.age=16"}'
curl -XPOST "localhost:9200/test/test/1/_update" -d '{"script" : "ctx._source.sex='男'"}'
# params for script
curl -XPOST "localhost:9200/test/test/1/_update" -d '{
   "script" : "ctx._source.age=age",
   "params" : {
      "age" : 20
   }
}'
# upsert for missing
curl -XPOST "localhost:9200/test/test/1/_update" -d '{
   "script" : "ctx._source.score+=1",
   "upsert": {
       "score": 0
   }
}'
# doc for partial update
curl -XPOST "localhost:9200/test/test/1/_update" -d '{
  "doc":{
    "friends":[
      "XXX"
    ]
  }
}'
# doc_as_upsert will insert this doc if missing
curl -XPOST "localhost:9200/test/test/2/_update" -d '{
  "doc":{
    "friends":[
      "CCC"
    ]
  },
  "doc_as_upsert": true
}'
# remove field
curl -XPOST "localhost:9200/test/test/1/_update" -d '{
  "script" : "ctx._source.remove('friends')"
}'

翻页​

默认翻页内容最多 10000 条(配置项 index.max_result_window),

vs Others​

将 Elasticsearch 和其他产品做比较时,需要先考虑它的设计初衷

  • 一次写多次读
    • 符合日志的特性
    • 能够做大量缓存
  • 搜索
  • 统计分析

Elasticsearch 自身本可以作为主数据库使用, 但目前常用的做法都是作为一个附属库,当数据被写入到一个支持事务的高一致性的存储(HBase,PostgreSQL)后,再异步推送到 Elasticsearch 进行索引,以实现对存储的数据进行高性能的检索和分析.

MongoDB​

MongoDB 是用于传统用途(CRUD) 的基于文档的数据库,其主要特色不是搜索或者统计分析,而是能够以数据本身的文档结构进行存储.

MongoDB 与 Elasticsearch 两者并不违背,可以同时使用.

虽然 Elasticsearch 不需要 Schema ,但是因为底层为 Lucene, 所有的文档都会扁平化处理,因此无法真正的把 Elasticsearch 作为 Schemaless 来使用,反而需要慎重的对待.而 MongoDB 却能很好地做到 Schemaless, 可以从 JavaScript 的处理角度出发看待起处理文档的方式.

Elasticsearch 大多情况适用于处理小文档,当处理不需要索引的大文档时,其功能有限.而 MongoDB 支持 GridFS, 可以很好地使用同一套接口来处理大文档.

Solar​

FAQ​

指定配置文件​

启动时可通过 path.conf 来指定配置文件目录, 读取的配置文件来该目录下的 elasticsearch.yml, 不能直接指定该配置文件,也不能修改该配置文件名.

# 确保目录下配置文件正确
ls my-config
elasticsearch.yml logging.yml
# 启动时指定配置目录
./bin/elasticsearch -Dpath.conf=my-config

使用 ROOT 启动​

Elasticsearch 默认是不允许使用 ROOT 用户启动的,可通过启动时添加 es.insecure.allow.root 参数允许使用 ROOT 启动.

# 允许使用 ROOT 启动
./bin/elasticsearch -Des.insecure.allow.root=true

Java 版本​

Elasticsearch 对 Java 版本有要求,至少需要 1.7, 并且在 1.7 的某些版本中的 Bug 可能会影响 Lucene 的一致性,因此 Elasticsearch 在启动时会给予警告.

Exception in thread "main" java.lang.RuntimeException: Java version: Oracle Corporation 1.7.0_45 [Java HotSpot(TM) 64-Bit Server VM 24.45-b08] suffers from critical bug https://bugs.openjdk.java.net/browse/JDK-8024830 which can cause data corruption.
Please upgrade the JVM, see http://www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html for current recommendations.
If you absolutely cannot upgrade, please add -XX:-UseSuperWord to the JAVA_OPTS environment variable.
Upgrading is preferred, this workaround will result in degraded performance.
	at org.elasticsearch.bootstrap.JVMCheck.check(JVMCheck.java:123)
	at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:283)
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:35)
Refer to the log for complete error details.
Use -XX:-UseSuperWord if you are running on 7u40 <= JVM < 7u55

使用 term 查找不到指定内容​

  • 当使用 term 进行全文匹配时,要求查找的字段为非解析字段,否则无法进行全文匹配.

  • 大写会存储为小写,查询时需要手动转为小写.

  • Exact values versus full text