前言

本文我们来学习elasticsearch的实战操作,包含索引操作、映射操作、文档操作。通过实战来熟悉操作elasticsearch的常用命令。

索引操作

索引操作相当于操作我们关系数据库中的数据库database。

创建索引库

Elasticsearch采用Rest风格API,因此其API就是一次http请求,你可以用任何工具发起http请求

语法

1
2
3
4
5
6
PUT /索引名称
{
"settings": {
"属性名": "属性值"
}
}

settings:就是索引库设置,其中可以定义索引库的各种属性 比如分片数 副本数等,目前我们可以不 设置,都走默认 。

示例

执行:

1
PUT /lagou-company-index

运行结果:

1
2
3
4
5
{
"acknowledged" : true,
"shards_acknowledged" : true,
"index" : "lagou-company-index"
}

判断索引是否存在

语法

1
HEAD /索引名称

示例

1
HEAD /lagou-company-index

执行结果:

1
200 - OK

如果是不存在的结果,则返回:

1
404 - Not Found

查看索引

Get请求可以帮我们查看索引的相关属性信息

查看单个索引

语法

1
GET /索引名称

示例

1
GET /lagou-company-index

结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
{
"lagou-company-index" : {
"aliases" : { },
"mappings" : { },
"settings" : {
"index" : {
"creation_date" : "1619878872332",
"number_of_shards" : "1",
"number_of_replicas" : "1",
"uuid" : "V_6IBog6QuquKZX1AME5sA",
"version" : {
"created" : "7030099"
},
"provided_name" : "lagou-company-index"
}
}
}
}

批量查看索引

语法

1
GET /索引名称1,索引名称2,索引名称3,...

示例

1
GET /lagou-company-index,lagou-employee-index

结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
{
"lagou-company-index" : {
"aliases" : { },
"mappings" : { },
"settings" : {
"index" : {
"creation_date" : "1619878872332",
"number_of_shards" : "1",
"number_of_replicas" : "1",
"uuid" : "V_6IBog6QuquKZX1AME5sA",
"version" : {
"created" : "7030099"
},
"provided_name" : "lagou-company-index"
}
}
},
"lagou-employee-index" : {
"aliases" : { },
"mappings" : { },
"settings" : {
"index" : {
"creation_date" : "1619879450316",
"number_of_shards" : "1",
"number_of_replicas" : "1",
"uuid" : "OliXDsV4RJOZB18wly5IFw",
"version" : {
"created" : "7030099"
},
"provided_name" : "lagou-employee-index"
}
}
}
}

查看所有索引

方式一

1
GET _all

方式二

1
GET /_cat/indices?v

打开索引

语法

1
POST /索引名称/_open

示例

1
POST /lagou-company-index/_open

运行结果:

1
2
3
4
{
"acknowledged" : true,
"shards_acknowledged" : true
}

关闭索引

语法

1
POST /索引名称/_open

示例

1
POST /lagou-company-index/_close

运行结果:

1
2
3
4
5
6
7
8
9
{
"acknowledged" : true,
"shards_acknowledged" : true,
"indices" : {
"lagou-company-index" : {
"closed" : true
}
}
}

删除索引库

语法

1
DELETE /索引名称1,索引名称2,索引名称3...

示例

1
DELETE /lagou-company-index,lagou-employee-index

运行结果:

1
2
3
{
"acknowledged" : true
}

再次使用Get请求查看该索引库不存在。

映射操作

索引创建之后,等于有了关系型数据库中的database。Elasticsearch7.x取消了索引type类型的设置,不允许指定类型,默认为_doc,但字段仍然是有的,我们需要设置字段的约束信息,叫做字段映射(mapping)。

字段的约束包括但不限于:

  1. 字段的数据类型
  2. 是否要存储
  3. 是否要索引
  4. 分词器

创建映射字段

语法

1
2
3
4
5
6
7
8
9
10
11
PUT /索引库名/_mapping
{
"properties": {
"字段名": {
"type": "类型",
"index": true,
"store": true,
"analyzer": "分词器"
}
}
}

字段名:任意填写,下面指定许多属性,例如:

type:类型,可以是text、long、short、date、integer、object等;

index:是否索引,默认为true;

store:是否存储,默认为false;

analyzer:指定分词器。

示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
PUT /lagou-company-index
PUT /lagou-company-index/_mapping/
{
"properties": {
"name": {
"type": "text",
"analyzer": "ik_max_word"
},
"job": {
"type": "text",
"analyzer": "ik_max_word"
},
"logo": {
"type": "keyword",
"index": "false"
},
"payment": {
"type": "float"
}
}
}

上述案例中,就给lagou-company-index这个索引库设置了4个字段:

name:企业名称 job: 需求岗位 logo:logo图片地址 payment:薪资

并且给这些字段设置了一些属性。这些属性的含义,我们下面来介绍。

映射属性

type(数据类型)

elasticsearch中支持的属性非常丰富,我们来简要说明几个:

String类型,又分两种:

text:可分词,不可参与聚合;

keyword:不可分词,数据会作为完整字段进行匹配,可以参与聚合。

Numerical:数值类型,分两类

  1. 基本数据类型:long、interger、short、byte、double、float、half_float 浮点数的高精度类型:scaled_float
  2. 需要指定一个精度因子,比如10或100。elasticsearch会把真实值乘以这个因子后存储,取出时再还原

Date:日期类型 elasticsearch可以对日期格式化为字符串存储,但是建议我们存储为毫秒值,存储为long,节省空间。

Array:数组类型 进行匹配时,任意一个元素满足,都认为满足 排序时,如果升序则用数组中的最小值来排序,如果降序则用数组中的最大值来排序

Object:对象

1
2
3
4
5
6
7
{
name:"Jack",
age:21,
girl:{
name: "Rose", age:21
}
}

如果存储到索引库的是对象类型,例如上面的girl,会把girl变成两个字段:girl.name和girl.age

index(是否索引)

index影响字段的索引情况。

true:字段会被索引,则可以用来进行搜索。默认值就是true;

false:字段不会被索引,不能用来搜索。

index的默认值就是true,也就是说你不进行任何配置,所有字段都会被索引。但是有些字段是我们不希望被索引的,比如企业的logo图片地址,就需要手动设置index为false。

store(是否独立存储)

是否将数据进行独立存储。 原始的文本会存储在 _source 里面,默认情况下其他提取出来的字段都不是独立存储的,是从 _source 里面提取出来的。当然你也可以独立的存储某个字段,只要设置store:true即可,获取独立存储的字段要比从_source中解析快得多,但是也会占用更多的空间,所以要根据实际业务需求来设置, 默认为false。

analyzer(指定分词器)

一般我们处理中文会选择ik分词器 ik_max_word ik_smart

查看映射关系

查看单个索引映射关系

语法

1
GET /索引名称/_mapping

示例

1
GET /lagou-company-index/_mapping

运行结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
{
"lagou-company-index" : {
"mappings" : {
"properties" : {
"job" : {
"type" : "text",
"analyzer" : "ik_max_word"
},
"logo" : {
"type" : "keyword",
"index" : false
},
"name" : {
"type" : "text",
"analyzer" : "ik_max_word"
},
"payment" : {
"type" : "float"
}
}
}
}
}

查看所有映射关系

方式一

语法:

1
GET _mapping

方式二

语法:

1
GET _all/_mapping

修改索引映射关系

语法

1
2
3
4
5
6
7
8
9
10
11
PUT /索引库名/_mapping
{
"properties": {
"字段名": {
"type": "类型",
"index": true,
"store": true,
"analyzer": "分词器"
}
}
}

注意:修改映射只能增加字段。做其它更改只能删除索引,重新建立映射

一次性创建索引及映射

刚才 的案例中我们是把创建索引库和映射分开来做,其实也可以在创建索引库的同时,直接制定索引库中的索引。

语法

1
2
3
4
5
6
7
8
9
10
11
12
13
put /索引库名称
{
"settings":{
"索引库属性名":"索引库属性值"
},
"mappings":{
"properties":{
"字段名":{
"映射属性名":"映射属性值"
}
}
}
}

示例

1
2
3
4
5
6
7
8
9
10
11
12
PUT /lagou-employee-index
{
"settings": {},
"mappings": {
"properties": {
"name": {
"type": "text",
"analyzer": "ik_max_word"
}
}
}
}

文档增删改查及局部更新

文档,即索引库中的数据,会根据规则创建索引,将来用于搜索。可以类比做数据库中的一行数据。

新增文档

新增文档时,涉及到id的创建方式,手动指定或者自动生成 。

手动指定id

语法

1
POST /索引名称/_doc/{id}

示例

1
2
3
4
5
6
7
POST /lagou-company-index/_doc/1
{
"name" : "百度",
"job" : "小度用户运营经理",
"payment" : "30000",
"logo" : "http://www.lgstatic.com/thubnail_120x120/i/image/M00/21/3E/CgpFT1kVdzeAJNbUAABJB7x9sm8374.png"
}

运行结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
"_index" : "lagou-company-index",
"_type" : "_doc",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}

自动生成id

语法

1
2
3
4
POST /索引名称/_doc
{
"field":"value"
}

示例

1
2
3
4
5
6
7
POST /lagou-company-index/_doc
{
"name" : "阿里",
"job" : "程序员",
"payment" : "30000",
"logo" : "http://www.lgstatic.com/thubnail_120x120/i/image/M00/21/3E/CgpFT1kVdzeAJNbUAABJB7x9sm8374.png"
}

运行结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
"_index" : "lagou-company-index",
"_type" : "_doc",
"_id" : "NeZ5KHkBbYEfMRcE_KLE",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 1,
"_primary_term" : 1
}

在响应结果中有个 _id 字段,这个就是这条文档数据的 唯一标识 ,以后的增删改查都依赖这个_id作为唯一标示,这里是Elasticsearch帮我们随机生成的id。

查看单个文档

语法

1
GET /索引名称/_doc/{id}

示例

1
GET /lagou-company-index/_doc/1

运行结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
{
"_index" : "lagou-company-index",
"_type" : "_doc",
"_id" : "1",
"_version" : 1,
"_seq_no" : 0,
"_primary_term" : 1,
"found" : true,
"_source" : {
"name" : "百度",
"job" : "小度用户运营经理",
"payment" : "30000",
"logo" : "http://www.lgstatic.com/thubnail_120x120/i/image/M00/21/3E/CgpFT1kVdzeAJNbUAABJB7x9sm8374.png"
}
}

返回的文档元数据解读如下表格所示:

元数据项含义
_indexdocument所属index
_typedocument所属type,Elasticsearch7.x默认type为_doc
_id代表document的唯一标识,与index和type一起,可以唯一标识和定位一个 document
_versiondocument的版本号,Elasticsearch利用_version (版本号)的方式来确保应用中相互冲突的变更不会导致数据丢失。需要修改数据时,需要指定想要修改文档的version号,如果该版本不是当前版本号,请求将会失败
_seq_no严格递增的顺序号,每个文档一个,Shard级别严格递增,保证后写入的Doc seq_no大于先写入的Doc的seq_no
_primary_term任何类型的写操作,包括index、create、update和Delete,都会生成一个 _seq_no。
foundtrue/false,是否查找到文档
source存储原始文档

查看所有文档

语法

1
2
3
4
5
6
7
POST /索引名称/_search
{
"query":{
"match_all": {
}
}
}

示例

1
2
3
4
5
6
7
POST /lagou-company-index/_search
{
"query":{
"match_all": {
}
}
}

运行结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
{
"took" : 14,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 2,
"relation" : "eq"
},
"max_score" : 1.0,
"hits" : [
{
"_index" : "lagou-company-index",
"_type" : "_doc",
"_id" : "1",
"_score" : 1.0,
"_source" : {
"name" : "百度",
"job" : "小度用户运营经理",
"payment" : "30000",
"logo" : "http://www.lgstatic.com/thubnail_120x120/i/image/M00/21/3E/CgpFT1kVdzeAJNbUAABJB7x9sm8374.png"
}
},
{
"_index" : "lagou-company-index",
"_type" : "_doc",
"_id" : "NeZ5KHkBbYEfMRcE_KLE",
"_score" : 1.0,
"_source" : {
"name" : "阿里",
"job" : "程序员",
"payment" : "30000",
"logo" : "http://www.lgstatic.com/thubnail_120x120/i/image/M00/21/3E/CgpFT1kVdzeAJNbUAABJB7x9sm8374.png"
}
}
]
}
}

_source定制返回结果

某些业务场景下,我们不需要搜索引擎返回source中的所有字段,可以使用source进行定制,如下,多 个字段之间使用逗号分隔 :

1
GET /lagou-company-index/_doc/1?_source=name,job

运行结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
{
"_index" : "lagou-company-index",
"_type" : "_doc",
"_id" : "1",
"_version" : 1,
"_seq_no" : 0,
"_primary_term" : 1,
"found" : true,
"_source" : {
"name" : "百度",
"job" : "小度用户运营经理"
}
}

更新文档(全部更新)

把刚才新增的请求方式改为PUT,就是修改了,不过修改必须指定id id对应文档存在,则修改 id对应文档不存在,则新增 比如,我们把使用id为4,不存在,则应该是新增

1
2
3
4
5
6
7
PUT /lagou-company-index/_doc/4
{
"name" : "44f度",
"job" : "fdsfsfdsaf",
"payment" : "30000",
"logo" : "http://www.lgstatic.com/thubnail_120x120/i/image/M00/21/3E/CgpFT1kVdzeAJNbUAABJB7x9sm8374.png"
}

结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
"_index" : "lagou-company-index",
"_type" : "_doc",
"_id" : "4",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 4,
"_primary_term" : 1
}

result字段里面是"created",表明是新增。

再次执行刚刚id为4的请求,返回结果如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
"_index" : "lagou-company-index",
"_type" : "_doc",
"_id" : "4",
"_version" : 2,
"result" : "updated",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 5,
"_primary_term" : 1
}

result里面变为"updated",表明是更新。

更新文档(局部更新)

Elasticsearch可以使用PUT或者POST对文档进行更新(全部更新),如果指定ID的文档已经存在,则执行 更新操作。 注意:Elasticsearch执行更新操作的时候,Elasticsearch首先将旧的文档标记为删除状态,然后添加新的文档,旧的文档不会立即消失,但是你也无法访问,Elasticsearch会在你继续添加更多数据的时候在后台清理已经标记为删除状态的文档。

全部更新,是直接把之前的老数据,标记为删除状态,然后,再添加一条更新的(使用PUT或者POST)

局域更新,只是修改某个字段(使用POST)

语法

1
2
3
4
5
6
POST /索引名/_update/{id}
{
"doc":{
"field":"value"
}
}

示例

1
2
3
4
5
6
  POST /lagou-company-index/_update/4
{
"doc": {
"name" : "笑嘻嘻"
}
}

运行结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
  "_index" : "lagou-company-index",
"_type" : "_doc",
"_id" : "4",
"_version" : 3,
"result" : "updated",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 6,
"_primary_term" : 1
}

删除文档

根据id进行删除

语法

1
DELETE /索引名/_doc/{id}

示例

1
DELETE /lagou-company-index/_doc/4

运行结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
"_index" : "lagou-company-index",
"_type" : "_doc",
"_id" : "4",
"_version" : 4,
"result" : "deleted",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 7,
"_primary_term" : 1
}

可以看到result里面是“deleted”。

根据查询条件删除文档

语法

1
2
3
4
5
6
7
8
POST /索引库名/_delete_by_query
{
"query": {
"match": {
"字段名": "搜索关键字"
}
}
}

示例

1
2
3
4
5
6
7
8
POST /lagou-company-index/_delete_by_query
{
"query":{
"match":{
"name":"度"
}
}
}

执行结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
{
"took" : 166,
"timed_out" : false,
"total" : 2,
"deleted" : 2,
"batches" : 1,
"version_conflicts" : 0,
"noops" : 0,
"retries" : {
"bulk" : 0,
"search" : 0
},
"throttled_millis" : 0,
"requests_per_second" : -1.0,
"throttled_until_millis" : 0,
"failures" : [ ]
}

删除所有文档

语法

1
2
3
4
5
6
POST 索引名/_delete_by_query
{
"query": {
"match_all": {}
}
}

总结

本文我们主要学习了elasticsearch的索引操作、映射操作、文档操作的相关命令。