在上一篇,分享了使用kibana如何对索引进行增删改查等操作,事实上在日常开发与运维中,操作索引毕竟是比较谨慎的事情,但是对于索引中文档的增删查改却是随处可见的,es对文档的操作不仅频繁,而且涉及到的点比较多,本文将分享对文档的基本的操作;
首先创建一个索引
PUT test_doc
执行上面的语句发现报错了,因为es中的文档数据需要唯一性标识,因此需要添加一个id,修改下执行语句
PUT test_doc/_doc/1001
{"id":1001,"name":"jerry","age":12
}
再次执行后就可以了
使用post同样可以达到目的,参考下面的语句
POST test_doc/_doc
{"id":1002,"name":"mike","age":15
}
与put不同的是,post不需要强制在请求URL中添加id值,而是自动为当前这条数据生成一个_id;
查询单个数据
GET test_doc/_doc/1001
GET test_doc/_search
根据主键值id进行修改
PUT test_doc/_doc/1001
{"id":1001,"name":"jerry","age":12
}
可以看到在这种情况下,新增了一个字段仍然可以修改成功
根据主键id值进行删除
DELETE test_doc/_doc/1001
删除后再次查询,数据被删掉了
文档搜索是es最强大的功能之一,也是架构设计之初选择es的一个重要原因,es对于文档的搜索提供了丰富的API,下面通过一些实际的操作演示来感受下es文档搜索的强大之处;
创建一个索引 test_query,并给这个索引下批量插入一些数据
PUT test_queryPUT test_query/_bulk
{"index": {"_index": "test_query","_id": "1001"}}
{"id": "1001","name":"zhang san","age":30}
{"index": {"_index": "test_query","_id": "1002"}}
{"id": "1002","name":"li si","age": 40}
{"index": {"_index": "test_query","_id": "1003"}}
{"id": "1003", "name": "wang wu","age" : 50}
{"index": {"_index": "test_query","_id": "1004"}}
{"id": "1004","name": "zhangsan", "age" : 30}
{"index": {"_index": "test_query","_id": "1005"}}
{"id": "1005","name": "lisi","age":40}
{"index": {"_index": "test_query","_id": "1006"}}
{"id": "1006", "name ": "wangwu","age" : 50}
GET 索引名称/_search
比如name字段中包含 zhangsan 的文档
GET test_query/_search
{"query": {"match": {"name": "zhangsan"}}
}
要注意的是,这种方式查询的结果,表示name 中只要包含了zhangsan这个完整的关键词的文档都会查询出来,因为默认情况下,如果我们未对索引中的字段进行属性映射文件的设置的话,es会对字段进行分词处理;
比如我们再增加下面这条数据
POST test_query/_doc
{"id":"1007","name":"zhang wu","age":37
}
再次使用 zhang 这个关键词进行name字段查询时,可以看到下面的效果,简而言之:使用match查询时会带有分词效果;
精准匹配name等于zhangsan这个词的文档,term的效果就像mysql语法中的 where name="XXX"
GET test_query/_search
{"query": {"term": {"name": {"value": "zhangsan"}}}
}
某些情况下,不需要查询结果中返回所有的字段,就可以通过添加"_source"进行限制
GET test_query/_search
{"_source": ["name","age"], "query": {"match": {"name": "zhang"}}
}
组合查询的关键语法是需要在查询条件中使用bool关键字
这个需求类似于mysql 中的or的语法,在es中使用should可以满足类似的需求
GET test_query/_search
{"query": {"bool": {"should": [[{"match":{"name":"zhang"}},{"match":{"age":40}}]]}}
}
组合使用should和must
GET test_query/_search
{"query": {"bool": {"must": [[{"match":{"name":"zhang"}}]],"should": [{"range": {"age": {"gte": 30}}}]}}
}
查询name中含有 zhang或li的文档,并按照age排序
GET test_query/_search
{"query": {"match": {"name": "zhang"}},"sort":[{"age" : {"order":"desc"}}]
}
语法
GET 索引名称/_search
{
"query": {
"match_all": {}
},
"from": 0, //从第几条开始查询
"size": 2 //每次查询多少数据
}
看下面的查询结果
GET test_query/_search
{"query": {"match_all": {}},"from": 0,"size": 2
}
实际业务中,经常会涉及到对查询的结果根据某个或者某些字段进行聚合,类似于mysql中的group by语法;
需求1:根据age将查询结果进行分组聚合
注意点:这里 "size"设置为0表示查询结果中不展示其他非聚合结果的信息;
GET test_query/_search
{"aggs": {"aggAge": {"terms": {"field": "age"}}},"size": 0
}
需求2:查询年龄大于等于40岁的,并将结果按照age分组聚合
GET test_query/_search
{"query": {"range": {"age": {"gte": 40}}}, "aggs": {"aggAge": {"terms": {"field": "age"}}},"size": 0
}
查询结果如下
需求3:根据age分组聚合,再对聚合后的结果按照age求平均值
GET test_query/_search
{"aggs": {"ageAgg": {"terms": {"field": "age"},"aggs": {"avgAgg": {"avg": {"field": "age"}}}}},"size": 0
}
查询结果如下
需求4:获取结果集中的前N个数据
GET test_query/_search
{"aggs": {"top3": {"top_hits": {"size": 3}}},"size": 0
}
查询结果如下
需求5:获取结果集中按照age字段排序后求取前N个数据
GET test_query/_search
{"aggs": {"top3": {"top_hits": {"sort": [{"age" : {"order":"desc"}}], "size": 3}}},"size": 0
}
查询结果如下