Elasticsearch去重查询/过滤重复数据（聚合）
带家好，我是马儿，这次来讲一下最近遇到的一个问题
我司某个环境的es中被导入了重复数据，导致查询的时候会出现一些重复数据，所以要我们几个开发想一些解决方案，我们聊了聊，相出了下面一些方案：
1.从源头解决：导入数据时进行唯一性校验
2.从数据解决：清洗数据，将重复的数据查出后清理，然后入库
3.从查询解决：查询时筛选重复数据
我就从查询着手，找到了聚合查询的方法
聚合(Aggregations)
聚合功能为ES带来了统计分析的能力，类似于SQL语言中的group by，avg，sum等函数
桶(Buckets)：符合条件的文档的集合，相当于SQL中的group by
桶的概念在很多地方有应用，比如桶排序，HashMap的实现中数组也可看作桶，等等等等
示例：
根据city，对twitter索引的文档进行分组
aggs：聚合
my：自定义名称
terms：根据结果分类
field：筛选字段
city：需要分类的字段
GET /twitter/doc/_search
{
"from": 0,
"size": 0,
"aggs": {
"my":{
"terms":{
"field": "city"
}
}
}
}
结果中聚合的部分：
计算出了类型和命中的数量
"aggregations": {
"my": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "北京",
"doc_count": 105
},
{
"key": "上海",
"doc_count": 1
}
]
}
}
但这不是只有统计结果吗，我要的是筛选后的数据啊
top_hits指标聚合器
top_hits指标聚合器跟踪要聚合的最相关文档，可以有效地用于通过存储桶聚合器按某些字段对结果集进行分组。
选项：
from-要获取的第一个结果的偏移量。
size-每个存储桶要返回的最匹配匹配项的最大数目。 默认情况下，返回前三个匹配项。
排序-匹配的热门匹配的排序方式。 默认情况下，命中按主要查询的分数排序。
示例：
根据city，对twitter索引的文档进行分组、根据age进行排序、结果只包含user+age+city，然后显示每组的一条数据
aggs：聚合
my：自定义名称
terms：根据结果分类
field：筛选字段
city：需要分类的字段
sort：排序
age：排序依据字段
order：排序方式
desc：降序
_source includes：结果包含的字段
size：每组显示的数量
{
"from": 0,
"size": 0,
"aggs": {
"my":{
"terms":{
"field": "city"
},
"aggs":{
"my_top_hits":{
"top_hits":{
"sort": [
{
"age": {
"order": "desc"
}
}
],
"_source": {
"includes": [
"user",
"age",
"city"
]
},
"size":1
}
}
}
}
}
}
结果中聚合的部分：
"aggregations": {
"my": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "北京",
"doc_count": 105,
"my_top_hits": {
"hits": {
"total": 105,
"max_score": null,
"hits": [
{
"_index": "twitter",
"_type": "doc",
"_id": "AW5jwgirrweXGTc7-cPA",
"_score": null,
"_source": {
"city": "北京",
"user": "朝阳区-老王",
"age": 50
},
"sort": [
50
]
}
]
}
}
},
{
"key": "上海",
"doc_count": 1,
"my_top_hits": {
"hits": {
"total": 1,
"max_score": null,
"hits": [
{
"_index": "twitter",
"_type": "doc",
"_id": "AW5jwiM1rweXGTc7-cPB",
"_score": null,
"_source": {
"city": "上海",
"user": "虹桥-老吴",
"age": 90
},
"sort": [
90
]
}
]
}
}
}
]
}
}
但是光使用terms，我添加了多个字段后查不出来东西了都，难道这样还不行吗
使用script进行聚合
常规的聚合无法在聚合中进行复杂操作，所以要加入脚本
示例：
修改terms中内容为下，将三个条件拼接起来
"terms":{
"script": "doc['user.keyword'].value + '#' + doc['age'].value + '#' +doc['city'].value"
},
查询结果：
key：拼接的条件
doc_count：每组重复的数目
"aggregations": {
"my": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "双榆树-张三#20#北京",
"doc_count": 101,
"my_top_hits": {
"hits": {
"total": 101,
"max_score": null,
"hits": [
{
"_index": "twitter",
"_type": "doc",
"_id": "AW9lr8sBP5iHlpen8GYt",
"_score": null,
"_source": {
"city": "北京",
"user": "双榆树-张三",
"age": 20
},
"sort": [
20
]
}
]
}
}
},
{
"key": "东城区-李四#30#北京",
"doc_count": 1,
"my_top_hits": {
"hits": {
"total": 1,
"max_score": null,
"hits": [
{
"_index": "twitter",
"_type": "doc",
"_id": "AW5jwaOIrweXGTc7-cO-",
"_score": null,
"_source": {
"city": "北京",
"user": "东城区-李四",
"age": 30
},
"sort": [
30
]
}
]
}
}
},
{
"key": "东城区-老刘#30#北京",
"doc_count": 1,
"my_top_hits": {
"hits": {
"total": 1,
"max_score": null,
"hits": [
{
"_index": "twitter",
"_type": "doc",
"_id": "AW5jwXhcrweXGTc7-cO9",
"_score": null,
"_source": {
"city": "北京",
"user": "东城区-老刘",
"age": 30
},
"sort": [
30
]
}
]
}
}
},
{
"key": "朝阳区-老王#50#北京",
"doc_count": 1,
"my_top_hits": {
"hits": {
"total": 1,
"max_score": null,
"hits": [
{
"_index": "twitter",
"_type": "doc",
"_id": "AW5jwgirrweXGTc7-cPA",
"_score": null,
"_source": {
"city": "北京",
"user": "朝阳区-老王",
"age": 50
},
"sort": [
50
]
}
]
}
}
},
{
"key": "朝阳区-老贾#35#北京",
"doc_count": 1,
"my_top_hits": {
"hits": {
"total": 1,
"max_score": null,
"hits": [
{
"_index": "twitter",
"_type": "doc",
"_id": "AW5jwcvBrweXGTc7-cO_",
"_score": null,
"_source": {
"city": "北京",
"user": "朝阳区-老贾",
"age": 35
},
"sort": [
35
]
}
]
}
}
},
{
"key": "虹桥-老吴#90#上海",
"doc_count": 1,
"my_top_hits": {
"hits": {
"total": 1,
"max_score": null,
"hits": [
{
"_index": "twitter",
"_type": "doc",
"_id": "AW5jwiM1rweXGTc7-cPB",
"_score": null,
"_source": {
"city": "上海",
"user": "虹桥-老吴",
"age": 90
},
"sort": [
90
]
}
]
}
}
}
]
}
}
可以看到，每组都不一样，我们script真是太强大了
Java实现
使用elasticsearch包中的工具类，将索引中所有字段进行拼接，作为aggregation参数传入查询即可
总结：
本文介绍了es的聚合功能，aggs+top_hits+script就能过滤重复数据，得到唯一结果。
但是这边也有个坑，es聚合本身不支持分页
这个分页以后有机会再说