ES长时间轴查询统计如何加速?

在大量日志或其它数据进入ES后,如果需要对长时间轴对数据的查询或统计有那些优化手段(暂不考虑异步处理,长时间轴指3个月以上或更久)

参与8

2同行回答

liukangliukang  系统分析师 , 日志易
你的这个问题就是搜索优化的问题,要想搜索的快一些要注意一些细节:字段解析最好只保留想要的,如果有数值类型尽量转成数值类型。选用更好的存储设备,可以使用hot-warm 架构来调整,经常搜索的数据放在SSD上使用rounded date 时间范围来搞,尽量的缓存内存一定都不要给es。多留下...显示全部

你的这个问题就是搜索优化的问题,要想搜索的快一些要注意一些细节:

  1. 字段解析最好只保留想要的,如果有数值类型尽量转成数值类型。
  2. 选用更好的存储设备,可以使用hot-warm 架构来调整,经常搜索的数据放在SSD上
  3. 使用rounded date 时间范围来搞,尽量的缓存
  4. 内存一定都不要给es。多留下一点,因为这部分可以留作 系统cache
  5. 如果搜索的日期很长,数据量很大,建议不要直接搜索*,使用term搜。
收起
互联网服务 · 2019-08-05
尘世随缘尘世随缘  技术总监 , 上海某互联网金融公司
可以考虑对时间做分片路由,查询的时候带上时间参数即可。这样把大数据通过时间这个单位来拆分成小数据,提高查询的QPS显示全部

可以考虑对时间做分片路由,查询的时候带上时间参数即可。这样把大数据通过时间这个单位来拆分成小数据,提高查询的QPS

收起
互联网服务 · 2020-04-29
浏览1034

提问者

nexpose
其它阳光信保
擅长领域: 云计算容器云容器

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-08-02
  • 关注会员:3 人
  • 问题浏览:2330
  • 最近回答:2020-04-29
  • X社区推广