哪个分布式数据库适合处理返回的数据集很大(几兆几十兆)的并发场景?

我有一批实时的时间序列数据,需要按时间来查询,并做聚合及复杂处理(不止是sum、avg、max这种)。我这边主要使用的分布式数据库是elasticsearch跟redis,但是它们两个都不是特别适合。Redis是单线程的,返回大数据集会卡住,阻塞其他查询请求;elasticsearch的search返回的数据集上...显示全部

我有一批实时的时间序列数据,需要按时间来查询,并做聚合及复杂处理(不止是sum、avg、max这种)。我这边主要使用的分布式数据库是elasticsearch跟redis,但是它们两个都不是特别适合。Redis是单线程的,返回大数据集会卡住,阻塞其他查询请求;elasticsearch的search返回的数据集上限是10000,超过这个就得用scroll了,而且总感觉elasticsearch来做这种简单的检索,有点浪费了。有什么好的分布式数据库适合做这个吗?

收起
参与9

查看其它 1 个回答顾黄亮的回答

顾黄亮顾黄亮课题专家组技术总监畅销书作者

命题中两个需求,1:海量数据;2:时效性
如果是单纯考虑1,基本上绝大部分的分布式数据库都适合,无非考虑到海量到什么程度,但是每个分布式数据库的优点不一样,比如说redis的场景是缓存和订阅,es的场景更多的是搜索数据分析。如你所说,redis和es都有缺点,redis是单线程的,一个查询慢了会导致整个查询超时,es没有事务的概念,查询批量的数据集会有限制。
如果是2:其实绝大多数的分布式数据库也是适合的,关键还是看你时效到什么程度,拿hbase来说,写入性能能达到每秒1W的速度。
关键还是看场景,如果是基于时序的聚合处理,不妨选择专门的时序数据库,比如 InfluxDB

银行 · 2019-09-16
浏览1721

回答者

顾黄亮
技术总监畅销书作者
擅长领域: 云计算数据库系统运维

顾黄亮 最近回答过的问题

回答状态

  • 发布时间:2019-09-16
  • 关注会员:3 人
  • 回答浏览:1721
  • X社区推广