数据管理过程中,如何解决大量数据查询速度很慢的问题?

海量数据按照生命周期,迁移到离线存储,越来越多的海量文件造成metadata越来越多,会造成数据查询越来越慢,就像是打开成千上万个文件的文件夹,可能读取非常消耗时间,在数据的管理过程中,对于这类问题有什么解决方案呢?

参与12

5同行回答

haizdlhaizdl  技术经理 , 大连
海量数据可以考虑对象存储方式显示全部

海量数据可以考虑对象存储方式

收起
银行 · 2017-06-14
浏览2861
JhonJhon  技术经理 , 小学生
你好,我给你一个大型集团的优化方案,1,将数据源同步到二集数据源,2,将第二数据源做按月分库3,执行层次查询虽然是逻辑上的隔离出源数据,不过非当日的历史查询速度是很快的,优化效果很好...显示全部

你好,我给你一个大型集团的优化方案,
1,将数据源同步到二集数据源,
2,将第二数据源做按月分库
3,执行层次查询
虽然是逻辑上的隔离出源数据,不过非当日的历史查询速度是很快的,优化效果很好

收起
IT咨询服务 · 2017-06-26
浏览2772
wangqlwangql  系统工程师 , NULL
这个应该就是初期设计和定位的问题了。首先,先确定对数据和存储的分层基于一个什么样的维度来划分。根据你的实际情况,如果数据访问量或访问频率依然非常大,显然是不太适合放到离线存储的。其次,是对这些文件的分类和规划,对常见的访问方式进行分类,然后再看能否已经访问方式对...显示全部

这个应该就是初期设计和定位的问题了。
首先,先确定对数据和存储的分层基于一个什么样的维度来划分。根据你的实际情况,如果数据访问量或访问频率依然非常大,显然是不太适合放到离线存储的。
其次,是对这些文件的分类和规划,对常见的访问方式进行分类,然后再看能否已经访问方式对数据进行对应的分类,来提示访问速度。原理类似数据库的表分区。

收起
IT咨询服务 · 2017-06-14
浏览2836
pysx0503pysx0503  系统工程师 , 第十区。散人
[此回答已删除]
浏览2432
y18511664518y18511664518  技术总监 , 长城超云
标题里既然选用了大量数据,就还没到大数据的范畴,建议分类存储,就算已经归档,也要把需要查询的表分区,建立合适索引,你在怎么查询也不能查询很多年以前的数据吧,具体方案只能根据你实际情况来做,这方面应该联合你们的业务和DBA进行详细商讨,然后制定计划。...显示全部

标题里既然选用了大量数据,就还没到大数据的范畴,建议分类存储,就算已经归档,也要把需要查询的表分区,建立合适索引,你在怎么查询也不能查询很多年以前的数据吧,具体方案只能根据你实际情况来做,这方面应该联合你们的业务和DBA进行详细商讨,然后制定计划。

收起
金融其它 · 2017-06-14
浏览2902

提问者

zhenyu6688
运维工程师中亦安图
擅长领域: 备份存储软件定义存储

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-06-13
  • 关注会员:6 人
  • 问题浏览:6529
  • 最近回答:2017-06-26
  • X社区推广