数据仓库系统的性能痛点如何解决

数据仓库系统。数据库:GreenPlum负载特点:OLAP大批量连续读写,IO繁忙率较高(账单日在90%以上),IO读写比约4:1服务器配置:DELL四路服务器 + DELL MD1220直连DAS + Redhat5 + GreenPlum集群需求痛点:存储容量剧增,对非结构化数据支持不好;IO繁忙率高,频繁出现坏盘;计算资源不足(CPU、内...显示全部

数据仓库系统。

数据库:GreenPlum

负载特点:OLAP大批量连续读写,IO繁忙率较高(账单日在90%以上),IO读写比约4:1

服务器配置:DELL四路服务器 + DELL MD1220直连DAS + Redhat5 + GreenPlum集群

需求痛点:存储容量剧增,对非结构化数据支持不好;IO繁忙率高,频繁出现坏盘;计算资源不足(CPU、内存、IO),目前硬件层面升级已经比较难,类似这样的话是不是只有大规模替换硬件这一种途径啊?

收起
参与18
  • 频繁坏盘,比较正常,看raid规划,还有数据压力
    2016-03-15

查看其它 4 个回答sxtycxx的回答

sxtycxxsxtycxx 解决方案经理人工智能(计算机视觉)

    楼主所说的GreenPlum,它的特点主要就是查询速度快,数据装载速度快,批量DML处理快。而且性能可以随着硬件的添加,呈线性增加,拥有非常良好的可扩展性

   出现上述的问题,关键就是硬件配置的问题,

   DAS直连这种架构除了扩展性有问题外,服务器与存储之间的带宽也受端口的速率决定,也就是说你的服务器和DAS存储之间的端口应该就是以千兆计算的吧,这很大程度上决定了你的响应时间和频率,另外正是因为你的DAS,阵列中的磁盘使用效率太频繁,导致大量坏盘出现

    所以建议楼主在跟换硬件配置的基础上,要重新优化Host-Array之间的架构

互联网服务 · 2016-03-15
浏览2471

回答者

sxtycxx
解决方案经理人工智能(计算机视觉)
擅长领域: 存储灾备服务器

sxtycxx 最近回答过的问题

回答状态

  • 发布时间:2016-03-15
  • 关注会员:6 人
  • 回答浏览:2471
  • X社区推广