为了解决DPF扩展性差,除横向扩展外,是否还有其他解决方法?

为了解决DPF扩展性差,除横向扩展外,是否还有其他解决方法?

参与9

3同行回答

mdkiimdkii软件开发工程师bocn
因为DPF是号称是一个可以横向扩展的架构,扩容的时候大家首先想到的都是横向扩容。实际上采用这种hash分区进行数据分布的MPP架构横向扩展的代价是相当高的(尤其是数据量大了之后)。其实如果IO的瓶颈不太明显的情况下,可以考虑选择纵向扩展,就是分区数不变的情况下,增加每个分区...显示全部

因为DPF是号称是一个可以横向扩展的架构,扩容的时候大家首先想到的都是横向扩容。实际上采用这种hash分区进行数据分布的MPP架构横向扩展的代价是相当高的(尤其是数据量大了之后)。其实如果IO的瓶颈不太明显的情况下,可以考虑选择纵向扩展,就是分区数不变的情况下,增加每个分区的CPU和内存数,通常也能提高性能。因此在一开始设计DPF架构时,分区数尽量多些,以便日后较少进行横向扩展。

收起
银行 · 2015-11-10
浏览1781
anikikonganikikong课题专家组数据库运维工程师中国民生银行
除了横向扩展,其他的解决办法就是看看到底遇到了什么瓶颈。如果是CPU内存,加硬件或者替换机器,如果是存储,加存储。除了内置存储加不了的情况,开压缩,清数据。 这些都能够解决硬件资源的问题,不是非得横向扩展机器的数量。还有更核心的,确定资源的紧缺不是SQL的不够优化导致的吗?...显示全部

除了横向扩展,其他的解决办法就是看看到底遇到了什么瓶颈。如果是CPU内存,加硬件或者替换机器,如果是存储,加存储。除了内置存储加不了的情况,开压缩,清数据。 这些都能够解决硬件资源的问题,不是非得横向扩展机器的数量。还有更核心的,确定资源的紧缺不是SQL的不够优化导致的吗?也许调调sql,改改应用,就解决了。

收起
银行 · 2015-11-09
浏览1691
lilacmalilacma软件架构设计师待业中
能不能请sunfeng再澄清一下这个问题想讨论的点?DPF本身就是一个横向扩展(Scale Out/Scale Horizontally)的架构,对于OLAP来讲扩展的线性度很好,而且能扩展到的节点上限有上千个,远超过我们目前正常使用的场景.如果问题是,我们已经有了一个DPF架构的数据库,数据量,随着交...显示全部

能不能请sunfeng再澄清一下这个问题想讨论的点?

DPF本身就是一个横向扩展(Scale Out/Scale Horizontally)的架构,对于OLAP来讲扩展的线性度很好,而且能扩展到的节点上限有上千个,远超过我们目前正常使用的场景.

如果问题是,我们已经有了一个DPF架构的数据库,数据量,随着交易量不断上升,需要增加新节点,新分区,尤其对于像Fact table那样横跨所有分区的超大表来说,那的确对于DPF有点儿难,毕竟受限于分区的规则--distribution key和hash算法.就我个人的理解,除了把表里的数据重新捣腾一遍之外,的确没什么好办法.

收起
软件开发 · 2015-11-06
浏览1665

提问者

mdkii
软件开发工程师bocn
擅长领域: 数据库存储服务器

问题来自

相关问题

问题状态

  • 发布时间:2015-11-06
  • 关注会员:4 人
  • 问题浏览:5845
  • 最近回答:2015-11-10
  • X社区推广