系统集成
有奖讨论: 如何进行DPF(多分区数据库)数据库的规划与设计？
目前数据库集群模式在 OLAP / OLTP 方面的高性能、高可靠性和可扩展性特点，已越来越多应用在关键性业务系统数据库架构设计中。
DPF 是 Database Partition Feature的简称, 也就是DB2的多分区数据库. 做为 Share nothing 架构的代表 (Oracle RAC Share Disk 架构的代表)，其在数据库的规划和设计需要重点考虑哪些环节和内容？
作为DBA的我们如何去实际操作和问题的及时应对呢？
本期我们就来讨论这个主题，希望大家有的放矢，各抒己见。
活动时间：2012.7.16-2012.7.23
活动奖励：
1：讨论结束后选出五位讨论最积极的会员赠送 200 米
2：选出一位讨论最认真的会员赠送书籍《DB2重点解析-DBA篇》一本
------------------------------------------------------------------------------------
此次有奖讨论的获奖名单已经出来了，因为此次讨论话题要求参与者对DPF都有一定的了解或者是实际经验，因此限制了一部分人的参与，因此我们从20多项互动中只选出了四位获奖名单。
三位讨论最积极的会员：
fantasygod
kt563
fyhlove
每人获得奖励200大米。
讨论最认真的会员：
飞天
获得《DB2重点解析-DBA篇》一本
后续大家也可以在里面进行互动，继续加分哦。
DPF 是 Database Partition Feature的简称, 也就是DB2的多分区数据库. 做为 Share nothing 架构的代表 (Oracle RAC Share Disk 架构的代表)，其在数据库的规划和设计需要重点考虑哪些环节和内容？
作为DBA的我们如何去实际操作和问题的及时应对呢？
本期我们就来讨论这个主题，希望大家有的放矢，各抒己见。
活动时间：2012.7.16-2012.7.23
活动奖励：
1：讨论结束后选出五位讨论最积极的会员赠送 200 米
2：选出一位讨论最认真的会员赠送书籍《DB2重点解析-DBA篇》一本
------------------------------------------------------------------------------------
此次有奖讨论的获奖名单已经出来了，因为此次讨论话题要求参与者对DPF都有一定的了解或者是实际经验，因此限制了一部分人的参与，因此我们从20多项互动中只选出了四位获奖名单。
三位讨论最积极的会员：
fantasygod
kt563
fyhlove
每人获得奖励200大米。
讨论最认真的会员：
飞天
获得《DB2重点解析-DBA篇》一本
后续大家也可以在里面进行互动，继续加分哦。
28 同行回答
适合应用最好 收起
以前，32bit limit, large db 不得不走DPF.
Nowadays, 64bit + Compression + Table Partition, 很多大系统都不必走DPF了。
不过DPF是DB2特有的， 有pro 有con， 值得保持：） 收起
Nowadays, 64bit + Compression + Table Partition, 很多大系统都不必走DPF了。
不过DPF是DB2特有的， 有pro 有con， 值得保持：） 收起
歇几天不看，好多大牛留言啊。见识增长不少。
分区间通信确实头疼，这个和原业务系统的数据有很大的关系。我们现在因为是在一台LPAR上的分区库，性能虽有所下降，但比网络间的要好很多。不过做多机器节点的肯定是个趋势，要不这么大数据量怎么弄。
我们目前8core+64G，4个分区，3T左右的数据，压力有点大啊。随着数据量增长，优化也是个问题。 收起
分区间通信确实头疼，这个和原业务系统的数据有很大的关系。我们现在因为是在一台LPAR上的分区库，性能虽有所下降，但比网络间的要好很多。不过做多机器节点的肯定是个趋势，要不这么大数据量怎么弄。
我们目前8core+64G，4个分区，3T左右的数据，压力有点大啊。随着数据量增长，优化也是个问题。 收起
目前DB2的DPF特性，我所接触的几乎全是海量数据仓库系统，数据量基本都是10T以上的，所在行业主要是移动、联通、电信的仓库分析系统，以及部分银行仓库系统，还有几家电力公司。最大的广东移动，数据量突破800T了，10台小机。
从工作以来，参与了大概5套DPF数据仓库的规划、设计，DPF性能调优和故障处理就更多了（不下于15个）。有一点体会，与大家分享，希望对各位有所帮助。也希望有越来越多的系统使用DPF。
1. 物理规划极其关键。比如节点数的选择，CPU/Memory硬件资源，以及HBA卡容量，存储规划设计等。不同的存储设备，规划有所不同，所以不能完全按照IBM红皮书的最佳实践，而是遵循着让存储性能发挥最佳的角度考虑。我们去年参与了一个200T的数据仓库设计，开始的方案按照IBM红皮书，每个节点分配独立的VG（包含独立的盘组），性能不佳；后来让一组节点共享底层的更多盘组，这样数据在磁盘上的分布更均匀，性能比以前提升了1倍（Load性能由80MB/s提升到170MB/s）。
2. 性能调优。多分区的系统，通常数据量巨大，性能往往是瓶颈，因此需要从多个角度考虑性能。比如分区键选择很关键，能有效避免分区间数据传输，减少网络和资源消耗。另外，还有很多优化技术，比如压缩、索引、MQT，MDC等。不同的问题，尝试不同的方法，依赖这些技术，还是解决了很多性能问题。
3. 问题处理。多分区系统的问题处理比较麻烦，因此思路很关键。通常是要先定位到哪个分区的问题，然后再不停的细化，最终定位。去年在某通信行业客户遇到的load hang问题，最终定位到是pre-partition节点问题。还有，某客户网络出现问题后，重启DB2实例起不来，最终确定是第2台机器包含的节点，主机名没有加到/etc/hosts。多分区的问题，除了遇到的DB2自身的bug，很多是由于网络问题引起。分析的思路很关键，db2trc/db2 stack都是分析问题的好东西。
4. 备份很关键。通信行业，几乎每年都会遇到大的故障，最终导致要导数据/重建库的情况。比如，磁盘损坏，日志破坏，日志lsn到达上限，以及人为造成的失误等。由于数据量巨大，很多客户不对仓库做数据库级备份，一旦出现问题，将是无比可怕。因此，强烈呼吁IT主管，不要在这方面省钱，存侥幸心理不可取。 收起
从工作以来，参与了大概5套DPF数据仓库的规划、设计，DPF性能调优和故障处理就更多了（不下于15个）。有一点体会，与大家分享，希望对各位有所帮助。也希望有越来越多的系统使用DPF。
1. 物理规划极其关键。比如节点数的选择，CPU/Memory硬件资源，以及HBA卡容量，存储规划设计等。不同的存储设备，规划有所不同，所以不能完全按照IBM红皮书的最佳实践，而是遵循着让存储性能发挥最佳的角度考虑。我们去年参与了一个200T的数据仓库设计，开始的方案按照IBM红皮书，每个节点分配独立的VG（包含独立的盘组），性能不佳；后来让一组节点共享底层的更多盘组，这样数据在磁盘上的分布更均匀，性能比以前提升了1倍（Load性能由80MB/s提升到170MB/s）。
2. 性能调优。多分区的系统，通常数据量巨大，性能往往是瓶颈，因此需要从多个角度考虑性能。比如分区键选择很关键，能有效避免分区间数据传输，减少网络和资源消耗。另外，还有很多优化技术，比如压缩、索引、MQT，MDC等。不同的问题，尝试不同的方法，依赖这些技术，还是解决了很多性能问题。
3. 问题处理。多分区系统的问题处理比较麻烦，因此思路很关键。通常是要先定位到哪个分区的问题，然后再不停的细化，最终定位。去年在某通信行业客户遇到的load hang问题，最终定位到是pre-partition节点问题。还有，某客户网络出现问题后，重启DB2实例起不来，最终确定是第2台机器包含的节点，主机名没有加到/etc/hosts。多分区的问题，除了遇到的DB2自身的bug，很多是由于网络问题引起。分析的思路很关键，db2trc/db2 stack都是分析问题的好东西。
4. 备份很关键。通信行业，几乎每年都会遇到大的故障，最终导致要导数据/重建库的情况。比如，磁盘损坏，日志破坏，日志lsn到达上限，以及人为造成的失误等。由于数据量巨大，很多客户不对仓库做数据库级备份，一旦出现问题，将是无比可怕。因此，强烈呼吁IT主管，不要在这方面省钱，存侥幸心理不可取。 收起
我们原来老大设计的的数据仓库使用的就是DPF，在数据处理上自然比单节点的快了不少。可悲的是我们的存储一直都是瓶颈啊。
而且一直使用的都是循环日志、全量备份。相比归档的省空间，还有那可怜的存储。现在备份一次要十几个小时，不过还好，boss还是比较重视备份的。
就是这个分区键要处理好，我们这边还是有不少的分区间广播，米有办法啊。所以说模型设计十分重要，这个貌似也和数据的结构关系很大，总之不是说改就好改的。
不过一直都是在一个LPAR上的，想想greenpulm之类的也是n多个节点的概念，不晓得dpf搞那么多节点会是个什么情况，没条件试啊:L 收起
而且一直使用的都是循环日志、全量备份。相比归档的省空间，还有那可怜的存储。现在备份一次要十几个小时，不过还好，boss还是比较重视备份的。
就是这个分区键要处理好，我们这边还是有不少的分区间广播，米有办法啊。所以说模型设计十分重要，这个貌似也和数据的结构关系很大，总之不是说改就好改的。
不过一直都是在一个LPAR上的，想想greenpulm之类的也是n多个节点的概念，不晓得dpf搞那么多节点会是个什么情况，没条件试啊:L 收起