政府机关Db2DPFimport性能

如何提升db2 DPF import性能?

在我这边的两个DPF环境里面,在做import的时候发现每秒写进数据库的数据量仅仅在1000条左右,而在比这更差的非DPF环境的db2数据库,则在import的时候都可以达到每秒4000条数据以上,而且我发现即使我这个表是建立在1号节点上,而不是分布在所有节点时import数据同样很慢,只有在使用如下命令时import性能才算正常:

db2_all "<<+1< db2 connect to zhsjptdb;db2 import from file.del of del replace into tablename"

这个问题困扰了我很久,请问如何解决?
参与7

4同行回答

wangyaxwangyax软件开发工程师金融机构
根据我的经验有两种解决办法:1.如楼上所说,采用buffer insert的方式;对于单节点也可以采用compound也能增加性能。2.对于同一个文件,采用DPF和单节点数据库导入其实是不太恰当的。因为同一份文件DPF每个节点都导入了一次,然后拒绝了若干条记录,所有总的时间比单节点多其实是很...显示全部
根据我的经验有两种解决办法:
1.如楼上所说,采用buffer insert的方式;对于单节点也可以采用compound也能增加性能。
2.对于同一个文件,采用DPF和单节点数据库导入其实是不太恰当的。因为同一份文件DPF每个节点都导入了一次,然后拒绝了若干条记录,所有总的时间比单节点多其实是很正常的。  真正比较单节点和DPF特性,要求是每个分区对应一个不同的文件,同时导入,那么多节点只需要导入一次,单节点需要导入多次或者导入合并后的文件一次,这样肯定比单节点的要快。收起
互联网服务 · 2015-09-25
浏览1206
drdb2drdb2系统工程师se
这是从我以前的script截下的:   db2 bind ~/sqllib/bnd/db2uimpm.bnd insert buf   db2 -v "import from ... insert into ..."With buf insert option, import是快很多,especially for DPF自己比较test就知道了有机会可以update此贴, share下你的发现...显示全部
这是从我以前的script截下的:
   db2 bind ~/sqllib/bnd/db2uimpm.bnd insert buf
   db2 -v "import from ... insert into ..."

With buf insert option, import是快很多,especially for DPF
自己比较test就知道了

有机会可以update此贴, share下你的发现收起
互联网服务 · 2015-09-25
浏览1119
mdkiimdkii软件开发工程师bocn
我没有特别关注过DPF上的import性能,大多数都是用的load。我们也发现了在DPF架构下单条的insert会比单机的慢不少,网络通讯占用的时间很多。所以即使你把表放在单节点上,如果协调节点跟你的节点不再同一机器上,仍然要走网络。你用db2_all指定节点会好,我想应该是你用db2_all指...显示全部
我没有特别关注过DPF上的import性能,大多数都是用的load。我们也发现了在DPF架构下单条的insert会比单机的慢不少,网络通讯占用的时间很多。所以即使你把表放在单节点上,如果协调节点跟你的节点不再同一机器上,仍然要走网络。你用db2_all指定节点会好,我想应该是你用db2_all指定连接到表所在的节点后,该节点既是协调节点又是执行节点,走的是进程内的通讯机制,自然效率会有较大的提升。
对于大的表建议还是用load比较好。另外,可以试试开启import buffer insert功能。具体你去查一下infocenter,搜索 Buffered-insert imports 关键字,你需要注意一下那些限制条件。收起
银行 · 2015-09-24
浏览1224
陈宇陈宇系统工程师某银行
用load比较快。显示全部
用load比较快。收起
银行 · 2015-09-24
浏览1148

提问者

zhangsharp20
数据库运维工程师外管
擅长领域: 数据库服务器系统管理

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-09-23
  • 关注会员:3 人
  • 问题浏览:5759
  • 最近回答:2015-09-25
  • X社区推广