zftang
作者zftang·2020-05-08 13:56
其它·小白一枚

kettle数据库分区

字数 505阅读 899评论 0赞 1

在Kettle的数据库连接对话框中,可定义数据库分区或碎片。当配置一个数据库连接的时候,在Clustering标签那可以定义,Kettle假定所有的分区都是同一数据库和连接类型[*32]

定义分区的目的是为了从某一个分区甚至某一个物理数据库读取和写入数据[*33], 一旦在数据库连接里面定义了数据库分区,你就基于这个信息创建了一个分区schema,你可以在“分区schema”对话框里面使用“导入分区”按钮(使用这个分区schema).

现在你可以在任何步骤里面应用这个分区schema(就是说使用这个分区的数据库连接)。Kettle将为每个数据库分区产生一个步骤复制,并且它将连接物理数据库(数据库分区和分区这个步骤的名字一样)[*34]。
是在2个不同数据库分区上并行执行一个查询的例子,数据被流水到接下来的2个步骤复制计算某些东西

同样的道理应用到所有数据库步骤,可以保持数种数数据库并行(处理)。这个“Mirror to all partitions”分区方法被特别设计成可并行的将同样的数据写入多种数据库分区。对于查找数据表(需要在多个数据库分区上复制,不需要定义多个数据库连接)[*35]非常有用。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

1

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关资料

X社区推广