GBase 8a MPP Cluster 集群 DBLk ink 使用手册

字数 13776阅读 1167评论 0赞 3

GBase 8a MPP Cluster (集群)
集群 DBLink 使用手册
r GBase 8a MPP Cluster  集群  DBLk ink  使用 手册 ，南大通用数据技术股份有限公司
e GBase 版权所有©2004-2018，保留所有权利。
版权声明
本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记，由南大通用数
据技术股份有限公司合法拥有，受《中华人民共和国著作权法》、《计算机软件保护条例》、
《知识产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保
护。未经授权许可，不得非法使用。
免责声明
本文档包含的南大通用公司的版权信息由南大通用公司合法拥有，受法律的保护，南大通用
公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任。在法律允许的范围内，
您可以查阅，并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。
任何单位和个人未经南大通用公司书面授权许可，不得使用、修改、再发布本文档的任何部
分和内容，否则将视为侵权，南大通用公司具有依法追究其责任的权利。
本文档中包含的信息如有更新，恕不另行通知。您对本文档的任何问题，可直接向南大通用
数据技术股份有限公司告知或查询。
未经本公司明确授予的任何权利均予保留。
通讯方式
南大通用数据技术股份有限公司
天津华苑产业区海泰发展六道 6 号海泰绿色产业基地 J 座(300384)
电话：400-013-9696 邮箱：info@gbase.cn
商标声明
是南大通用数据技术股份有限公司向中华人民共和国国家商标局申请注册的注
册商标，注册商标专用权由南大通用公司合法拥有，受法律保护。未经南大通用公司书面许
可，任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传
播、抄录或与其它产品捆绑使用销售。凡侵犯南大通用公司商标权的，南大通用公司将依法
追究其法律责任。
GBase 8a MPP Cluster 集群 DBLink 使用手册
南大通用数据技术股份有限公司  I
目 录
1  DBLink 简介 ................................................... 2
2  配置透明网关 gbGateway ........................................ 2
2.1  配置数据源 ........................................... 2
2.2  配置 gbGateway 参数 .................................... 3
2.3  配置 coordinator 连接参数 .............................. 4
3  管理 DBLink ................................................... 4
3.1  配置 gbGateway 信息 .................................... 4
3.2  创建 DBLink ........................................... 4
3.3  删除 DBLink ........................................... 5
3.4  查询 DBLink ........................................... 6
4  使用 DBLink ................................................... 6
5  终止 DBLink 查询 .............................................. 6
6  异构数据源 ................................................... 7
6.1  8a 集群配置 ........................................... 7
6.2  网关数据源配置........................................ 8
6.3  dblink 查询语法约束 ................................... 8
6.4  oracle 语法兼容性 .................................... 10
6.5  元数据兼容性 ........................................ 10
6.6  字符集 .............................................. 11
6.7  SQL 功能支持的场景 ................................... 11
6.8  SQL 功能不支持的场景 ................................. 11
7  DBLINK 数据推送 .............................................. 13
7.1  数据推送 SQL 语句 ..................................... 13
7.2  直通模式 SQL 语句 ................................... 14
7.3  支持网关 HA 冗余部署 .................................. 15
7.4  数据类型兼容性....................................... 15
7.5  字符集支持 .......................................... 16
GBase 8a MPP Cluster 集群 DBLink 使用手册
1 1  DBL Lk ink  简介
在客户的业务场景中，需要从GBase 8a集群访问其它数据库的数据，实现
对远程数据库的查询、与本地数据进行关联运算，因此需要开发 DBLink 功
能，满足客户需求。
透明网关服务：一个独立运行的进程，负责连接 GBase 8a 集群之外的其
他数据库（通过标准 JDBC 接口，也可以支持 GBase 8a 集群间的远程访问），
并完成数据抽取的工作。
DB-Link：GBase 8a 集群内部提供的远程数据库链接功能，通过与透明网
关服务的协同工作，实现透明访问异地集群中的数据库的数据表或者远程数据
库的数据表。
2 2  配置透明网关  gbGateway
2.1  配置数据源
对 gbGateway 的配置文件进行手工修改，实现对外部数据源的管理。
gbGateway 对外部数据源的配置文件为 XXX.cfg ，在 XXX 目录下，配置文件
格式为：
[数据源名称]
#数据源 IP
dataSource.IP=IP1
#数据源端口号
dataSource.port=port
#数据源库名
GBase 8a MPP Cluster 集群 DBLink 使用手册
南大通用数据技术股份有限公司  3
dataSource.dbname=xxx
#数据源类型（gbase）
dataSource.dbtype=type
#数据源用户名
dataSource_user=gbase
#数据源密码
dataSource_pwd=gbase20110531
示例：外部数据源为 GBase 8a 集群，格式为：
[gbase8a cluster]
dataSource.IP=192.168.3.103
dataSource.port=5258
dataSource.dbname=test
dataSource.dbtype= gcluster
dataSource_user=gbase
dataSource_pwd=gbase20110531
注：修改配置文件后，必须重启。
2.2  配置 y gbGateway  参数
gbGateway有如下参数：
#gbGateway 的 IP
gbGateway.IP=IP1
# gbGateway 的端口号
gbGateway.port=port
GBase 8a MPP Cluster 集群 DBLink 使用手册
2.3  配置 r coordinator  连接参数
网关的 conf/gcluster 路径下需要配置所有本地 gcluster 的
COORDINATOR 的连接参数配置文件：
文件名规则： ip_用户名.properties ， 如：
192.168.106.4_root.properties
内容：
gcluster.pwd=111111 -- 用户密码
gcluster.encode=utf-8 -- gcluster 所使用的字符集
gcluster.port=5258 -- 端口
3 3  管理  DBLink
对 DBLink 的管理，包括配置 gbGateway 信息、创建、删除、查询 DBLink。
3.1  配置  gbGay teway  信息
配置 GBase8a 集群（local）要使用的 gbGateway 信息。
GBase 8a 集群（local）使用的 gbGateway 对外部数据源的名称和
gbGateway 的对应关系。
包含的内容如下：外部数据源的名称，gbGateway 的 IP ，gbGateway 的
端口号。
3.2  创建  DBLink
GBase 8a MPP Cluster 集群 DBLink 使用手册
南大通用数据技术股份有限公司  5
在 GBase8a 集群(local) 上创建指向 gbGateway 的 DBLink。Admin 可以通
过任何 GBase8a 集群（local）的应用程序，指向创建 DBLink 的 SQL 语句。
具体语法如下：
CREATE DATABASE LINK dblink_name CONNECT TO username IDENTIFIED BY
password USING ‘TG_config_name’;
说明：当前数据库服务下所有用户都可使用、删除该 DB-Link；
dblink_name：要创建的 DB-Link 的名称
usename：该 DB-Link 要连接的数据库服务中的用户名
password：该 DB-Link 要连接的数据库服务中的用户名密码
TG_config_name：透明网关配置文件名称
示例：
c c reate database link dblink_pub
connect to sysdba identified by sys
using 'tg_config1';
3.3  删除  DBLink
在 GBase8a 集群(local) 上删除指向 gbGateway 的 DBLink。Admin 可以通
过任何 GBase8a 集群（local）的应用程序，指向删除 DBLink 的 SQL 语句。
语法如下：
DROP DATABASE LINK dblink_name;
示例：
drop database link dblink _pub;
GBase 8a MPP Cluster 集群 DBLink 使用手册
3.4  查询  DBLink
查看已经创建的所有 dblink, 每个 dblink 的信息包含 ;
dblink_name：要创建的 DB-Link 的名称
usename：该 DB-Link 要连接的数据库服务中的用户名
password：显示为 NULL 值
TG_config_name：透明网关配置文件名称。
4 4  使用  DBLink
GBase 8a 集群（local）查询时可使用已经创建的 dblink, 使用方式如下：
table@dblinkname。
示例：
Select * from table@ dblin k_pub;
注：创建视图(create view) ，若视图的定义语句包含 dblink 查询, 则需
要在 gcluster 每个 COORDINATOR 的 gclusterd 配置文件中配置以下参数：
gbase_dblink_standby_gateway_ip
gbase_dblink_standby_gateway_port
5 5  终止  DBLk ink  查询
用户有两种终止 DBLink 查询的方法。一是用户直接在执行查询的控制台
（执行查询的 session），使用 ctrl+c 组合键；二是在其他控制台，发送 kill
session_id 命令的方式。
终止查询的效果分两种情况讨论。
GBase 8a MPP Cluster 集群 DBLink 使用手册
南大通用数据技术股份有限公司  7
1. 对于 select * from t1@gc_link t1, t2@gc_link t2 where t1.a = t2.a;
类似这种纯同源 DBLink 表查询，查询结果直接返回给用户。终止查询
的命令可以得到快速响应。当用户发起终止查询的操作后，远端（数
据源）的执行也会被中断，以快速响应用户的操作。
2. 对于其他类型的 DBLink 查询（例如 insert into t select * from
t1@gc_link t1, t2@gc_link t2 where t1.a = t2.a;）。当远端（数
据源）查询的目的是把数据拉到本地集群时，则远端（数据源）无法
快速响应用户的终止查询操作。如果当前执行的 step 是远端（数据源）
查询，则用户的终止查询操作需要等待远端（数据源）执行结束，查
询才会结束。
当用户的 DBLink 查询被终止后，会在相应控制台打印如下报错信息：
gbase> select * from lineitem@tpch_link l, orders@tpch_link o ;
ERROR 1317 (70100): Query execution was interrupted
6 6  异构数据源
DBLink 网关支持异构数据源 oracle，主要负责元数据的数据类型映射和数
据的抽取等工作。GCluster 作为 dblink 查询的入口，负责 dblink 查询的 SQL
解析、与网关交互（获取元数据，请求抽取数据等）、生成查询计划、执行计
划、调度执行等工作。
6.1 a 8a  集群 配置
在 8a 集群的发起节点添加配置文件：
# pwd
/opt/gbase_gate_way/conf/gcluster
# ll
GBase 8a MPP Cluster 集群 DBLink 使用手册
total 56
-rw-r--r-- 1 root root 36 Aug 28 14:19 192.168.103.199_root.properties
# cat 192.168.103.199_root.properties
gcluster.pwd=
gcluster.encode=utf-8
注：密码为数据库 root 的密码。
6.2  网关数据源配置
dblink 网关 oracle 数据源示例：
[ds1]
dataSource_IP=192.168.6.124 -- oracle 服务所在主机的 IP 地址
dataSource_port=1521 -- oracle 服务监听的端口
dataSource_dbname=orcl -- oracle 库名
dataSource_dbtype=oracle -- 数据源类型为 oracle
dataSource_user=myora -- oracle 用户名
dataSource_pwd=myora -- oracle 用户的密码
数据源需要兼容 oracle 11g，10g（网关需要兼容）。
6.3 k dblink  查询语法约束
针对异构数据源，新增语法约束：
除 union（也包括 minus、union all、intersect）查询外，异构数据源
dblink 表只允许出现在 from 子查询中。假设 olink 为异构数据源 dblink 对
象，例如以下 SQL：
select * from t1@olink; -- 不符合
GBase 8a MPP Cluster 集群 DBLink 使用手册
南大通用数据技术股份有限公司  9
报错信息：DBLink table from heterogeneous data source must belong
to the relation subquery.
select * from (select * from t1@olink); -- 符合
select * from t1@olink tt1 join t2@olink tt2 on tt1.a=tt2.a -- 不
符合
报错信息：DBLink table from heterogeneous data source must belong
to the relation subquery.
select * from (select * from t1@olink tt1 join t2@olink tt2 on
tt1.a=tt2.a) ttt ; --符合
select * from t1@olink tt1 union select * from t1@olink tt2; -- 符
合
select * from (select * from t1@olink tt1 union select * from t1@olink
tt2) ttt; --符合
select tt1.a from t1 tt1 join (select a from t1@o_link) tt2 on
tt1.a=tt2.a; --符合
select * from (select a from t1@o_link) tt1
join (select a from t1@o_link) tt2 on tt1.a=tt2.a; -- 符合
select tt1.a from t1@o_link tt1 join (select a from t1@o_link) tt2
on tt1.a=tt2.a; --不符合
报错信息：DBLink table join with (normal table || from sub query)
is forbidden
select * from t1 where a in (select a from t1@o_link); -- 不符合
报错信息：the position of DBLink table is in a subquery of normal
table is forbidden
GBase 8a MPP Cluster 集群 DBLink 使用手册
select * from t1 where a in (select a from (select a from
t1@o_link)tt); -- 符合
select * from t1@o_link tt1 union all select * from t1@o_link tt2;
-- 符合
select * from t1@o_link tt1 minus select * from t1@o_link tt2; --
符合
select * from t1 tt1 union select * from t1@o_link tt2; --符合
select * from t1@o_link tt2 intersect select * from t1 tt1; --符
合
6.4 e oracle  语法兼容性
对于 oracle 的方言及专有函数等不作支持。
注：
1）对于异构数据源 oracle :
参数 _t_gcluster_dblink_clear_syntax_constraints =2：
不支持 dblink 查询中使用 group_concat 函数。
参数 _t_gcluster_dblink_clear_syntax_constraints =1：
支持 dblink 查询中使用 group_concat 函数。
6.5  元数据兼容性
Oracle 的大对象数据类型（如 blob,clob 等）、binary、long 数据类型本
期不支持。支持 oracle 基本数据类型（字符型、数字型及日期型等）。
GBase 8a MPP Cluster 集群 DBLink 使用手册
南大通用数据技术股份有限公司  11
注：gbase的 decimal(p,s)， p 即精度最大值支持到 65 位, s 即小数，
最大值为 30；oracle 的 number(p,s) 类型，s 超过 30 ，dblink 网关将映射
为 gbase 的 double 数据类型，由于 double 类型是非精确的数据类型，会有精
度损失。
6.6  字符集
能够支持 oracle 源为 UTF8 及 GBK/GB2312 字符集，支持中文数据源。
6.7 L SQL  功能支持的场景
dblink 异构数据源 SQL 功能支持的场景与同构数据源保持一致：
支持 select 语句查询 dblink 表。
支持 create…select.. , select 部分使用 dblink 查询。
支持 insert..select .., select 部分使用 dblink 查询。
支持多表关联 delete, 源部分使用 dblink 查询。
支持存储过程中使用 dblink 查询。
支持 prepare 语句对 dblink 查询进行预处理。如：
set @sql_str='select id2 from x1@gc_dblink where id2=1';
prepare stmt from @sql_str;
execute stmt;
deallocate prepare stmt;
6.8 L SQL  功能不支持的场景
以下 SQL 功能和同构数据源一致，本期将不支持：
不支持对 dblink 表进行 DDL 操作，如 drop table，alter table 等操作：
GBase 8a MPP Cluster 集群 DBLink 使用手册
drop table x1@gc_dblink;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that
corresponds to your GBase server version for the right syntax to use near '@gc_dblink'
at line 1
不支持对 dblink 表进行 update/delete/insert/merge 操作：
update x1@gc_dblink set id2 =1;
ERROR 1105 (HY000): DBLink-Table does not support update operation.
delete from x1@gc_dblink;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that
corresponds to your GBase server version for the right syntax to use near '@gc_dblink'
at line 1
不支持使用 dblink 查询创建视图：
create view v1 as select * f rom t1@testlink;
ERROR 1235 (42000): This version of GBase doesn't yet support 'use dblink table
in a FUNCTION/TRIGGER/VIEW.'
不支持使用 dblink 表或查询作为 update 的源关联更新本地表（备注：Q2
实现支持）：
update t1,t1@o_link tt1 set t1.b=tt1.b where t1.a=tt1.a;
update t1 join t1@_link  tt1 on t1.a=tt1.a set t1.b=tt1.b;
update t1 join (select a,b from t1@_link) tt1 on t1.a=tt1.a set t1.b=tt1.b;
ERROR 1105 (HY000): DBLink-Table does not support update operation.
不支持 merge 语句 using 源部分使用 dblink 查询：
merge into x1 tt1 using (select * from x1@ol ink) tt on (tt1.id2=tt.id2)
GBase 8a MPP Cluster 集群 DBLink 使用手册
南大通用数据技术股份有限公司  13
when matched then update set tt1.id3=tt.id3
ERROR 1105 (HY000): DBLink-Table does not support update operation.
不支持 function 中使用 dblink 查询：
delimiter //
create function dfunc(id int) returns int
begin
declare fid int default 1;
s s et fid = (select id2 from x1@olink where id2=id limit 1);
return fid;
end //
This version of GBase doesn't yet support 'use dblink table in a
FUNCTION/TRIGGER/VIEW.'
7 7 K DBLINK  数据推送
支持 insert …select 语句的目标表为 dblink 远端表，支持通过
insert …select 语句将本地数据推送到远端。
同时支持 passthrough 直通模式，即 GCluster 不对指定的 SQL 做语法解
析，请求网关直接转发指定的 SQL 到远端数据库执行，通过 passthrough 模式
可实现对远端表进行 insert… values, delete, update 等操作。
7.1  数据推送 L SQL  语句
语法与 insert into…select..语句相同，支持目标表为 dblink 远端表，
如：
insert into t1@testlink select a, b from t1;
支持指定目标列，如：
insert into t1@testlink(a, b) select a, b from t1;
前提条件：dblink 对象对应的网关中的数据源配置的用户需有对目标表
GBase 8a MPP Cluster 集群 DBLink 使用手册
的 insert 权限。
只支持自动提交模式，不支持分布式事务，若当前执行 gcluster 的
session 状态为非自动提交模式将报错：
Can not join the distributed transaction in session
需保证一条推送 SQL 语句的原子性,数据要么全部成功推送到远端，要么
全部失败。
注：GBase的空串数据通过dblink推送至ORACLE, ORACLE存储为NULL, 即
ORACLE不区分空串和 NULL，用 is null可以查询。而 GBase则区分空串和 NULL。
7.2  直通模式  SQL  语句
请求网关直接转发 sql 语句到 dblink 对象对应的远端数据库执行。
基本语法：
passthrough link DBLINK_NAME using ‘SQL_STATEMENT’;
DBLINK_NAME 为 dbink 对象的名称
SQL_STATEMENT 为 SQL 语句，即远端数据库执行的SQL语句。支持的 SQL
语句：
insert into … values…
insert into …select ….
delete
update
truncate
merge
create
drop
除以上支持的 SQL 类型外，其它类型的 SQL 将报错：
示例：
passthrough link testlink using ‘create table t1(a int, b int)’;
passthrough link testlink using ‘insert into t1 values(1,2)’;
passthrough link testlink using ‘update t1 set a=11 where a=1’;
passthrough link testlink using ‘delete from t1 where a=11’;
passthrough link testlink using ‘truncate table t1’;
passthourgh link testlink using ‘drop table t1’;
GBase 8a MPP Cluster 集群 DBLink 使用手册
南大通用数据技术股份有限公司  15
passthourgh link testlink using ‘select * from t2’ – 报错: SQL
command is not supported: ‘select * from t2’
约束与限制：
dblink 对象对应的网关中的数据源配置的用户需有相应的 SQL 执行权
限。
只支持自动提交模式。若当前执行 passthrough 命令的 gclusterd 的
session 状态为非自动提交模式将报错：Can not join the distributed
transaction in session。
不支持 sql_statement 前面有注释。
7.3  支持网关 A HA  冗余部署
支持网关高可用冗余部署，支持部署两套相同配置的网关，一主，一备，
主网关连接不上，自动连接备用网关。
gcluster dblink 功能支持 dblink 网关高可用冗余部署新增以下参数:
gbase_dblink_standby_gateway_ip：备用 dblink 网关服务所在主机的
ip 地址
gbase_dblink_standby_gateway_port: 备用 dblink 网关服务监听的端
口
可部署两套相同配置的 dblink 网关服务，一主一备，同时都启动在线，
当 gcluster 连接主网关失败时将尝试连接备用网关。
支持的数据源
支持同构数据源 gcluster。
异构数据源仅支持 oracle。
7.4  数据类型兼容性
大对象数据类型（blob,clob 等）和 binary 数据类型本期不支持。对于
异构数据源支持基本数据类型（字符型、数字型及日期型等）, 符合目标数据
类型的表示范围，格式的数据能够正确推送到远端。
GBase 8a MPP Cluster 集群 DBLink 使用手册
Oracle 大对象数据类型和二进类型有：
Blob,clob,nclob,bfile
Raw, long raw
Oracle 支持数据类型有：
Char, nchar, varchar, varchar2, nvarchar2
Number, Integer, Float, Binary_float, Binary_double
Date, timestamp
7.5  字符集支持
能够支持数据源为 UTF8 及 GBK/GB2312 字符集，支持中文数据源。
支持源与目标为不同字符集，如（源为 GBK,目标表为 utf8），数据通过正
确推送到远端。
GBase 8a MPP Cluster 集群 DBLink 使用手册
南大通用数据技术股份有限公司  17

![](/home/attachment/202004/17/5940_158713122120047.png)

gbase

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

GBase 8a MPP Cluster 集群 DBLk ink 使用手册

添加新评论0 条评论

作者其他文章

相关问题

相关资料

GBase 8a MPP Cluster 集群 DBLk ink 使用 手册

添加新评论0 条评论

作者其他文章

相关问题

相关资料

GBase 8a MPP Cluster 集群 DBLk ink 使用手册