GBase 8a MPP Cluster 技术白皮书

字数 15993阅读 1219评论 0赞 4

GBase 8a MPP Cluster (集群)
技术白皮书 V8.6.2.X
r GBase 8a MPP Cluster  技术白皮书，南大通用数据技术股份有限公司
GBE ASE 版权所有©2004-2018，保留所有权利。
版权声明
本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记，由南大通用数
据技术股份有限公司合法拥有，受《中华人民共和国著作权法》、《计算机软件保护条例》、
《知识产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保
护。未经授权许可，不得非法使用。
免责声明
本文档包含的南大通用公司的版权信息由南大通用公司合法拥有，受法律的保护，南大通用
公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任。在法律允许的范围内，
您可以查阅，并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。
任何单位和个人未经南大通用公司书面授权许可，不得使用、修改、再发布本文档的任何部
分和内容，否则将视为侵权，南大通用公司具有依法追究其责任的权利。
本文档中包含的信息如有更新，恕不另行通知。您对本文档的任何问题，可直接向南大通用
数据技术股份有限公司告知或查询。
未经本公司明确授予的任何权利均予保留。
通讯方式
南大通用数据技术股份有限公司
天津华苑产业区海泰发展六道 6 号海泰绿色产业基地 J 座(300384)
电话：400-013-9696 邮箱：info@gbase.cn
商标声明
是南大通用数据技术股份有限公司向中华人民共和国国家商标局申请注册的注
册商标，注册商标专用权由南大通用公司合法拥有，受法律保护。未经南大通用公司书面许
可，任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传
播、抄录或与其它产品捆绑使用销售。凡侵犯南大通用公司商标权的，南大通用公司将依法
追究其法律责任。
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  I
目 录
1  GBase 8a MPP Cluster 产品简介 ................................. 1
1.1  产品简介 ............................................. 1
1.2  产品技术特点 ......................................... 1
1.3  产品基本功能简介 ...................................... 3
2  GBase 8a MPP Cluster 产品架构 ................................. 5
3  GBase 8a MPP Cluster 核心技术 ................................. 7
3.1  单节点数据列存储技术 .................................. 7
3.1.1  列存储和行列混存 .................................. 7
3.1.2  高效透明压缩技术 .................................. 8
3.1.3  智能索引 ......................................... 9
3.1.4  并行技术 ........................................ 10
3.1.5  高性能 .......................................... 10
3.1.6  多租户能力....................................... 11
3.1.7  备份和恢复....................................... 11
3.1.8  OLAP 函数 ........................................ 11
3.2  MPP 大规模并行计算框架技术 ........................... 11
3.2.1  高可用能力....................................... 12
3.2.2  高性能扩展能力 ................................... 13
3.2.3  高性能数据加载能力 ............................... 15
4  GBase 8a MPP Cluster 产品支撑的平台和技术指标 ................. 15
4.1  硬件环境 ............................................ 15
4.2  操作系统和平台....................................... 16
4.3  与第三方软件平台的接口 ............................... 16
4.4  技术指标 ............................................ 16
5  GBase 8a MPP Cluster 管理工具 ................................ 17
5.1  客户端工具 .......................................... 17
5.1.1  企业管理工具 ..................................... 17
5.1.2  集群监控工具 ..................................... 18
5.2  gcadmin 工具 ......................................... 18
5.3  数据加载工具 ........................................ 18
5.4  GCMonit 监控工具 ..................................... 19
5.5  DB-Link 与透明网关 ................................... 19
6  GBase 8a MPP Cluster 开发接口 ................................ 21
6.1  GBase 8a MPP Cluster ODBC ............................ 21
6.2  GBase 8a MPP Cluster JDBC ........................... 21
6.3  GBase 8a MPP Cluster ADO.NET......................... 22
6.4  GBase 8a MPP Cluster C API .......................... 22
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  - 1 -
1 1  r GBase 8a MPP Cluster  产品简介
1.1  产品简介
南大通用大规模分布式并行数据库集群系统，简称：GBase 8a MPP Cluster，
它是在 GBase 8a 列存储数据库基础上开发的一款 Shared Nothing 架构的分布
式并行数据库集群，具备高性能、高可用、高扩展特性，可以为超大规模数据
管理提供高性价比的通用计算平台，并广泛用于支撑各类数据仓库系统、BI 系
统和决策支持系统。
1.2  产品技术特点
GBase 8a MPP Cluster 具有联邦构架、海量数据分布式压缩、高效存储结
构、智能索引、灵活的数据分布、在线高性能扩展、高并发、高可用、高安全
性、易维护、高效加载等技术特征，具体如下：
1) 低硬件成本：完全使用 x86 架构的 PC Server，不需要昂贵的小型机
和磁盘阵列；
2) 联邦架构集群部署：基于列存储的完全并行的 MPP + Shared Nothing
的联邦架构，采用多活 Coordinator（Master）节点、运算节点的两
级部署结构，避免了单点性能瓶颈和单点故障。Coordinator 节点支
持最多部署 64个；数据节点支持部署 300个以上，单节点可支持 100TB
裸数据数据量，且所有节点无共享，具有对等计算能力；集群支持海
量数据存储、查询，最高支持 30PB 以上的结构化数据；
3) 海量数据分布式压缩存储：可处理 30PB 以上的结构化数据，采用 hash
或 random 分布策略进行数据分布式存储；同时采用先进的压缩算法，
减少存储数据所需的空间，并相应地提高 I/O 性能；支持实例级、库
级、表级三级压缩；支持基于列存储的数据编码及高效压缩技术；压
GBase 8a MPP Cluster 技术白皮书 
- 2 -  南大通用数据技术股份有限公司
缩比可达 1:20；
4) 高效存储结构：采用基于列存储、适合分析优化的存储结构；索引采
用免维护的智能索引；支持列存和行列混合存储的存储结构，有效提
高列存数据库在 select * 场景下的查询性能；
5) 智能索引：采用粗粒度智能索引技术，索引建立膨胀率不超过百分之
一。智能索引包含基于列的统计信息，在数据检索定位时可被直接使
用，有效过滤数据，大幅降低数据库磁盘 I/O，高性能、免维护的智
能索引技术，大幅提高海量数据的查询性能；
6) 灵活的数据分布：用户可以按照业务场景的需求，自定义数据分布策
略，从而在性能、可靠性和灵活性间获得最佳匹配。数据分布策略包
括 hash 分布和 random 分布；
7) 在线高性能扩展：支持集群节点的在线扩容和缩容，效率更高，对业
务的影响更小；在线扩展性能大于 20TB/小时。支持在线替换故障节
点，而不影响业务运行；
8) 高并发：读写不互斥，支持数据的边加载边查询，并发能力大于 300；
9) 数据高可用：通过冗余机制来保证集群的高可用特性，互备的分片数
据间可实现自动同步；数据通过副本提供冗余保护，自动故障探测和
管理，自动同步元数据和业务数据。部分副本故障不影响集群的可用
性；支持故障的自动恢复，无需人工干预；数据的副本机制支持 1 或
2 个数据副本，支持用户自定义的数据副本分布方式。单集群最高支
持 65536 个节点；
10) 主备集群高可用：集群支持主备集群高可用模式；支持数据全量、增
量同步；支持主备同步回滚机制；支持主备同步错误恢复机制；支持
同城灾备；
11) 安全性：提供完善的用户账号控制策略，提高数据库集群的安全性；
提供详尽的审计日志输出功能，记录数据库中与数据库操作相关的所
有日志，也可以通过图形化的监视工具实现审计管理；支持透明的数
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  - 3 -
据加密：支持数据存储加密，支持数据库密码加密，支持数据加密压
缩；支持相关加密函数，如 AES_ENCRYPT()、ENCRYPT()、MD5()、SHA1()、
SHA()等；
12) 易维护：提供图形化工具，以简化管理员对数据库的管理工作；
13) 数据加载高效性：基于策略的数据加载模式，集群整体加载速度可达
30TB/h；
14) 集群具有数据备份恢复能力，支持全量、增量备份/恢复；
15) Hadoop 备份/恢复：支持与 Hadoop 之间进行数据备份/恢复，将库内
数据备份到 Hadoop 中，或将 Hadoop 内的数据文件恢复到库内；Hadoop
备份/恢复性能大于 100TB/小时；
16) 标准化：支持 SQL92 ANSI/ISO 标准，支持 ODBC、JDBC、ADO.NET 等
接口规范；支持 C API，Python API，TCL API 等接口；支持 SQL 2003
OLAP 函数；
17) 异步消息：Coordinator 默认采用异步消息模式与数据节点通信，支
持高达 300节点以上的集群规模。
1.3  产品 基本 功能简介
功 能  描 述
结构化查询语言 符合 SQL 92 标准，支持 CREATE、ALTER、DROP 等 DDL 语法，
支持 SELECT、INSERT、UPDATE、DELETE、MERGE 等 DML 语法，
支持单表，多表联合查询
数据类型  BOOL 布尔数据类型
INT、TINYINT、SMALLINT、MEDIUMINT、BIGINT、DECIMAL、
FLOAT、DOUBLE 数值数据类型
CHAR、VARCHAR 字符数据类型
DATE、TIME、DATETIME、TIMESTAMP 日期类型
BLOB、TEXT 大对象数据类型
数据库对象  提供了数据库，表，索引，视图，存储过程，自定义函数等
常用数据库对象的创建，修改和删除操作，支持数据库用户
GBase 8a MPP Cluster 技术白皮书 
- 4 -  南大通用数据技术股份有限公司
功 能  描 述
的创建，删除操作，以及用户权限的分配与回收
函数  支持多种标准函数，包括控制流函数、字符串函数、数值函
数、日期和时间函数、转换函数、位函数、加密函数、信息
函数、辅助函数、聚集函数、OLAP 函数（包括 avg() over()、
sum() over()、rank() over()、row_number() over()等）、
正则表达式函数等
支持 C 语言用户自定义函数扩展
行列混合存储  基于创建的物理表，可以实现行存列的创建、修改和删除
图形化工具  提供了企业管理工具和集群监控工具
接口  符合并支持 ODBC、JDBC、ADO.NET 等接口规范；支持 C API，
Python API，TCL API 等接口
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  - 5 -
2 2  r GBase 8a MPP Cluster  产品架构
图 2-1 GBase 8a MPP Cluster 产品架构图
GBase 8a MPP Cluster 采用 MPP + Shared Nothing 的分布式联邦架构，
节点间通过 TCP/IP 网络进行通信，每个节点采用本地磁盘来存储数据。实现
非对称部署，分布式管理集群和分布式调度集群部署在一个集群。分布式存储
集群部署在另外一个集群。系统中的每一个节点都是相对独立的、自给的，整
个系统中不存在单点瓶颈，具有非常强的扩展性。
由于没有资源共享，增加节点就可以线性地扩展数据容量和计算能力，可
以从几个节点扩展到上百节点，满足业务规模增长的要求。
GBase 8a MPP Cluster产品总共包含三大核心组件，分布式管理集群GCWare、
分布式调度集群 GCluster 和分布式存储集群 GNode。它们的功能分别为：
GBase 8a MPP Cluster 技术白皮书 
- 6 -  南大通用数据技术股份有限公司
GCluster ：
GCluster 负责 SQL 的解析、SQL 优化、分布式执行计划生成、执行调度。
GCWare ：
GCWare 用于各节点GCluster 实例间共享信息(包括集群结构，节点状态，
节点资源状态等信息)，以及控制多副本数据操作时，提供可操作节点，控制各
节点数据一致性状态。
GNode ：
GNode 是 GBase 8a MPP Cluster 中最基本的存储和计算单元。GNode 是由
GCWare 管理的一个 8a 实例，每个数据节点上有一个 GNode 实例运行。GNode
负责集群数据在节点上的实际存储，并从 GCluster 接收和执行经分解的 SQL
执行计划，执行结果返回给 GCluster。数据加载时，GNode 直接从集群加载服
务接收数据，写入本地存储空间。
除了以上核心组件外，还有 GCMonit 组件，用于定期监测 GBase 8a MPP
Cluster 服务程序的运行状态, 一旦发现某个服务程序的进程状态发生变化，
就会根据配置文件中的内容来执行相应的服务启停脚本命令，从而保证服务程
序健康运行。
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  - 7 -
3 3  r GBase 8a MPP Cluster  核心技术
3.1  单 节点 数据 列 存储 技术
3.1.1  列存储和行列混存
数据在磁盘中按照列的方式进行组织和物理存储。行存储架构和列存储架
构的数据库分别适用于不同的应用，具备各自的优劣势，如下图所示。列存储
架构对查询、统计和分析类操作具备天然的优势。
图 3-1 行存、列存对比
例如，在分析系统中，约 100 列的业务表是很常见的。对于常见的分析查
询来说，对该业务表列的引用一般不超过 10 个。对 I/O 是主要瓶颈的分析系统
而言，相较于传统的行式数据库，列式存储技术可以很容易地带来一个数量级
的性能提升。
面对海量数据分析的 I/O 瓶颈，分析型数据库把表数据按列的方式存储，
其优势体现在以下几个方面。
1) 降低 I/O：只有访问查询所涉及的列产生 I/O，查询没有涉及的列不需
要访问，不产生 I/O；
GBase 8a MPP Cluster 技术白皮书 
- 8 -  南大通用数据技术股份有限公司
2) 高压缩比：压缩比可以达到 1 ~ 20 倍以上；
3) 支持列存和行列混存。
3.1.2  高效透明压缩技术
高效透明压缩技术能够按照数据类型和数据分布规律自动选择
最优压缩算法，尽可能减少数据所占的存储空间，降低查询的 I/O
消耗，提升查询性能。并设置了库级，表级，列级压缩选项，灵活
平衡性能与压缩比的关系，而且压缩与解压缩过程对用户是透明的。
从 I/O 资源消耗节约的角度来看，对 I/O 是主要瓶颈的分析
系统而言，相较于传统的行式数据库，高效透明压缩技术可以带来
约一个数量级的性能提升。
图 3-2 自适应透明压缩示意图
1) 压缩比可达到 1:3 至 1:20 甚至更优，远远高于行存储；
2) 节省 50%-90%的存储空间，大大降低数据处理能耗；
3) 内置数十种不同等级的压缩算法。上图展示了一种对数值型数据的压
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  - 9 -
缩算法；
4) 压缩态下对 I/O 要求大大降低，数据加载和查询性能明显提升。
3.1.3  智能索引
智能索引是一种粗粒度索引，每 65536 行数据打成一个 DC 包，每个数据包
在加载数据时自动建立智能索引，包含过滤信息和统计信息，在数据查询时不
需要解包就能得到统计值，可进一步降低 I/O，对复杂查询的优化效果明显。
如下图所示，左侧的“SmartIndex of Col 1”即在第一列数据上，以各数据包
（DC）为单位建立的智能索引。
图 3-3 智能索引示意图
1）表中的所有列自动建立，不需用户手工建立和维护；
2）索引本身占空间很少，扩展性很好，建立索引后无膨胀；
3）建立索引的速度快，后续的数据包建立索引的速度不会受到前面数据包
的影响。
与传统数据库索引技术相比，智能索引建立在数据包上（粗粒度索引），并
且每个字段均自动建有索引，而传统索引建立在每行数据上（细粒度索引），因
GBase 8a MPP Cluster 技术白皮书 
- 10 -  南大通用数据技术股份有限公司
此访问智能索引要比访问传统索引需要更少的 I/O（几万分之一）。同时，智能
索引所占空间大约是数据的百分之一，而传统数据库索引则要占到数据的 20~
50%。
3.1.4  并行技术
GBase 8a MPP Cluster 针对数据加载和数据查询实现了自动高效的并行处
理技术，充分利用 SMP 多核 CPU 资源并行处理海量数据。
同时 GBase 8a MPP Cluster 具有智能的算法适配功能。例如灵活的 Join
处理方式，支持 Hash Join、Nest-loop Join、Merge Join 等。针对不同的数
据分布及特征，会智能地选择不同算法进行处理。这也充分解决各种行业应用
中 Join 操作，特别是 10 个以上的多表 Join 操作带来的性能压力。
GBase 8a MPP Cluster 每个 GNode 节点都能够独立实现数据的计算和存储。
集群接口驱动可以有效实现对上层应用请求的负载进行均衡（应用调用接口驱
动的连接串中配置集群管理节点的多个 IP，接口驱动的内部进行连接的负载均
衡）。应用层请求响应节点完成 SQL 解析并生成执行计划，协调集群相关节点并
发参与计算和处理，极大地提高了整个集群节点的并发度，充分发挥了集群性
能。
3.1.5  高性能
GBase 8a MPP Cluster 的列式存储和计算技术，通过针对列数据特点的高
效透明压缩技术和智能索引，节省了近 3 个量级 CPU 和 I/O 资源消耗，分析查
询性能比传统行式数据库高 50 到 1000 倍。同时，CPU 和 I/O 资源的大幅节
约，也大幅提升了数据装载、数据导出、数据处理和备份恢复等操作的性能。
GBase 8a MPP Cluster 的无共享 MPP 架构具有线性扩展能力，能支撑成
百上千个节点规模的集群。非对称部署的集群节点上可以多线程并行地执行查
询、数据装载、数据导出、数据处理和备份恢复等任务，节点越多，处理能力
就越强，单个任务资源消耗和时间开销就越少。
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  - 11 -
3.1.6  多租户能力
GBase 8a MPP Cluster 可以通过资源管理和资源组灵活配置不同应用和用
户的资源配额和查询优先级，同时在完善的权限授权管理机制下，使得不同的
应用以及不同类型的任务可以同时运行在一个集群中，但它们相互之间又得到
必要的隔离，就好象运行在透明的“沙箱”一样，从而实现数据库的多租户管理
模式。
3.1.7  备份和恢复
大数据不仅仅对数据处理和分析查询的性能带来挑战，对备份和恢复的要
求也更高。因为数据量巨大，如果备份和恢复的速度跟不上，在意外、故障或
灾难发生时，无法及时使数据库得到恢复，系统和业务的可用性就无法得到保
障。
GBase 8a MPP Cluster 提供全面的备份和恢复功能，包括：
1) 全量备份和恢复；
2) 增量备份和恢复：允许恢复到任意一个备份上。
3.1.8  P OLAP  函数
GBase 8a MPP Cluster 提供 OLAP 函数，用于支持复杂的分析操作，侧重
于对决策人员和高层管理人员的决策支持。可根据分析人员的要求，快速灵活
地进行大数据量的复杂查询处理，以便他们准确掌握企业的经营状况，了解被
服务对象的需求，制定正确的方案。
3.2  P MPP  大规模并行计算框架 技术
GBase 8a MPP Cluster 为非对称部署的联邦架构，GCluster Cluster 和
GBase 8a MPP Cluster 技术白皮书 
- 12 -  南大通用数据技术股份有限公司
GCware Cluster 单独部署为一个集群，最大节点数为 64，GNode Cluster 单独
部署为一个集群，支持300个以上的节点部署，可处理30PB以上的结构化数据。
3.2.1  高可用 能力
GBase 8a MPP Cluster 通过冗余机制来保证集群的高可用特性：
1) 可提供 1 个或 2 个副本数据冗余；
2) 副本间数据自动同步；
3) 复制引擎自动管理数据同步；
4) 多分片机制降低节点故障的木桶效应；
5) 节点发生故障时，系统自动切换至其它节点进行工作，保证业务连续
性；
6) 支持双活集群部署。
集群副本数和分片数可进行灵活配置，可配置副本分片到集群的任意一个
节点上，可以根据配置在主机性能高和存储空间大的节点分配更多的主本和副
本。
当节点出现异常时，可以将异常服务器的负载均匀分布在副本所在的几台
正常的服务器上。这样就最大限度防止由于故障切换后木桶效应而引起的显著
的性能抖动。
节点故障对应用透明，不会中断正在执行业务，一旦故障结点恢复正常，
GBase 8a MPP Cluster 会从其他节点上的数据恢复该节点数据，在完成更新后
立即提供服务。
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  - 13 -
图 3-4 数据分片和副本分片的灵活配置
3.2.2  高性能扩展能力
GBase 8a MPP Cluster 能够通过增加服务器节点对系统的计算和存储能力
进行扩容，且扩展过程可进行监控、暂停、恢复、取消等灵活的监控及管理；
系统支持在线扩展，性能线性提升，无需中断当前系统的运行，且支持一次扩
展多个节点；可支持实例级、库级、表级等多级别灵活扩展方式。
GBase 8a MPP Cluster 具备高性能扩展能力：
1) 在线动态扩展集群节点；
2) 每个节点可以处理 100TB 有效数据，同时提供计算和存储能力；
3) 执行调度节点和数据计算节点可以按需独立扩展。
GBase 8a MPP Cluster 技术白皮书 
- 14 -  南大通用数据技术股份有限公司
图 3-5 GBase 8a MPP Cluster 扩展技术示意图
上图中最后一个“执行调度节点”和“数据存储及计算节点”是在原有节
点基础上新扩展的节点，可以扩展调度节点，也可以扩展存储和算子节点。因
为 GBase 8a MPP Cluster 采用高性能单节点的 MPP架构，因此进行集群扩展时，
可以保证平滑扩展和性能的线性增长特性，如下图所示：
图 3-6 GBase 8a MPP Cluster 高性能高扩展示意图
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  - 15 -
3.2.3  高性能数据加载 能力
GBase 8a MPP Cluster 数据加载功能实现了所有数据运算节点并行处理数
据及复本转发技术，具备很高的加载性能：
1）在单台数据服务器的情况下，集群加载可以达到数据服务器硬件资源性
能的上限；
2）随着数据服务器和集群节点数的增加，集群加载性能可以持续提升。
图 3-7 GBase8a MPP Cluster 数据加载示意图
4 4  GBase 8a MPP Cluster 产品 支撑的 平
台和 技术 指标
4.1  硬件环境
支持如下的硬件环境：
1) 支持服务器平台：x86_64 的标准 PC 服务器、PowerLinux 服务器、浪
潮 K1 等；
2) 支持存储：本地存储（SATA、SAS、SSD 等）、阵列存储（SAN、NAS）、
GBase 8a MPP Cluster 技术白皮书 
- 16 -  南大通用数据技术股份有限公司
SSD、Flash 卡；
3) 支持网络环境：千兆、万兆、InfiniBand。
4.2  操作系统和平台
支持如下的操作系统和平台：
1) 支持的 CPU：Intel、AMD、申威、龙芯 3B、飞腾、X86、Power 等；
2) 支持的操作系统：CentOS、Red Hat、SUSE、中标麒麟、PowerLinux
等 64 位操作系统；
3) 支持基于 x86 及 Power 的虚拟机，如 VMware ESX等。
4.3  与 第三方 软件平台的接口
兼容主流应用软件，包括：
1) BI 工具：MSTR、Cognos、R3 Query、GBase BI、SAS、SPSS 等；
2) ETL 工具：Datastage、Kettle、Informatica 等；
3) 中间件：WebSphere、Tuexdo、Hibernate、Weblogic、Tomcat 等。
4.4  技术指标
技术指标  描 述
集群节点的数据库实例的大小  100TB
数字精度  65
表的个数  受文件系统限制
每个表中列的个数  2000
每个表中行的个数
2
47
表中一行的内部长度  300000 字节
一个 INTEGER 类型列的长度  4 字节
日期类型列中表示年的位数  4 位
用户名包含字符的个数  16 字符
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  - 17 -
技术指标  描 述
CHAR 类型列的长度  255 字符
BLOB 列的长度  32K 字节
VARCHAR 类型列长度  10922 字符
行存列的长度  32KB
数据库名长度  64 字符
表名长度  56 字符
列名长度  64 字符
索引名长度  64 字符
别名长度  255 字符
编码格式  UTF-8、GBK
5 5  r GBase 8a MPP Cluster  管理 工具
GBase 8a MPP Cluster 提供了企业管理工具、集群监控工具、gcadmin 命
令行工具、DB-Link 及透明网关等工具，可以对数据库的各项功能进行集中式
统一管理，对系统运行状态、资源占用、任务执行情况进行监控，实现数据快
速加载及集群间数据高效访问等多项功能。
5.1  客户端工具
5.1.1  企业管理工具
图形化的查询和管理工具，提供用于访问、控制和管理 GCluster 集群环境。
使用 GBase 8a MPP Cluster 企业管理器可以完成如下工作：
1) 集群连接配置管理；
2) 元数据信息查询和管理；
3) SQL、存储过程、自定义函数的开发、执行。
GBase 8a MPP Cluster 技术白皮书 
- 18 -  南大通用数据技术股份有限公司
5.1.2  集群 监控 工具
集群监控工具提供可信的监控数据，及时的报警功能，直观的趋势展示，
可靠的数据分布视图和数据库连接线程的状态展示。
集群监控工具主要监控单个或多个 GBase 8a MPP Cluster 部署环境中，集
群节点 Server 的运行状态，资源利用情况、网络通讯情况等信息，可使用户
对集群环境下的 Server 的运行状态及其系统资源进行有效地监视，能够为用
户监控集群及其集群点的运行情况提供可靠的依据。
5.2  n gcadmin  工具
GBase 8a MPP Cluster 为管理员提供了命令行工具 gcadmin。该工具能实
现 Distribution 的增加、移除，查看集群状态等管理功能。具体功能如下：
1) 集群状态信息查询，可以查询节点 IP、节点状态、集群服务模式等信
息；
2) 数据分布信息查询，可查询节点主分片和副分片的位置、总分片数量
等信息；
3) 集群锁信息查询，可以查询锁的名称、节点 IP、锁的创建时间等信息；
4) 节点异常状态信息查询，可以查询所有的错误日志，某个表分片在某
个节点上的错误日志等信息。
5.3  数据加载工具
GBase 8a MPP Cluster 中，集群加载功能直接集成在 GBase 8a MPP Cluster
内部，不需要额外部署外部加载工具。
加载工具具备如下一些特性和优点：
1）与集群高度集成，方便部署；
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  - 19 -
2）支持 SQL 及外部工具的加载方式；面向用户的 SQL 接口方式使集群和单
机加载方式统一，更符合用户的使用习惯；
3）支持单表多数据源并行加载，支持多加载机对单表的并行加载，最大化
加载性能；
4）支持从通用数据服务器拉取数据，支持 ftp/http/hdfs 三种协议；支持
直接从 HDFS 加载 gzip、snappy、lzo 压缩格式数据文件；
5）支持普通文本、gzip 压缩、snappy 压缩等多种格式数据文件；
6）支持普通文本、定长文本、宽松模式的加载；
7）支持错误数据溯源功能，可以准确定位错误数据在源文件中的位置；
8）加载性能可以随着集群规模的扩展而持续提升。
5.4  t GCMonit  监控工具
实时监控 GBase 8a MPP Cluster 服务程序（目前主要包括 gbased，
gclusterd，gcrecover 和 gc_sync_server）的运行状况，一旦发现某个服务程
序的进程状态发生变化，就会根据配置文件中的内容来执行相应的命令脚本。
提供用户指定的配置文件，可配置内容包括：需要监控的服务程序名称或
者需要监控进程的启动命令行，服务进程状态变化时所要执行的方法，检测服
务程序的时间间隔，日志文件路径和名称等。
5.5  DB- -k Link  与 透明网关
DB-Link：GBase 8a MPP Cluster 内部提供的远程数据库链接功能，通过
与透明网关服务的协同工作，实现透明访问异地集群中的数据库的数据表或者
远程数据库的数据表。
透明网关服务：一个独立运行的进程，负责连接 GBase 8a 集群之外的其
他数据库（通过标准 JDBC 接口，也可以支持 GBase 8a 集群间的远程访问），
GBase 8a MPP Cluster 技术白皮书 
- 20 -  南大通用数据技术股份有限公司
并完成数据抽取的工作。
通过 DB-Link 功能，客户可以实现：
1）  GBase 8a 集群的应用程序可以访问一个外部数据源，外部数据
源是 GBase 8a 集群。可以查询外部数据源的数据，也可以将外
部数据源的数据与本地集群中的数据进行关联运算；
2）  远端数据源是 GBase8a 集群，并且网络通信没有限制的情况下，
可以对这种场景进行定向优化，以提升性能；
3）  不支持异构数据源。 
GBase 8a MPP Cluster 技术白皮书
南大通用数据技术股份有限公司  - 21 -
6 6  r GBase 8a MPP Cluster  开发 接 口
6.1  GBase 8a MPP Cluster ODBC
GBase 8a MPP Cluster ODBC 是 GBase 8a MPP Cluster 的 ODBC 驱动程序，
它提供了访问 GBase 8a MPP Cluster 的所有 ODBC 功能。GBase 8a MPP Cluster
ODBC 支持 ODBC 3.5X 一级规范 （全部 API + 2 级特性）。用户可以通过 ODBC
数据源管理器调用 GBase 8a MPP Cluster ODBC 驱动访问 GBase 8a MPP Cluster
数据库或者直接调用 GBase 8a MPP Cluster ODBC 驱动访问 GBase 8a MPP
Cluster ，另外通过可视化编程工具如 C++ Builder、 Visual Studio 等也可
以利用 GBase 8a MPP Cluster ODBC 访问。GBase 8a MPP Cluster ODBC 支持
所有 GBase 8a MPP Cluster 支持的 Windows、Linux 、AIX 平台。
6.2  GBase 8a MPP Cluster JDBC
GBase 8a MPP Cluster JDBC 是一种兼容 JDBC 规范 3.0、4.0 （类型 4）
的驱动，这意味着它是符合 JDBC 3.0、4.0 版本规范的一种纯 Java 程序，并能
使用 GBase 协议直接和 GBase 服务器通信。
GBase 8a MPP Cluster JDBC 为使用 JAVA 程序语言的客户端应用提供访问
GBase 8a MPP Cluster 接口。
1) GBase 8a MPP Cluster JDBC 支持 JDBC 规范 3.0、4.0 版本；
2) GBase 8a MPP Cluster JDBC 使用 GBase 协议直接和 GBase 8a MPP
Cluster 服务器通信；
3) GBase 8a MPP Cluster JDBC 在 Sun’s JDBC 实验平台上通过率达到
95%。
GBase 8a MPP Cluster 技术白皮书 
- 22 -  南大通用数据技术股份有限公司
6.3  GBase 8a MPP Cluster ADO.NET
GBase 8a MPP Cluster ADO.NET 是一款提供.NET 应用程序与 GBase 数据
库之间方便、高效、安全交互的接口程序，使用 100%纯 C#编写，并继承了
Microsoft ADO.NET 类。开发人员可以使用任何一种.NET 开发语言（C#、VB.NET、
F#）通过 GBase 8a MPP Cluster ADO.NET 操作 GBase 数据库。
GBase 8a MPP Cluster ADO.NET 支持以下全部特性：
1) 支持集群高可用功能、负载均衡功能；
2) 支持 GBase 数据库全部特性，如：存储过程、视图等；
3) 支持协议压缩，允许对客户端和服务器之间交互的数据流进行压缩；
4) 支持 Windows 平台下的 TCP/IP 套接字连接；
5) 支持 Linux 平台下的 TCP/IP 套接字或 Linux 套接字连接；
6) 无需安装 GBase 数据库的客户端，可通过 GBase 8a MPP Cluster
ADO.NET 类库实现完整的管理功能。
6.4  GBase 8a MPP Cluster C API
GBase 8a MPP Cluster C API 是 GBase 8a MPP Cluster 数据库提供的 C
语言访问库。应用可以通过调用 GBase C API 访问 GBase 8a MPP Cluster 数
据库。GBase C API 提供了如下功能：
1) 创建和断开客户端与服务器的连接；
2) 直接执行 SQL 语句；
3) 通过预处理模式操作数据库；
4) 获取执行 SQL 的结果集；
5) 获取错误信息。

![](/home/attachment/202004/20/5940_158739605127369.png)

gbase

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

GBase 8a MPP Cluster 技术白皮书

添加新评论0 条评论

作者其他文章

相关问题

相关资料