lisongqing
作者lisongqing联盟成员·2022-12-27 09:23
软件架构设计师·IPS

DB2 V11.5数据库及日志内置Power ZLIB硬件加速压缩与加密备份

字数 2572阅读 1766评论 1赞 2

浪潮 K1 Power 服务器 Power9 和新的 Power10 处理器都有片上 NXGZIP 压缩 / 解压缩加速引擎。它具有如下优点:

• 业界带宽最高的片上压缩 / 解压缩引擎

• 用户态直接访问, kernel bypass ,低延时;

• 支持多用户和多线程;

• 释放处理压缩的 CPU 资源;

• 支持 Deflate ,Gzip, 和 Zlib RFCs ( 1950/51/52 )标准;

• 支持动态霍夫曼表,提高压缩率;

• 与 zlib 兼容, 方便应用集成;

• CPU 片内集成,零成本,低功耗 ;

• 可根据客户数据定制优化,提高压缩率;

如下应用场景都可以从 Power 片上 NXGZIP 压缩 / 解压缩加速引擎获得好处:

  1. 数据库应用

• 在数据库应用中,压缩能极大减少磁盘 IO ,既能减少对磁盘空间的需求,又可以延长 SSD/NVMe 等存储介质的使用寿命。

DB2 v11.5 开始内置支持 Power NXGZIP 硬件加速,可实现数据备份与日志归档的硬件 ZLIB 压缩加速及加密加速功能

• 其它数据库也可通过 pipe 等方式实现数据备份与硬件压缩加速结合使用

• 其它常见支持压缩的数据库存储引擎,如 InnoDB,TukoDB, RocksDB

  1. 数据安全传输

• 客户大量数据需远距离快速安全传输 (scp,sftp) ,如东数西算 / 多地多中心

• P9/P10 片上压缩引擎的高带宽和低延时和高级加密功能,可帮助实现快速压缩和安全加密传输,大大降低网络带宽要求,提高传输效率和安全性

  1. 存储应用

• 压缩能极大节省存储资源,传统 CPU 压缩方案只能压缩温 / 冷数

• P9/P10 片上压缩引擎的高带宽和低延时,可满足热数据实时压缩需求

  1. 大数据应用

• Hadoop 压缩功能能降低存储空间,减少网络上的数据传 输

• P9/P10 的片上 GZIP 加速器,可以同时降低 CPU 负载,让更多的 CPU 资源参与 Hadoop 其他大数据分析处理

**本文着重描述 DB2 V11.5 数据库及日志内置 Power ZLIB 硬件加速压缩与加密备份特性。
**
它的软硬件环境要求如下:

• 基于 Power9 或 Power10 处理器的浪潮 K1 Power 服务器

• 微码: Power9 FW940 或更新, Power10 都可以

• 分区模式: Power9, 选择 POWER9 (不能是 POWER9_base ); Power10, 须选 POWER9 或 POWER10

• AIX : AIX 7.2 TL 4, AIX 7.2 TL 5, 或 AIX 7.3 及以上

• zlibNX 版本: 7.2.4.0 及以上。在 AIX 7.2 TL4 至 AIX 7.2 TL5 SP1 , zlibNX 在 AIX Expansion Pack 扩展包中, AIX 7.2 TL5 SP2 以上版本, zlibNX 含在 AIX 安装介质中; AIX 7.3 以上版本中,系统缺省会安装 zlibNX

• DB2 版本,最低要求 v11.5.7 ,可以通过 db2pd -osinfo 查看 DB2 是否支持 NXZLIB , $ db2pd -osinfo

Operating System Information:

OSName: AIX

NodeName: hsdb

Version: 7

Release: 3

Machine: 00C6D8284C00

AME : Disabled

AMS : Disabled

NX842 : Operational

NXZLIB : Available

DB2 V11.5 数据库及日志内置 Power ZLIB 硬件加速压缩与加密备份的使用方法:

a.在 db2set 变量设置备份时,采用 ZLIB 硬件加速,此设置全局生效

db2set DB2_BCKP_COMPRESSION=ZLIB

b.在 backup database 备份命令行 compress 相关选项,采用 ZLIB 硬件加速选项(这里采用并行度20并行备份)

$ db2 backup database DatabaseNameonline to \\

dir1,dir2,dir3,dir4,dir5,dir6,dir7,dir8,dir9,dir10,dir11,dir12,dir13,dir14,dir15,dir16,dir17,dir18,dir19,dir20 \\

with 20 BUFFERS BUFFER 16384 PARALLELISM 20 \\

COMPRESS comprlib libdb2zcompr.a

如果设置了 db2set DB2_BCKP_COMPRESSION=ZLIB, 此处_comprlib libdb2zcompr.a_ 可省略

c.归档日志启用 ZLIB 硬件加速压缩 功能

db2 update db cfg for tpcc using LOGARCHMETH1"disk:/db2/archive"

db2 update db cfg for tpcc using LOGARCHCOMPR1 ZLIB

d.数据库备份同时启用 ZLIB 硬件加速压缩压缩 和 加密备份功能

db2 update db cfg using encrlib '/opt/IBM/db2/V11.5/lib64/libdb2zcompr_encr.a'

db2 update db cfg using encropts'_Cipher=3DES_'

也可以在backup database命令行中指定 encrypt encrlib … encropts … 压缩、加密选项

在一台高端 Power10 (下图中简称 P10 )浪潮 K1 Power K8880G3 服务器(分区配置 32 核、 256GB 分区、 NVMe 存储和万兆网卡)上,通过对 100GB 左右数据集的 DB2 V11.5.7 数据库进行压缩加速备份测试,效果很好:

• 实现与 DB2 缺省同等压缩比

• 备份时长比非压缩还省 25%

• 比非压缩更节省 CPU 资源

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

2

添加新评论1 条评论

yulu4314yulu4314技术支持长春
2023-06-01 09:28
看看分享内容,小机转到国产化后还没见识过!
Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广