GPFS 用于两台中间件之间的数据存储和数据共享。两台服务器之采用专门的 GPFS 专用连接。软件版本采用 GPFS 3.5 。

1.1.1 前期准备

1.1.1.1 兼容性检查

1.1.1.2 软件准备

1.1.1.2.1 AIX 支持软件版本

1.1.1.2.2 补丁下载

http://www-947.ibm.com/support/entry/portal/overview/software/cluster_software/general_parallel_file_system

1.1.1.3 存储准备

n 安装和配置相应的多路径软件

（1） DS8000 、 V7000 存储需要安装 SDD 存储多路径软件；

（2） DS5000 、 DS4000 存储需要采用 MPIO 存储多路径软件；

（3） 其它存储（ EMC,HDS ）需要专用的多路径软件。

n 修改存储 LUN ，识别 PVID

chdev –a pv=yes –l vpathx( 或 hdiskx)

1.1.1.4 网络准备

n 为 gpfs 通信配置 IP 地址。

采用 10.70.1.32 和 10.70.1.33 作为 GPFS 通讯地址

1.1.1.5 日志文件系统准备

1.1.2 规划方案

1.1.2.1 GPFS 配置概述

n 配置一个 2 节点 GPFS;

n 共采用 53 块 50G 硬盘，分为 5 个文件系统：

Ø /logs 100G 2x50GB

Ø /datafiles 100G 2x50GB

Ø Tiebreaker DISK 5x1GB （只能用 3 个）

1.1.2.2 GPFS 拓扑图

1.1.2.3 节点配置

1.1.2.4 NSD 配置

1.1.2.5 文件系统配置

1.1.3 安装配置过程

1.1.3.1 软件安装

1.1.3.1.1 软件的安装

解决安装软件到 /tmp/gpfs 目录

进入软件安装目录 cd /tmp/gpfs

gzip –d ESD--General_Parallel_File_System_for_AIX_V3.5_072010.tar.gz

tar –xvf ESD--General_Parallel_File_System_for_AIX_V3.5_072010.tar

cd ESD--General_Parallel_File_System_for_AIX_V3.5_072010

重新更新软件列表内容 Inutoc .toc

安装软件 :

/usr/lib/instl/sm_inst installp_cmd -a -Q -d '.' -f '_all_latest' '-c' '-N' '-g' '-X' '-G' '-Y'

注：安装软件 gpfs.base 和 gpfs.msg*

安装后，系统显示如下：

lslpp -l|grep gpfs

gpfs.base 3.5.0.0 COMMITTED GPFS File Manager

gpfs.msg.en_US 3.5.0.0 COMMITTED GPFS Server Messages - U.S.

gpfs.base 3.5.0.0 COMMITTED GPFS File Manager

gpfs.docs.data 3.5.0.0 COMMITTED GPFS Server Manpages and

1.1.3.1.2 补丁安装

上传补丁软件到 /tmp/gpfsfix 目录

进入软件安装目录 cd /tmp/gpfsfix

tar –xvf GPFS-3.5.0.18-power-AIX.tar

重新更新软件列表内容 Inutoc .toc

/usr/lib/instl/sm_inst installp_cmd -a -d '.' -f '_update_all' '-c' '-N' '-g' '-X' '-Y'

查看补丁安装状态 :

lslpp –l|grep gpfs

1.1.3.2 初始配置

1.1.3.2.1 配置 节点间远程访问

配置所有服务器的 /.rhosts 文件

sspapp01-gpfs root

sspapp02-gpfs root

确保服务器间的信任关系

配置所有服务器的 /etc/hosts 文件

10.70.1.32 sspapp01-gpfs

10.70.1.33 sspapp02-gpfs

用同样方法进行其他机器的通讯

1.1.3.2.2 配置 ssh 节点通讯

(1) 首先下载 ssh 软件包

在 AIX 安装包中： openssh_server ， openssh_client

For aix 软件下载地址： https://sourceforge.net/project/showfiles.php?group_id=127997

(2) 安装软件包

解压软件包，安装软件包

installp –aXgd .

(3) 配置 /etc/ssh/sshd_config

将以下三行前面的 ”#” 注释符号去掉，启用节点互相信任策略。

(4) 启动 sshd 服务

startsrc –s sshd

(5) 在两台服务器上生成密钥

在两台服务器上执行 :

ssh-keygen –t dsa

将会当前用户的主目录下生成 .ssh/ 目录，并产生两个文件： id_rsa 和 id_rsa.pub

注意：建议不要改 .ssh 的目录位置

(6) Copy id_rsa.pub 对需信任服务器上，并改名 authorized_keys( 和 sshd_config 中的名字相同 )

sspapp01#scp /.ssh/id_rsa.pub sspapp02:/.ssh/authorized_keys

sspapp02#scp /.ssh/id_rsa.pub sspapp01:/.ssh/authorized_keys

(7) 测试信任关系

sspapp01#ssh sspapp02-gpfs pwd 可以正常显示，不需要输入密码

sspapp02#ssh sspapp01-gpfs pwd

1.1.3.2.3 配置 /etc/profile

在 path 行增加 /usr/lpp/mmfs/bin ，例：

PATH=$PATH:/usr/lpp/mmfs/bin:

Export PATH

1.1.3.2.4 创建 GPFS 群集

在 /tmp 录下创建 node.list ，包含下列内容：

sspapp01-gpfs :quorum-manager

sspapp01-gpfs :quorum-manager

创建 pkmsdb-gpfs 集群：

@/usr/lpp/mmfs/bin#mmcrcluster -n /tmp/node.list –p sspapp01-gpfs –s sspapp02-gpfs –r /usr/bin/ssh –R /usr/bin/scp –C sspapp-gpfs

查看 GPFS cluster ： /usr/lpp/mmfs/bin/mmlscluster

1.1.3.2.5 启动 GPFS 节点

/usr/lpp/mmfs/bin#./mmstartup -a

1.1.4 功能性配置

1.1.4.1 配置 NSD 磁盘

在任意一个能够识别到所有磁盘的节点上，编辑 disk.list

注：创建节点的多台服务器磁盘顺序可以不同，但必须识别 PVID 。

在 /tmp 目录下创建 disk.list

格式 - 磁盘名称：主节点名称：备节点名称：： FailureGroup:NSD 名称

hdisk6:sspapp01-gpfs:sspapp02-gpfs::1000:nsd01

hdisk7:sspapp01-gpfs:sspapp02-gpfs::1000:nsd02

hdisk8:sspapp01-gpfs:sspapp02-gpfs::1000:nsd03

hdisk9:sspapp01-gpfs:sspapp02-gpfs::1000:nsd04

创建 NSD 磁盘

/usr/lpp/mmfs/bin>./mmcrnsd -F /tmp/disk.list -v no

查看 NSD 磁盘 mmlsnsd

/usr/lpp/mmfs/bin#./mmlsnsd

1.1.4.2 创建 wasgpfs 文件系统

将 disk.list 分为几个文件系统磁盘组：

/tmp/logs.list

/tmp/datafiles.list

在 /tmp 编辑创建 disk.list 如下：

nsd01:::dataAndMetadata:1000::

nsd02:::dataAndMetadata:1000::

nsd03:::dataAndMetadata:1000::

nsd04:::dataAndMetadata:1000::

1.1.4.3 创建文件系统

创建 dbgpfs 文件系统

/usr/lpp/mmfs/bin>./mmcrfs /logs /dev/lv_logs -F /tmp/logs.list -A no -B 1M -m 2 -M 2 –r 2 -R 2 -n 32 -v no

/usr/lpp/mmfs/bin>./mmcrfs /datafiles /dev/datafiles -F /tmp/datafiles.list -A no -B 1M -m 2 -M 2 –r 2 -R 2 -n 32 -v no

只有一个存储路径， -m 为 1 ， 两个存储路径 –m 为 2 ,-R 2 为复制两份。

1.1.4.4 修改 TierBreak 参数

/usr/lpp/mmfs/bin>mmchconfig tiebreakerDisks="tb01;tb02;tb03"

心跳磁盘数量最好为两个以上 , 最多 3 个。

修改 Tierbread 参数以后， GPFS 系统需重新启动

1.1.4.5 更改最大 INODE 号

如果文件内存储的文件个数过多，可能导致缺省的 INODE 个数不够，用下面的命令可以扩充 Inode 的个数 :

/usr/lpp/mmfs/bin/mmchfs wasgpfs –F maxnuminodes

maxnuminodes 是一个整数，可以设置为系统缺省值的 5-10 倍

1.1.5 性能参数修改和备份

1.1.5.1 修改 GPFS 参数

/usr/lpp/mmfs/bin>./mmchconfig maxMBpS=1600

每秒最大传送数据量，考虑 HBA 带宽和数量，建议为 1600MB

/usr/lpp/mmfs/bin>./mmchconfig prefetchThreads=100

/usr/lpp/mmfs/bin>./mmchconfig worker1Threads=450

prefetchTread 为最大顺序读写线程， worker1Thread 为最大随机读写线程，两值相加不能超过 550 。

/usr/lpp/mmfs/bin>./mmchconfig autoload=yes

/usr/lpp/mmfs/bin>./mmchconfig maxFilesToCache=4000

最大缓存文件数量。

/usr/lpp/mmfs/bin>./mmchconfig adminMode=central

/usr/lpp/mmfs/bin>mmchconfig pagepool=1024M

Pagepool 缓存数据和元数据，最大值为 8GB, 最小 4MB 。考虑服务器物理内存的大小，建议设置为 1GB 。

mmchfs /dev/wasgpfs --inode-limit 1048576 (1MB)

文件系统中最大文件数量，对于大量小文件的系统，建议增加数量到 1MB

1.1.5.2 备份 /var/mmfs/gen 目录

Cd /var/mmfs/gen

Tar –cvf /var/mmfs_yyyymmdd.tar /var/mmfs/gen

保存配置方便以后的恢复。

1.1.6 检查列表

1.1.7 验 收测试方法