利用AIX条带化（STRIPE）优化数据库IO
一、背景生产环境IBM P560目前用于Oracle DataGuard 的standby机器。在oracle Apply 归档日志时，查看服务器IO情况，发现Hdisk0、1上的IO有时候能达到到100%。而Hdisk2、3上IO活动很少。经分析，oracle的数据文件存放目录放在/oradata，该目录建立在hdisk0、1上。故在数据库发生...显示全部
一、背景
生产环境IBM P560目前用于Oracle DataGuard 的standby机器。在oracle Apply 归档日志时，查看服务器IO情况，发现Hdisk0、1上的IO有时候能达到到100%。而Hdisk2、3上IO活动很少。
经分析，oracle的数据文件存放目录放在/oradata，该目录建立在hdisk0、1上。故在数据库发生读写数据文件时，只有hdisk0,1有IO。另外2块盘IO活动少。故考虑将数据库文件从rootvg迁移出来,将数据库的归档文件建立在rootvg里,达到平均分布服务器的IO的目的。
二、理论支持
一般以LVM管理的存储，一个vg中可能会有很多pv，同样的，一个lv可能跨越多块pv，为了使硬盘存储速度加快，就会用到条带化的技术，即把连续的数据分成大小相同的数据块，然后依次存储在各个pv上。类似于RAID0，使存储速度加快。但并不会使数据像RAID0一样危险容易丢失，因为在正式使用中，不会像此时做测试一样没有任何保障地将多块硬盘做成一个vg，而是普遍连接的后台存储，在划分LUN之前，已经在物理硬盘上做好RAID5或RAID1，在RAID5或RAID1的基础上再划分出多块LUN,即系统上的pv，即使pv所在硬盘损坏，但有底层的硬RAID冗余，并不会丢失数据。
条带单元大小：即条带化的LV中，每一个条带单元的大小，对应于I/O中数据块的大小。对于Oracle来讲，db_block_size即设定的数据块大小。而db_file_multiblock_read_count就一次读取时最多并行的数据块的个数，db_block_size和db_file_multiblock_read_count相乘即一次总的I/O大小。这个大小不能超过操作系统的最大I/O (max_io_size)值。在ORACLE应用中，lv条带的大小一般设置为两倍或两倍以上的Oracle块大小，因为假如设置成与Oracle数据块相同大小，无法保证Oracle数据块的边界正好与条带单元的边界对应，如果不对应的话，就会出现大量的一个I/O由两个条带单元，来处理的情况。
条带大小的原则：对于高并发并且IO请求小的情况下，一块物理硬盘处理多个I/O请求，低并发但I/O请求较大时，可能需要多块硬盘处理一个I/O请求。原则上的要求是一次I/O请求能被一次性处理完成。
大概的条带化的概念就是这样。
三、参数提取
P560A:/#lspv
hdisk0 00c3ee9e3439bc67 rootvg active
hdisk1 00c3ee9e5033384d rootvg active
hdisk2 00c3ee9eae48cc48 rootvg active
hdisk3 00c3ee9eae48df75 rootvg active
P560A:/#lspv -l hdisk0
hdisk0:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
hd10opt 8 8 00..00..08..00..00 /opt
hd3 40 40 00..00..40..00..00 /tmp
hd1 4 4 00..00..04..00..00 /home
hd2 16 16 00..00..16..00..00 /usr
hd9var 4 4 00..00..04..00..00 /var
hd8 1 1 00..00..01..00..00 N/A
hd4 4 4 00..00..04..00..00 /
hd5 1 1 01..00..00..00..00 N/A
hd6 32 32 00..00..32..00..00 N/A
tsmdb 30 30 20..10..00..00..00 /tsmdb
oradatalv 278 278 49..11..00..109..109 /oradata
oraclelv 40 40 40..00..00..00..00 /home/oracle
weblogiclv 40 40 00..40..00..00..00 /weblogic
weblogic9lv 40 40 00..40..00..00..00 /weblogic9
lg_dumplv 8 8 00..08..00..00..00 N/A
P560A:/#lspv -l hdisk1
hdisk1:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
hd10opt 8 8 00..00..08..00..00 /opt
hd3 40 40 00..00..40..00..00 /tmp
hd1 4 4 00..00..04..00..00 /home
hd2 16 16 00..00..16..00..00 /usr
hd9var 4 4 00..00..04..00..00 /var
hd8 1 1 00..00..01..00..00 N/A
hd4 4 4 00..00..04..00..00 /
hd5 1 1 01..00..00..00..00 N/A
hd6 32 32 00..00..32..00..00 N/A
tsmdb 30 30 20..10..00..00..00 /tsmdb
oradatalv 324 324 89..17..00..109..109 /oradata
fwdump 2 2 00..02..00..00..00 /var/adm/ras/platform
weblogiclv 40 40 00..40..00..00..00 /weblogic
weblogic9lv 40 40 00..40..00..00..00 /weblogic9
P560A:/#lspv -l hdisk2
hdisk2:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
oradatalv 598 598 152..223..223..00..00 /oradata
P560A:/#lspv -l hdisk3
hdisk3:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
archlog_lv 400 400 00..223..177..00..00 /archivelog
P560A:/#lslv -l oradatalv
oradatalv:/oradata
PV COPIES IN BAND DISTRIBUTION
hdisk0 278:000:000 3% 049:011:000:109:109
hdisk1 324:000:000 5% 089:017:000:109:109
hdisk2 598:000:000 37% 152:223:223:000:000
P560A:/#lslv -l oraclelv
oraclelv:/home/oracle
PV COPIES IN BAND DISTRIBUTION
hdisk0 040:000:000 0% 040:000:000:000:000
P560A:/#lslv -l archlog_lv
archlog_lv:/archivelog
PV COPIES IN BAND DISTRIBUTION
hdisk3 400:000:000 55% 000:223:177:000:000
四、优化步骤
1、把hdisk2从rootvg中剔除
reducevg –d rootvg hdisk2；
2、将hdisk2、hdisk3做成datavg
smit mkvg 输入VG名字为datavg，选择盘为hdisk2 、hdisk3；
3、smit mklv 新建条带化LV
LV名字输入：oradata_lv
LV类型为：JFS2
LV分布的PV：hdisk2、hdisk3
strip Size 选择：128K （建议为oracle 的db_block_size *同时读取的块，目前系统最大允许为128K）；
lslv -m oradata_lv 发现LV的物理分区平均分布在hdisk2 和Hdisk3上
4、新建文件系统
smit jfs2 建立文件系统
五、优化结果
P560A:/backup#lspv
hdisk0 00c3ee9e3439bc67 rootvg active
hdisk1 00c3ee9e5033384d rootvg active
hdisk2 00c3ee9eae48cc48 datavg active
hdisk3 00c3ee9eb6975c7e datavg active收起
生产环境IBM P560目前用于Oracle DataGuard 的standby机器。在oracle Apply 归档日志时，查看服务器IO情况，发现Hdisk0、1上的IO有时候能达到到100%。而Hdisk2、3上IO活动很少。
经分析，oracle的数据文件存放目录放在/oradata，该目录建立在hdisk0、1上。故在数据库发生读写数据文件时，只有hdisk0,1有IO。另外2块盘IO活动少。故考虑将数据库文件从rootvg迁移出来,将数据库的归档文件建立在rootvg里,达到平均分布服务器的IO的目的。
二、理论支持
一般以LVM管理的存储，一个vg中可能会有很多pv，同样的，一个lv可能跨越多块pv，为了使硬盘存储速度加快，就会用到条带化的技术，即把连续的数据分成大小相同的数据块，然后依次存储在各个pv上。类似于RAID0，使存储速度加快。但并不会使数据像RAID0一样危险容易丢失，因为在正式使用中，不会像此时做测试一样没有任何保障地将多块硬盘做成一个vg，而是普遍连接的后台存储，在划分LUN之前，已经在物理硬盘上做好RAID5或RAID1，在RAID5或RAID1的基础上再划分出多块LUN,即系统上的pv，即使pv所在硬盘损坏，但有底层的硬RAID冗余，并不会丢失数据。
条带单元大小：即条带化的LV中，每一个条带单元的大小，对应于I/O中数据块的大小。对于Oracle来讲，db_block_size即设定的数据块大小。而db_file_multiblock_read_count就一次读取时最多并行的数据块的个数，db_block_size和db_file_multiblock_read_count相乘即一次总的I/O大小。这个大小不能超过操作系统的最大I/O (max_io_size)值。在ORACLE应用中，lv条带的大小一般设置为两倍或两倍以上的Oracle块大小，因为假如设置成与Oracle数据块相同大小，无法保证Oracle数据块的边界正好与条带单元的边界对应，如果不对应的话，就会出现大量的一个I/O由两个条带单元，来处理的情况。
条带大小的原则：对于高并发并且IO请求小的情况下，一块物理硬盘处理多个I/O请求，低并发但I/O请求较大时，可能需要多块硬盘处理一个I/O请求。原则上的要求是一次I/O请求能被一次性处理完成。
大概的条带化的概念就是这样。
三、参数提取
P560A:/#lspv
hdisk0 00c3ee9e3439bc67 rootvg active
hdisk1 00c3ee9e5033384d rootvg active
hdisk2 00c3ee9eae48cc48 rootvg active
hdisk3 00c3ee9eae48df75 rootvg active
P560A:/#lspv -l hdisk0
hdisk0:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
hd10opt 8 8 00..00..08..00..00 /opt
hd3 40 40 00..00..40..00..00 /tmp
hd1 4 4 00..00..04..00..00 /home
hd2 16 16 00..00..16..00..00 /usr
hd9var 4 4 00..00..04..00..00 /var
hd8 1 1 00..00..01..00..00 N/A
hd4 4 4 00..00..04..00..00 /
hd5 1 1 01..00..00..00..00 N/A
hd6 32 32 00..00..32..00..00 N/A
tsmdb 30 30 20..10..00..00..00 /tsmdb
oradatalv 278 278 49..11..00..109..109 /oradata
oraclelv 40 40 40..00..00..00..00 /home/oracle
weblogiclv 40 40 00..40..00..00..00 /weblogic
weblogic9lv 40 40 00..40..00..00..00 /weblogic9
lg_dumplv 8 8 00..08..00..00..00 N/A
P560A:/#lspv -l hdisk1
hdisk1:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
hd10opt 8 8 00..00..08..00..00 /opt
hd3 40 40 00..00..40..00..00 /tmp
hd1 4 4 00..00..04..00..00 /home
hd2 16 16 00..00..16..00..00 /usr
hd9var 4 4 00..00..04..00..00 /var
hd8 1 1 00..00..01..00..00 N/A
hd4 4 4 00..00..04..00..00 /
hd5 1 1 01..00..00..00..00 N/A
hd6 32 32 00..00..32..00..00 N/A
tsmdb 30 30 20..10..00..00..00 /tsmdb
oradatalv 324 324 89..17..00..109..109 /oradata
fwdump 2 2 00..02..00..00..00 /var/adm/ras/platform
weblogiclv 40 40 00..40..00..00..00 /weblogic
weblogic9lv 40 40 00..40..00..00..00 /weblogic9
P560A:/#lspv -l hdisk2
hdisk2:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
oradatalv 598 598 152..223..223..00..00 /oradata
P560A:/#lspv -l hdisk3
hdisk3:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
archlog_lv 400 400 00..223..177..00..00 /archivelog
P560A:/#lslv -l oradatalv
oradatalv:/oradata
PV COPIES IN BAND DISTRIBUTION
hdisk0 278:000:000 3% 049:011:000:109:109
hdisk1 324:000:000 5% 089:017:000:109:109
hdisk2 598:000:000 37% 152:223:223:000:000
P560A:/#lslv -l oraclelv
oraclelv:/home/oracle
PV COPIES IN BAND DISTRIBUTION
hdisk0 040:000:000 0% 040:000:000:000:000
P560A:/#lslv -l archlog_lv
archlog_lv:/archivelog
PV COPIES IN BAND DISTRIBUTION
hdisk3 400:000:000 55% 000:223:177:000:000
四、优化步骤
1、把hdisk2从rootvg中剔除
reducevg –d rootvg hdisk2；
2、将hdisk2、hdisk3做成datavg
smit mkvg 输入VG名字为datavg，选择盘为hdisk2 、hdisk3；
3、smit mklv 新建条带化LV
LV名字输入：oradata_lv
LV类型为：JFS2
LV分布的PV：hdisk2、hdisk3
strip Size 选择：128K （建议为oracle 的db_block_size *同时读取的块，目前系统最大允许为128K）；
lslv -m oradata_lv 发现LV的物理分区平均分布在hdisk2 和Hdisk3上
4、新建文件系统
smit jfs2 建立文件系统
五、优化结果
P560A:/backup#lspv
hdisk0 00c3ee9e3439bc67 rootvg active
hdisk1 00c3ee9e5033384d rootvg active
hdisk2 00c3ee9eae48cc48 datavg active
hdisk3 00c3ee9eb6975c7e datavg active收起