power 虚拟化技术powervm的入门（2）

字数 3069阅读 11684评论 7赞 4

最近一直忙加班，没时间往下写，上星期刚将这套P750系统上电，又是加班到晚上12点。
加班当然要有收获，学到一些售前技术，跟大家分享一下。主要是P750(8233-E8B)及其12X I/O drawer
PCie扩展柜的一些概念

P750前后视图

12X I/O Drawer PCIe前后视图

P750最多支持4个I/O扩展柜，最多50个PCI-X slots或者41个PCIe slots,扩展柜有两种：
12X I/O Drawer PCIe, small form factor (SFF) disk (FC 5802)
12X I/O Drawer PCIe, No Disk (FC 5877)
5802最多支持18个SAS hot-swap disk drive bays,而5877不支持Disk drive bays。简单来说就是一个有硬盘，另一个没有，我们将重点介绍5802。

名词解释：
SPCN ports(system power control network)是用来控制和监控I/O扩展柜电源和冷却的状况。
下图为主机SPCN口与I/O柜SPCN连接方法

连线说明：
1. Start at SPCN 0 (T4) of the system unit to J15 (T1) of the first expansion unit.
2. Cable all units from J16 (T2) of the previous unit to J15 (T1) of the next unit.
3. To complete the cabling loop, connect J16 (T2) from the final expansion unit, to the
SPCN 1 (T5) in the system unit.
4. Ensure that a complete loop exists from the system unit, through all attached expansions
and back to the system unit.
简单来说，就是主机的SPCN 0口接到第一个柜的SPCN 0口，然后一柜到四柜使用级联的方式，最后从第四柜的1口
回到主机的1口。

12X connectors 用于主机与扩展柜，扩展柜与扩展柜间的数据传输。
为了实现主机与扩展柜的连接，需要在主机左边第一个插槽PCIe or GX++上配置GX Dual-port 12X Channel Attach (GX++)或在第二个插槽PCIe or GX+上配置GX Dual-port 12X Channel Attach (GX+)，这两者的区别是带宽。GX++的带宽是20GBPS，而GX+只有10GBPS。因此为了优化性能和分散工作负载，我们要尽可能多的使用GX++ 总线。
//GX++总线是直接连CPU,GX+总线通过P5-IOC2的GX+ pass thru再到CPU,因此GX++卡插到GX+的slot上，只能发挥10GBPS的带宽。

   上图是单个主机连接分别1个到4个扩展柜的连线方法。
     注意：
      1，一个扩展柜时，需要两条数据传输线形成一个回环（loop)；一个卡对应两个扩展柜时，需要3条数据传输线形成一个回环；
      2，主机的端口0永远对应扩展柜端口0，端口1永远对应扩展柜端口1；扩展柜之间端口0可以对应端口1；
      3，比如一个卡对应两个扩展柜时，从端口0到扩展柜1的端口0，再从柜1的端口1到柜2的端口0，最后从柜2的端口1回到卡的端口1 结束回环。

     下图为端口说明图

   它与SPCN连线的区别：SPCN是主机和全部扩展柜形成一个回环，而12X I/0 connector则是主机和每两个柜形成一个回环。

SAS connectors 用于连接前面板的硬盘与SAS cards。
Mode switch 可以把扩展柜的18个硬盘分成不同的组。

根据上图，18个硬盘可以分成1组，2组和4组。AIX/Linux 和IBM i 的分组是不同的。实际操作中，这三个
档位是从左往右排列，按键比较小，借助小铁丝会比较容易操作。
要使用扩展柜的18块SFF硬盘，需要另外配置SAS卡，卡的数量根据分组的状况来确定，每个卡有两个port。
下面是有关硬盘分组的物理图及与SAS connectors的对应关系。

上图的4个区域代表分成四组时的硬盘分布；分成两组时，左右两边各9个硬盘。

4个SAS connectors从上至下，分别对应从左至右4个分组。

假设有共18个硬盘，分成两分区，那么后面板SAS connectors从P4-T1,P4-T3口出来，
分别连在两个SAS CARD上。

除了上述2卡2分区的例子，还有其他6种情况。//注意：凡标...if desired的cable是可选项，有需要才接
1，2卡2分区，做RAID

2，1卡1分区

3，1卡2分区

4，4卡2分区，做RAID

5，2卡1分区做RAID

6，4卡4分区

案例分析

客户购买了LPAR划分，当该分区使用5802所配置的硬盘时，工程师将整个5802划给了其中的一个LPAR，但是当启动分区时，发现缺少部分硬盘，经过查找识别的几块硬盘，发现由于处于5802 P3-D10位置的硬盘没有被分区识别，后仔细检查RIO、SPCN、SAS等连线，均未发现问题，最后发现SAS卡Mode Switch在默认位置2，默认把硬盘分为了2个group,group1(1-9), group(10-18),由于只有一根SAS AT Cable，所以，就该分区只识别了Group1（1-9）的硬盘，处于D10的硬盘由于处于Group2，所以没有被识别。当将SAS卡Mode Switch 调至1档时，该问题解决。