目录

1. vSAN技术验证测试目的 .................................................................................................... 3
2. vSAN技术验证测试的人员及职责 .................................................................................... 4

2.1. 人员分配 .................................................................................................................... 4

2.2. 职责划分 .................................................................................................................... 4

3. 测试环境 ............................................................................................................................. 5

3.1. 地点 ............................................................................................................................ 5

3.2. 硬件配置 .................................................................................................................... 5

3.3. 软件配置 .................................................................................................................... 5

3.4. Virtual SAN 配置 ...................................................................................................... 6

3.5. 性能测试软件 ............................................................................................................. 6

4. vSAN集群管理功能验证 .................................................................................................... 7

4.1. vSAN 环境下的虚机迁移 ............................................................................................. 7

4.2. vSAN 集群弹性扩展 ..................................................................................................... 8

5. 标准vSAN集群可用性验证 ............................................................................................. 10

5.1. 硬盘故障 .................................................................................................................. 10

5.2. 主机故障测试（未运行 VM 的主机） ........................................................................ 13

5.3. 主机故障测试（运行 VM 的主机） ............................................................................ 14

5.4. 主机维护模式 ........................................................................................................... 15

6. vSAN集群跨中心可用性验证 .......................................................................................... 17

6.1. 主站点故障测试 ....................................................................................................... 18

6.2. 从站点故障测试 ....................................................................................................... 18

6.3. 见证站点故障测试 .................................................................................................... 19

6.4. 主站点网络故障测试 ................................................................................................ 20

6.5. 从站点网络故障测试 ................................................................................................ 21

6.6. 主站点和从站点互连网络故障测试 .......................................................................... 22

7. vSAN 集群性能测试 ......................................................................................................... 24

7.1. 测试负载估算 ........................................................................................................... 24

7.2. 性能测试步骤 ........................................................................................................... 24

7.3. 基本 I/O 性能测试 (HCIBench) ............................................................................... 24

7.3.1. 70% 读 30% 写 100% 随机 8K （模仿 Oracle 数据块） ........................................ 25

7.3.2. 30% 读 70% 写 100% 随机 8K （写密集应用） ..................................................... 25

7.3.3. 70% 读 30% 写 50% 随机 64K （模仿 SQL 数据块） ........................................... 26

8. VMware vSAN环境下的 存储自动化和统一管理 ........................................................... 27

8.1. 存储自动化 - 面向应用虚机的存储策略管理 ......................................................... 27

8.2. 统一监控 .................................................................................................................. 27

9. 技术验证测试总结 ........................................................................................................... 29

1. vSAN 技术验证测试目的

本次测试主要目的是为了协助 XX 用户验证即将用于统一资源池的 VMware vSAN 的功能和 I/O 性能，协助 XX 用户了解 VMware vSAN 在磁盘、主机发生故障时的可用性，以及在 vSAN 环境下如何实现计算资源和存储资源的统一管理和监控。为 XX 用户采用 VMware vSAN 实现计算资源和存储资源整合提供完善可行的解决方案，以检验超融合架构在 VMware 虚拟化环境的可行性。 本次测试主要对如下几个方面进行技术验证。

l VMware vSAN 环 境下的功能 验证

l VMware vSAN 环 境下的可用性 / 可靠性

l VMware vSAN 环 境下的 IO 性能 测试

l VMware vSAN 环 境下的存 储 自 动 化和 统 一管理

2. vSAN 技术验证测试的人员及职责

2.1. 人员 分配

技术验证测试 由 XX 用户与 VMware 公司共同完成，各方提供固定人员参与，根据计划有步骤地进行技术验证测试。

2.2. 职责划分

3. 测试环境

3.1. 地点

YYYYYYYYYYY 。

3.2. 硬件配置

此次测试至少包含 8 台物理服务器。所有测试全部采用 Hybrid 配置 或者 针对性能测试使用 AF 配置？

标准 vSAN 集群：至少 4 台服务器

跨数据中心 vSAN 延伸集群（也即双活）：至少 4 台服务器

注意：所有 POC 的硬件（主要是 IO 控制器、 SSD 和 HDD ）以及软件均要满足 vSAN 兼容列表，否则 POC 的功能和性能无法保证。

vSAN 节点服务器硬件配置：

3.3. 软件配置

测试环境部署的软件版本如下：

VCenter Build: VMware-VCSA-all-6.x.x.xxxxx

ESXi host: Build: VMware ESXi, 6.x.x.xxxxx

3.4. Virtual SAN 配置

每个 ESXi 主机上配置 2(4) 个磁盘组 . 每个磁盘组包括 1 个 SSD 和 4(2) 个 HDD 。

每个 ESXi 主机分配 1 个独立的 Virtual SAN vmkernel 端口 , 2*10GbE 上行链路。

3.5. 性能测试软件

HCIBench_1.5.0.3

# 4. vSAN 集群管理功能验证

4.1. vSAN 环境下的虚机迁移

4.2. vSAN 集群弹性扩展

5. 标准 vSAN 集群可用性验证

5.1. 硬盘故障

备注：拔盘和硬盘真实故障是不一样的， vSAN 为了减少因为错误拔盘导致重建消耗更多的资源，拔盘只会触发 Absent ，并不会触发 Degrade ，只有 Degrade 才会 Rebuild 数据，或者拔盘等候 60 分钟后，转成 Degrade 状态，之后才 Rebuild 数据。因此不能直接拔盘来模拟，可以通过两种方式：一是在拨盘前修改高级参数VSAN.ClomRepairDelay以缩短超时时间，该方式用于方便对主机进行物理访问，且主机支持热插拔；二是需要通过特殊的命令行软件模拟：

python /usr/lib/vmware/vsan/bin/vsanDiskFaultInjection.pyc

参见《 VSAN 6. 6 POC 指南》第 10 2 页

[root@cs-ie-h01:~] python /usr/lib/vmware/vsan/bin/vsanDiskFaultInjection.pyc –u –d naa.600508b1001c388c92e817e43fcd5237

Injecting hot unplug on device vmhba1:C0:T4:L0

vsish -e set /reliability/vmkstress/ScsiPathInjectError 0x1

vsish -e set /storage/scsifw/paths/vmhba1:C0:T4:L0/injectError 0x004C0400000002

5.2. 主机故障测试（未运行 VM 的主机）

5.3. 主机故障测试（运行 VM 的主机）

5.4. 主机维护模式

6. vSAN 集群跨中心可用性验证

验证在vSAN延伸集群架构下，虚拟化平台的可用性。 测试前将4台ESXi主机组建为延伸集群，2台加入主站点（preferred site）, 2台加入从站点(secondary site), 见证主机以witness appliance虚拟机方式部署在标准vSAN集群中。

将主站点的2台ESXi主机组建为一个DRS主机组(例如preferred-site-hostgroup)，将备站点的2台ESXi主机组建为另一个DRS主机组(例如secondary-site-hostgroup)。在集群上创建两台虚拟机，先不要开机，然后创建一个DRS虚拟机组(例如preferred-site-vmgroup),另外创建一个DRS虚拟机组(例如secondary-site-vmgroup)，然后将两台虚拟机分别加入到这两个虚拟机组。再新建DRS 主机组-虚拟机组绑定规则，指定preferred-site-vmgroup组的虚拟机应当运行于preferred-site-hostgroup主机组上、secondary-site-hostgroup组的虚拟机应当运行于secondary-site-hostgroup主机组上，注意这个DRS规则应该为软规则(should rule)。

同时，在HA规则设置中指定HA在切换时应当尊重DRS的主机-虚拟机绑定规则。

最后，确保DRS开启并处于半自动模式，然后打开两台虚拟机电源。

6.1. 主站点故障测试

6.2. 从站点故障测试

6.3. 见证站点故障测试

6.4. 主站点网络故障测试

6.5. 从站点网络故障测试

6.6. 主站点和从站点互连网络故障测试

# 7. vSAN 集群性能测试

7.1. 测试负载估算

为了发挥出 vSAN 的性能，建议根据如下方式计算合适的测试负载：

{Total VMDK Size per Host} = {Total Cache Size per Host} *70%

{Total VMSK Number per Host} = {Total VMSK size per Host}/ ({FTT+1} *{VMDK size})

{Threads per VMDK} = 2~16

举例：

vSAN Cluster 配置：

3 台主机， 2 个磁盘组，每个磁盘组 1 块 180GB SSD cache ， 3 块 370GB SSD

Total Cache Size per Host =360GB

Total Capacity Size per Host=2220 GB

建议测试配置：

VMDK 大小 = 5GB

Total VMDK 容量 = 180270% =252GB

每个主机 VMDK 数量 =252/(2*5)=24

如果每个主机部署 4 个 VM ，每个 VM 分配 6 块 5GB VMDK （ 24/4 ）

如果每个主机部署 3 个 VM ，每个 VM 分配 8 块 5GB VMDK （ 24/3 ）

测试时间建议：

1、 预热时间建议 30 分钟

2、 测试时间建议 30-60 分钟

7.2. 性能测试 步骤

__

7.3. 基本I/O性能测试 (HCIBench)

7.3.1. 70% 读 30% 写 100% 随机 8K （模仿 Oracle 数据块）

测试步骤：

1. 安装部署HCIBench；

2.通过HCIBench生成10台VM测试用例压力虚拟机；

3.设置70 % 读， 30% 写， 100%随机, 8k测试参数；

4.启动压力测试任务并运行60分钟查看运行结果。

测试结果：

7.3.2. 30% 读 70% 写 100% 随机 8K （写密集应用）

测试步骤：

1. 安装部署HCIBench；

2.通过HCIBench生成10台VM测试用例压力虚拟机；

3.设置30 % 读， 70% 写， 100%随机, 8k测试参数；

4.启动压力测试任务并运行60分钟查看运行结果。

测试结果：

7.3.3. 70% 读 30% 写 50% 随机 64K （模仿 SQL 数据块）

测试步骤：

1. 安装部署HCIBench；

2.通过HCIBench生成10台VM测试用例压力虚拟机；

3.设置90 % 读， 10% 写， 100%随机, 64k测试参数；

4.启动压力测试任务并运行60分钟查看运行结果。

测试结果：

8. VMware vSAN 环境下的 存储自动化和统一管理

8.1. 存储自动化 - 面向应用虚机的存储策略管理

使用vSAN后不用像管理传统存储一样，先划分LUN并Mapping到主机，然后通过Datastore为虚机分配磁盘，而是在创建虚机时通过选择指定的存储策略，系统会自动从vSAN存储中为虚机分配满足策略要求的磁盘空间，大大简化管理流程和复杂性。这意味着无需事先创建好逻辑卷和虚机所需的文件系统，可以采用存储自动化来减轻管理员的工作量，为业务负载创建好存储策略后，未来分配存储资源可以一劳永逸地使用该存储策略，极大地减少了原来枯燥乏味的重复性的，诸如划分LUN，Mapping，VMFS格式化等存储操作。将以往从下至上，围绕着存储硬件的管理方式，转向从上至下，围绕着业务/虚机为中心进行存储资源的管理和分配。

8.2. 统一监控

vSAN完全和现有的vCenter平台集成，通过vCenter平台实现计算资源和存储资源的集中管理，统一监控vSAN的健康状态和性能状态。

9. 技术验证测试总结