sllut
作者sllut·2021-01-28 10:21
系统工程师·IPS

GPFS AFM介绍和安装部署方式

字数 1763阅读 3940评论 1赞 1

AFM(Active File Management ) 允许在群集之间共享数据,使用异步进行统一命名空间的复制, 因此应用程序可以在 AFM 文件集上连续运行而不受网络带宽的限制,同时也不受限于 网络不可靠或具有高延迟。 AFM 支持文件集中的单个文件压缩,也支持快照数据迁移。

使用 AFM 可以在 GPFS 集群之间或 GPFS 集群与 NFS 数据源之间创建关联。借助 AFM ,可以通过使全局名称空间真正具有全局性来在世界各地的站点中实现单个名称空间视图。 通过 跨位置构建通用的名称空间,并自动执行文件数据流,可以复制数据以进行灾难恢复。

如上图所示,本地集群的一个 Fileset 可以同远程集群的一个或多 Fileset 联系在一起 , 客户服务器以本地速度访问数据。数据以本地速度写数据到缓存,更新的数据将在后台异步的写回到 Home 端。如果网络中断,缓存的数据仍旧可以被持续访问,新数据会在网络重连后自动刷回到 Home 。

上图显示了通过使用 AFM 实现的全局名称空间。我们可以结合使用 home 和 cache 实体来创建全局名称空间。 这样 任何客户机节点都可以使用相同的路径来连接到作为名称空间一部分的任何 GPFS 集群中的数据。

AFM 可以在不可靠或具有高延迟的网络上执行。下面的示例是一个全局名称空间,该名称空间是通过 AFM 使用三个不同的站点实现的。任何站点上的 GPFS 客户端节点都可以查看所有站点上的所有数据。每个站点都有一个文件系统。每个站点都是两个子目录和缓存文件集的宿主,这些子目录和缓存文件集指向源自其他站点的数据。所有三个群集中的每个节点都可以直接访问全局名称空间。

AFM 支持将数据从任何旧版设备或旧 GPFS 系统迁移到最新的 GPFS 集群。

当替换旧的硬件设置或升级硬件时,需要进行迁移。可以使用基于 'nfs' 或 'gpfs' ( NSD 多集群)的协议来进行独立文件集级别或文件系统级别启用数据迁移。对于迁移,支持 AFM RO (只读)模式和 AFM LU (本地更新)模式文件集。

AFM 支持以下数据迁移配置:

  1. 将数据从源节点或集群迁移到 IBM Spectrum Scale AFM 文件集。
  2. 将数据从旧文件系统迁移到同一集群上的 IBM Spectrum Scale AFM 文件集。
  3. 数据从旧版源或旧文件系统到支持 AFM 的 IBM Spectrum Scale 文件系统的迁移。

所有这些配置的迁移过程都是相同的。在文件集级别执行迁移时,首先创建 AFM RO 模式文件集,然后将 AFM RO 模式转换为 AFM LU 模式文件集。迁移完成后,可以通过禁用 AFM 关系将 AFM LU 模式文件集转换为独立于 GPFS 的文件集。

在文件系统级别计划数据迁移时,可以通过在创建文件系统时提供特定于 AFM 的参数来启用 AFM 。对于文件系统级迁移,不需要创建新的文件集。从 GPFS 文件系统禁用 AFM 关系后,该文件系统将成为常规 GPFS 文件系统。

下面我们通过实验来做 AFM 的简单验证,需要先部署两套 GPFS 环境,在 gfps107 环境上开启 NFS 。

通过下面的命令增加 gateway 角色,如下图所示可以看到 gpfs109 这个 node 的已经增加了 gateway 这个角色:

再通过 AFM 的方式将 gpfs107 上的文件夹映射到 gpfs109 上 :

如上图所示,可以看到 gpfs107 上的文件集已经通过 nfs 的方式 mount 到 gpfs109 这个节点上了

挂载完后,我们可以看到元数据已经缓存到 gpfs109 这个节点上,我们通过 cat 读取一下 107 这个文件,发现 total 为 1 ,表明 107 这个文件已缓存到本地。我们再通过 dd 命令读取一下 bigtest 这个大文件,通过监控网络发现,通过 nfs 方式读取大文件,带宽可以达到 198MB/s 。
[root@gpfs109 ~]# dd if=/gpfspoc109/afm107cache/bigtest of=/dev/zero bs=1M

可以看到,在本地读取 bigtest 这个大文件之后,缓存的文件大小发生了变化。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

1

添加新评论1 条评论

raphlguraphlgu项目经理旭升
2021-01-28 11:23
新人正在学习GPFS中,请老师帮助。 如果site1~3的GPFS服务器都是通过NFS方式访问(而非GPFS Client),当site1 GPFS集群宕机时,site1的本地/data3,/data4不可用。有3个问题请您帮我解答一下 问题1、site1的NFS Client能否访问site3上的/data3、/data4?如果可以的话,需要做哪些做操作将/data3、/data4切换到site3? 问题2、site1 GPFS集群恢复后,将/data3、/data4切回到site1,期间发生变更的数据能否从site3增量传回到site1? 问题3、我们这个部署场景属于AMF DR吗?和AMF DR模式有什么区别?为什么厂商不建议使用AFM DR?
Ctrl+Enter 发表

作者其他文章

X社区推广