XSKY SDS V6.3 版本发布：持续强化非结构化存储和管理能力

近日，XSKY星辰天合发布了 XSKY SDS V6.3 新版本，带来了很多新功能，包括文件平台的目录写缓存、对象平台的深度归档、基础平台的多集群监控等，让 XSKY SDS 在应对非结构化数据管理方面的能力有了新的飞跃。
SDS V6.3 的新增重大新特性如下：

• 对象深度归档 ：通过优化元数据存储空间使用量，采用盘级大比例 EC 等方式，支持海量对象数据长期低成本保存；
• 对象事件通知 ：可以通过图形化界面管理消息通知，并且支持通知第三方应用，增加延迟通知功能，让存储和应用实现协同联动，助力企业业务创新；
• 文件写缓存 XDCache ：文件系统增加写缓存能力，充分利用内存+NVMe SSD 的速度优势，单线程及低并发写性能明显提升，并且可对目录/共享级别灵活配置，可以满足企业对AI和高性能分析的性能要求；
• 文件 Windows ACL 权限 ：在存储界面就可以配置目录 ACL 权限属性，并且支持递归和继承，可以更方便对文件权限进行控制，保障企业数据安全；
• 基础平台特性增强 ：除了告警功能增强和增加对象归档池角色外，新的基础平台为 Grafana 平台提供多集群插件，支持整合多个集群的数据源，可统一的在 Grafana 界面上查看和分析多个集群的运行情况，包括各个集群的健康状态、性能指标以及告警信息；
• EasyData 易数管理平台 ：全新的非结构化数据管理软件，在数据汇聚阶段提供了本地目录、文件存储和对象存储系统上的数据采集功能，覆盖了汇聚、纳管、迁移、复制、归档等不同的业务场景需求，是你进行数据管理的得力助手；
• CSI NFS Driver 专项优化 ：优化后，可以秒级创建 PVC+POD，几乎达到无感快速启动业务，充分发挥云原生敏捷、灵活等特点。
  对象平台： 深度归档与事件通知
  存储桶支持深度归档功能 归档功能在存储和数据管理中起着重要的作用，XSKY 很早就在 SDS V4 对象平台推出生命周期归档功能，该功能解决了中小规模数据归档的需求，但是在数十亿级甚至百亿级的海量存储场景中仍有优化空间。 因此，XSKY 在 SDS V6.3 中进一步推出了深度归档功能，该功能优化了元数据存储空间使用量，同时根据多年来搜集的归档需求的总结，推出了多池加盘级故障域的方案，在少量节点中即可使用大比例 EC，同时还大大降低了数据恢复对网络的压力。
  
  针对低频访问的对象，为了节约对象元数据集群的容量占用，深度归档功能将对象的部分元数据信息存储于数据池，最大程度的减少元数据集群的空间使用，因此可以获得如下收益：
• 元数据集群空间最高节省 80%（与对象名长度、tagging、meta 数据相关）；

• 生命周期配置的删除策略，执行效率提升约 3 倍。

  存储桶支持事件通知功能

  在海量非结构化数据存储中，如果上层业务需要感知数据变化，就需要手动检查或轮询查询，这样会增加业务逻辑的复杂性，且效率低下。这也使得当业务需要通过实时感知数据变化来扩展业务能力时变得困难重重。
  对象存储事件通知功能解决了这一系列问题，通过事件通知功能，业务无需手动检查或轮询查询存储桶中的数据变化，由对象存储主动推送事件到业务，保证业务实时获取数据的变化，以此触发特定的业务操作或流程。

• 在 SDS V6.1 中已经以命令行方式支持事件通知功能，并应用于 XOCP 异步图片处理方案中。
• 在 SDS V6.3 中支持图形化管理事件通知，并支持对接第三方业务服务，同时增加延迟通知能力，以应对多样化的用户业务需求。

SDS V6.3 支持实时发送和延时发送两种模式，通过 S3 API 或存储系统管理面配置事件通知规则，当前支持前缀、后缀、标签、元数据、对象大小、对象类型、对象拥有者的匹配规则，当满足匹配规则的对象进行上传/下载/等操作时，会向第三方应用发送 API 事件。

• 实时发送：事件通知规则被触发后，一分钟内完成消息的发送；

• 延时发送：事件通知发送的执行时间可配置以天为单位的延迟发送时间，到达时间后会完成消息的发送。
  文件平台： 目录写缓存与 Windows ACL 权限

  目录写缓存
  文件写缓存可以充分利用内存和 NMVe SSD，提升低并发下小文件场景性能；在 XSKY 分布式文件系统既有的读缓存特性 XCache 基础上，SDS V6.3 增加了写缓存特性 XDCache。XDCache 的单线程及低并发写性能明显提升，并且可对目录/共享级别灵活配置。
  
  XDCache 默认关闭，可按目录配置开启；它支持 Writethrough 和 Writeback 两种策略（默认为 Writethrough）。
  存储界面支持SMB Windows ACL递归设置
  Windows ACL 是 Windows 操作系统中用于实现细粒度权限控制的一种机制。它允许管理员定义文件和目录的访问权限，以控制用户和组对这些资源的访问和操作。
  SDS V6.3 版本文件系统管理界面支持对开启 Windows ACL 高级特性的指定目录设置 ACL 权限，并且支持如下特性：

• 支持展示递归设置任务的运行状态和剩余时间；
• 支持断点续传，即递归下刷失败的任务可从下刷失败的文件开始启动下刷，减少重新开始下刷的时间；
• 支持启用继承和禁用继承。
  
  这个特性实现有以下优势：
• 存储管理界面统一配置 ACL，不再需要频繁登陆客户端，连接、登陆不同的 SMB 共享；
• 支持同时配置本地、AD 域用户/用户组作为主体，打破绝大部分 Windows 客户端只能针对 AD 用户/用户组设置 ACL 的限制；
• ACL 设置效率提升 5-10 倍。针对已经存了上亿文件的文件夹，权限设置能快速应用子文件、文件夹生效；

• 完美兼容过去 Windows 客户端已设置的 ACL 和操作习惯。原方式仍然可用。

  基础平台特性增强

告警功能增强

• 增加全部删除功能，根据周期和自定义时间批量删除告警记录；
• 告警记录去除原因详情，优化详情页面显示；
• 完善告警联系人和通知策略管理，第三方配置管理功能显示及配置项（仅限制单集群）。
  新增对象归档池角色
• 用来支持对象服务平台存储桶深度归档功能，新增基础许可：深度归档容量配额；
• 存储池增加对象归档池和对象归档盘，存储介质只支持 HDD；

• 对象归档池适用于需要归档海量对象的业务，创建后支持添加至开启了深度归档功能的对象存储策略中。

  Grafana 多集群监控

  使用已经在 SDDC 场景下得到验证的 Grafana 来替代 Cloud AI，以满足对多个单集群监控的需求。XSKY 新的基础平台为 Grafana 平台提供多集群插件，支持整合多个集群的数据源，可统一的在 Grafana 界面上查看和分析多个集群的运行情况，包括各个集群的健康状态、性能指标以及告警信息。
  
  EasyData 易数管理平台发布
  另外，配合 XSKY SDS V6.3 的发布，XSKY 也重新对数据管理软件进行了合并，发布了 EasyData 易数管理平台，融合了原来的 XOCP 和 X3DS 两个产品的能力，让非结构化数据管理更加简单。
  星辰天合易数管理平台（简称 XSKY EasyData ）为客户提供了统一、高效的数据管理方式，让海量数据管理不再困难！它实现了多源数据接入存储系统，提供了统一的数据视图及数据检索、操作能力，更贴合业务场景，轻松克服多种数据操作需求带来的“多套产品、开发周期久、管理复杂”等阻力。
  XSKY EasyData 是一款提供图形化界面操作的数据管理平台。它具备完善的数据管理能力，在数据汇聚阶段提供了本地目录、文件存储和对象存储系统上的数据采集功能，覆盖了汇聚、纳管、迁移、复制、归档等不同的业务场景需求。在文件管理方面，EasyData 支持上传、下载、在线预览、删除等基础操作， 并且能够实现对海量数据的秒级检索，从而极大提高了数据管理的时效性。此外，EasyData 还内置了智能服务引擎，通过一套平台可以构建不同的服务能力，以满足各种数据处理场景的需求。
  XSKY EasyData 基于微服务架构，实现了全模块容器化，具有极大的弹性和扩展性。它自带 Kubernetes 平台，也支持外部的 Kubernetes ，部署简单灵活。
  
  XSKY CSI NFS Driver 专项优化
  根据大量生产项目数据调研，容器云平台主要使用块存储、文件存储和对象存储。其中，文件存储应用最广泛，如跑批、AI、新核心等业务。在真实项目中，客户需要秒级创建 PVC+POD，几乎达到无感快速启动业务，充分发挥云原生敏捷、灵活等特点，针对此需求背景，配合 SDS V6.3 的发布，XSKY 针对 CSI NFS Driver 进行了大量专项优化，最终效果与国际一流大厂性能相当。
  优化点：

• 存储端针对 CSI 全新设计高性能 API，单个请求可达 ms 级；
• CSI NFS 共享支持 subpath，更快的 NFS 共享创建和配置；
• CSI NFS 支持 skip attach，更快的 POD 卷挂载。
  优化后的性能表现：
  
  
• PVC 创建性能提升 3～5 倍；
• PVC 挂载性能提升 2～5 倍。
  小结
  XSKY 发布的 SDS V6.3 版本，具有文件平台的目录写缓存、对象平台的深度归档功能、基础平台的多集群监控功能等新功能；此外，XSKY 还同步发布了 EasyData 易数管理平台和升级的 CSI NFS Driver。
  此次 XSKY SDS V6.3 的重大新特性基本都聚焦在非结构化数据的管理和使用上：文件写缓存的时延，将大大提高文件的写性能，满足现在 AI 场景的性能需求；对象深度归档特性的引入，必将帮助用户更好控制海量数据的长期保存成本；EasyData 易数管理平台的推出，可以让用户用一个工具软件就可以轻松管理文件和对象数据，使用更加简单；而 CSI NFS Driver 的专项优化，让云原生场景下 PVC 的创建和挂载性能有了大幅度提升。
  因此，虽然从版本号上看，V6.3 不是一个非常大的版本升级，但其对非结构化数据的支持能力确是有了一个巨大的飞跃。看似小版本，实则大提升。
  如果你也有对这些非结构化数据存储和管理方面的痛点，欢迎和我们联系。