OceanStor Dorado智能缓存和分级原理

字数 1418阅读 677评论 0赞 0

智能缓存和分级

OceanStor Dorado结合 智能加速卡 、SCM加速卡,实现了智能读缓存和智能数据分级,有效挖掘用户的数据访问模型,智能优化系统的I/O栈处理。数据智能读缓存中的流程如图1-1

图1-1 智能读缓存流程

  • 主机将读I/O(读取数据C)下发到阵列后的流程:

    1. I/O进入缓存模块读流程处理,完成并发、配额处理。
    2. 读I/O查找缓存数据管理获得数据,同时将当前读取的地址信息发给数据智能服务进行后台分析。
    3. 数据在缓存数据管理中命中获取数据(C),数据返回处理流程。
    4. 读流程收到数据(C)后,进行组装后返回主机。
  • 数据智能服务流程:

    1. 接收到前台的I/O元数据(C)信息,进行多种智能预取模式识别。
    2. 智能预取算法通过历史数据(ABC)分析后,进行预取推荐(DE)。
    3. 推荐预取的数据(DE),通过主存储池读取。
    4. 将读取的数据(DE)放入缓存数据管理。
  • 智能淘汰流程:

    1. 在缓存管理中,通过数据权值进行多级数据管理,在内存不足时自动冷数据淘汰。
    2. 冷数据优先淘汰到下层存储的SCM存储池进行管理。

基于空间特征预取

OceanStor Dorado强化了对于数据读取规律上的空间关联挖掘。在强化间隔流的基础上,对于跑批业务等出现的间隔流读取方式进行了深入的研究和挖掘。目前,可以准确识别间隔流读取方式,在多流,多间隔等不同的复杂间隔流场景下,均可以准确预取。

支持多流读模式识别:业务可以在不同地址空间进行间隔数据访问。可以通过分流技术有效区分不同数据空间中读模式,在不同的地址空间范围内分别挖掘出读模式。

  • 支持多间隔读模式识别:支持业务多种间隔数据读取方式,无论是连续地址空间的数据读取,还是进行单间隔的数据读取,抑或是规律的复杂多间隔数据读取,V6预取算法均可有效识别业务的数据读取模式,并进行预取
  • 支持多流多间隔模式识别:支持业务在不同地址空间,并采用不同的间隔进行数据读取。V6预取算法均可有效识别业务的数据读取模式,并进行预取。
  • 支持模式管理:支持将业务的已有读模式进行保存,降低二次学习成本,实现快速预取。支持当读模式发生变化时,进行模式的新旧更替,删除原有模式,新增最新模式。支持连续空间相同模式合并。
  • 支持模式动态调整:支持通过预取命中率,浪费率以及时延等关键读性能指标来进行预取效果反馈,来驱动深度强化学习算法继续进行新模式的分析和挖掘。及时避免业务模式变化带来的较大性能影响。

    图1-2 基于空间特性智能预取流程

基于时间特征预取

OceanStor Dorado强化了数据热点识别算法,并新增了数据访问的时间特征挖掘。目前,可以准确挖掘数据的语义关联特性,有效识别数据热点。

  • 支持I/O关联模式挖掘:支持对于业务的数据读取模式进行关联分析,识别出业务存在的固有读取模式以及地址空间的语义关联性。
  • 支持I/O关联模式管理:支持对于挖掘出来的数据关联模式进行内存保持,支持关联模式持久化,支持对关联模式新增,支持关联模式动态淘汰,甚至模式删除。
  • 支持推荐预取设置:支持根据业务情况,进行关联读阈值,推荐预取数据个数等参数的修改和设置。
  • 支持模式动态调整:支持通过预取命中率,浪费率以及时延等关键读性能指标来进行预取效果反馈,来驱动深度强化学习算法继续进行新模式的分析和挖掘。及时避免业务模式变化带来的较大性能影响。
  • 支持热点数据识别:支持根据近期数据访问模式识别近期数据热点。并支持在缓存中进行数据保持和淘汰更新,便于常热数据的快速访问,降低反复预取带来的额外性能开销。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

0

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广