HPC高性能计算集群应如何进行存储选型?

HPC高性能计算集群应如何进行存储选型?

参与5

2同行回答

eric01eric01系统架构师某汽车制造公司
1、  先将业务计算任务的计算类型(计算密集型、IO密集型、数据密集型)及比例弄清楚。2、  根据计算类型对存储性能参数的需求及主流两种存储即闪存及磁盘存储的差异比较确认存储解决方案,若是综合需求包含各种计算类型,则可考虑闪存+磁盘存储二级存储解...显示全部

1、  先将业务计算任务的计算类型(计算密集型、IO密集型、数据密集型)及比例弄清楚。

2、  根据计算类型对存储性能参数的需求及主流两种存储即闪存及磁盘存储的差异比较确认存储解决方案,若是综合需求包含各种计算类型,则可考虑闪存+磁盘存储二级存储解决方案。

PS:麦坤老师提到的中间数据,可做监控测试,若符合IO密集型情况,即高IOPS或和高读写速度,则计算池存储区域(所在文件系统)应采用闪存存储为宜。

可参考http://www.aixchina.net/Document/detail/tid/216601 一文的第3~5节。

收起
汽车 · 2016-07-16
浏览2122
闪电麦坤闪电麦坤系统架构师某银行
高性能计算应用的存储模式,主要分为两种:计算前后的原数据和结构数据的读写,这部分数据对应用程序的运行性能没有太大的影响,仅仅影响原始数据的LOAD时间和结构数据的存入时间。计算过程的中间数据,这些数据在计算结束之后就会被丢弃,但是在计算过程中,访问速度会影响到应用程序...显示全部

高性能计算应用的存储模式,主要分为两种:

计算前后的原数据和结构数据的读写,这部分数据对应用程序的运行性能没有太大的影响,仅仅影响原始数据的LOAD时间和结构数据的存入时间。

计算过程的中间数据,这些数据在计算结束之后就会被丢弃,但是在计算过程中,访问速度会影响到应用程序的运行性能,设计不合理的中间数据存储方案会导致CPU处于等待状态,无法充分利用。

针对以上两种类型的存取模式,反应在SMP体系架构和DMP体系架构,又有不同的实现方式:

对于SMP体系架构,可以通过直接连接高速的磁盘来解决中间数据的存取,通过连接SAN共享的、性价比较好的FC/SAS磁盘柜,提供最终数据档案的存放。

对于DMP体系架构的群集系统,可以通过在每个节点上配置SAN架构磁盘空间解决中间数据的存取,通过NFS网络共享文件系统来为群集所有节点提供原始数据与最终数据的读取与存放。

收起
银行 · 2016-07-14
浏览2070

提问者

breenboy
系统运维工程师某制造企业
擅长领域: 服务器虚拟化存储

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2016-07-14
  • 关注会员:3 人
  • 问题浏览:5323
  • 最近回答:2016-07-16
  • X社区推广