分布式存储技术路线选型探讨:HDFS、Ceph、GFS、gpfs、Switf等各种技术的特点和适用场景?

随着数字化转型的深入,海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点,但面对海量数据,其缺点也越来越明显:如扩展性差、成本高等。为了克服上述缺点,满足海量数据的存储需求,市场上出现了分布式存储技术。
当前,分布式存储有多种实现技术,如HDFS、Ceph、GFS、GPFS、Switf等。在实际工作中,为了更好地引入分布式存储技术,我们需了解各种分布式存储技术的特点,以及各种技术的适用场景,在此希望请教下同行,城商行应该如何选择这些分布式存储技术,他们各自的特点和场景如何?

参与38

5同行回答

吕作令吕作令其它A
以上几种分布式技术都用各自使用的应用场景,都可以安装在通用的X86架构的服务器上。 HDFS 是大数据解决方案里常用的分布式文件系统,提供HDFS接口协议,HDFS的namenode 负责文件系统的metadata,datanode负责真正的数据块。数据安全支持副本,EC等。 CEPH Ceph 最初发展的cep...显示全部

以上几种分布式技术都用各自使用的应用场景,都可以安装在通用的X86架构的服务器上。
HDFS
是大数据解决方案里常用的分布式文件系统,提供HDFS接口协议,HDFS的namenode 负责文件系统的metadata,datanode负责真正的数据块。数据安全支持副本,EC等。
CEPH
Ceph 最初发展的cephfs,随时社区的发展,目前演变成统一存储平台,支持多种数据类型。开源ceph 在对接块存储上有RBD 接口协议,在对接对象RGW上支持swift,S3。在文件系统上有cephfs。在对接大数据平台上社区也提供S3A的技术架构。ceph在数据安全支持多层级bucket,支持副本,EC数据安全策略,能满足多种数据级别安全要求,得益于数据存储接口丰富,可以适配企业中大多数存储需求
GlusterFS
GlusterFS是典型的分布式文件系统,遵从POSIX系统接口标准,在处理大文件应用请求时,GlusterFS相对比较有优势。适用于单一应用场景下的业务访问
SWIFT
Swif是对象存储系统,提供对象存储解决方案,swift必须采用swift gw 进行业务访问,就目前来看,Amazon S3已经成为事实的标准,如若把OpenStack Swift作为必须项势必会让各厂商投入较重的研发力量在OpenStack Swift中,从而相对弱化Amazon S3研发。
2.OpenStack Swift 接口定义复杂,除了标准的OpenStack Swift 实现外,基本没有第三方实现一个较完善的语意

收起
软件开发 · 2019-09-23
浏览8224

提问者

fanyqing
技术架构厦门银行
擅长领域: 分布式系统服务器数据库

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-04-19
  • 关注会员:9 人
  • 问题浏览:14414
  • 最近回答:2019-09-23
  • X社区推广