对象存储一定都是分布式的架构吗?就像HDFS (Hadoop分布式文件系统)一样?它和HDFS有什么区别?

说起管理医疗大量的非结构化数据,似乎采用Hadoop的方案多一些,而Hadoop大多使用HDFS文件系统,它可以实现冗余和分布式存储。如果使用对象存储,实际意义是什么?优势又有哪些?显示全部

说起管理医疗大量的非结构化数据,似乎采用Hadoop的方案多一些,而Hadoop大多使用HDFS文件系统,它可以实现冗余和分布式存储。如果使用对象存储,实际意义是什么?优势又有哪些?

收起
参与13

返回s6dong的回答

s6dongs6dong  it技术咨询顾问 , 东软集团

答:
HDFS是Hadoop分布式文件系统,它和对象存储都可以实现非结构化数据的存储,也都具有冗余保护机制。也都具有分布式架构。但是还是有一些区别的。
1、对象存储可以具有多租户的架构,而HDFS没有多租户架构这个概念。
2、HDFS主节点不可靠。
HDFS使用了中央系统来维护文件元数据(Namenode,名称节点)。HDFS具有一个主节点和一系列从节点。从节点处理数据并将结果发送给主节点。主节点还需要维护数据复制策略以及基本的集群管理。如果主节点发生故障,集群的其余节点将不能被访问。 HDFS对主节点只提供了有限的保护,所以企业需要采取特殊措施来实现主节点的高可用性。
而对象存储,元数据呈分布式,跨集群复制。使用一种中央元数据系统对HDFS来说无异于单一故障点,因而扩展到规模非常大的环境显得更困难。
3、对象存储可以降低数据保护的成本。
HDFS是分布式架构,使用多副本的形式保护数据。将所有数据做了3个副本,所以HDFS存储需要的裸容量需要X3。对象存储使用删编码技术对数据进行保护。这种数据保护机制类似于RAID但粒度更细,可以在对象或子对象的层面操作,把数据和奇偶校验位分布到存储集群的各个分布式节点上。例如将一份数据切分成12份切片,并进行分布式存储,只需要保证有7份可读,就可以恢复数据。为了保护数据,相对HDFS,可以节省大量的裸容量空间。
  HDFS主要优点是低成本和高性能。但是对象存储提供了一种成本更低,更可靠的架构,而且性能可以跟HDFS相当。相信将来会逐渐成为一种可替代HDFS的解决方案。

互联网服务 · 2017-11-29
浏览3366

回答者

s6dong
s6dong1729
it技术咨询顾问东软集团
擅长领域: 存储服务器灾备

s6dong 最近回答过的问题

回答状态

  • 发布时间:2017-11-29
  • 关注会员:2 人
  • 回答浏览:3366
  • X社区推广