大数据分析平台的搭建是基于S3更好还是基于HDFS更好?各自的优劣势是哪些?

参与11

4同行回答

melody2004melody2004系统架构师某城市商业银行
这样看客户的具体情况,这里的具体情况主要是指客户是否已经使用了一些非结构化数据存储技术。如果有,转S3是需要一定的应用改造成本的;如果没有,推荐选择S3,原因有这么两点:1、S3更适合对象存储,与应用结合的更贴近。2、易扩展,支持分布式,容易上云等一堆其产生的优势。从数据重要...显示全部

这样看客户的具体情况,这里的具体情况主要是指客户是否已经使用了一些非结构化数据存储技术。
如果有,转S3是需要一定的应用改造成本的;
如果没有,推荐选择S3,原因有这么两点:
1、S3更适合对象存储,与应用结合的更贴近。
2、易扩展,支持分布式,容易上云等一堆其产生的优势。
从数据重要性角度看待这个问题的话,个人认为非结构化数据的重要性相对较低,实时性要求也不高,因此对应的存储解决方案应该是一个更有性价比的解决方案,比如:对象存储。

收起
银行 · 2020-12-09
浏览2417
zhangjunxi570zhangjunxi570系统架构师某城商银行
头部厂商对象存储提供了 s3协议 接口以及hdfs的接口,但是对象存储使用的主要是大容量低转速的介质,可以作为hdfs的持久化层,但是直接运行hdfs可能性能不够。显示全部

头部厂商对象存储提供了 s3协议 接口以及hdfs的接口,但是对象存储使用的主要是大容量低转速的介质,可以作为hdfs的持久化层,但是直接运行hdfs可能性能不够。

收起
银行 · 2020-12-11
浏览2247
沈天真沈天真售前支持IPS
还是老调重弹,抛开应用场景谈架构,谈技术都是扯淡;各种技术用对地方才是好的,用错地方就是烂的。所以,没有前提,没有需求,空谈哪个好毫无意义。文本数据,图片数据,音频数据,视频数据分析方法也各不相同吧。...显示全部

还是老调重弹,抛开应用场景谈架构,谈技术都是扯淡;各种技术用对地方才是好的,用错地方就是烂的。所以,没有前提,没有需求,空谈哪个好毫无意义。文本数据,图片数据,音频数据,视频数据分析方法也各不相同吧。

收起
硬件生产 · 2020-12-10
浏览2146
小孩子才做选择题,成年人当然是全都要!基于HDFS的平台成熟可靠,基于S3的平台灵活好用!所以都要,数据湖解决方案同时支持S3和HDFS协议在内的主流访问协议,支持实时计算、支持就地分析、支持未来更多协议扩展!...显示全部

小孩子才做选择题,成年人当然是全都要!

基于HDFS的平台成熟可靠,基于S3的平台灵活好用!所以都要,数据湖解决方案同时支持S3和HDFS协议在内的主流访问协议,支持实时计算、支持就地分析、支持未来更多协议扩展!

收起
硬件生产 · 2020-12-10
浏览2200

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-12-04
  • 关注会员:5 人
  • 问题浏览:3596
  • 最近回答:2020-12-11
  • X社区推广