“存算分离”架构的底层存储,是否可以采用“对象存储”?是否有案例?

存算分离的本质是计算和存储分离,一份数据存储,支持多个计算引擎(如:hadoop、mpp等),提升存储效率。是否有把“对象存储”作为“存算分离”的底层存储的案例?

3回答

seposalseposal  其它 , 某证券
int32bit肖根元bjc96333赞同了此回答
从技术上hdfs,hive,impala等基本都支持或原生支持s3z。那么剩下的就是性能考虑。对象存储对于d高吞吐场景很适合,只是时延方面不擅长。因此,应用侧思考下要求,时延没诉求,当然可以使用。...显示全部

从技术上hdfs,hive,impala等基本都支持或原生支持s3z。那么剩下的就是性能考虑。

对象存储对于d高吞吐场景很适合,只是时延方面不擅长。因此,应用侧思考下要求,时延没诉求,当然可以使用。

收起
 2022-07-12
浏览196
李静12138李静12138  产品解决方案总监 , XSKY
可以运用在hadoop的大数据分析场景,hadoop的存储集群采用1个name node+ 多个data node的存储架构,name node单独存放元数据,存在性能瓶颈。利用对象存储适配hadoop存算分离,有以下几大优势(1) hdfs目前生产使用只有副本,替换对象存储可以支持EC纠删,大幅节约硬件投入 (2) 只有桶...显示全部

可以运用在hadoop的大数据分析场景,hadoop的存储集群采用1个name node+ 多个data node的存储架构,name node单独存放元数据,存在性能瓶颈。利用对象存储适配hadoop存算分离,有以下几大优势

(1) hdfs目前生产使用只有副本,替换对象存储可以支持EC纠删,大幅节约硬件投入
(2) 只有桶和对象两层数据存储架构,加上原生的数据检索引擎,可以实现高效的数据检索

(3) 区别于备份方案,数据永久实时在线,随时提供数据读写

(4)原生支持Hadoop HDFS大数据分析平台,对接HDFS,数据统一存储和调取

(5)对象存储元数据采用分布式架构,每个节点都存放有元数据,并发响应读写需求,取代单个HDFS的单个name node的性能瓶颈和单点故障

(6)对象存储可支持百亿文件的存储,完美适配大数据的海量文件的存储需求

(7)采用XSpeed技术实现小文件聚合下刷功能,化随机写为顺序写,加速对于小文件的写入性能;by pass技术实现大文件直接下刷至HDD,充分发挥HDD的高吞吐的优势

(8)提供数据在线压缩和重删,提升数据的存储效率,为客户节约采购成本

收起
 2022-11-04
浏览64
腾讯云数据库腾讯云数据库  腾讯云数据库 , 腾讯
现在这个技术还是很常见的,TDSQL for PG和TDSQL-C for PG支持冷热分离,数据就是放在对象存储上。显示全部

现在这个技术还是很常见的,TDSQL for PG和TDSQL-C for PG支持冷热分离,数据就是放在对象存储上。

收起
 2022-08-01
浏览168

提问者

肖根元
深圳深圳证券通信公司

问题来自

分布式块存储选型优先顺序调查

发表您的选型观点,参与即得50金币。

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-07-05
  • 关注会员:4 人
  • 问题浏览:738
  • 最近回答:2022-11-04