非结构化数据的存储及解决思路?

海量非结构化数据存储优化方面,使用对象存储技术,还是分布式存储技术,亦或是分布式对象存储?对于PB级的非结构化数据存储,目前有哪些存储厂家的设备能够提供对应的应用场景?在非结构化数据的备份上,有什么可行的解决方案...显示全部

海量非结构化数据存储优化方面,使用对象存储技术,还是分布式存储技术,亦或是分布式对象存储?对于PB级的非结构化数据存储,目前有哪些存储厂家的设备能够提供对应的应用场景?在非结构化数据的备份上,有什么可行的解决方案

收起
参与20

查看其它 5 个回答lych370的回答

lych370lych370联盟成员系统运维工程师个人

既然文件存储和对象存储的都适用于海量非结构化数据存储,那么用户什么时候选择文件存储,什么时候选择对象存储呢?

有两个主要指标,一看数据规模,二看应用场景。

01数据规模

文件存储通过将数据划分为类别、目录和文件夹来获取非结构化数据并将其结构化,由此用户可以快速轻松地查询搜索。

但是文件存储中,一旦文件数达到数千万级别,目录树越建越深,就会造成性能瓶颈,不仅查询效率严重下降,而且超多超大文件管理困难,严重影响业务效率。

对于几乎无形中可以添加更多空间、弹性扩容的对象存储来说,爆炸性膨胀的非结构化数据存储简直是小菜一碟。

因此,如果组织要处理的非结构化数据量有限,文件存储是最佳选择。若组织需要处理大量数据,那么选择对象存储是更明智的决定

02应用场景

对象存储之所以成为近些年的存储顶流,除了其容量无限制、强扩展的特性,还在于其天然拥抱云和互联网的特质。

在对象存储中,用户若想修改文件,只能先下载、修改,再将修改后的文件上传,这一特性决定了它非常适合读取多写入少的场景——比如网站视频播放、网盘应用、机器学习的数据训练、物联网数据传输、云原生等,对于这些现代化应用,对象存储大有可为。

此外,对象存储也被称为云存储,如今已成为云服务公司的一项基础业务,全球各知名厂商纷纷推出基于对象存储的云存储服务,凭借其事实上的语言——AWS S3 API,对象存储可以在内部部署/私有云环境与公有云存储之间进行无缝访问和移动。

因此,对于人工智能、物联网、云原生等新兴应用,对象存储将是不错的选择。

银行 · 2022-11-10
浏览1190

回答者

lych370
系统运维工程师个人
擅长领域: 数据库云计算服务器

lych370 最近回答过的问题

回答状态

  • 发布时间:2022-11-10
  • 关注会员:7 人
  • 回答浏览:1190
  • X社区推广