系统集成分布式存储

目前分布式存储是否适用大多数行业和应用?

随着X86性能的提升和万兆 10万兆网络的发展,分布式存储的瓶颈似乎也越来越少,除了特殊行业如金融等对IO有特殊要求的行业。分布式存储是否适用在大多数行业和应用中呢。以我目前接触过两个例子来说。一个用的超融合运行大数据分析业务,另一个用的Vsan运行虚拟化,上面分布数...显示全部

随着X86性能的提升和万兆 10万兆网络的发展,分布式存储的瓶颈似乎也越来越少,除了特殊行业如金融等对IO有特殊要求的行业。分布式存储是否适用在大多数行业和应用中呢。
以我目前接触过两个例子来说。一个用的超融合运行大数据分析业务,另一个用的Vsan运行虚拟化,上面分布数据库,中间件等,由于业务没有那么大的压力。所以目前看分布式存储是可以胜任这样的环境的。
在实际更多的行业中,还有那些除了对IO有很高要求的行业以外,不适用分布式存储的应用呢

收起
参与23

查看其它 9 个回答wwwdp的回答

wwwdpwwwdp项目经理西安未来国际信息股份有限公司

       分布式存储目前在公安和交通的视频监控应用和视频图像分析、卡口图像(人脸/车辆识别)、大数据分析后端都有广泛的应用。
       有些厂家的分布式存储可提供集文件存储、对象存储、块存储、大数据四种存储服务于一身的分布式存储架构,通过横向扩展基础架构实现单系统存储节点扩展至数千个,形成EB级海量存储空间、百亿数据文件管理、千万级IOPS和百GB带宽,并凭借其高效可靠的数据自动修复和自动运维机制,显著降低了存储管理的负担。
        分布式存储采用全对称、去中心化分布式架构,将系统的数据和元数据平均的分布到各个节点上,打破了传统系统的元数据集中式存储和管理这一限制,对系统的目录实行分而治之,实现负荷分担、负载均衡;即使系统中出现节点故障,系统也能够通过数据冗余规则以及故障修复迅速进行响应,恢复故障节点存储的数据及元数据信息,提供比传统存储系统更高的可靠性。
       分布式存储系统完成系统中各个节点存储资源的组织,对外提供统一API、支持不同协议的存储服务。
       分布式存储通过iSCSI协议对外界提供块级别设备接口,采用分布式系统技术、高可用系统技术将大量的存储设备进行集中管理,并支持快照、克隆、卷QoS、精简配置等功能,提高资源利用率,保证关键业务的性能。
       分布式存储系统通过HDFS API提供大数据服务,使用HDFS可以将存储系统强大的分布式存储能力与Hadoop中MapReduce强大的并行任务处理能力相融合,并结合HDFS 相关组件,将数据直接存储,从架构上解决数据爆炸性增长、非结构化数据分析速度缓慢等问题;通过数据共享访问能力的提升与接口的开放,可实现跨平台的数据共享访问,满足不同应用的需求。
       分布式存储系统可以根据客户业务需求,灵活的添加或者移除存储节点,从而将数据和应用程序从硬件抽象出来。当向系统中添加节点时,每个节点或者机箱都将聚合增加CPU、内存、缓存、网络等资源,使系统整体性能高于各部分总和,提高吞吐量、容量和IOPS。
      分布式存储采用了元数据集群和基于一致性哈希算法的去中心化技术,支持节点动态扩展,不存在性能瓶颈。随着节点数的增加,存储容量和计算能力线性增加,最终给用户提供呈线性递增的吞吐及并发能力。
      客户为保证存储空间利用率,分布式存储提供清空回收站与定时删除功能。分布式文件系统回收站和分布式块存储系统回收站数据存储位置及方式不同,因此清空和清理时限的设置要分别进行。清空回收站操作需要慎重处理,在清除数据之前,需要查看回收站,确认没有需要的数据,再进行此项操作。而定时删除功能降低了用户的管理负担,用户可以自由设定定期扫描时间和文件目录/逻辑卷超时时间,系统每隔一段时间在后台运行扫描一次,遍历回收站目录下所有日期目录或卷回收站内卷删除时间,获取当前时间,与日期目录或卷删除时间进行比较,对小于文件目录超时时间的文件/目录/逻辑卷不允许删除,反之,则进行自动删除操作。
      分布式存储将零散的存储资源集合起来,提供一个统一命名空间给用户,使用户可通过任何节点接入系统并处理客户端连接请求。为均衡分发客户端的连接请求并确保业务可靠性,提供“轮询机制”、“连接数机制”、“cpu机制”、“memory机制”、“bandwidth机制”的负载均衡策略供用户自主选择,系统根据选定的策略将多客户端连接到系统各节点,使得不同存储节点业务、硬盘压力相对均衡,优化系统资源的使用。

政府机关 · 2021-11-10
浏览1789

回答者

wwwdp
项目经理西安未来国际信息股份有限公司
擅长领域: 服务器存储Unix

wwwdp 最近回答过的问题

回答状态

  • 发布时间:2021-11-10
  • 关注会员:10 人
  • 回答浏览:1789
  • X社区推广