存算分离是趋势吗?

参与30

13同行回答

radiumguoradiumguoITS英特尔(中国)有限公司
存算分离,分别进行开发和优化肯定是个趋势。因为分布式计算架构,云架构是个趋势。有些传统的系统和应用,原来使用OS级别的存储管理能力,扩展性的不够的,无法匹配集群化分布式计算架构发展,所以需要独立的分布式的软件定义存储管理系统。有些厂商能力较强,分布式计算和存储都可以...显示全部

存算分离,分别进行开发和优化肯定是个趋势。因为分布式计算架构,云架构是个趋势。
有些传统的系统和应用,原来使用OS级别的存储管理能力,扩展性的不够的,无法匹配集群化分布式计算架构发展,所以需要独立的分布式的软件定义存储管理系统。
有些厂商能力较强,分布式计算和存储都可以做的很好,又有很好的 整合能力,提供存算一体的方案也不是落后的表现。

收起
硬件生产 · 2021-12-21
浏览2396
李静12138李静12138产品解决方案总监星辰天合(北京)数据科技有限公司
目前看是一个趋势:1、从hadoop的架构体系演进也可以看到,从hadoop1.0-hadoop2.0-hadoop3.0,在hadoop2.0里面已经可以看到存算分离的影子,hadoop3.0更加明确方向;2、随着云/分布式的发展,敏态场景数据量快速增长,原有的融合模式资源使用率低下,推动部分企业开始存算分离的试点;3、...显示全部

目前看是一个趋势:
1、从hadoop的架构体系演进也可以看到,从hadoop1.0-hadoop2.0-hadoop3.0,在hadoop2.0里面已经可以看到存算分离的影子,hadoop3.0更加明确方向;
2、随着云/分布式的发展,敏态场景数据量快速增长,原有的融合模式资源使用率低下,推动部分企业开始存算分离的试点;
3、技术的成熟度,对性能的改善等也促进了存算分离方案的可落地;
4、对于分布式数据库,国家发布的《分布式数据库技术金融应用规范 技术架构》 (JR/T 0203-2020)要求:计算存储分离,存储分布式技术架构,目前很多金融客户由于数据量的规模,实际并没有做存算分离架构,而是采用本地盘方案,但未来随着数据量的增长,必然会走向分离架构。

收起
软件开发 · 2021-12-21
浏览2374
匿名用户匿名用户
只能说,存算分离是大数据架构演进的重要趋势。下面采用一些官方的报告。Hadoop1.0时代,计算和存储是高度融合,仅能处理单一的MapReduce分析业务;Hadoop2.0时代,计算层与数据开始解耦,通过Yarn实现了独立的资源管理,并开始支持Spark等更多的计算引擎;而如今来到Hadoop3.0时代,计算...显示全部

只能说,存算分离是大数据架构演进的重要趋势。
下面采用一些官方的报告。
Hadoop1.0时代,计算和存储是高度融合,仅能处理单一的MapReduce分析业务;Hadoop2.0时代,计算层与数据开始解耦,通过Yarn实现了独立的资源管理,并开始支持Spark等更多的计算引擎;而如今来到Hadoop3.0时代,计算存储已分开演进,通过Hadoop EC来支持冷数据的存储,同时引入外置存储,如S3,增强其存储底座能力,逐步向数据湖架构演进。
Hadoop3.0时代,计算正向轻量化和容器化方向发展,计算存储分离演进已成为事实。计算存储分离后,我们用企业级的存储基座替代原来的原生大数据存储基座,好处是可以把当前企业级存储的先进技术带入到大数据里面来,如高可靠、高利用率、多协议融合等,更好地释放数据的价值。

收起
银行 · 2021-12-15
浏览2203
pysx0503pysx0503系统工程师第十区。散人
我觉得存算分离准确的说应该会是大规模信息化架构的趋势,举个例子说,以前接触过一家大厂的项目实施,从硬件上架,系统安装,数据库安装,中间件安装,软件调试部署,每一个环节都有一名独立的工程师。从整个项目实施来说,这样明确分工的确有很多好处,专人专职,可以让每个环节更加精益求精...显示全部

我觉得存算分离准确的说应该会是大规模信息化架构的趋势,举个例子说,
以前接触过一家大厂的项目实施,从硬件上架,系统安装,数据库安装,中间件安装,软件调试部署,每一个环节都有一名独立的工程师。从整个项目实施来说,这样明确分工的确有很多好处,专人专职,可以让每个环节更加精益求精,但如果换到中小规模的项目或公司,就很难实现这样明确的岗位分工,更多的会是一专多能的人员实施方式
对比到整个架构中也是一样的,对于很多行业,特别是到了一定体量的金融行业来说,业务的稳定运行高于一切,那么整个系统架构势必会越来越庞大,分工越来越明确,要求也越来越高,存算分离也就成了一种趋势,
但对于多数中小企业的信息化来说,可能还无法实现这样专业的存算分离,更多的还是会为了节省成本,在业务中断时间和成本之间寻找一个相对中立的方案架构。可选的技术方案也会多种多样,可能要随着企业的逐渐发展,信息化的规模逐步扩大,才会根据自身信息化发展特点形成特有的技术架构。

收起
系统集成 · 2022-01-12
浏览2105
Jerry MikuJerry Miku其它The Global 500
纵观过去的20年,我们在算力、网络、存储方向的发展上都有了质的飞跃,然而横向对比却又不难发现三者并不是等效发展。网络,从此前主流 100Mb 到如今10GbE就绪,甚至迈进25 GbE、40 GbE,赶超了100多倍;存储,HDD 硬盘的性能提升虽然没有网络的大飞跃,但得益于SDD制程和工艺的迭代,存储...显示全部

纵观过去的20年,我们在算力、网络、存储方向的发展上都有了质的飞跃,然而横向对比却又不难发现三者并不是等效发展。网络,从此前主流 100Mb 到如今10GbE就绪,甚至迈进25 GbE、40 GbE,赶超了100多倍;存储,HDD 硬盘的性能提升虽然没有网络的大飞跃,但得益于SDD制程和工艺的迭代,存储领域也有了相当显著的进步,NVME的应用已经炉火纯青;而回到算力上,即便是处理器工艺已经迈入7nm,算力的提升也远不及前两者的跨越。非平衡的三元演进趋势,加之数字化转型中不同阶段衍生出的差异性需求,迫切的期待创造一个更加随心的架构形态。

       存算分离架构(Disaggregated Storage and Compute Architecture)似乎更像是当下的众望所归,充分契合如今的信息技术格局与各行业务境况,其得天独厚的优势也相得益彰:

Ø  更灵活的选择。计算资源与存储空间的配置互不制约,即使身处在形态各异的业务场景,都可以因地制宜构建个性化的配比,充分匹配业务的每一项资源要求。

Ø  更高效的扩容。计算资源先达到瓶颈?存储空间先达到瓶颈?都能够进行独立、按需扩容,持续保障存算资源的高效使用,杜绝存算一体扩容时带来的资源浪费。

Ø  更安全的隔离。存、算各司其职,形成逻辑隔离。计算节点不再承担数据存储,计算节点动态增减甚至是故障宕机,无需大量数据的迁移,丝毫不影响数据存储的可靠性与完整性。

收起
IT其它 · 2022-01-12
浏览2015
haizdlhaizdl技术经理大连
从性能角度讲,存储计算分离的架构有利于发挥性能优势,各自发挥自己的优势。从很多技术发展的趋势来看,最终都会走向专业细分化的趋势,毕竟没有任何技术架构或者平台是万能的,都是针对某种场景才能发挥最大的优势,没有万能钥匙,技术发展的最终目标就是把合适的技术应用在合适的场...显示全部

从性能角度讲,
存储计算分离的架构有利于发挥性能优势,各自发挥自己的优势。从很多技术发展的趋势来看,最终都会走向专业细分化的趋势,毕竟没有任何技术架构或者平台是万能的,都是针对某种场景才能发挥最大的优势,没有万能钥匙,技术发展的最终目标就是把合适的技术应用在合适的场景当中。

从安全角度讲,
存储计算分离的架构有利于企业更有针对性地应用不同的安全策略来进行管控。数据才是企业的资源,计算只不过是对资源进行加工的工具而已,两者在安全上面的要求和管控策略完全不同。

收起
银行 · 2022-01-10
浏览2232
donghuayidonghuayi系统架构师陕西重型汽车有限公司
还是要看具体的业务场景。显示全部

还是要看具体的业务场景。

收起
汽车 · 2022-01-10
浏览2048
匿名用户匿名用户
需要区分具体场景,一般来说存储与计算均衡发展的场景,尤其虚拟化场景,超融合已经是确定的趋势,如果是存算发展不均衡的情况下,比如计算密集型的高性能计算或者存储密集型的视频监控,肯定还是存算分离的。分离式部署的优点:计算资源利用率低,存储资源利用率高超融合部署的优点:计算...显示全部

需要区分具体场景,一般来说存储与计算均衡发展的场景,尤其虚拟化场景,超融合已经是确定的趋势,如果是存算发展不均衡的情况下,比如计算密集型的高性能计算或者存储密集型的视频监控,肯定还是存算分离的。
分离式部署的优点:计算资源利用率低,存储资源利用率高
超融合部署的优点:计算资源利用率高,存储资源利用率高
根据两者优缺点,结合实际场景有针对性看待。

收起
银行 · 2022-01-06
浏览2099
zp_ccczp_ccc高级技术主管国内某金融科技公司
分布式数据库中,有一种分布式存储技术架构是计算和存储分离架构。这种架构为分布式数据库资源弹性扩展的诉求提供了新思路。除了基于无共享模式进行分区分片,在云计算时代,一种新的创新架构被提出,即计算-存储分离架构(大多NewSQL数 据库采用此种架构)。近十年互联网的发展,网络...显示全部

分布式数据库中,有一种分布式存储技术架构是计算和存储分离架构。这种架构为分布式数据库资源弹性扩展的诉求提供了新思路。
除了基于无共享模式进行分区分片,在云计算时代,一种新的创新架构被提出,即计算-存储分离架构(大多NewSQL数 据库采用此种架构)。
近十年互联网的发展,网络的性能得到了大幅度的提升,高效压缩算法和存储结构的优化也减少了 IO数量,在数据本地化优化较好的数据计算集群中,大量网络带宽处于闲置状态,然而存储和计算耦合的架构不能很好的 实现弹性。
云计算提供了解决思路,它的核心思想包括分层和虚拟化:对IT架构分层后,每一层可以按各自的能力进行极 限扩展;虚拟化后按租户隔离,可以提供高效率的弹性计算,降低了成本。
计算-存储分离架构即“云”的模式和形态之 一,将数据计算和存储进行分层,并通过高速网络连接。
在这种架构下,数据库可以更加充分的利用不对称的存储资源和 计算资源,让不同层都可以按照各自最优的模式进行横向扩展。

收起
互联网服务 · 2021-12-29
浏览2216
cpc1989cpc1989课题专家组存储工程师某保险公司
从架构上来看,存算分离将计算和存储分层、解耦,扩展性更好,可以适应不同的场景需求;但计算存储整合在一起也有好处,架构更加简单,更易落地,资源利用率更高,也有适合的场景显示全部

从架构上来看,存算分离将计算和存储分层、解耦,扩展性更好,可以适应不同的场景需求;
但计算存储整合在一起也有好处,架构更加简单,更易落地,资源利用率更高,也有适合的场景

收起
保险 · 2021-12-28
浏览2100

提问者

仓猛
技术经理安信期货
擅长领域: 服务器数据库分布式系统

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-12-14
  • 关注会员:14 人
  • 问题浏览:5804
  • 最近回答:2022-01-12
  • X社区推广