PDF 下载link:
http://www.talkwithtrend.com/Document/detail/tid/413521
活动在线链接: http://www.talkwithtrend.com/Activity/?id=1077
**文章分享及资料下载(满满的干货,存储人不容错过)
平安科技闪存存储实战经验交流**
http://www.talkwithtrend.com/Document/detail/tid/225827
IBM 全闪阵列应用
http://www.talkwithtrend.com/Document/detail/tid/413267
证券行业交易类系统的存储选型分享
http://www.talkwithtrend.com/Document/detail/tid/413201
回答:
不同数据类型对于存储来说都是一样的。
但是不同数据类型的业务特性不同,根据这点可以有一些选择。
非结构化数据的文件(文本,图像,视频,音频)传统使用文件存储进行存储,普通情况,使用传统nas管理就够了,其接口统一,易用性和性能上相对具有优势。但是传统nas会有文件数量,并发数量的限制。一般超过3000万以上的文件需要管理时,传统NAS就会遇到瓶颈。此时建议采用对象存储进行管理,但是需要应用或者系统进行改造,使用专用的对象存储接口进行数据的管理。此时需要应用调用REST API进行文件的增删改查。
结构化数据,一般指数据库文件。需要的是性能和可靠性,还有数据迁移,一致性组的快照管理等需求。目前来看块存储做的比较好。
在互联网技术推动下,当前存储技术迅猛发展,这样也造就了很多概念,另外一组基本概念的区别:对象存储、云对象存储、分布式对象存储、分布式存储、云存储等?
这里是不是分基面来说梳理:
1)集中式存储(传统)、分布式存储(现代)?
2)块存储(传统)、文件存储(传统)、对象存储(现代)?
3)非云端存储、云端存储?
......
回答:
按照我自己的理解来探讨一下:
云存储:
公有云,私有云架构里面的存储,对外都号称云存储。
大体是按照协议进行分类:云块存储,云对象存储,云文件存储。
云里面的存储架构一般都是基于软件定义的分布式存储架构。
云存储产品可以是自研的(比如亚马逊,阿里云),也可以是购买商业存储公司的产品和解决方案,比国外很多公有云或私有云用solidfire全闪存分布式块存储(专用定制化硬件)来提供云块存储服务。
甚至国内有的云通过存储厂商(HDS,IBM等)的SAN存储对外提供云存储服务的。
当然更多的玩家改一下开源ceph就上线提供云存储的。
传统存储:
我想大多数人认为的传统存储,就是传统存储厂商提供的FC SAN 存储,传统NAS存储。
但其实是传统存储和云存储、现代存储并没有严格的区别。
传统存储按照协议也可以分成三类:块存储,对象存储,文件存储。
通过协议或是产品出现时间的先后没法区分:比如HDS 的HCP 对象存储存储已经超过10年了,IBM 收购的cleversafe 对象存储也已经存在好多年了。2017 IDC market 对显示对象市场份额和leader地位排第一、第二的分别就是cleversafe和HCP。
通过存储存储架构没有办法区别:当前传统厂商的高端存储基本都是分布式存储架构了,和server san不同的地方是,传统存储的分布式架构组网用多是PCE总线组网或infiniband 告诉组网,从而到达一种极致性能,并确保高可用性。
IBM XIV 也算是传统存储,其就是GRID infiniband分布式架构组网,双副本保护。EMC extremeIO 是全闪存架构的,双副本的分布式存储。XIV 2008年就出来了。你说XIV和extremeIO 是传统存储吗,是软件定义分布式存储吗,也是的。
总体上看:存储概念很重要,更重要的是选择一款适合自己业务的存储产品更为关键,而不是一味听信潮流概念,各种虚伪缥缈的故事。
回答:
存储Link Protocol/Transport Comparison
从下图可以看到infiniband 网络的定位是Highest Performance 也就是极致性能。
当然极致性能是由代价和限制的:infiniband (40GE,100GE,156GE)组网需要专门的infiniband 交换机,存储端和主机端需要infiniband网卡。目前infiniband 组网规模不能做到很大,多用于商业存储的内部通信连接。或是小规模infiniband网络打通主机和存储连接。
回答:
用公有云还是对性能和可靠性要求不高的应用需求。
高性能区间使用率超过500T以后,你会发现成本很快逼近企业级存储了。
回答1:
目前看到比较多的组合是,SVC管理一些闪存和传统存储。需要高性能的应用,直接分配来自后端闪存的LUN。其他类应用,利用Easy Tier智能存储分层功能,把其他应用的热点数据自动迁移到闪存上。这样的组合,综合利用了闪存的高性能和传统存储的大容量空间。
另外较为常见的组合是加入闪存作为SVC的后端,通过VDM技术将数据镜像到闪存和传统存储上,然后设置主读从闪存读,写镜像到两个存储上。既实现了存储高可用,又提升了应用IO性能。
对于SVC是否可发挥闪存的性能,这里有一组公开的数据可供参考。IBM红皮书网站上发布了V9000的性能数据。最小配置的一对SVC,启用压缩的场景下,1-2倍的压缩率时,8K随机混合读写IO,70%读+30%写场景和30%读+70%写场景下,都可以达到40万IOPS,1ms响应时间的指标。对于非压缩场景,可达到60万IOPS。如果是纯4K随机读,可达到130万 IOPS。
回答2:
对于高配全闪来说,加入SVC会带来性能损耗,从而无法发挥其全部性能。因为加入svc缓存后,会增加io响应延迟。SVC自己的缓存也会增加IO延迟。一般一对svc模块能提供的性能大概在60万iops。如果需要异构存储管理,和svc特有的快照和数据迁移,那就要舍得这些性能损耗。
回答3:
回答:
现在市场上的软件定义分布式块存储还处在青春期发展阶段,普遍在快照、克隆、复制等软件解决方案方面不完善(确切说是不支持)。据我所知,目前国内只有华为正在研发FusionStorage 的双活解决方案。
目前阶段Server SAN最大短板在于软件功能和解决方案方面:
对象存储不必多说,一般存储非结构数据也不需要太多软件功能,主要把分布式对象存储当做硬盘来用。
但对块协议来说,企业级软件需求及解决方案是对存储产品十分重要的考量因素,甚至直接决定了POC测试后的存储型号选择(当然计划把Server SAN当硬盘用的人士请飘过)。
Server SAN基于SDS软件定义,可以单独买软件部署在任何标准的X86服务器上,按理说其在软件功能性方面应该更高过传统存储和传统企业级存储软件一筹,软件功能应该是其最能PK其他类型存储的地方。但实际情况是当前阶段块协议软件功能这方面却是当前Server SAN存储的最大短板和硬伤,此方面被传统存储、AFA和其他种类存储软件各种秒杀。
回答1:推荐采用分布式对象存储俩存储海量小文件。对象存储的出现就是为了解决海量文件的存储问题,其存储结构key-value 方式的扁平架构,metadata 可以做的非常大,存储海量小文件比NAS存储更合适。
回答2:海量小文件的主要问题是文件目录索引问题。不管你读写比多少,一亿个文件的元数据处理就能干趴下所有存储。分布式存储天然地解决了这个索引问题,但是其本身的读写能力并不突出。不同配置架构下,性能大相迥异。读多场景就配大缓存和SSD,写多场景就上Nvme闪存卡和后端infiband网络。
回答:
主要从2个方面来考虑,一个是成本,一个是业务发展需求。
从整体维保成本考虑,我司新购存储都要求带5年维保支持。对于大多数存储设备来说,在第5年会买入新型号存储进行数据迁移替换,从而有效降低机房空间、功耗、每GB单价成本—同样的钱在5年后买的存储容量和性能是五年前的好几倍,而空间、功耗降低好几倍。(有些厂商2年的续保成本即可买台新存储。)我司存储规模每年都以超过50%的速度增长的同时做到了存储性能同时增加而单价成本每年降低30%。
少数个别存储设备因数据迁移进度,或是如交换机设备续保比新买更划算时会采用1-2年的续保策略。
回答:
不同数据类型对于存储来说都是一样的。
但是不同数据类型的业务特性不同,根据这点可以有一些选择。
非结构化数据的文件(文本,图像,视频,音频)传统使用文件存储进行存储,普通情况,使用传统nas管理就够了,其接口统一,易用性和性能上相对具有优势。但是传统nas会有文件数量,并发数量的限制。一般超过3000万以上的文件需要管理时,传统NAS就会遇到瓶颈。此时建议采用对象存储进行管理,但是需要应用或者系统进行改造,使用专用的对象存储接口进行数据的管理。此时需要应用调用REST API进行文件的增删改查。
结构化数据,一般指数据库文件。需要的是性能和可靠性,还有数据迁移,一致性组的快照管理等需求。目前来看块存储做的比较好。
回答1:目前来看,有些全闪存的架构,也是分布式的架构。如果与目前讨论较多的分布式存储,类似Ceph,VSAN,传统的全闪存,稳定性、性能、功能方面,较Ceph/VSAN类的分布式存储,有较大的优势。目前看,分布式存储以3副本居多,同时需要高性能的网络做数据交互,总体成本还需要根据配置进行对比。如果Ceph/VSAN要达到全闪存的功能和性能,其采用的硬件成本,相信比全闪也不会便宜。
回答2:分布式存储现在的问题是压缩去重快照功能比较弱,高可用需求时,比较难以获得足够的技术支持。
所以全闪的适用场景比较广,核心业务,高性能区域,虚拟化环境VDI区,都建议使用。
高吞吐的分析类业务,空间和性能增量都比较难以估计,使用分布式存储相对来说较有优势。(易于扩展,吞吐量高,成本相对较低)
回答1:
做对比要综合的看,比如结合空间占用、能耗占用、每GB性能成本、性能加速后应用服务水平提升带来的收益等。
回答2:除了传统的IOPS,带宽,时延指标,还可以增加一些每10000IOPS/成本考量性能成本,每GB/成本,GB采用厂家承诺压缩去重后的容量,考量容量成本。其中成本建议采用5年维护费用+电费+机柜成本+空调成本。
私有云环境还可以增加每IOPS/GB考量性能密度
回答:3这样说最直接明了:
回答1:我来说说我司的经验。
回答1:
不是所有的全闪存存储都支持您说的所有功能。压缩、快照、在线迁移功能,对IBM的V9000和A9000全闪存来说,非常成熟。重删技术在A9000和XIV上也引入了好几年,也相对较成熟。
回答2:从两个方面来看成熟,
1是功能完备性:目前看来,各种企业级需求均可以得到满足,可以说很成熟了。
2是代码可靠性:A9000脱胎于XIV和SVC的代码,已经在大规模客户装机量的情况下运行了超过10年,组合成A9000的后代码迭代了3年,从经验来说,这样的代码可靠性上还是可以的。
回答:3看看2017 Hype Cycle存储技术成熟度曲线,压缩、去重已经处在工业量产化、成熟阶段。
现在的存储厂商如果卖个客户的全闪存存储,不标配压缩、去重功能就不好意思出来见人。而对AFA来说在开启压缩去重的情况下提供匹配闪存能力的极致性能是必须的基本的要求
比较闪存还是太贵了,不支持压缩去重成本太高,大多数企业都用不起的。
比如物理容量100TB的全闪存在A9000R存储上可以提供200-500TB的可用容量,成本就大幅降下来了
回答1:目前两者没有一个通用指标可供进行横向比较。闪存目前主要考虑的是使用寿命,即DWPD值。闪存盘在存储中,经过微码优化后,各厂商可以提供的能力不尽相同。另外,也跟应用的IO类型有关。密集写入的和以读为主的使用方式,闪存盘寿命到期时间是不一样的。当前主流存储厂商都提供5-7年的维保,只要闪存磁盘故障了,维保期内都可进行替换。
对于普通硬盘,主要考虑的是MTBF和MTFF,公开值都很高,但实际在存储中,会由于微码的不同有不一样的表现。大多数时候都是考量一个存储磁盘的故障率,这个在1-3%之间较为正常。
回答2:闪存通用的指标一般是DWPD考量闪存盘的磨损寿命。现在高端闪存普遍采用内存处理元数据,减少了落盘的写放大,因此很少会出现DWPD磨损耗尽的情况。
几年前还有SLC,MlC,TLC工艺可靠性之争,最近来看,随着工艺的技术的提升和3d nand的普及,闪存介质的寿命有了长足的进步。真实的运行环境下,闪存盘的寿命应该超过传统硬盘了。
回答1:
在全闪存时段,根据我司的经验多数性能问题都不是存储本身性能到了瓶颈所致,多数性能瓶颈都是在网络传输层面和架构层面: 比如应该用更快的16GB 网络替换旧一代的8GB 网络,比如要多关注HBA 口,存储FC 端口的queue depth 是否full 跑满,SAN SFP,光纤是否老化等问题。
回答3:
在此之前,需要了解是性能的涵盖方面。
带宽,IOPS数量,以及延迟:这是性能非常关键三个方面。这三个方面对于不同的应用都很关键,没有优先级。之所以提及这些,一些人经常把性能集中在某一个方面,例如:带宽?
2018年今天,带宽可以轻松做到40Gb,50Gb利用InfiniBand,FC HBA也有了32Gb,而且支持4端口聚合。而且还有新型SAS交换机。外部总线及带宽速率来说,目前来看不是瓶颈,至少不是主要瓶颈。最关键的是,那些投入全闪存客户的业务类型有多少是,通过大带宽,连续传输数据到闪存存储?
大型数据库,OLTP,在线事务处理,高性能计算,各种虚拟化:这是闪存存储的主要面对领域,而它们需要的庞大的IOPS数量,以及更低延迟响应。在这方面,闪存存储的瓶颈应该来自:我认为是当今的处理器的设计架构,它们无法提供并行化处理机制,而多是沿用几十年前序列化-顺序处理方式。当应用主机安装了一颗Flash卡片去测试,假设IOPS是10万,那么安装10颗却永远都无法到达100万,或90万,或80万。反观CPU利用率才那么一点点。另一方面:全闪存存储设计者也会遇到相同问题,促使目前这些强大的处理器,充分利用多个Cores,通过并行化去处理IO是首要问题。
------作为这篇讨论的总结:比较庆幸的是,我所知道的有两个厂商已经有效的在解决此问题了,或是已经开始向此方向努力了。其中之一就是Intel不久前发布的SPDK套件。
回答:
这里分析一个我司的使用全闪存使用中遇到的一个极其顽固难解决的性能问题案例分享。
首先说一个我司这变态数据库的IO 模型,绝对够吓人:
数据库量85TB
看你是什么NAS了,现在新的NAS设备本身有些具备向对象存储迁移的功能。
如果没有,一般的做法是先做快照,然后复制快照1,快照1复制的过程(校验文件清单T1+复制文件T2)(1.8P根据文件数量不同,如果小文件不是很多,我估计要复制1个月能搞定)中业务会产生新的数据,但是量会远远少于1.8PB, 然后在做快照2,再复制,依次类推。因为T2时间会越来越少。最终停机时间是至少T1时间。
有一些简单复制工具有依据文件大小和时间戳进行校验文件清单,T1估计是500万个文件1小时。
还有用md5做文件校验的,那个速度就很慢了。
linux用rsync就可以。windows平台有robocopy。
回答:
1、DG的备端是只读模式,和真正意义上的“双活”是有一定区别的,
2、DG虽然可以配置自动切换,但实操中建议使用手动切换,
3、数据是异步传输的,
4、主备两端的IP地址是独立的,
但是DG依然有很大的优势,比如网络占用小、对源数据库影响较小,网络抖动基本不影响源端、配置简单方便、DGMGRL、EM等管理很方便,12C的新模式对数据保护力度大等等;
wykkx
两端ip独立这个没啥问题吧
ytskfzj
2端独立IP地址意味着在发生业务发生切换时,需要修改客户端连接地址、或者借助负载设备或DNS或者其他手段去重定向连接。当然这并不啥不可接受的问题,如果你的容灾模型接受这样的操作或者有其他手动进行解决就没啥问题。
wykkx 回复 ytskfzj
哦 主要是切换的时候 我明白了 另外你说的异步 如果我开始最大保护模式 不就是同步了?
ytskfzj
抱歉是我没说清楚,DG在通常使用最高可以而非最大保护,是因为最大保护模式注重保护数据安全,但是在整体架构上引入了网络这个性能瓶颈和故障点,最高可用可以在不影响原有业务架构的情况下尽量保护业务和数据可用性。 如果是使用最大保护的情况下,那DG对源数据库影响较小,网络抖动基本不影响源端这些优势就没有了,
wykkx 回复 ytskfzj
最大可用开始也是以最大保护模式运行的啊,所以如果不遇到网络抖动就是最大保护,是同步的,也不完全是异步的。如果遇到抖动才是变成最大性能,就是异步的。
ytskfzj
抱歉说错了,感谢指正,前面回复应该是最高性能、而不是最高可用。最大可用在测试中,是在备库失联之后转换成最高性能, 有抖动或者慢的情况下不会切换模式,抖动和瓶颈问题依然存在,和最大保护相比区别在于数据可能不一致,但不会双死。
yu15321729208
11g 有active dataguard,可以读写模式的啊,谁有切换流程啊,主要是应用方面怎么改,注意事项是啥,数据库层面的简单。
如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!
赞1
添加新评论0 条评论