存储,就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问,总的来讲可以包含两个方面的含义:一方面它是数据临时或长期驻留的物理媒介;另一方面,它是保证数据完整安全存放的方式或行为。...(more)
来自主题:分布式存储 · 23小时前
对于一个考虑搭建ceph集群的企业,很多时候大多只是有个概念,那么我们具体到具体的硬件投入,规划,拓扑方面,又有哪些参考的意见?1.机型的选择,2U还是4U 2.CPU的选择,10core以上还是一下,主频2.2还是多少3.内存的选择,64G还是128或者2564.硬盘10k,15k,是sas还是sata,还是ssd,容量2T还是8...(more)
浏览399
回答1
来自主题:分布式存储 · 1天前
考虑搭建一个分布式存储用于备份平台的搭建,考虑到分布式集群的访问接口问题,很多平台安装ceph 软件还是有限,考虑使用nfs方式及nfs-ganesha,考虑到高可用性方面,可以使用目前主流的平台ha软件,目前那位有在企业实施的经验,使用过程当中遇到过哪些问题,可以分享一下经验。...(more)
浏览378
回答1
来自主题:ceph · 1天前
zhuqibsMcd 擅长领域:分布式存储, 容器, Kubernetes
4 会员关注
CRUSH 图主要有 4 个主要段落 设备 由任意对象存储设备组成,即对应一个 ceph-osd 进程的存储器。 Ceph 配置文件里的每个 OSD 都应该有一个设备。桶类型: 定义了 CRUSH 分级结构里要用的桶类型( types ),桶由逐级汇聚的存储位置(如行、机柜、机箱、主机等等)及其权重组成。桶例...(more)
浏览658
回答1
来自主题:超融合 · 1天前
聂奎甲长春长信华天 擅长领域:数据备份, 备份, TSM
494 会员关注
华为FusionStorage是为了满足云计算数据中心存储基础设施需求而设计的一种分布式块存储软件,可以将通用X86服务器的本地HDD、SSD等存储介质通过分布式技术组织成一个大规模存储资源池,对上层的应用和虚拟机提供工业界标准的SCSI和iSCSI接口,类似一个虚拟的分布式SAN存储。...(more)
浏览511
回答1
来自主题:备份 · 2天前
zhuqibsMcd 擅长领域:分布式存储, 容器, Kubernetes
4 会员关注
(1)所谓的分布式存储,在本地,是不需要备份的,因为分布式都有多个副本,本身就考虑了故障情况。(2)灾备还是需要的,但由于海量数据,异地的灾备基本变的不可能,所以,通常做法是将异地机房的节点通过网络变成本地集群的一个节点。然后将副本部署在上面,但这样同步会比较慢。但如果是mds节...(more)
浏览280
回答2
来自主题:双活数据中心 · 2天前
邓毓江西农信 擅长领域:存储双活, SVC, 双活数据中心
708 会员关注
三层网络打通应该不能做到VMOTION,需要大二层打通,IP地址如果是变了,在客户端太多无法更改连接SERVER的IP地址时,那要用域名服务器或者全局负载均衡来做,客户端中不指定IP地址,直接指定域名,和DNS的IP地址。如果切换后,IP地址变化了,只要在域名服务器中重新映射域名和IP地址关系即...(more)
浏览1232
回答6
来自主题:容器 · 2天前
Hsia某消费金融
1 会员关注
1、如果趋向于稳定,可以使用NFS*(据了解银行金融机构大都使用nfs)2、如果趋向于分布式,可以使用Ceph、HDFS、GlusterFs等3、还有Vsphere卷
浏览553
回答2
来自主题:ceph · 2天前
目前公司项目中使用了J版本的ceph,在页面管理不能实现,只能升级后才能使用mgr,目前遇到问题是1 ceph即是数据节点又是openstack计算节点2 业务中使用的数据大概20t3 共计节点数70个 有没有类似的升级方式可以参见...(more)
浏览581
回答1
来自主题:ceph · 3天前
zhuqibsMcd 擅长领域:分布式存储, 容器, Kubernetes
4 会员关注
采用增加节点的方法(1)首先打通新老机房的网络环境(2)然后在新机房增加建立老机房的相同数量的osd节点和mds节点(这些都是标准的做法)(3)然后,停止老机房的osd节点,让系统把数据同步到新的机房节点osd去(4)最后,停止老机房的master节点缺点,需要两套设备变通方法,一个个迁移,很麻烦(2.1)关...(more)
浏览1638
回答3
来自主题:分布式存储 · 4天前
zhuqibsMcd 擅长领域:分布式存储, 容器, Kubernetes
4 会员关注
首先,表个态,图像照片,特别是尺寸大的,是不适合直接存放在数据库中的,但如果硬是要存放,开源的数据库Mysql就可以,其实就是放在clob字段中,clob字段是mysql从oracle继承过来的,oracle8i的时候,就可以存放4g的二进制文件,所以,现在mysql完全可以存放。 其次,这不是存放正确的姿势, 正确...(more)
浏览427
回答2
来自主题:分布式存储 · 4天前
zhuqibsMcd 擅长领域:分布式存储, 容器, Kubernetes
4 会员关注
使用glancefs,gfs或ceph都可以,但是如果是用于数据库的话,不得不说,效率不高啊!  就算使用flash disk,效率也基本上等于sas盘的速度。所以,还是建议不要在容器云上的数据库使用分布式存储。...(more)
浏览399
回答2
来自主题:分布式存储 · 4天前
zhuqibsMcd 擅长领域:分布式存储, 容器, Kubernetes
4 会员关注
抽取到本地存储,这绝对不是一个好的主意,大数据平台的数据量十分庞大,所进行的操作涉及的数据,少则几个G,多达几十个T,如此多的数据,就算你本地存储够大,请问抽取传输要多少时间。 所以,必定是在计算节点进行分析,可以的话,可以调用有GPU的计算节点进行AI训练。至于对象存储,是可以的...(more)
浏览1995
回答3
来自主题:分布式存储 · 4天前
zhuqibsMcd 擅长领域:分布式存储, 容器, Kubernetes
4 会员关注
打个比方,大数据的cloudera集群,由于是商业化产品,通常有高可用,namenode都是高可用的,所以,你如果要搬机房迁移的话,我们做过(这是一个悲剧,机房租用期到了),可以先迁移一个namenode,保证网络畅通(幸好是迁移到隔壁机房),再迁移另外一个,然后再迁移各个datanode,基本用户无感知。...(more)
浏览1043
回答2
来自主题:分布式存储 · 4天前
zhuqibsMcd 擅长领域:分布式存储, 容器, Kubernetes
4 会员关注
对象存储的特点是, 你可以理解为是个大U盘,可以读,但不适合于写。而阿里这种oss存储,通常都是分布式的,容量大的惊人,而且可靠性高,是99.999999%,好像是11个9,基本你不用担心受损。放置只读不改的影像数据是合适的。事实上,对象存储通常也放置一些网站的图片,共网站加载时使用,只是...(more)
浏览581
回答2
来自主题:分布式存储 · 5天前
如果是标准的数据传输协议,如FC、iSCSI、NFS、CIFS等,现有应用基本无需调,使用上没有太大区别;架构上主要是组网层面不一样,分布式存储需要构建cluster内部通讯网络;如果想使用对象存储,如S3接口,需要应用支持,不过现在大部分对象存储都有NAS和对象的互操作技术,以应对接口改造过程...(more)
浏览2216
回答5
来自主题:分布式存储 · 5天前
zhuqibsMcd 擅长领域:分布式存储, 容器, Kubernetes
4 会员关注
结合流行的ceph分布式做解释: (1)分布式存储监控:   搭建分布式存储的开源软件通常都是服务器,是以服务器自有磁盘来做存储的,所以监控可以在服务器的磁盘上设置,同时,我们同样可以用prometheus+grafana的方式进行监控,部署开源的ceph_exporter服务。(2)备份和恢复: 分布式存储...(more)
浏览1566
回答2
来自主题:分布式存储 · 5天前
zhuqibsMcd 擅长领域:分布式存储, 容器, Kubernetes
4 会员关注
技术难度:  io的读写,集中存储中数据只要写入一个磁阵就算成功了,分布式存储中是写入大部分的节点才算成功,如果写入全部节点IO性能有影响,写入少量节点即是写入失败。运维困难:监控上,要采用分布式prometheus来采集各个节点的数据,节点多的时候,监控范围较大。出现故障时, 要判...(more)
浏览578
回答2
来自主题:分布式存储 · 5天前
zhuqibsMcd 擅长领域:分布式存储, 容器, Kubernetes
4 会员关注
结构化数据的分布式存储,实际上就是分布式关系型数据库的存储,使用的2pc或3pc的提交模式,现在比较知名的是TiDB和阿里Oceandb,其中TiDB是使用 raft协议+RocksDB.从中我们可以看到,为了保证结构化数据的事物一致性,这类数据的分布式存储最佳就是选用raft架构。 非结构化数据,大...(more)
浏览557
回答2
来自主题:银行存储双活 · 2020-03-27
summit城商行 擅长领域:云管平台
4 会员关注
1、目前的存储双活方案比较多,主要是你目前数据中心使用什么品牌的存储。比如IBM SVC、emc Vplex等,或者IBM hyperswap都可以实现存储双活。国产存储华为、宏杉都有双活存储解决方案。2、性价比比较高,稳定性比较好的我推荐IBM svc,可以纳管多品牌存储,且价格比较便宜,案...(more)
浏览2077
回答3