文件存储 - 主题 - twt企业IT交流平台

文章
热度排序 时间排序

Ceph·2018-07-11

Lucien168 · 地平线机器人　擅长领域：存储, 分布式系统, 分布式架构

94 会员关注

1.PG介绍继上次分享的《Ceph介绍及原理架构分享》，这次主要来分享Ceph中的PG各种状态详解，PG是最复杂和难于理解的概念之一，PG的复杂如下：在架构层次上，PG位于RADOS层的中间。a.往上负责接收和处理来自客户端的请求。b.往下负责将这些数据请求翻译为能够被本地对象存储所能理...(more)

赞同 8

Ceph·2018-07-11

Ceph介绍及原理架构分享

Lucien168 · 地平线机器人　擅长领域：存储, 分布式系统, 分布式架构

94 会员关注

1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持...(more)

赞同 8

软件定义存储·2018-03-14

智慧光伏企业如何处理PB级非结构化数据难题？

该来的总会来 · 华润　擅长领域：大数据, 分布式系统, 服务器

119 会员关注

根据德勤的估算，非结构化数据在全球携带信息的内容中的占比高达80%-90%。从结构化数据中获取信息是企业数字化转型所必备的技能。而由于访问和处理非结构化数据既昂贵又困难，目前大多数企业对非结构化数据价值的开发还远远不够。IDC预测，到2020年，相比做不到分析结构化数据和...(more)

赞同 8

存储·2017-10-11

容器的存储和网络开源方案该咋选？

总有刁民想害朕 · ansteel　擅长领域：云计算, 容器, 容器云

91 会员关注

容器存储的选择时至今日，企业客户运行容器的，编排工具大多数选择K8S。因此，我们先到社区里看看，目前K8S支持的持久存储，其实也就是PV支持的存储类型。https://kubernetes.io/docs/concepts/storage/persistent-volumes/微信图片_20171011094853.jpg其中，AWS、GCE、Azure都是公...(more)

赞同 4

Ceph·2017-08-17

《大话 Ceph 》之 CephX 那点事儿

yuyulu · 自由职业　擅长领域：服务器, 存储, 灾备

21 会员关注

《大话Ceph》系列文章通过通俗易懂的语言并结合基础实验，用最简单的描述来讲解Ceph中的重要概念。让读者对分布式存储系统有一个清晰的理解。引言这篇文章主要介绍了Ceph中的一个重要系统--CephX认证系统。简要介绍了CephX的命名格式。并介绍了从集群启动到用户连接集群这...(more)

赞同 7

Hadoop·2017-08-03

hadoop hdfs HA原理讲解、脑裂问题产生

王磊磊 · 移动　擅长领域：服务器, 存储, 数据库

235 会员关注

NamenodeHA原理详解社区hadoop2.2.0release版本开始支持NameNode的HA，本文将详细描述NameNodeHA内部的设计与实现。为什么要NamenodeHA？NameNodeHighAvailability即高可用。NameNode很重要，挂掉会导致存储停止服务，无法进行数据的读写，基于此NameNode的计算（MR，Hive等）也无法完成...(more)

赞同 4

Hadoop·2017-07-11

Hadoop大家庭有哪些？Hadoop家族主要成员关系

江南无烟雨 · 某券商　擅长领域：服务器, 大数据, 存储

14 会员关注

Common一组由分布式文件系统和通用I/O的组件与接口(序列化,JavaRPC,持久化数据结构)。Avro一种支持高效、跨语言的RPC以及永久化存储数据的序列化系统。MapReduce分布式数据处理模型和执行环境，运行于大型的商用机集群。HDFS分布式文件系统，运行于大型的商用机集群。Pig一...(more)

赞同 1

对象存储·2017-05-24

块存储，文件存储，对象存储的层次关系

Eric雪飞 · 上海市计算机学会　擅长领域：存储, 灾备, 分布式架构

81 会员关注

应用的角度聊过了，我们再看看这三种存储的一些技术细节，首先看看在系统层级的分布。1.jpg我们从底层往上看，最底层就是硬盘，多个硬盘可以做成RAID组，无论是单个硬盘还是RAID组，都可以做成PV，多个PV物理卷捏在一起构成VG卷组，这就做成一块大蛋糕了。接下来，可以从蛋糕上切下很多块L...(more)

赞同 25

对象存储·2017-05-24

从应用角度看块/文件/对象三种存储

Eric雪飞 · 上海市计算机学会　擅长领域：存储, 灾备, 分布式架构

81 会员关注

产品和市场需求有各种相互影响的关系，但不管是哪一种，最终呈现都是产品和应用需求需要对应匹配。应用需求越多样化，市场也就划分得更加细，产品种类也就更加丰富。在存储行业，我们也可以从“应用适配”这个角度来聊聊各类存储。传统认知上来说，IT设备分为计算/存储/网络三大类，相...(more)

赞同 17

Ceph·2017-02-09

解析Ceph: RBDCache 背后的世界

王豪迈 · 星辰天合(XSKY)　擅长领域：分布式系统, 服务器, 存储

23 会员关注

RBDCache是Ceph的块存储接口实现库Librbd的用来在客户端侧缓存数据的目的，它主要提供了读数据缓存，写数据汇聚写回的目的，用来提高顺序读写的性能。需要说明的是，Ceph既支持以内核模块的方式来实现对Linux动态增加块设备，也支持以QEMUBlockDriver的形式给使用QEMU虚拟机增加虚...(more)