大数据存储 - 主题 - twt企业IT交流平台

热点

大数据·2017-10-11

371 会员关注

前篇：Hbase技术细节笔记（上）四、RegionServer的故障恢复我们知道，RegionServer的相关信息保存在ZK中，在RegionServer启动的时候，会在Zookeeper中创建对应的临时节点。RegionServer通过Socket和Zookeeper建立session会话，RegionServer会周期性地向Zookeeper发送ping消息包，以此说...(more)

赞同3

银行Ceph·2019-04-25

分布式集群是否需要用到IB（Infiniband）组网？

shifo0409 · 日本ITS会社　擅长领域：数据库, 服务器, 数据库系统改造

6 会员关注

其实真的不需要IB.分布式就是为了解决存储并发产生瓶颈问题的。没个点都可以同时接收来自客户端的io读者请求。所以直接利用分布式已给出的解决方案就好！

赞同6

回答4

关注5

Hadoop·2017-08-03

hadoop hdfs HA原理讲解、脑裂问题产生

王磊磊 · 移动　擅长领域：服务器, 存储, 数据库

235 会员关注

NamenodeHA原理详解社区hadoop2.2.0release版本开始支持NameNode的HA，本文将详细描述NameNodeHA内部的设计与实现。为什么要NamenodeHA？NameNodeHighAvailability即高可用。NameNode很重要，挂掉会导致存储停止服务，无法进行数据的读写，基于此NameNode的计算（MR，Hive等）也无法完成...(more)

赞同4

对象存储·2019-03-19

保险行业影像系统海量非结构化数据对象存储建设难点交流问题集锦

老赵 · 某保险　擅长领域：存储, 灾备, 网络

254 会员关注

近年来，随着云计算、大数据、移动互联网、「联网+」等技术的飞速发展，我们身边的每个行业都在发生着巨大的变化。保险行业也面临着竞争加剧、创新加速的局面：客户交互的渠道逐渐多样化，移动终端、VTM等新兴数字化交互无处不在，这些交互产生的各种数据的数据量和类型激增，客户期...(more)

赞同2

专栏：活动总结

互联网服务分布式存储·2019-01-07

CephFS对比HDFS如何？

Lucien168 · 地平线机器人　擅长领域：存储, 分布式系统, 分布式架构

93 会员关注

ceph是一个统一存储系统，集对象，块，文件存储于一体。对象存储(Object Storage)，既可以通过使用Ceph的库，利用C, C++, Java, Python, PHP代码，也可以通过Restful网关以对象的形式访问或存储数据，兼容亚马逊的S3和OpenStack的Swift。块存储(Block Storage)，作为块设备像硬盘一样直...

赞同1

回答1

关注2

银行非结构化数据存储·2018-12-03

相对于传统存储，对象存储内的海量非结构化数据检索效率如何提升？

孟威 · IT　擅长领域：存储, 备份, 软件定义存储

45 会员关注

相对于传统存储，对象存储的海量非结构化数据的读取（索引）效率更高。对象存储的读取方式，首先每个对象在完全平展的一个平面上，不存在文件级、目录树的概念，所有多项都在一个层级，其次对象存储的访问是通过唯一的Object ID来完成访问的，而这个ID是一个由系统定义，可设置位数的，字母...

赞同6

回答2

关注4

软件定义存储·2018-03-14

智慧光伏企业如何处理PB级非结构化数据难题？

该来的总会来 · 华润　擅长领域：大数据, 分布式系统, 服务器

119 会员关注

根据德勤的估算，非结构化数据在全球携带信息的内容中的占比高达80%-90%。从结构化数据中获取信息是企业数字化转型所必备的技能。而由于访问和处理非结构化数据既昂贵又困难，目前大多数企业对非结构化数据价值的开发还远远不够。IDC预测，到2020年，相比做不到分析结构化数据和...(more)

赞同8

elasticsearch·2017-10-19

基于Kafka+Strom构建流式计算卖家日志系统

Judy朱 · 交银康联　擅长领域：云计算, 服务器, 大数据

4 会员关注

本文要给大家分享的是我们如何去构建一个日志系统、用到了那些技术、为什么用这些技术，同时会讲述这个过程中遇到的问题及优化方法，希望能给你在实践中能够提供一些参考。前言最近在维护一个有关于日志的项目，这个项目是负责收集、处理、存储、查询京东卖家相关操作的日志，我...(more)

赞同3

大数据·2017-10-10

Hbase 技术细节笔记（上）

哈杜普 · 百度　擅长领域：大数据, 大数据处理, 数据库

30 会员关注

前言最近在跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase相关技术的分享，由于Hbase涵盖的内容比较多，因此计划分享2期，下面就是针对第一期Hbase技术分享整体而成，第一期的主要内容如...(more)