大数据存储
大数据存储
“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集,亦指那些在传统基础设施中长期保存的数据。大数据存储是指大数据的存储问题。
“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集,亦指那些在传统基础设施中长期保存的数据。大数据存储是指大数据的存储问题。

问题

银行infiniband·2019-04-25
shifo0409 · 日本ITS会社 擅长领域:数据库, 服务器, 数据库系统改造
6 会员关注
其实真的不需要IB.分布式就是为了解决存储并发产生瓶颈问题的。没个点都可以同时接收来自客户端的io读者请求。所以直接利用分布式已给出的解决方案就好!
证券海量数据存储·2016-08-24
景铁军歌 · 中原期货 擅长领域:服务器, 系统管理, 系统运维
31 会员关注
不仅会有设备性能差异,新设备的稳定性 可靠性也需要一段时间来验证,上线前很有必要使用合适工具就系统 及 业务进行压力测试 和 峰值测试 ,网络测试 数据io测试 数据处理测试等一系列测试 以发现潜在风险, 也支持分梯队更换。...
系统集成hbase·2021-12-25
wuwenpin · 南京 擅长领域:服务器, 存储, 云计算
257 会员关注
1、不要太大,也不能太小。我们设置的是128M2、一般128M会写入,但如果region太多,不到128M就会写入了3、WAL
软件开发hbase·2017-01-12
liucj2004 · undefined 擅长领域:数据库, 数据库系统改造, 关系型数据库
441 会员关注
硬件选型没有通用的规范,主要和你具体的业务挂钩。比如数据量,并发量,读写比例等等。生产环境中等公司推荐这样吧。以mysql和mongodb为例。cpu 32核 内存 64G 硬盘容量看需要。类型的话有钱ssd,没钱15ksas,数据重要raid10,不重要raid5+热备盘...
银行对象存储·2018-12-03
孟威 · IT 擅长领域:存储, 备份, 软件定义存储
45 会员关注
相对于传统存储,对象存储的海量非结构化数据的读取(索引)效率更高。对象存储的读取方式,首先每个对象在完全平展的一个平面上,不存在文件级、目录树的概念,所有多项都在一个层级,其次对象存储的访问是通过唯一的Object ID来完成访问的,而这个ID是一个由系统定义,可设置位数的,字母...
互联网服务hbase·2017-01-10
liucj2004 · undefined 擅长领域:数据库, 数据库系统改造, 关系型数据库
441 会员关注
mysql:自带的mysqldump,或者第三方的xtrabackupmongodb:mongodump或者mongoexporthbase不了解
基金数据备份·2019-07-25
sxtycxx · 人工智能(计算机视觉) 擅长领域:存储, 灾备, 服务器
521 会员关注
数据量越来越大,如果是大数据项目,数据量越大,发挥的价值才会越大,此时就不能采用传统的备份技术来保障数据和业务的可靠性了,大数据架构底层均采用分布式架构1、前端业务,采用多台服务器并行计算(MR 、Spark、Storm等计算框架)2、底层数据采用多副本机制,副本之间实现自动的复制...
证券hbase·2018-10-18
sxtycxx · 人工智能(计算机视觉) 擅长领域:存储, 灾备, 服务器
521 会员关注
HBase适合与数据量非常大,容量达到TB级,数据达到亿量级的应用场景,才能发挥HBase的优势
银行hbase·2020-02-18
空kong · 某单位 擅长领域:大数据, 数据库, 大数据平台
3 会员关注
读写请求大量出错的现象主要有两类: 1 、大量出现服务端 exception 2 、大量超时。其中第一种有异常信息较好判断问题所在。 1 、大量服务端 exception 一般是 region 不在线导致的,可能是 region 在 split 但是时间很长超过预期,或是 meta 数据错误导致客户端获取 regio...
银行大数据平台·2017-06-22
rein07 · 某证券 擅长领域:人工智能, 大数据, 机器学习
586 会员关注
hive上对数据的修改和删除确实比较困难,但是hbase支持的比较好的。现在cloudera推出一款新的产品,kudu,也可以试一试。

描述

“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集,亦指那些在传统基础设施中长期保存的数据。大数据存储是指大数据的存储问题。
“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集,亦指那些在传统基础设施中长期保存的数据。大数据存储是指大数据的存储问题。
X社区推广
  • 提问题