大数据存储
大数据存储
“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集,亦指那些在传统基础设施中长期保存的数据。大数据存储是指大数据的存储问题。
“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集,亦指那些在传统基础设施中长期保存的数据。大数据存储是指大数据的存储问题。

问题

保险海量数据存储·2023-02-28
twt大禹 · 大禹 擅长领域:数据库, 国产数据库, 数据库选型
1 会员关注
最基础的两道威胁是磁盘静默错误 和CPU静默错误,从这两项出发,传统数据库已经无法解决,无论是Mysql 、postgreSQL的魔改,还是某RocksDB、clickHouse集成的原生分布式都是解决不了。 前沿数控 这家企业的数据在国内某云厂商上全部丢失,就是最好的例证;能防御的貌似只有OB吧,...
保险存储·2023-02-03
Jerry Miku · The Global 500 擅长领域:存储, 备份, 灾备
169 会员关注
如果双录是新建,可以优先采用对象存储作为主存储,设置二级存储来归档冷数据。如果双录采用原传统架构的NAS或者块存储之类,需要二次优化,推荐参考本期海量数据优化章节的文章。
系统集成海量数据存储·2022-04-06
pysx0503 · 第十区。散人 擅长领域:存储, 备份, 服务器
746 会员关注
对蓝光光盘库的了解也不是很多。磁带在目前来看还是性价比和稳定性比较高的一种海量备份产品。确实比较适合归档使用。针对现在的信息化数据多样性,复杂性的备份容灾需求。建议通过一体机进行近线数据的备份,通过D2D2T来把进线的数据归档到磁带机或者光盘库中,来保证长久保...
事业单位大数据存储·2022-02-25
zyp8365 · 广东省中医院 擅长领域:大数据, 存储, 大数据平台
19 会员关注
医院大数据平台、科研平台等平台,鉴于其数据的多模态、异构化、海量化,建议存储架构也是混合多样的,要针对数据类型、业务需求、性能要求等综合考虑,结合分析。即使是非特大型三甲医院,其基本业务也是和三家医院相差无几的,只是同样的系统,体量不同而已。如果体量不大、增量不高...
系统集成hbase·2021-12-25
奔跑的蜗牛 · 武汉家事易农业科技有限公司 擅长领域:数据库, 云计算, 服务器
61 会员关注
1: 写入太频繁量又大,的确需要产生那么多 flsuh task,IO 处理跟不过来(包括 disk 和 network),这种情况下会触发持续的 flush 波峰,加上文件数增加触发 compaction,那么就会严重,要么客户端做优化要么服务端做扩容(视情况而定可能需要迁移至 SSD 集群或者上万兆网卡);2: 写入太频繁...
系统集成hbase·2021-12-25
wuwenpin · 南京 擅长领域:服务器, 存储, 云计算
256 会员关注
1、不要太大,也不能太小。我们设置的是128M2、一般128M会写入,但如果region太多,不到128M就会写入了3、WAL
系统集成hbase·2021-12-25
wuwenpin · 南京 擅长领域:服务器, 存储, 云计算
256 会员关注
1、官方建议200-300.但我们集群有1000个运行也正常。分裂太多系统不稳定2、合并、增加节点3、手工切分
系统集成大数据·2021-12-25
1、在 HBase 中,当一个 region 达到一定大小时,会触发分裂操作,将该 region 分裂成两个更小的 region。在分裂过程中,HBase 会根据负载均衡算法,将新的 region 分配到集群中的某个 region server 上。这个过程是系统自动进行的,无需人为干预。2、为了保证分裂的 region 可以有...
系统集成hbase·2021-12-25
wuwenpin · 南京 擅长领域:服务器, 存储, 云计算
256 会员关注
1、多大开始分裂是可以设置的,系统默认10G开始分裂2、我们集群1W+ region,文件设置成20-30G

描述

“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集,亦指那些在传统基础设施中长期保存的数据。大数据存储是指大数据的存储问题。
“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集,亦指那些在传统基础设施中长期保存的数据。大数据存储是指大数据的存储问题。
X社区推广
  • 提问题