海量数据处理
海量数据处理
该主题还没有描述

问题

银行数据拆分·2015-08-12
pipilux · 中国银联 擅长领域:云计算, 灾备, 私有云
274 会员关注
源文件cap包太大了,如果是100T很难处理一般做法是在数据包抓取时就分时序生产cap,然后通过并行kv处理,存放入hadoop中再将关键数据运算后放入关系数据库中展现一次性处理100T,检索效率很难上去...
互联网服务大数据·2015-05-19
尘世随缘 · 上海某互联网金融公司 擅长领域:云计算, 云原生, 微服务
86 会员关注
分布式的负载均衡只是解决了大数据运算的问题,但是数据节点本身去处理数据的时,依赖于CPU频率,内存大小和硬盘的转速。加速IO可以提升硬件的配置,比如提供硬盘的转速,增加内存,让大部分的数据基于内存运算,而不需要从内存刷新到硬盘。...

描述

该主题还没有描述
X社区推广
  • 提问题