系统集成hbase

hbase缓存刷入出现大量IO问题?

写cache刷入硬盘的时候,是多个storefile(列家族)一起进行刷入;
有的列家族没有那么多写入,也进行刷入;容易产生大量IO?如何解决?

参与3

1同行回答

奔跑的蜗牛奔跑的蜗牛高级软件开发工程师武汉家事易农业科技有限公司
1: 写入太频繁量又大,的确需要产生那么多 flsuh task,IO 处理跟不过来(包括 disk 和 network),这种情况下会触发持续的 flush 波峰,加上文件数增加触发 compaction,那么就会严重,要么客户端做优化要么服务端做扩容(视情况而定可能需要迁移至 SSD 集群或者上万兆网卡);2: 写入太频繁...显示全部

1: 写入太频繁量又大,的确需要产生那么多 flsuh task,IO 处理跟不过来(包括 disk 和 network),这种情况下会触发持续的 flush 波峰,加上文件数增加触发 compaction,那么就会严重,要么客户端做优化要么服务端做扩容(视情况而定可能需要迁移至 SSD 集群或者上万兆网卡);
2: 写入太频繁但是量一般,写入很均匀,几乎所有的 region 下的 store 都在一个时间点达到刷写阈值(hbase.hregion.memstore.flush.size,默认是 128 MB),这种情况下会触发类似锯齿状的 flush 波峰;
3: 写入不频繁,量也很少,由于其他问题导致 IO、network 等资源吃紧间接产生积压。

收起
软件开发 · 2022-11-12
浏览330

提问者

极客led
系统架构师神码
擅长领域: 云计算容器容器云

相关问题

相关资料

问题状态

  • 发布时间:2021-12-25
  • 关注会员:2 人
  • 问题浏览:802
  • 最近回答:2022-11-12
  • X社区推广