Hbase客户端读写请求大量出错应该怎么分析？

读写请求大量出错的现象主要有两类： 1 、大量出现服务端 exception 2 、大量超时。其中第一种有异常信息较好判断问题所在。
1 、大量服务端 exception 一般是 region 不在线导致的，可能是 region 在 split 但是时间很长超过预期，或是 meta 数据错误导致客户端获取 region location 错误。以上现象均可通过日志来定位。
2 、遇到大量超时，首先应该排除服务端是否出现了 fullgc 或者 ygc 时间过长。前者可能由于内存碎片、 cms gc 速度来不及导致，后者一般是由于系统使用了 swap 内存。
3 、通过系统命令和日志来查看是否有机器 load 过高，磁盘压力过大，磁盘故障。
4 、查看监控是否出现 callqueue 积压，请求无法得到及时处理，进一步通过 call 查看工具或者 jstack 可以查看正在处理的 call 和进程堆栈信息。
5 、通过 datanode 日志和 hbase 访问 dfs 的时间，来判断问题是否在 hdfs 层。
6 、查看监控判断是否出现 blocking update ， memstore 是否已接近系统设置的上限。