如何处理大数据集群因集群HIVE组件缓慢导致元数据库MYSQL的异常问题?

如何处理大数据集群因集群HIVE组件缓慢导致元数据库MYSQL的异常问题?显示全部

如何处理大数据集群因集群HIVE组件缓慢导致元数据库MYSQL的异常问题?

收起
参与6

查看其它 1 个回答曹某某的回答

曹某某曹某某数据库工程师中电长城

既然已经知道是hive组件导致的MYSQL元数据库的问题,建议从以下方面着手:
1、从hive组件着手
a、检查是不是最近有新上的任务,没有经过代码审计或者SQL写的不规范的任务,占用资源过多,从而导致集群响应缓慢;
b、检查hiveserver2和hivemetastore的参数,分析其日志,看看是不是由于参数问题导致的集群组件缓慢;
2、从MYSQL数据库着手
a、检查MYSQL服务器的硬件资源情况,查看CPU、内存、IO、网卡等信息,看看是不是存在使用率过高的情况;
b、对hive的元数据库进行盘点分析,看看是不是有长连接或者占用资源很大的SQL语句运行,从而导致数据库缓慢;
3、从YARN组件着手
a)、查看租户队列资源的分配是否合理;
b)、检查是否存在有大量的状态不正常的任务。

软件开发 · 2023-06-12
浏览375

回答者

曹某某
数据库工程师中电长城

曹某某 最近回答过的问题

回答状态

  • 发布时间:2023-06-12
  • 关注会员:3 人
  • 回答浏览:375
  • X社区推广