大数据集群 - 主题 - twt企业IT交流平台

动态

数据库·2023-08-03

课题概要本文的主要目标是解决大数据平台中元数据库MYSQL的异常故障。通过分析应用响应缓慢的问题，我们找到了集群组件HIVE和元数据库MYSQL的原因。通过日志分析、工具检测和专家指导等一系列方法，最终确定问题的根源是大数据集群中租户的不规范使用所导致，并逐步解决了这...(more)

赞同3

IT咨询服务大数据· 2023-06-12

如何针对大数据集群元数据库MYSQL的异常故障进行总结？xxx

曹某某中电长城擅长领域：数据库, 关系型数据库, 数据库系统改造

MYSQL数据库故障总结个人拙见，主要是如下两类：1、服务器硬件层面服务器主机的CPU、内存、磁盘、IO、网卡等信息是不是存在使用过高的情况，主机设置的打开文件数量等系统参数的设定。2、数据库参数设置层面数据库参数的设置主要关注缓存设置、并发连接数量设定等。具体可以根...(more)

赞同3

回答

关注3

IT咨询服务大数据· 2023-06-12

如何发现定位大数据集群中因集群HIVE组件缓慢导致元数据库MYSQL的异常问题？xxx

曹某某中电长城擅长领域：数据库, 关系型数据库, 数据库系统改造

HIVE的问题分两类：1、hivemetastore通过集群的监控页面或者hivemetastore的日志分析查看hivemetastore的并发数量等参数的限制问题2、hiveserver21）、咨询查看是不是最近有新增加的任务，通过分析看看不是有异常的SQL语句等程序；2）、通过集群的监控页面或者hiveserver2的日志分...(more)

赞同2

回答

关注2

IT咨询服务大数据· 2023-06-12

如何处理大数据集群因集群HIVE组件缓慢导致元数据库MYSQL的异常问题？xxx

曹某某中电长城擅长领域：数据库, 关系型数据库, 数据库系统改造

既然已经知道是hive组件导致的MYSQL元数据库的问题，建议从以下方面着手：1、从hive组件着手a、检查是不是最近有新上的任务，没有经过代码审计或者SQL写的不规范的任务，占用资源过多，从而导致集群响应缓慢；b、检查hiveserver2和hivemetastore的参数，分析其日志，看看是不是由于参数...(more)

赞同1

回答

关注3

动态

描述