大数据平台 - 主题 - twt企业IT交流平台

动态

互联网服务GPU· 2023-08-16

GPU在hadoop环境在如何加速数据处理xxx

GPU在hadoop环境在如何加速数据处理

回答

关注2

大数据平台·2023-08-03

大数据平台中的元数据库-MYSQL异常故障解决

曹某某中电长城擅长领域：数据库, 数据库系统改造, 关系型数据库

课题概要本文的主要目标是解决大数据平台中元数据库MYSQL的异常故障。通过分析应用响应缓慢的问题，我们找到了集群组件HIVE和元数据库MYSQL的原因。通过日志分析、工具检测和专家指导等一系列方法，最终确定问题的根源是大数据集群中租户的不规范使用所导致，并逐步解决了这...(more)

赞同3

人工智能·2023-08-02

华泰证券大数据平台实践以及应用探讨

xushuhao11

eccom 擅长领域：云计算, 容器, 容器云

可以讲的再细致点

下载 590

评价43

金币5

医院大数据· 2023-08-01

构建科研大数据中心需要哪些硬件支撑？xxx

waring_id 某公司擅长领域：服务器, 数据库, 存储

10 会员关注

GPU资源和超算吧

赞同

回答

关注3

IT咨询服务大数据平台· 2023-06-17

大数据平台中的元数据库-MYSQL哪个厂家产品性价比高?xxx

wangzk0206 scrcu 擅长领域：数据库, 国产数据库, 数据库选型

96 会员关注

其实这个问题都不知道咋个回答。大数据平台使用的元数据库，可能每家都不太一样。例如华为的源数据库可能用的是它自己的gaussdb，其他厂商有的用mysql。针对mysql，我想这些大数据厂商基本用的都是社区版本的开源mysql吧，针对这部分性价比真的就没啥区别吧。除非它改动了开源版...(more)

服务器系统·2023-06-15

yulu4314 长春擅长领域：服务器, 存储, 数据库

96 会员关注

写的很全面，很有看点！

赞同5

IT咨询服务大数据· 2023-06-12

如何发现定位大数据集群中因集群HIVE组件缓慢导致元数据库MYSQL的异常问题？xxx

曹某某中电长城擅长领域：数据库, 数据库系统改造, 关系型数据库

HIVE的问题分两类：1、hivemetastore通过集群的监控页面或者hivemetastore的日志分析查看hivemetastore的并发数量等参数的限制问题2、hiveserver21）、咨询查看是不是最近有新增加的任务，通过分析看看不是有异常的SQL语句等程序；2）、通过集群的监控页面或者hiveserver2的日志分...(more)

赞同2

回答

关注2

IT咨询服务大数据· 2023-06-12

如何处理大数据集群因集群HIVE组件缓慢导致元数据库MYSQL的异常问题？xxx

曹某某中电长城擅长领域：数据库, 数据库系统改造, 关系型数据库

既然已经知道是hive组件导致的MYSQL元数据库的问题，建议从以下方面着手：1、从hive组件着手a、检查是不是最近有新上的任务，没有经过代码审计或者SQL写的不规范的任务，占用资源过多，从而导致集群响应缓慢；b、检查hiveserver2和hivemetastore的参数，分析其日志，看看是不是由于参数...(more)

大数据平台·2023-05-06