大数据平台 - 主题 - twt企业IT交流平台

热点

银行数据安全·2023-09-08

9 会员关注

结合我们行的情况，要想对数据进行分类分级，先要进行数据资产的梳理，一般厂商数据分类分级平台都有一个简单的资产梳理功能，是基于数据库层面而非业务层面的资产梳理。根据资产梳理的情况，根据中国人民银行发布《金融数据安全数据安全分级指南》(JR/T 0197—2020) 进行数据...

医院大数据·2023-07-21

陈健 · 武汉市中心医院　擅长领域：大数据, 数据库, 数据库安全

10 会员关注

科研大数据需要的硬件需要结合建设内容。如果是传统的客养大数据平台，主要的工作数数据采集处理存储机上NLP，普通的集群和存储也可以满足，但是内存需要的资源会多一些，存储资源要大，毕竟基于数据的处理，可以考虑SSD。如果是多模态的科研平台，包括需要在这个科研平台上嫁接大模型...

赞同3

回答2

关注3

数据库·2023-06-14

大数据平台中的元数据库-MYSQL异常故障解决

曹某某 · 中电长城　擅长领域：数据库, 数据库系统改造, 关系型数据库

课题概要本文的主要目标是解决大数据平台中元数据库MYSQL的异常故障。通过分析应用响应缓慢的问题，我们找到了集群组件HIVE和元数据库MYSQL的原因。通过日志分析、工具检测和专家指导等一系列方法，最终确定问题的根源是大数据集群中租户的不规范使用所导致，并逐步解决了这个...(more)

赞同3

服务器系统·2023-06-13

Hadoop集群3台服务器系统异常重分析

zkgzkg · zkg　擅长领域：大数据, 大数据分析, 分布式数据库

1.问题环境基本信息系统环境物理机/虚拟机/云/容器：物理机网络环境外网/私有网络/无网络：私有网络硬件环境机型：InspurCS5280H/CS5280H处理器：Hygo整机类型/架构：X86软件环境具体操作系统版本：V10-SP2-Server-0524内核版本：4.19.90-24.4.v2101.ky10.x86_642.问题描述三台物理服...(more)

赞同5

大数据平台选型·2023-01-16

大数据平台技术选型及架构设计

xuyy

· 秦皇岛银行　擅长领域：人工智能, 大数据, 数据库

9 会员关注

大数据平台是为了计算现今社会所产生的越来越大的数据量，以存储、计算、展现作为目的的平台。它是一个集数据接入、数据处理、数据存储、查询检索、分析挖掘等、应用接口等为一体的平台。大数据平台可以提高数据管理效率，并且快速获得有价值信息，可以轻松地共享资源。这样就...(more)

赞同5

专栏：最佳实践

IT咨询服务大数据平台·2023-01-16

大数据中数据采集有哪几种方式？

xuyy

· 秦皇岛银行　擅长领域：人工智能, 大数据, 数据库

9 会员关注

1) 通过系统日志采集大数据用于系统日志采集的工具，目前使用最广泛的有：Hadoop 的Chukwa、ApacheFlumeAFacebook的Scribe和LinkedIn的Kafka等。这里主要学习Flume。 Flume是一个高可靠的分布式采集、聚合和传输系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据，同...

赞同7

回答3

关注4

IT咨询服务大数据平台·2023-01-16

企业大数据平台的平台架构如何设计？

xuyy

· 秦皇岛银行　擅长领域：人工智能, 大数据, 数据库

9 会员关注

大数据平台的总体架构设计从下向上依次为：数据源：支持多种数据源，可以实现接入多个业务系统数据进行接入整合；接入层：业务数据库定时同步和基于canel的实时同步结合，日志数据实时接入，互联网海量数据实时爬取清洗；存储层：HDFS分布式文件系统实现海量数据存储，Hbase提供实时数据...

赞同2

回答2