大数据平台
大数据平台
大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。
大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。

热点

架构设计·2024-06-26
daocaoren0352联盟成员城商行 擅长领域:数据库, 云计算, 大数据
3 会员关注
本文阐述了一个银行卡风险监控系统的设计和实施。该系统基于Lambda架构,具备实时监控与分析能力,增强了交易风险管理。功能涵盖实时分析、警报、用户行为学习、规则定制、数据共享和交换。技术框架基于SSM,包括多种服务器类型。系统运行后,有效提升了交易安全性,实现了风险识...(more)
专栏: 最佳实践
浏览1767
评论1
银行大数据平台·2024-04-26
dean25课题专家组民生银行 擅长领域:云计算, 容器, 容器云
25 会员关注
大数据平台容器化混合部署,扩容弹性较云化+分布式存储相比的优势和提升在什么地方 ?针对你这个话题,我是这样的思考,你可以看看是否有解答:容器相比云化虚机,弹性能力是数量级的提升。大数据容器化后做混合部署,可以复用容器的弹性能力,实现大数据作业的serverless化,即无需为大...
银行数据安全·2023-09-08
xuyy联盟成员某银行 擅长领域:人工智能, 大数据, 大语言模型
12 会员关注
结合我们行的情况,要想对数据进行分类分级,先要进行数据资产的梳理,一般厂商数据分类分级平台都有一个简单的资产梳理功能,是基于数据库层面而非业务层面的资产梳理。根据资产梳理的情况,根据 中国人民银行发布《金融数据安全 数据安全分级 指南 》(JR/T 0197—2020) 进行数据...
医院大数据平台·2023-07-21
陈健武汉市中心医院 擅长领域:大数据, 数据库, 数据库安全
10 会员关注
科研大数据需要的硬件需要结合建设内容。如果是传统的客养大数据平台,主要的工作数数据采集处理存储机上NLP,普通的集群和存储也可以满足,但是内存需要的资源会多一些,存储资源要大,毕竟基于数据的处理,可以考虑SSD。如果是多模态的科研平台,包括需要在这个科研平台上嫁接大模型...
数据库·2023-06-14
文章介绍了大数据平台中元数据库MYSQL异常故障的定位和解决思路,问题根源是大数据集群中租户的不规范使用所导致,解决方案包括从HIVE组件、MYSQL数据库和YARN组件着手,以及临时和永久措施。避免问题出现的优化包括及时清理HIVE表分区信息、调整执行程序、纳入租户管理规范和...(more)
浏览1189
评论1
服务器系统·2023-06-13
文章分析了服务器异常重启问题,发现是audit占用内存导致的系统重启,需要同步社区内核补丁。
浏览1500
评论1
大数据平台·2023-01-16
xuyy联盟成员某银行 擅长领域:人工智能, 大数据, 大语言模型
12 会员关注
大数据平台分类包括处理过程、数据类型、处理方式、部署方式;选型有云平台、商业化平台、自主搭建平台;产品有星环科技TDH、阿里云、华为FusionInsight;架构设计包括数据源、接入层、存储层、计算层、分析层、数据服务层、数据应用层;采集方式有系统日志和网络爬虫。...(more)
专栏: 最佳实践
浏览3445
IT咨询服务大数据平台·2023-01-16
xuyy联盟成员某银行 擅长领域:人工智能, 大数据, 大语言模型
12 会员关注
1) 通过系统日志采集大数据 用于系统日志采集的工具,目前使用最广泛的有:Hadoop 的Chukwa、ApacheFlumeAFacebook的Scribe和LinkedIn的Kafka等。这里主要学习Flume。 Flume是一个高可靠的分布式采集、聚合和传输系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据,同...
IT咨询服务大数据平台·2023-01-16
xuyy联盟成员某银行 擅长领域:人工智能, 大数据, 大语言模型
12 会员关注
大数据平台的总体架构设计从下向上依次为: 数据源:支持多种数据源,可以实现接入多个业务系统数据进行接入整合; 接入层:业务数据库定时同步和基于canel的实时同步结合,日志数据实时接入,互联网海量数据实时爬取清洗; 存储层:HDFS分布式文件系统实现海量数据存储,Hbase提供实时数据...
互联网服务信创·2022-12-14
匿名用户
8个小时做迁移肯定是不够的,所以这样的情况下只能做割接不能做迁移,性能也没有做测试,架构也没有做测试,像这种情况下架构肯定是要调整的,所以只能调整架构以后,业务测试通过以后,8个小时来做割接。算算你将近500tb的数据,8个小时,你通过网络来进行迁移,传输数据的时间都不够。...

描述

大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。
大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。
X社区推广
  • 提问题