大数据处理
大数据处理
大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘
大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘

热点

数据分析·2021-07-30
cpc1989某保险公司 擅长领域:存储, 灾备, 双活
40 会员关注
前言信息系统的运行虽然遵循一定的运行规律,但也呈现出动态的、易干扰、难以预测的特征。对于IT系统运维人员来说,我们最关注的是系统的稳定运行,有时会过于担忧系统的运行风险,有时也对某些运行中的风险麻痹大意,甚至在面对潜在的、未知的故障时,还会十分恐慌。恐惧源于未知,IT...(more)
专栏: 最佳实践
浏览5972
银行自动化运维工具·2021-04-09
nkj827长春长信华天 擅长领域:存储, 灾备, 服务器
762 会员关注
自动化运维平台运行时,对于大批量操作,如版本变更,批量发布等一定要经过测试后才能进行批量操作。 风险就是不知道执行的是否成功,有了校验也不知道校验的是否完全和执行是否成功。一般有了执行脚本就会有校验脚本。所以一下几点值得注意:1、制定比较通用的校验架构,按脚本规...
nosql·2021-04-05
haizdl大连 擅长领域:灾备, 存储, 服务器
1228 会员关注
【摘要】:过去的历史阶段,IT行业对于数据库的选择相对比较单元化,基于行式存储的关系型数据库基本一统江湖。因此OLTP&OLAP业务均以关系型数据库理论为基础来设计数据视图以及数据模型。随着数据量的爆发式发展,人们逐渐发现传统行式存储在处理特殊业务场景时候的不足,尤...(more)
浏览4890
事业单位数据存储·2020-11-06
zyp8365广东省中医院 擅长领域:大数据, 存储, 大数据平台
19 会员关注
这类工具有很多,比如oracle自带的ASM,dataguard或者goldengate,sqlserver自己的mirror等,数据存储平台主要用数据层的迁移工具,会更稳定,更安全
spark·2020-09-25
努力呀XX 擅长领域:数据库, 服务器, 云计算
48 会员关注
收藏1
评价1
金币1
Hadoop·2020-08-25
努力呀XX 擅长领域:数据库, 服务器, 云计算
48 会员关注
作者:农行研发中心孟洋--1.问题描述当前,我们通过编写HadoopMapReduce程序对来自上游的源数据文件进行贴源预处理加工。源数据文件发到Hadoop集群后,我们的预处理程序会对源数据进行编码转换、数据去重、加时间拉链、数据清洗、错误数据处理等操作,生成贴源的ODS层数据,供上层...(more)
浏览8084
银行数据库一体机·2020-06-09
light_hu86某省金融 擅长领域:服务器, 存储, 分布式系统
21 会员关注
这两种方式可以从性能以及价格等方面进行考虑,如oracle数据库一体机产品,从选择的2种方式就价格及性能等方面进行考虑,若一体机的话产品选择面比较窄,可供选择的厂家不多,若采用全闪存储的话可以从多家厂商中进行选择,特别是对于招投标越来越严的形式下也是比较好的一种方式。...
银行分布式数据库·2020-05-27
Dingk张家港行 擅长领域:数据库, 服务器, 分布式系统
11 会员关注
分两部分,一是将批处理交易化,借助于分布式数据库带来的高并发能力,快速批量处理,这方面需要应用支持,像我行的核心日终处理根据分布式特点,采用shardkey进行批次拆分,不同执行器抓取不同数据,任务分配到各个执行器执行,极大的提高了跑批效率。另一部分是传统批处理,批量更新从设计...
互联网服务数据加密·2020-04-22
pysx0503第十区。散人 擅长领域:存储, 备份, 服务器
740 会员关注
按你说的要求。我觉得不会有免费的解决方案,毕竟敏感涉及到敏感数据的行业不多。免费的解决方案也肯定无法适用在这样特殊的行业中,真的有免费的。产生问题的时候也会有很多责任问题。所以我觉得不要考虑免费的解决方案。做数据加密的行业中。接触的不多。之前做分保找过北...

描述

大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘
大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘
X社区推广
  • 提问题