Hadoop
Hadoop
Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。
Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。

文章

服务器系统·2023-06-13
1.问题环境基本信息系统环境物理机/虚拟机/云/容器:物理机网络环境外网/私有网络/无网络:私有网络硬件环境机型:InspurCS5280H/CS5280H处理器:Hygo整机类型/架构:X86软件环境具体操作系统版本:V10-SP2-Server-0524内核版本:4.19.90-24.4.v2101.ky10.x86_642.问题描述三台物理服...(more)
浏览1393
评论1
大数据平台·2022-01-16
jack01某城商行 擅长领域:大数据, 大数据平台, 大数据分析
2 会员关注
摘要:面对业务发展、数据化转型等各方面的需求,基于传统架构的银行数据仓库体系面临极大的挑战。我行目前既有传统架构的数据仓库,也引入了基于主流Hadoop体系的大数据平台。为优化数据重复加工与存储,促进信息管理应用的数据融合共享,本文在采用大数据技术构建统一的企业级数...(more)
专栏: 最佳实践
浏览6115
评论1
powerLinux·2021-07-28
Owenliu浪潮商用机器有限公司 擅长领域:服务器, 数据库, 大数据
2 会员关注
在K1Powerlinux上部署CDP环境:CDP简介CDP是Cloudera的100%开源平台发行版,包括ApacheHadoop,专为满足企业需求而构建。CDP提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成,Cloudera创建了一个功能先进的系统,可帮助您执行端到端的大数据工作流...(more)
浏览3433
大数据平台·2021-04-02
chae0480某农信 擅长领域:大数据, 大数据平台, 数据库
1 会员关注
1、背景银行业是一个数据密集型行业,也是一个数据驱动的行业,数据一直是银行信息化发展的主题词。而今,在互联网金融时代,伴随着商业银行经营转型的持续深入,各家银行对大数据应用的需求日益多元化,迫切希望借助大数据应用,践行以金融科技赋能业务创新及服务体验升级。建设银行...(more)
浏览3970
评论1
Hadoop·2020-08-25
努力呀XX 擅长领域:数据库, 服务器, 云计算
48 会员关注
作者:农行研发中心孟洋--1.问题描述当前,我们通过编写HadoopMapReduce程序对来自上游的源数据文件进行贴源预处理加工。源数据文件发到Hadoop集群后,我们的预处理程序会对源数据进行编码转换、数据去重、加时间拉链、数据清洗、错误数据处理等操作,生成贴源的ODS层数据,供上层...(more)
浏览8083
大数据平台·2020-02-05
kappyy某银行 擅长领域:大数据, 大数据平台, 服务器
2 会员关注
1     背景银行业是一个数据密集型行业,也是一个数据驱动的行业,数据一直是银行信息化发展的主题词。而今,在互联网金融时代,伴随着商业银行经营转型的持续深入,各家银行对大数据应用的需求日益多元化,迫切希望借助大数据应用,践行以金融科技赋能业务创新及服务体验升级。...(more)
浏览10115
评论1
分布式数据库·2019-06-26
DolphinDB浙江智臾科技 擅长领域:大数据, 人工智能, 机器学习
25 会员关注
随机森林是常用的机器学习算法,既可以用于分类问题,也可用于回归问题。本文对scikit-learn、SparkMLlib、DolphinDB、xgboost四个平台的随机森林算法实现进行对比测试。评价指标包括内存占用、运行速度和分类准确性。本次测试使用模拟生成的数据作为输入进行二分类训练,并用...(more)
浏览1205
Hadoop·2019-05-31
大天使之剑杭州才云科技 擅长领域:云计算, 私有云, 云管平台
17 会员关注
Hadoop概述从《Hadoop前世今生》中我们知道,Hadoop是从Nutch搜索引擎项目里拆分出来了两个通用性的模块:HDFS和MapReduce,他们主要提供的功能分别是分布式存储和分布式计算。HadoopCommon但是问题来了,分布式存储和分布式计算都需要网络通信,所以Hadoop第三个模块:HadoopCommon...(more)
浏览901
Hadoop·2019-05-29
大天使之剑杭州才云科技 擅长领域:云计算, 私有云, 云管平台
17 会员关注
Hadoop的前世今生说到hadoop前世今生的话,不得不说google这家公司。大家都知道google这家公司一开始是做搜索引擎起家的,而这个搜索引擎是个什么东西呢?搜索引擎其实就做了两件事情。一是网络爬虫。通过网络爬虫,爬取各个网页的数据,然后将爬去的数据找个地方存放。二是索引服...(more)
浏览1066
评论1
spark·2019-03-25
yinxin某金融机构 擅长领域:数据库, 服务器, 云计算
973 会员关注
大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件:处理框架...(more)
浏览1517

描述

Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。
Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。
X社区推广
  • 提问题