大数据处理
大数据处理
大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘
大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘

文章

数据分析·2020-09-25
NebulaGraph · VEsoft 擅长领域:图数据库, 数据库, 大数据
5 会员关注
##NebulaGraphDBaaS作为一款DBaaS(DataBaseassService)的产品,NebulaGraphCloudService极大地降低了研发人员使用NebulaGraph的成本,更专注于使用NebulaGraph挖掘、分析数据背后的关联价值。NebulaGraphCloudServiceTrial版本已于近期开始公测试用,本篇文章主要帮助感兴趣的朋...(more)
浏览1875
大数据·2018-05-03
windix联盟成员 · 某证券公司 擅长领域:大数据, 数据库, 大数据平台
379 会员关注
一、券商实施个性化推荐项目的必要性1.1个性化推荐技术发展背景目前,随着用户接收到的信息量爆炸般增长,传统的推荐以及服务方式的边际收益正在不断减少,用户个性化的需求变得越来越多。大数据实时个性化服务,主要基于大数据用户画像、产品画像建设成果,结合实时流计算框架,以...(more)
专栏: 最佳实践
浏览13232
评论4
人工智能·2019-09-18
leibeyb · 某证券 擅长领域:人工智能, 大数据, 机器学习
79 会员关注
1 机器学习的发展和现状2017年,谷歌通过深度学习训练的Alphago,战胜了排名世界第一的世界围棋冠军柯洁而名声大噪。这也让人们感到机器学习和人工智能的强大。时至今日,无论是国外巨头谷歌、亚马逊和Facebook还是国内互联网领军者“BAT”,都在大力的研究人工智能,将人工智能...(more)
专栏: 最佳实践
浏览6333
评论4
Zabbix·2019-12-31
zhangfan13 · 某单位 擅长领域:监控, 系统运维, 数据库运维管理
10 会员关注
一、概述监控项数据采集是一个监控工具最基本的功能,监控数据采集的准确、实时、有效是Zabbix其它监控功能正常运转的前提。因此,Zabbix运维人员有必要了解监控项数据采集流程,并有针对性的设计巡检和问题处理流程,确保监控数据质量。Zabbix的监控采集类型很丰富,我最常用的是...(more)
浏览7376
评论3
spark·2019-04-02
yinxin · 某金融机构 擅长领域:数据库, 服务器, 云计算
979 会员关注
本人维护的Spark主要运行在三个Hadoop集群上,此外还有其他一些小集群或者隐私集群。这些机器加起来有三万台左右。目前运维的Spark主要有Spark2.3和Spark1.6两个版本。用户在使用的过程中难免会发生各种各样的问题,为了对经验进行沉淀,也为了给Spark用户提供一些借鉴,这里将...(more)
浏览1572
评论1
大数据·2018-08-20
garyond · 某科技公司 擅长领域:大数据, 数据治理, 数据仓库
3 会员关注
随着大数据应用的爆发性增长,大数据应用已经衍生出了自己独特的架构,而且也直接推动了数据存储、网络及计算技术的快速发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的,就这个例子来说,我们很明显的看到大数据分析应用需求正在影响着...(more)
浏览2472
评论1
大数据·2019-01-16
rein07 · 某证券 擅长领域:人工智能, 大数据, 机器学习
586 会员关注
大数据时代已经来临,教育行业作为社会大众共享的无形财富,其开放己成为数据整合和共享应用的前提条件。“十三五"期间有望形成和谐健康的行业生态。基础设施提供商、大数据服务商、数据挖掘与分析提供商、数据应用服务提供商、数据安全提供商、教育行政部门以及教育大数据...(more)
专栏: 活动总结
浏览4965
数据存储·2019-01-11
michael1983联盟成员 · 某证券 擅长领域:服务器, 云计算, 存储
312 会员关注
数据存储的四种常见方式常见的数据存储方式有四种:在线存储、近线存储、脱机存储和站外保护。不同的存储方式提供不同的获取便利性、安全性和成本开销等级。在大多数场景中,四种存储方式被混合使用以达到最有效的存储策略。来看一看这四种数据存储方式各自的含义:在线存储(O...(more)
浏览1332
评论1
数据采集·2019-06-19
michael1983联盟成员 · 某证券 擅长领域:服务器, 云计算, 存储
312 会员关注
数据采集是进行大数据分析的前提也是必要条件,在整个流程中占据重要地位。本文将介绍大数据三种采集形式:系统日志采集法、网络数据采集法以及其他数据采集法。(一)系统日志采集法系统日志是记录系统中硬件、软件和系统问题的信息,同时还可以监视系统中发生的事件。用户可以通...(more)
浏览969
大数据·2018-05-08
cys866 · 上海优铭云计算有限公司 擅长领域:大数据, 分布式系统, 服务器
7 会员关注
数据湖项目的可行性a)数据湖技术大数据的出现,以及大数据处理平台Hadoop架构的出现,催生了数据湖的产生。最初数据湖的概念是2011年首先出现的,可以说,就像数据仓库是处理结构化数据的过程一样,数据湖是Hadoop用于处理大数据,包含结构化数据,非结构化数据的过程。虽然使用的技术...(more)
专栏: 最佳实践
浏览7075
评论1

描述

大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘
大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘
X社区推广
  • 提问题