互联网服务Hadoophdfsmapreduce

到底在什么情况下采用hadoop的生态框架,比如hdfs,mapreduce等?

在数据量跟业务不是复杂的时候,引入hadoop的生态框架,是一件比较麻烦的事情,那到底是什么情况下采用hadoop的生态框架,比如hdfs,mapreduce等?

参与6

3同行回答

bigdata_userbigdata_user软件开发工程师博彦科技
这个要看你的数据量了,如果数据比较少,直接普通数据库就可以了显示全部

这个要看你的数据量了,如果数据比较少,直接普通数据库就可以了

收起
互联网服务 · 2017-04-22
浏览1428
美国队长美国队长研发工程师Alibaba
hdfs:对于海量的数据比如几十G以上的数据进行存储mapreduce:比如你想对你的数据,每一行进行数据规整,比如时间格式,字符串提取等,前提是你的数据文件中的数据是由特殊符号间隔的显示全部

hdfs:对于海量的数据比如几十G以上的数据进行存储

mapreduce:比如你想对你的数据,每一行进行数据规整,比如时间格式,字符串提取等,前提是你的数据文件中的数据是由特殊符号间隔的

收起
互联网服务 · 2017-04-21
浏览1453
星星峡的风星星峡的风技术支持工程师福建新大陆软件有限公司
关系型数据库的投入(存储、扩容、维保、升级等)一直是很大的,而且考虑到去IOE,以及hadoop出现后对海量数据的存储、分析成本的下降,某运营商现在在积极的进行大数据平台的建设,据说某省的所有业务都已迁移到hadoop生态实现了。引入hadoop生态框架在现阶段来看,硬件成本比较低,但...显示全部

关系型数据库的投入(存储、扩容、维保、升级等)一直是很大的,而且考虑到去IOE,以及hadoop出现后对海量数据的存储、分析成本的下降,某运营商现在在积极的进行大数据平台的建设,据说某省的所有业务都已迁移到hadoop生态实现了。

引入hadoop生态框架在现阶段来看,硬件成本比较低,但软件及开发成本还是相对较高的,对于业务系统来说,如果业务系统确实产生了海量数据(每天怎么也得快1T?)但以前并未收集分析,可以考虑上一套hadoop产品试一下,如果业务并不复杂,其实没有必要。

收起
电信运营商 · 2017-04-21
浏览1407

提问者

美国队长
研发工程师Alibaba
擅长领域: 大数据大数据平台数据库

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-04-19
  • 关注会员:3 人
  • 问题浏览:4639
  • 最近回答:2017-04-22
  • X社区推广