对于电信运营商的结构化数据在hadoop生态里应当怎么规划?

电信运营商的业务数据里结构化数据比较多,随着大数据项目的建设,现在已经有需求要将部分结构化数据存储到大数据平台,并提供查询和分析功能,而且还有关系型数据库和大数据平台之间的数据同步需求,针对这种需求,hadoop生态中应该怎样规划?

参与10

2同行回答

美国队长美国队长研发工程师Alibaba
首先hadoop对于小批量的数据查询并没有优势,所以对于大批数据处理还是放在hadoop中,关系型数据库对简单的查询还是可以的,所以我的建议是利用hadoop对大数据进行处理,然后处理结果同步到关系型数据库如oracle或者mysql,数据同步用阿里的开源神器Datax...显示全部

首先hadoop对于小批量的数据查询并没有优势,所以对于大批数据处理还是放在hadoop中,关系型数据库对简单的查询还是可以的,所以我的建议是利用hadoop对大数据进行处理,然后处理结果同步到关系型数据库如oracle或者mysql,数据同步用阿里的开源神器Datax

收起
互联网服务 · 2017-04-21
浏览1761
bigdata_userbigdata_user软件开发工程师博彦科技
如果想冗余数据的话可以使用hive,查询的时候使用spark sql,但是hive底层走的是mapreduce,比较慢,你可以尝试将hive的底层驱动换成spark sql,还可以将数据冗余到hbase,如果涉及到多维度查询可以使用二级索引...显示全部

如果想冗余数据的话可以使用hive,查询的时候使用spark sql,但是hive底层走的是mapreduce,比较慢,你可以尝试将hive的底层驱动换成spark sql,

还可以将数据冗余到hbase,如果涉及到多维度查询可以使用二级索引

收起
互联网服务 · 2017-04-22
浏览1692

提问者

星星峡的风
技术支持工程师福建新大陆软件有限公司
擅长领域: 数据库系统运维服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-04-21
  • 关注会员:3 人
  • 问题浏览:4565
  • 最近回答:2017-04-22
  • X社区推广