对于电信运营商的结构化数据在hadoop生态里应当怎么规划?

电信运营商的业务数据里结构化数据比较多,随着大数据项目的建设,现在已经有需求要将部分结构化数据存储到大数据平台,并提供查询和分析功能,而且还有关系型数据库和大数据平台之间的数据同步需求,针对这种需求,hadoop生态中应该怎样规划?...显示全部

电信运营商的业务数据里结构化数据比较多,随着大数据项目的建设,现在已经有需求要将部分结构化数据存储到大数据平台,并提供查询和分析功能,而且还有关系型数据库和大数据平台之间的数据同步需求,针对这种需求,hadoop生态中应该怎样规划?

收起
参与10

查看其它 1 个回答bigdata_user的回答

bigdata_userbigdata_user软件开发工程师博彦科技

如果想冗余数据的话可以使用hive,查询的时候使用spark sql,但是hive底层走的是mapreduce,比较慢,你可以尝试将hive的底层驱动换成spark sql,

还可以将数据冗余到hbase,如果涉及到多维度查询可以使用二级索引

互联网服务 · 2017-04-22
浏览1700

回答者

bigdata_user
软件开发工程师博彦科技
擅长领域: 数据库大数据大数据平台

bigdata_user 最近回答过的问题

回答状态

  • 发布时间:2017-04-22
  • 关注会员:3 人
  • 回答浏览:1700
  • X社区推广