美国队长

美国队长

大数据专家

动态

Hadoop hbase hive 美国队长美国队长 回答了问题 2019-07-30

ambari的HADOOP集群,下SPARK2 HIVE HBASE等组件整合问题,类找不到?

美国队长 美国队长 研发工程师,Alibaba
这个应该是版本的原因造成的,建议你到官网参照你是用的版本,然后根据错误提示guava版本看一下,版本号是否一致查看全文
分布式计算 spark 美国队长美国队长 回答了问题 2017-09-29

问下页面发送请求,然后分布式计算再把结果返回给请求端,这个可以用spark实现吗?

美国队长 美国队长 研发工程师,Alibaba
可以,用spark他也有支持应用层基级别的调用,比如spark sql等查看全文
大数据 hbase 用电大数据 美国队长美国队长 回答了问题 2017-09-18

基于hbase的用电信息采集系统如何设计?

美国队长 美国队长 研发工程师,Alibaba
hbase应该是被你用来做信息存储,基于hbase特性跟电力业务,你可以这样思考:你的采集信息是否可以从时间>地域>小区>个人等范围逐渐缩小的方式进行排列,主要了考虑hbase的region个数确认这样可以避免某个regionse查看全文
Hadoop 美国队长美国队长 回答了问题 2017-08-09

Hadoop格式化时报错?

美国队长 美国队长 研发工程师,Alibaba
从问题来看是你的Class版本问题,可以从下面几个方面入手1.你之前有没有格式化过,如果有就把之前的指定元数据路径给删了当然这是建立在没有数据需要备份的情况2.你能否贴一下你的格式化界面打印的完整日志3.你的hadoop查看全文
数据库 数据迁移 异构迁移 美国队长美国队长 回答了问题 2017-08-01

超大数据库的在线迁移问题?

美国队长 美国队长 研发工程师,Alibaba
采用增量同步的方式,可以避免影响现在线上的应用,当然这也跟数据库有关,mysql可以用binlog进行sql重新执行。其他的数据库可以考虑用阿里的datax进行数据迁移,速度很快,他的内部采用ring buffer机制,所以比一般的采用jdbc来查看全文
美国队长美国队长 发布了新文章 · 2017-07-31

Hadoop入门及常见应用问题探讨

专栏: 活动总结
评论0
1
大数据 Hadoop 业务场景 美国队长美国队长 回答了问题 2017-07-27

大家都是在什么业务场景下使用的hadoop等大数据产品?

美国队长 美国队长 研发工程师,Alibaba
数据量比较大,对数据处理的时效性有要求查看全文
大数据 Hadoop 美国队长美国队长 回答了问题 2017-07-27

如何学习hadoop?

美国队长 美国队长 研发工程师,Alibaba
市面上再好的教材也没有自己动手去写,我建议你看学习视频,然后找例子去模仿,然后去了解例子的代码意思,循环迭代,就会进入角色查看全文
大数据 Hadoop 美国队长美国队长 回答了问题 2017-07-27

大家都是在什么机缘巧合下接触的hadoop等大数据产品?

美国队长 美国队长 研发工程师,Alibaba
我第一次写Mapreduce也就是接触大数据的时候,是在华为给xx移动公司统计一下用户的消费金额通话时间等,不是很大的数据量是没有必要使用大数据相关的框架查看全文
Hadoop partition revoke 美国队长美国队长 回答了问题 2017-07-26

出现partition revoke是什么原因造成的?

美国队长 美国队长 研发工程师,Alibaba
请问你代码具体做了什么操作,另外partition你用了指定了几个查看全文

擅长领域

大数据 大数据
Hadoop Hadoop
spark spark