美国队长

美国队长

大数据专家

动态

Hadoop 美国队长美国队长 回答了问题 2017-08-09

Hadoop格式化时报错?

美国队长 美国队长 研发工程师,Alibaba
从问题来看是你的Class版本问题,可以从下面几个方面入手1.你之前有没有格式化过,如果有就把之前的指定元数据路径给删了当然这是建立在没有数据需要备份的情况2.你能否贴一下你的格式化界面打印的完整日志3.你的hadoop查看全文
数据库 数据迁移 异构迁移 美国队长美国队长 回答了问题 2017-08-01

超大数据库的在线迁移问题?

美国队长 美国队长 研发工程师,Alibaba
采用增量同步的方式,可以避免影响现在线上的应用,当然这也跟数据库有关,mysql可以用binlog进行sql重新执行。其他的数据库可以考虑用阿里的datax进行数据迁移,速度很快,他的内部采用ring buffer机制,所以比一般的采用jdbc来查看全文
美国队长美国队长 发布了新文章 · 2017-07-31

Hadoop入门及常见应用问题探讨

专栏: 活动总结
评论0
1
大数据 Hadoop 美国队长美国队长 回答了问题 2017-07-27

大家都是在什么业务场景下使用的hadoop等大数据产品?

美国队长 美国队长 研发工程师,Alibaba
数据量比较大,对数据处理的时效性有要求查看全文
大数据 Hadoop 美国队长美国队长 回答了问题 2017-07-27

如何学习hadoop?

美国队长 美国队长 研发工程师,Alibaba
市面上再好的教材也没有自己动手去写,我建议你看学习视频,然后找例子去模仿,然后去了解例子的代码意思,循环迭代,就会进入角色查看全文
大数据 Hadoop 美国队长美国队长 回答了问题 2017-07-27

大家都是在什么机缘巧合下接触的hadoop等大数据产品?

美国队长 美国队长 研发工程师,Alibaba
我第一次写Mapreduce也就是接触大数据的时候,是在华为给xx移动公司统计一下用户的消费金额通话时间等,不是很大的数据量是没有必要使用大数据相关的框架查看全文
partition revoke 美国队长美国队长 回答了问题 2017-07-26

出现partition revoke是什么原因造成的?

美国队长 美国队长 研发工程师,Alibaba
请问你代码具体做了什么操作,另外partition你用了指定了几个查看全文
spark 性能分析工具 美国队长美国队长 回答了问题 2017-07-26

大家有没有spark好用的性能分析工具推荐?

美国队长 美国队长 研发工程师,Alibaba
我一般用spark如果出现性能上的问题,会先从硬件资源包括cpu ,内存,进程数,driver大小等,然后再去看代码里面是否涉及shuffle,工具也就只能告诉你当前的资源使用量如何,就算告诉你了,你还是得去看代码,另外我觉得spark自己提供查看全文
MySQL hbase sqoop 美国队长美国队长 回答了问题 2017-07-26

sqoop能导入hbase64格式数据吗?

美国队长 美国队长 研发工程师,Alibaba
这个涉及sqoop具体怎么使用,网上很多,但是我建议你可以下载一个工具叫datax的,你网上搜一下,是用来做异构数据库直接的同步的,速度很快,配置方面比sqoop方便很多查看全文
Hadoop hbase 网卡假死 美国队长美国队长 回答了问题 2017-07-26

hbase在做count时,一个hadoop的datanode节点出现网卡假死

美国队长 美国队长 研发工程师,Alibaba
你这个问题造成的原因很多,我觉得最大的可能是节点之间网络连接超时,但是用hbase进行数据统计,你可以采用hbase的协处理器,每次做个累积,这样速度会快一些,查看全文

擅长领域

大数据 大数据
Hadoop Hadoop
spark spark

最近来访

  • IBM_liuchao
  • faye
  • 素伟
  • evilada
  • aixchina
  • mqni
  • ACDante
  • Audience
  • sky9690
  • Jhon
  • 彬彬
  • 月光满楼
  • 千户余音
  • 风一样的男人
  • 快乐的包子
  • 赵钱孙