大家有没有spark好用的性能分析工具推荐?

大家有没有spark好用的性能分析工具推荐?显示全部

大家有没有spark好用的性能分析工具推荐?

收起
参与3

返回美国队长的回答

美国队长美国队长研发工程师Alibaba

我一般用spark如果出现性能上的问题,会先从硬件资源包括cpu ,内存,进程数,driver大小等,然后再去看代码里面是否涉及shuffle,工具也就只能告诉你当前的资源使用量如何,就算告诉你了,你还是得去看代码,另外我觉得spark自己提供的4040界面就不错,告诉你,你的job分多少个stage,每个stage的执行时间,因为一个stage就算一个算子,然后看你的代码里面算子的位置就大概知道因为你的哪行代码导致性能差了

互联网服务 · 2017-07-26
浏览1364

回答者

美国队长
研发工程师Alibaba
擅长领域: 大数据大数据平台数据库

美国队长 最近回答过的问题

回答状态

  • 发布时间:2017-07-26
  • 关注会员:2 人
  • 回答浏览:1364
  • X社区推广