大家有没有spark好用的性能分析工具推荐?
我一般用spark如果出现性能上的问题,会先从硬件资源包括cpu ,内存,进程数,driver大小等,然后再去看代码里面是否涉及shuffle,工具也就只能告诉你当前的资源使用量如何,就算告诉你了,你还是得去看代码,另外我觉得spark自己提供的4040界面就不错,告诉你,你的job分多少个stage,每个stage的执行时间,因为一个stage就算一个算子,然后看你的代码里面算子的位置就大概知道因为你的哪行代码导致性能差了
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30