利用spark进行数据清洗的内幕是什么,是否有安全性隐患。
spark数据清洗原理,简单来说是,由定时器RecurringTimer周期性将任务发布给EventLoop,EventLoop接受到任务后,通过processEvent来处理ClearMetadata和ClearCheckpointData,这两个任务正是实现了清理RDD数据/元数据及checkpoint缓存数据。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30