利用spark进行数据清洗的内幕是什么,是否有安全性隐患?

利用spark进行数据清洗的内幕是什么,是否有安全性隐患。显示全部

利用spark进行数据清洗的内幕是什么,是否有安全性隐患。

收起
参与12

查看其它 1 个回答haichuan0227的回答

haichuan0227haichuan0227  项目经理 , 新浪云计算

spark数据清洗原理,简单来说是,由定时器RecurringTimer周期性将任务发布给EventLoop,EventLoop接受到任务后,通过processEvent来处理ClearMetadata和ClearCheckpointData,这两个任务正是实现了清理RDD数据/元数据及checkpoint缓存数据。

互联网服务 · 2017-07-07
浏览2072

回答者

haichuan0227
项目经理新浪云计算
擅长领域: 云计算一体化运维私有云

haichuan0227 最近回答过的问题

回答状态

  • 发布时间:2017-07-07
  • 关注会员:3 人
  • 回答浏览:2072
  • X社区推广