利用spark进行数据清洗的内幕是什么，是否有安全性隐患？

spark应该说是类似Mapreduce的内存计算，他的每一个task最终都会转换成map或者reduce计算，只不过他是基于内存的，另外你的说的安全性隐患不知道是什么意思？

spark数据清洗原理，简单来说是，由定时器RecurringTimer周期性将任务发布给EventLoop，EventLoop接受到任务后，通过processEvent来处理ClearMetadata和ClearCheckpointData，这两个任务正是实现了清理RDD数据／元数据及checkpoint缓存数据。