深度学习平台应该要与大数据平台打通,利用其海量存储能力和计算能力,至少预处理过程可以完全放在大数据平台侧,甚至今后有可能GPU等也可以由yarn调度,这样就省事更多了。集成方式比较简单,比如tensorflow on spark,其实就是按照一个包,使任务可以提交到yarn上。...
显示全部深度学习平台应该要与大数据平台打通,利用其海量存储能力和计算能力,至少预处理过程可以完全放在大数据平台侧,甚至今后有可能GPU等也可以由yarn调度,这样就省事更多了。集成方式比较简单,比如tensorflow on spark,其实就是按照一个包,使任务可以提交到yarn上。
收起