贵司已经部署了深度学习平台吗?如果有,和现有的大数据平台是如何集成的?

贵司已经部署了深度学习平台吗?如果有,和现有的大数据平台是如何集成的。

参与11

2同行回答

rein07rein07系统架构师某证券
深度学习平台应该要与大数据平台打通,利用其海量存储能力和计算能力,至少预处理过程可以完全放在大数据平台侧,甚至今后有可能GPU等也可以由yarn调度,这样就省事更多了。集成方式比较简单,比如tensorflow on spark,其实就是按照一个包,使任务可以提交到yarn上。...显示全部

深度学习平台应该要与大数据平台打通,利用其海量存储能力和计算能力,至少预处理过程可以完全放在大数据平台侧,甚至今后有可能GPU等也可以由yarn调度,这样就省事更多了。集成方式比较简单,比如tensorflow on spark,其实就是按照一个包,使任务可以提交到yarn上。

收起
证券 · 2018-01-31
浏览1678
riverplayriverplay系统工程师IBM
PowerAI深度学习平台利用GPFS作为文件系统(或多节点并行文件系统),可以和HDFS平台集成,实现数据的抽取和同步显示全部

PowerAI深度学习平台利用GPFS作为文件系统(或多节点并行文件系统),可以和HDFS平台集成,实现数据的抽取和同步

收起
系统集成 · 2018-01-31
浏览1862

提问者

windix
商业分析师某证券公司
擅长领域: 大数据数据库大数据平台

问题来自

相关问题

问题状态

  • 发布时间:2018-01-31
  • 关注会员:3 人
  • 问题浏览:4510
  • 最近回答:2018-01-31
  • X社区推广