AI训练或大数据分析是直接使用对象存储好,还是先把数据抽取到本地文件系统好?

参与16

3同行回答

zhuqibszhuqibs软件开发工程师Adidas
抽取到本地存储,这绝对不是一个好的主意,大数据平台的数据量十分庞大,所进行的操作涉及的数据,少则几个G,多达几十个T,如此多的数据,就算你本地存储够大,请问抽取传输要多少时间。所以,必定是在计算节点进行分析,可以的话,可以调用有GPU的计算节点进行AI训练。至于对象存储,是可以的,...显示全部

抽取到本地存储,这绝对不是一个好的主意,大数据平台的数据量十分庞大,所进行的操作涉及的数据,少则几个G,多达几十个T,如此多的数据,就算你本地存储够大,请问抽取传输要多少时间。

所以,必定是在计算节点进行分析,可以的话,可以调用有GPU的计算节点进行AI训练。至于对象存储,是可以的,现在aws上大数据分析,有的就是基于对象存储。

收起
互联网服务 · 2020-04-01
浏览2465
宁泽阳宁泽阳系统工程师某科技公司
这个需要结合数据量的大小和本地文件系统和对象存储的访问性能来共同决定。如果数据量过大已经超出了本地文件系统的支持容量,那么就要使用对象存储。本地文件系统如果性能好很多,而数据又需要频繁读写,可以将数据预加载到本地以提升性能。...显示全部

这个需要结合数据量的大小和本地文件系统和对象存储的访问性能来共同决定。如果数据量过大已经超出了本地文件系统的支持容量,那么就要使用对象存储。本地文件系统如果性能好很多,而数据又需要频繁读写,可以将数据预加载到本地以提升性能。

收起
互联网服务 · 2020-03-31
浏览2390
zhongshizhongshi产品总监XSKY
其实不应该用好坏来判断,用哪种更适合来评价更准确。从场景的角度看,HDFS的支持兼容的优势目标比较明显;从数据存放的角度,对象可能是未来的方向。XSKY推出了一个专用替代HDFS的对象存储+接口的整体解决方案,目前在跟CDH的组合测试中,部分场景性能相比原有HDFS提升超过80%,如果...显示全部

其实不应该用好坏来判断,用哪种更适合来评价更准确。从场景的角度看,HDFS的支持兼容的优势目标比较明显;从数据存放的角度,对象可能是未来的方向。
XSKY推出了一个专用替代HDFS的对象存储+接口的整体解决方案,目前在跟CDH的组合测试中,部分场景性能相比原有HDFS提升超过80%,如果有兴趣可以联系我们。

收起
软件开发 · 2020-03-30
浏览2484

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-03-30
  • 关注会员:4 人
  • 问题浏览:5214
  • 最近回答:2020-04-01
  • X社区推广