AI训练或大数据分析是直接使用对象存储好,还是先把数据抽取到本地文件系统好?

3回答

zhuqibszhuqibs  软件开发工程师 , Mcd
zhanghaiyanzhangpinliujian0122等赞同了此回答
抽取到本地存储,这绝对不是一个好的主意,大数据平台的数据量十分庞大,所进行的操作涉及的数据,少则几个G,多达几十个T,如此多的数据,就算你本地存储够大,请问抽取传输要多少时间。 所以,必定是在计算节点进行分析,可以的话,可以调用有GPU的计算节点进行AI训练。至于对象存储,是可以的...显示全部

抽取到本地存储,这绝对不是一个好的主意,大数据平台的数据量十分庞大,所进行的操作涉及的数据,少则几个G,多达几十个T,如此多的数据,就算你本地存储够大,请问抽取传输要多少时间。

所以,必定是在计算节点进行分析,可以的话,可以调用有GPU的计算节点进行AI训练。至于对象存储,是可以的,现在aws上大数据分析,有的就是基于对象存储。

收起
 2020-04-01
浏览688
宁泽阳宁泽阳  系统工程师 , 中信银行信用卡中心
彬彬赞同了此回答
这个需要结合数据量的大小和本地文件系统和对象存储的访问性能来共同决定。如果数据量过大已经超出了本地文件系统的支持容量,那么就要使用对象存储。本地文件系统如果性能好很多,而数据又需要频繁读写,可以将数据预加载到本地以提升性能。...显示全部

这个需要结合数据量的大小和本地文件系统和对象存储的访问性能来共同决定。如果数据量过大已经超出了本地文件系统的支持容量,那么就要使用对象存储。本地文件系统如果性能好很多,而数据又需要频繁读写,可以将数据预加载到本地以提升性能。

收起
 2020-03-31
浏览660
荣重实荣重实  技术总监 , XSKY
XSKY星辰天合赞同了此回答
其实不应该用好坏来判断,用哪种更适合来评价更准确。从场景的角度看,HDFS的支持兼容的优势目标比较明显;从数据存放的角度,对象可能是未来的方向。XSKY推出了一个专用替代HDFS的对象存储+接口的整体解决方案,目前在跟CDH的组合测试中,部分场景性能相比原有HDFS提升超过80%,如果...显示全部

其实不应该用好坏来判断,用哪种更适合来评价更准确。从场景的角度看,HDFS的支持兼容的优势目标比较明显;从数据存放的角度,对象可能是未来的方向。
XSKY推出了一个专用替代HDFS的对象存储+接口的整体解决方案,目前在跟CDH的组合测试中,部分场景性能相比原有HDFS提升超过80%,如果有兴趣可以联系我们。

收起
 2020-03-30
浏览712

分布式块存储选型优先顺序调查

发表您的选型观点,参与即得50金币。

问题状态

  • 发布时间:2020-03-30
  • 关注会员:4 人
  • 问题浏览:2768
  • 最近回答:2020-04-01