补充两点弊端:第一点,还是在数据达到一定规模后,可能会出现的数据处理性能,如果非结构化数据在达到PB级以上,对象存储对数据的处理性能,肯定会优于普通的NAS存储。第二点,扩展能力远远不如分布式存储,无论是从存储容量和计算...
开源分布式文件系统:如Ceph、GlusterFS等开源计算框架:Storm、Spark、Hadoop这些应该都可用在类似影像和日志内容类的非结构化数据处理上
您提到的这两点,的确是影响视频类数据处理的性能的重要因素1、网络带宽方面,除了采用高速的网络进行承载,还建议做好带宽的QOS控制,把带宽充分利用起来。2、数据存储方面,做好评估以及规划,针对具体的视频类数据需求,评估是...
将影像类数据迁移到大数据平台也是趋势。目前使用较多的是利用Hadoop分布式框架。可以使用Hadoop框架中HDFS存储各种类型的客户影像数据。大致思路是将图片名和图片元数据作为键值对<Key, Value>,放入HBase中进...
以影像系统为例,我们考虑到没有必要将全部的影像类非结构化数据实时上传到总行存储中,在各分支行也分别部署NAS存储缓存,使用应用程序根据数据类型实现逐级调用,目前并没有通过相应软件实现。...
对于非结构化数据的备份问题,确实是比较头疼的。因为海量的非结构化数据的备份对存储资源空间的浪费是非常严重,如果一定要实施备份,个人建议,先制定好数据的归档策略,之后再有针对性的进行备份,减少存储空间和性能的浪费。...
对于已经使用NAS来存储的情况,建议针对影像处理平台的数据库和非结构化影像文件不同的性能需求进行优化,因为影像文件的访问频率会随着业务周期的变化而逐渐降低,可以通过将I/O压力负载和性能要求不同的数据块动态、均匀...
对象存储在处理超过PB级别的非结构化数据时,会比传统存储性能好很多。是否一定要使用对象存储,还是建议根据数据量规模和应用场景来决定,毕竟投入对象存储成本也是需要考量的。中小企业如果数据量不是特别大,则可以根据实...
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024 talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30