非结构化数据越来越多,目前影像平台已经不能满足需求,如何利用大数据平台,有效存储及处理非结构化数据?

参与29

4同行回答

qq373793057qq373793057  系统工程师 , 某银行
将影像类数据迁移到大数据平台也是趋势。目前使用较多的是利用Hadoop分布式框架。可以使用Hadoop框架中HDFS存储各种类型的客户影像数据。大致思路是将图片名和图片元数据作为键值对<Key, Value>,放入HBase中进行存储,将客户的影像数据设定在图片的URL中,通过解析URL...显示全部

将影像类数据迁移到大数据平台也是趋势。目前使用较多的是利用Hadoop分布式框架。
可以使用Hadoop框架中HDFS存储各种类型的客户影像数据。
大致思路是将图片名和图片元数据作为键值对<Key, Value>,放入HBase中进行存储,将客户的影像数据设定在图片的URL中,通过解析URL快速定位图片(Block)的数据节点(Data Node)。
同时,可以将图片元数据存放在HBase中,解决海量数据扩容和快速检索问题。
在应用服务器上可以使用Redis构建缓存区和负载均衡,向HDFS存储中写入大量的影像数据。
上述,是一个大数据平台存储及处理非结构化数据的有效思路,供参考。

收起
银行 · 2017-09-14
浏览2610
匿名用户匿名用户
非结构数据其实分为两种信息1)元数据信息:可以结构化的信息,可以进行Hbase或者DB等各种存储2)非结构化数据:doc、pdf等各种文档,可以进行hadoop的存储显示全部

非结构数据其实分为两种信息
1)元数据信息:可以结构化的信息,可以进行Hbase或者DB等各种存储
2)非结构化数据:doc、pdf等各种文档,可以进行hadoop的存储

收起
银行 · 2017-09-14
浏览2565
hang0912hang0912  技术经理 , 苏州互盟信息存储技术限公司
[此回答已删除]
浏览1809
byethenbyethen  系统工程师 , CMBC
一楼说的是一个很好的思路,如果需要更快的处理和反应速度,hadoop架构 + redis 可能可以解决问题了。显示全部

一楼说的是一个很好的思路,如果需要更快的处理和反应速度,hadoop架构 + redis 可能可以解决问题了。

收起
银行 · 2017-09-14
浏览2609

提问者

liuzhihai2010
产品经理甘肃银行
擅长领域: 系统运维存储灾备

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-09-14
  • 关注会员:5 人
  • 问题浏览:5733
  • 最近回答:2017-11-14
  • X社区推广