查看其它 3 个回答qq373793057的回答

qq373793057qq373793057课题专家组系统工程师某银行

将影像类数据迁移到大数据平台也是趋势。目前使用较多的是利用Hadoop分布式框架。
可以使用Hadoop框架中HDFS存储各种类型的客户影像数据。
大致思路是将图片名和图片元数据作为键值对<Key, Value>,放入HBase中进行存储,将客户的影像数据设定在图片的URL中,通过解析URL快速定位图片(Block)的数据节点(Data Node)。
同时,可以将图片元数据存放在HBase中,解决海量数据扩容和快速检索问题。
在应用服务器上可以使用Redis构建缓存区和负载均衡,向HDFS存储中写入大量的影像数据。
上述,是一个大数据平台存储及处理非结构化数据的有效思路,供参考。

银行 · 2017-09-14
浏览2650

回答者

qq373793057
系统工程师某银行
擅长领域: 存储灾备分布式系统

qq373793057 最近回答过的问题

回答状态

  • 发布时间:2017-09-14
  • 关注会员:5 人
  • 回答浏览:2650
  • X社区推广