如何实现异构分布的非结构化数据统一管理?

企业存在的非结构化数据大多广泛分布于企业内部不同系统区域中,而且在数据格式上也存在多样性、复杂性和异构性的特点。随着企业内部非结构化数据的规模不断增大,我们该如何在非结构化数据的各个层次中,包括数据源存储层、数据处理层、非结构化数据聚类层、索引层等进行高效...显示全部

企业存在的非结构化数据大多广泛分布于企业内部不同系统区域中,而且在数据格式上也存在多样性、复杂性和异构性的特点。
随着企业内部非结构化数据的规模不断增大,我们该如何在非结构化数据的各个层次中,包括数据源存储层、数据处理层、非结构化数据聚类层、索引层等进行高效处理?

收起
参与3

返回bryan的回答

bryanbryan软件架构设计师金融研发

我们之前见过一个这种情况的架构,采用“逻辑统一、物理分散”的建设思路
1.统一访问入口:在统一访问入口处根据客户端提交的应用程序信息返回客户端后续和哪个存储入口进行访问;
2.各地建立缓存:由于非结构化数据一般比较大,我们建立一个缓存服务器功能,比如业务上传时,将数据保存到缓存服务器,后续业务可以直接从就近的缓存服务器下载,非结构化的数据采用版本号增加的方式进行管理,比如有一批文件中的一个文件发生变化,则只提交数据差就可以
3.多租户资源隔离:每个业务系统根据不同的需要进行不同存储资源的使用,隔离资源
4.数据声明周期管理:通过梳理业务需求对数据进行生命周期管理,不同的数据在不同生命阶段保存到不同的介质中

银行 · 2017-06-30
浏览1561

回答者

bryan
bryan0514
软件架构设计师金融研发
擅长领域: 云计算容器容器云

bryan 最近回答过的问题

回答状态

  • 发布时间:2017-06-30
  • 关注会员:2 人
  • 回答浏览:1561
  • X社区推广