复杂的数据如何进行统一视图化管理

在云化平台中有多种不同的数据来源或者数据存储等,如何能够尽力统一这个数据的管理,减少冗余和重复,使消费数据的应用系统能够减少使用复杂度呢?

参与5

2同行回答

tt_45tt_45  技术经理 , eenese
关于数据治理,还是建议统一做数据服务平台。显示全部

关于数据治理,还是建议统一做数据服务平台。

收起
互联网服务 · 2017-07-20
浏览1408
haizdlhaizdl  技术经理 , 大连
其实对于数据的管理,类似金融行业的数据仓库管理。白天无论是任何渠道或者是任何交易系统的交易历史数据,随着时间的增长会有很多很多。有结构化的以及非结构化的。如果这些数据不做处理。首先是浪费在线存储资源,其次这些数据没有得到很好的挖掘和分析,针对风险防控或者是业...显示全部

其实对于数据的管理,类似金融行业的数据仓库管理。
白天无论是任何渠道或者是任何交易系统的交易历史数据,随着时间的增长会有很多很多。有结构化的以及非结构化的。如果这些数据不做处理。首先是浪费在线存储资源,其次这些数据没有得到很好的挖掘和分析,针对风险防控或者是业务促进,都没有发挥其作用。那么金融行业往往会有一套自己的数仓平台,当然现有也有结合大数据来做的,会对各个系统的数据进行加工处理,然后做分析,形成各种业务报表用于风险防控或者是业务挖掘。

从运维的角度来讲,我们会有很多的监控数据、运行数据(数据库、主机、存储、F5、网络等)。传统模式下,基本上是设定一套自己认为合理的阈值来实时监控系统运行状态。但是很少有能做到将所有的这些监控数据统一收集、并按照业务、应用、基础等进行分类、处理、分析然后进行深度分析,从而掌握系统运行状况和业务层面之间的有机联系,并起到评估和预测的作用。这些数据往往都是经过多少周期之后就被丢弃。

这个事情的推进,我觉得切入点应该是独立的数据平台架构,技术切入点应该是大数据和NOSQL。当然这个东西的落地需要一个复杂的推敲过程。

收起
银行 · 2017-07-20
浏览1527

提问者

bryan
bryan0514
软件架构设计师金融研发
擅长领域: 云计算容器容器云

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-05-23
  • 关注会员:3 人
  • 问题浏览:4169
  • 最近回答:2017-07-20
  • X社区推广