数据分区规划与应用的考虑

就我们目前的建设使用情况看,虽然按照人社部的数据分区域管理进行了区域划分,但在应用层面做的还是非常低,比如目前我们只按照区域的功能做了数据的备份(数据灾备),交换等工作。如生产区到交换区的数据同步;产生区到同城的数据灾备;交换区到公共服务区的同步;交换区到省信息的数据灾备等,而对于决策分析区域并没有做好充分的考虑和部署,随着各业务应用的快速发展,这部分业务需求很快会到来,如何用好这些历史数据的应用就会得到快速发展(如数据分析,统计等等)。

参与19

9同行回答

pweypwey系统架构师中体骏彩
建议还是从应用层考虑数据的分区处理,梳理好整体数据分布,我们目前的数据决策系统也是采用的数据大集中,所有数据进行了大集中,通过生产系统定期数据导入实现;如何用好数据,这点我认为数据主要是用来做服务的,为企业带来价值,从我们的业务角度看,分析用户的行为习惯及访问情况,有助...显示全部
建议还是从应用层考虑数据的分区处理,梳理好整体数据分布,我们目前的数据决策系统也是采用的数据大集中,所有数据进行了大集中,通过生产系统定期数据导入实现;如何用好数据,这点我认为数据主要是用来做服务的,为企业带来价值,从我们的业务角度看,分析用户的行为习惯及访问情况,有助于我们业务的开展,所以我们的历史数据会根据数据进行分类处理,和这类业务有关联的,会优先保存,不知道是否对你有帮助。
至于数据同步方式,从性能影响角度,如果不存在双活架构,历史数据完全可以异步管理,比如偏差一天的数据,因为对于海量数据而言,一天的数据对整体用户的行为分析影响不大。收起
政府机关 · 2015-08-05
浏览1751
pweypwey系统架构师中体骏彩
@lengxf2008 我们目前也有很多服务商支持,不过我作为架构负责人,还是要有一些自己的把控,如果过分依赖厂商,很多都会推荐硬件方案实现,成本控制很难,数据同步一般都是存储级的同步或者异步实现,但硬件一般都缺乏横向扩展能力,SVC及Vplex除外(但都很贵)。裸光纤的连接成本也很高,如果...显示全部
@lengxf2008 我们目前也有很多服务商支持,不过我作为架构负责人,还是要有一些自己的把控,如果过分依赖厂商,很多都会推荐硬件方案实现,成本控制很难,数据同步一般都是存储级的同步或者异步实现,但硬件一般都缺乏横向扩展能力,SVC及Vplex除外(但都很贵)。裸光纤的连接成本也很高,如果实时性要求不高,最好还是走IP网络,但数据传输也要考虑数据量的影响,需要平衡。收起
政府机关 · 2015-08-05
浏览1788
houaosanhouaosan系统工程师邮储银行
这个是体制的问题,不是所有的甲方都去走技术路线去上升自己的职场高度的,除非领导是搞技术的给开通技术上升空间渠道。个人观点。最快的解决建议就是招安,把项目实施的技术高的人招安了:lol...显示全部
这个是体制的问题,不是所有的甲方都去走技术路线去上升自己的职场高度的,除非领导是搞技术的给开通技术上升空间渠道。个人观点。
最快的解决建议就是招安,把项目实施的技术高的人招安了:lol收起
银行 · 2015-08-05
浏览1706
lengxf2008lengxf2008其它铁岭市社保信息中心
我们由于新系统刚上线不到2年,虽然也已经有一些基础的数据统计分析,但应用层次还是太低,一是数据量目前还不够多,二是还应用需求在一些业务部门还不是太清楚,所以发展较慢。但未来几年一定会有较大较快的发展,需要现在先做好准备。谢谢大家,还请多多提出富贵建议。...显示全部
我们由于新系统刚上线不到2年,虽然也已经有一些基础的数据统计分析,但应用层次还是太低,一是数据量目前还不够多,二是还应用需求在一些业务部门还不是太清楚,所以发展较慢。但未来几年一定会有较大较快的发展,需要现在先做好准备。
谢谢大家,还请多多提出富贵建议。收起
政府机关 · 2015-08-05
浏览1718
houaosanhouaosan系统工程师邮储银行
决策数据可能并不需要备份或者要求时刻保持最新的数据。但是可能会要生产商所有的数据都归集到决策存储上,而且有可能还要有性能保障。存储前面还要有决策分析平台软件。所以可以从灾备环境取数据到决策环境。...显示全部
决策数据可能并不需要备份或者要求时刻保持最新的数据。但是可能会要生产商所有的数据都归集到决策存储上,而且有可能还要有性能保障。存储前面还要有决策分析平台软件。所以可以从灾备环境取数据到决策环境。收起
银行 · 2015-08-05
浏览1716
footfansfootfansIT顾问吴江农商行
对于用到决策方面的数据,是需要进行数据加工处理后使用的数据。这些需要考虑类似数据仓库、数据治理等后期处理的业务,针对不同平台进行开发测试,来满足你司的对口业务的需求显示全部
对于用到决策方面的数据,是需要进行数据加工处理后使用的数据。这些需要考虑类似数据仓库、数据治理等后期处理的业务,针对不同平台进行开发测试,来满足你司的对口业务的需求收起
银行 · 2015-08-05
浏览1720
lengxf2008lengxf2008其它铁岭市社保信息中心
@houaosan 非常感谢您的回答,确实是一些体制问题在制约技术的考虑,至于后面的观点,目前还没有这方面的能力。显示全部
@houaosan 非常感谢您的回答,确实是一些体制问题在制约技术的考虑,至于后面的观点,目前还没有这方面的能力。收起
政府机关 · 2015-08-05
浏览1727
lengxf2008lengxf2008其它铁岭市社保信息中心
@pwey 非常感谢您给出的中肯建议,而且我也很有同感,不只 在技术方面需要平衡,在其他工作方面也需要平衡好。显示全部
@pwey 非常感谢您给出的中肯建议,而且我也很有同感,不只 在技术方面需要平衡,在其他工作方面也需要平衡好。收起
政府机关 · 2015-08-05
浏览1702
lengxf2008lengxf2008其它铁岭市社保信息中心
其实我们也早有一些问题发现,受制于目前一些工作环境,比如我们自身人员,能力不够等情况,只能过度依赖一些服务商,所以这些方面的工作如何去做,各位专家能否给出一些富贵建议?...显示全部
其实我们也早有一些问题发现,受制于目前一些工作环境,比如我们自身人员,能力不够等情况,只能过度依赖一些服务商,所以这些方面的工作如何去做,各位专家能否给出一些富贵建议?收起
政府机关 · 2015-08-05
浏览1698

提问者

lengxf2008
其它铁岭市社保信息中心
擅长领域: 服务器数据大集中安全

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-08-05
  • 关注会员:2 人
  • 问题浏览:6030
  • 最近回答:2015-08-05
  • X社区推广