我们企业目前在实时数据查询方面的现状,希望得到建议与方案

1. 目前我们企业系统架构现状:业务系统:报表系统特征:集中式,半集中式问题:当前报表系统很麻烦,门店各种数据在存在店里,到晚上闭店之后上传到总部服务器,然后数据在进入bw、bi系统出报表 ,到第二天早上7点之前出完,一旦出现一点异常,报表就要延迟, 由于公司每天7点boss门需要查看报...显示全部

1. 目前我们企业系统架构现状:

业务系统:报表系统

特征:集中式,半集中式

问题:当前报表系统很麻烦,门店各种数据在存在店里,到晚上闭店之后上传到总部服务器,然后数据在进入bw、bi系统出报表 ,到第二天早上7点之前出完,一旦出现一点异常,报表就要延迟, 由于公司每天7点boss门需要查看报表,所以现在对于我们运维和bw部门压力很大,在有备份或者月结等业务情况下经常半夜起来处理问题。

当前我们解决思路:转向互联网大数据平台,每小时或者2小时抽一次数,然后进入大数据平台处理,出报表,目前大数据平台数据还是不是很准,问题也多多。

2. 该系统的IT特征和对基础架构的要求:

特征:门店分散,对网络,io,存储性能要求高。

基础架构要求:

1、对基础网络要求双线保证,如:专线+3g

2、对总部服务器要求,高性能,大存储等

3.当前系统架构面临的系统瓶颈和问题描述:

瓶颈主要还是性能问题,遇到有月结或者备份等情况,容易影响报表出数时间。

结合我以上的描述,希望能与大家探讨一些解决方案,看看大家是否还有一些比较好的建议以及想法。

收起
参与73

查看其它 5 个回答ibmlinfeng的回答

ibmlinfengibmlinfeng系统架构师IBM

从您描述的情况来看,当前技术问题在于:1)总部服务器在接收各门店上传的数据时,是否能及时处理,这里涉及到数据批量处理进入bw、bi系统;2)一旦数据进入在bw、bi系统后,是否能准时(7点前)提供报表;3)数据一致性要求较高,互联网分布式平台难以满足。

前面两个问题都跟服务器的性能相关,特别是位于总部的服务器的I/O吞吐能力。因此在基础架构的选择上建议选择I/O性能好、处理器性能强的服务器。一般来讲数据在进行分析前会经过一系列的清洗动作(ETL),如果服务器的I/O处理能力不足就会影响到数据清洗、分析的效率。数据查询效率除了跟服务器I/O性能相关之外,对处理器本身的高性能、和对数据的快速获取也紧密相关。而第三个问题,针对数据的一致性,我们知道基于CAP原则,无疑集中式部署会是好的选择。

针对上述问题,建议尝试IBM LinuxONE解决方案。LinuxONE是基于IBM传统大型主机硬件的通用型Linux服务器。LinuxONE独特I/O子系统架构有助于实现I/O的高效处理。LinuxONE不仅仅采用高主频(5.0GHz)的处理器且每个处理器都拥有超大的四级缓存(其中第4级缓存接近4GB)。同时,每一块光纤卡都有不少于2个处理器。因此,LinuxONE在处理I/O相关的负载时具有非常明显的优势,配合IBM或友商的企业级存储能使您业务服务水平再上一个台阶。

硬件生产 · 2016-08-17
浏览2440

回答者

ibmlinfeng
系统架构师IBM
擅长领域: 服务器存储灾备

ibmlinfeng 最近回答过的问题

回答状态

  • 发布时间:2016-08-17
  • 关注会员:9 人
  • 回答浏览:2440
  • X社区推广