面对高并发查询系统该如何进行系统优化和基础架构设计?

1、企业BI数据分析平台,硬件架构构建在Linux服务器加高性能存储,数据库采用Oracle数据库2、BI系统负责企业业务系统数据分析挖掘功能及报表展示功能,业务部门每天都要进行数据查询整理进行销售业绩分析,门店终端人员需要查询历史销售数据以进行销售分析,各种纬度查询需求需要...显示全部

1、企业BI数据分析平台,硬件架构构建在Linux服务器加高性能存储,数据库采用Oracle数据库

2、BI系统负责企业业务系统数据分析挖掘功能及报表展示功能,业务部门每天都要进行数据查询整理进行销售业绩分析,门店终端人员需要查询历史销售数据以进行销售分析,各种纬度查询需求需要系统及时进行处理。

3、目前系统存在数据同步周期较长,每天各个业务系统数据抽取需要浪费大量带宽和系统资源,报表计算周期较长,用户查询反馈较慢用户通过客户端进行查询时如果数据量较大就会出现卡顿情况。

解决思路:针对数据同步周期较长,分析业务系统同步频率、时间和数据量,对于耗费带宽业务尽量使用lanfree方式,避免对业务使用有直接影响,针对部署在一个区域的业务系统数据同步,可构建专用网络采用10G或者40G交换机进行互连,提高实时性,这样投资较小,也可以快速解决。当前问题。分析业务系统本身存在问题,如数据量较大,可建议进行数据归档、优化数据库索引,已提高数据查询速度,针对用户端查询较慢问题可以尝试优化中间层结构,增加中间层节点和负载均衡结构以降低查询消耗时间。

在这里也希望谈一点自己的问题以及思路,目的也是希望大家讨论,建议一些更好的方案以及你们的经验参考。

收起
参与21

查看其它 2 个回答ibmlinfeng的回答

ibmlinfengibmlinfeng系统架构师IBM

认同前面专家的观点,可以考虑集中式部署。至少是数据级的集中,减少数据同步次数和保证数据的一致性。数据集中后,后续的运维成本和带宽的投入可以大大节省。集中后的平台需要面对来自各店面的查询,因此要求平台具有高并发查询能力。

可以考虑使用LinuxONE解决方案,LinuxONE是企业级的Linux服务器,其硬件架构基于IBM大型主机。而主机平台对高并发业务的支持,在国内各大银行已经被验证几十年。

硬件生产 · 2016-08-17
浏览1654
  • 请问你说的数据集集中,是不是把分支数据库同步到一个数据库中?
    2016-08-17

回答者

ibmlinfeng
系统架构师IBM
擅长领域: 服务器存储灾备

ibmlinfeng 最近回答过的问题

回答状态

  • 发布时间:2016-08-17
  • 关注会员:5 人
  • 回答浏览:1654
  • X社区推广