我们企业目前在实时数据查询方面的现状，希望得到建议与方案
1. 目前我们企业系统架构现状：
业务系统：报表系统
特征：集中式，半集中式
问题：当前报表系统很麻烦，门店各种数据在存在店里，到晚上闭店之后上传到总部服务器，然后数据在进入bw、bi系统出报表 ，到第二天早上7点之前出完，一旦出现一点异常，报表就要延迟， 由于公司每天7点boss门需要查看报表，所以现在对于我们运维和bw部门压力很大，在有备份或者月结等业务情况下经常半夜起来处理问题。
当前我们解决思路：转向互联网大数据平台，每小时或者2小时抽一次数，然后进入大数据平台处理，出报表，目前大数据平台数据还是不是很准，问题也多多。
2. 该系统的IT特征和对基础架构的要求：
特征：门店分散，对网络，io，存储性能要求高。
基础架构要求：
1、对基础网络要求双线保证，如：专线+3g
2、对总部服务器要求，高性能，大存储等
3.当前系统架构面临的系统瓶颈和问题描述：
瓶颈主要还是性能问题，遇到有月结或者备份等情况，容易影响报表出数时间。
结合我以上的描述，希望能与大家探讨一些解决方案，看看大家是否还有一些比较好的建议以及想法。
6同行回答
从您描述的情况来看，当前技术问题在于：1）总部服务器在接收各门店上传的数据时，是否能及时处理，这里涉及到数据批量处理进入bw、bi系统；2）一旦数据进入在bw、bi系统后，是否能准时（7点前）提供报表；3）数据一致性要求较高，互联网分布式平台难以满足。
前面两个问题都跟服务器的性能相关，特别是位于总部的服务器的I/O吞吐能力。因此在基础架构的选择上建议选择I/O性能好、处理器性能强的服务器。一般来讲数据在进行分析前会经过一系列的清洗动作(ETL)，如果服务器的I/O处理能力不足就会影响到数据清洗、分析的效率。数据查询效率除了跟服务器I/O性能相关之外，对处理器本身的高性能、和对数据的快速获取也紧密相关。而第三个问题，针对数据的一致性，我们知道基于CAP原则，无疑集中式部署会是好的选择。
针对上述问题，建议尝试IBM LinuxONE解决方案。LinuxONE是基于IBM传统大型主机硬件的通用型Linux服务器。LinuxONE独特I/O子系统架构有助于实现I/O的高效处理。LinuxONE不仅仅采用高主频（5.0GHz)的处理器且每个处理器都拥有超大的四级缓存（其中第4级缓存接近4GB）。同时，每一块光纤卡都有不少于2个处理器。因此，LinuxONE在处理I/O相关的负载时具有非常明显的优势，配合IBM或友商的企业级存储能使您业务服务水平再上一个台阶。
收起既然是专线+3g的双线网络，还是考虑数据实时上传，减少上传数据带来的带宽和时间成本。或者至少做到准实时的定时定点上传。
收起- 话是这样说，但是店铺分散，要做到准实时都很难
- 你们有什么好方案？
- 可以从应用端考虑改造业务系统，做一些定时的批处理进行数据同步。
- 数据直接写会总部这边，类似SaaS解决方案，不过这就和基础架构没关系了，呵呵
- 这个不现实吧，要考虑很多问题，如果直接写到总部，那这根线断了，是不是意味着歇业了呢？运营商专线控制不了啊
- 都有，但是太不可能太频繁啊
- 目前你们是什么频率呢？几个小时同步一次应该可以啊。
- 其实我们如果考虑把业务放在云里，就要更多地考虑链路问题，如果放在本地，就要考虑架构的问题，这个确实比较纠结
- 零售行业跟你想的可能不一样，放云上也不现实，比如一家便利店，pos机直连云吗？网断了怎么办？就不交易了，歇业吗？
- 嗯嗯，几小时，但是这离实时就远了啊
- 门店专线+3G其实已经够了，关键看总部接入是否有冗余，很多时候是卡在总头VPN接口，这方面冗余性要考虑好
- 其实我的想法很简单，就是想办法减少晚上的同步时间，给dw、bi库的数据处理尽可能提供更多的时间窗口。那比如1个小时同步一次呢，对系统的压力是否会增大很多？
- 相对来说肯定有所增大，我们正在尝试1小时一次，其实我们的目标是秒及
- 目前是大店双专线+pos 3g，小店vpn+3g
- 把交易数据分时生成数据文件，用FTP等数据同步工具写到总部文件服务器，再导入到数据库里
- 秒级的目标，那这种方式肯定不行。考虑应用使用消息队列吧。
- 目前我们在测试卡夫卡
- 这种方法是多年前用的
- 好奢侈...
- 老方法也许是最有效的
ERP是SAP的？
收起- 嗯
- SAP HANA解决方案可以提升报表性能，但是对于现有的系统版本有要求，可能会对业务有所影响，不过可以联系他们测试一下效果
- 我们用大数据了，不打算hana了
- 具体是啥技术呢？
- 就是大数据啊