数据存储在数据库中，为了加快业务访问的速度，我们将数据库中的一些数据放在缓存中，那么问题来了，如何确保db和缓存中数据的一致性呢？我们列出了5种方法，大家都了解一下，然后根据业务自己选择。方案1获取缓存逻辑使用过定时器，定时刷新redis中的缓存。db更新数据逻辑更新数据不用...(more)

如果面试的时候碰到这样一个面试题：ES在数据量很大的情况下(数十亿级别)如何提高查询效率?这个问题说白了，就是看你有没有实际用过ES，因为啥?其实ES性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下5~10s，坑爹了...(more)

作者：汪照辉王作敬汪照辉个人页面--我们说数据是企业的核心资产，也说过数据的价值在于使用它。但一个企业数据有千千万万，数据来源有万万千千。哪些数据是关键数据，哪些数据是无关紧要，有了数据怎么使用，怎么发挥其价值，是企业在金融科技发展迅猛的今天需要认真考虑的问题。数字...(more)

引言：数字转型对不同的人意味着不同的东西，这取决于你的行业和你的业务性质。然而，所有的解释都有一个共同的主线，数据和数据治理的重要性。近年来，大家都在谈论数据逐步或已经成为企业的核心资产，数据驱动企业业务开展已经在不同的行业和企业中发挥着巨大的作用，那么作为企业的...(more)

基础理论：数据仓库DW的辩识数据仓库的认识误区提起数据仓库，现在对很多人来说并不陌生，但大多数人并未系统地读过数据仓库的经典论著，更没有经历过成熟的数据仓库项目，因此无论他们仅仅限于探讨有关数据仓库的话题，还是尝试数据仓库的项目，往往不解数据仓库的真谛，尝试的项目很可...(more)

数据存储的四种常见方式常见的数据存储方式有四种：在线存储、近线存储、脱机存储和站外保护。不同的存储方式提供不同的获取便利性、安全性和成本开销等级。在大多数场景中，四种存储方式被混合使用以达到最有效的存储策略。来看一看这四种数据存储方式各自的含义：在线存储(O...(more)

1方案概述1.1方案介绍xx银行现有的数据仓库存储运行了3年，随着数据的大幅增长，该设备无论在性能还是容量上均日益无法满足未来业务的支撑。根据规划后续还有数据仓库容量增长较大，届时所需要的存储空间有效容量将达到80TB。现有的传统机械式磁盘阵列已无法满足上述系统对其I...(more)

随着大数据应用的爆发性增长，大数据应用已经衍生出了自己独特的架构，而且也直接推动了数据存储、网络及计算技术的快速发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的，就这个例子来说，我们很明显的看到大数据分析应用需求正在影响着...(more)

随着大数据技术的发展，数据量急剧增长，数据的分析挖掘工作也变得越来越重要。在这背后，数据仓库的建设尤为重要，通过数仓，可以为数据分析人员提供全面的数据和计算能力。数据仓库包括原子级别的数据和轻度汇总的数据，是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化...(more)

UliBethke发表的这篇文章，介绍了数据建模到维度建模，以及数据仓库和反规范化一系列知识。比较了MPP和Hadoop的不同，并对如何在大数据和Hadoop平台上进行维度建模，给出了很好的建议和方案。维度建模已死？在回答这个问题之前，让我们回头来看看什么是所谓的维度数据建模。为什么需...(more)