如果面试的时候碰到这样一个面试题：ES在数据量很大的情况下(数十亿级别)如何提高查询效率?这个问题说白了，就是看你有没有实际用过ES，因为啥?其实ES性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下5~10s，坑爹了...(more)

1方案概述1.1方案介绍xx银行现有的数据仓库存储运行了3年，随着数据的大幅增长，该设备无论在性能还是容量上均日益无法满足未来业务的支撑。根据规划后续还有数据仓库容量增长较大，届时所需要的存储空间有效容量将达到80TB。现有的传统机械式磁盘阵列已无法满足上述系统对其I...(more)

数据存储的四种常见方式常见的数据存储方式有四种：在线存储、近线存储、脱机存储和站外保护。不同的存储方式提供不同的获取便利性、安全性和成本开销等级。在大多数场景中，四种存储方式被混合使用以达到最有效的存储策略。来看一看这四种数据存储方式各自的含义：在线存储(O...(more)

基础理论：数据仓库DW的辩识数据仓库的认识误区提起数据仓库，现在对很多人来说并不陌生，但大多数人并未系统地读过数据仓库的经典论著，更没有经历过成熟的数据仓库项目，因此无论他们仅仅限于探讨有关数据仓库的话题，还是尝试数据仓库的项目，往往不解数据仓库的真谛，尝试的项目很可...(more)

全球数据驱动的决策需要跨云平台、跨地区、跨大陆、跨云计算提供商的统一数据管理平台。如果说多云是当今数据仓库采用的战略，那么跨云就是它对未来的愿景。这种预测来自于一种普遍的需求，即在不同云计算提供商的不同区域之间，甚至在不同的云平台之间无缝地移动和交换数据。...(more)

引言：数字转型对不同的人意味着不同的东西，这取决于你的行业和你的业务性质。然而，所有的解释都有一个共同的主线，数据和数据治理的重要性。近年来，大家都在谈论数据逐步或已经成为企业的核心资产，数据驱动企业业务开展已经在不同的行业和企业中发挥着巨大的作用，那么作为企业的...(more)

数据存储在数据库中，为了加快业务访问的速度，我们将数据库中的一些数据放在缓存中，那么问题来了，如何确保db和缓存中数据的一致性呢？我们列出了5种方法，大家都了解一下，然后根据业务自己选择。方案1获取缓存逻辑使用过定时器，定时刷新redis中的缓存。db更新数据逻辑更新数据不用...(more)

随着大数据技术的发展，数据量急剧增长，数据的分析挖掘工作也变得越来越重要。在这背后，数据仓库的建设尤为重要，通过数仓，可以为数据分析人员提供全面的数据和计算能力。数据仓库包括原子级别的数据和轻度汇总的数据，是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化...(more)

实时数据仓库与传统数据仓库的融合：实时数据仓库与历史数据仓库是否考虑统一建模还是分开建模?实时数据仓库与传统数据仓库的融合：1)实时数据仓库与历史数据仓库是否考虑统一建模还是分开建模?2)实时数据仓库的实时数据与历史数据仓库的历史数据是统一存储还是分开存储?（问...(more)

数据平台的建设可以当做一个产品来设计。从广义上来讲，所有以数据驱动为核心的都可以称为数据产品（如数据报表平台，DMP，BI平台），从狭义上来讲，就是公司内部的数据平台。今天我们要讨论的，主要是在公司内部搭建数据平台。公司的内部数据平台，主要是给各业务提供数据处理、分析、展...(more)