数据存储在数据库中，为了加快业务访问的速度，我们将数据库中的一些数据放在缓存中，那么问题来了，如何确保db和缓存中数据的一致性呢？我们列出了5种方法，大家都了解一下，然后根据业务自己选择。方案1获取缓存逻辑使用过定时器，定时刷新redis中的缓存。db更新数据逻辑更新数据不用...(more)

1 机器学习的发展和现状2017年，谷歌通过深度学习训练的Alphago，战胜了排名世界第一的世界围棋冠军柯洁而名声大噪。这也让人们感到机器学习和人工智能的强大。时至今日，无论是国外巨头谷歌、亚马逊和Facebook还是国内互联网领军者“BAT”，都在大力的研究人工智能，将人工智能...(more)

一、银行大数据平台建设背景及目标我们进行大数据平台建设有几个方面的背景。一是我们在信息化建设和数据分析的基础比较好；二是虽然在信息化建设过程中建设了比较完成的BI应用，但随着业务不断发展，这些解决方案已不能完全满足业务对于数据分析的需求；三是大数据技术的快速发...(more)

数据采集是进行大数据分析的前提也是必要条件，在整个流程中占据重要地位。本文将介绍大数据三种采集形式：系统日志采集法、网络数据采集法以及其他数据采集法。（一）系统日志采集法系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通...(more)

开发大数据应用，不仅需要能支撑海量数据的分布式数据库，能高效利用多核多节点的分布式计算框架，更需要一门能与分布式数据库和分布式计算有机融合、高性能易扩展、表达能力强、满足快速开发和建模需要的编程语言。DolphinDB从流行的Python和SQL语言汲取了灵感，设计了大数据处...(more)

本人维护的Spark主要运行在三个Hadoop集群上，此外还有其他一些小集群或者隐私集群。这些机器加起来有三万台左右。目前运维的Spark主要有Spark2.3和Spark1.6两个版本。用户在使用的过程中难免会发生各种各样的问题，为了对经验进行沉淀，也为了给Spark用户提供一些借鉴，这里将...(more)

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架...(more)

作者：汪照辉王作敬汪照辉个人页面--我们说数据是企业的核心资产，也说过数据的价值在于使用它。但一个企业数据有千千万万，数据来源有万万千千。哪些数据是关键数据，哪些数据是无关紧要，有了数据怎么使用，怎么发挥其价值，是企业在金融科技发展迅猛的今天需要认真考虑的问题。数字...(more)

1项目概述1.1项目背景随着时代的不断进步，科技的迅速发展，当前人们的生活已经发生了巨大的改变，越来越多的科学技术成果出现在人们的生活当中，给人们的生活、学习、还有工作都带来了极大的便捷。现在人们的生活模式已经发生了翻天覆地的改变，为了不断的适应社会的具体状况，人们...(more)

大数据时代已经来临，教育行业作为社会大众共享的无形财富，其开放己成为数据整合和共享应用的前提条件。“十三五"期间有望形成和谐健康的行业生态。基础设施提供商、大数据服务商、数据挖掘与分析提供商、数据应用服务提供商、数据安全提供商、教育行政部门以及教育大数据...(more)