一、银行大数据平台建设背景及目标我们进行大数据平台建设有几个方面的背景。一是我们在信息化建设和数据分析的基础比较好；二是虽然在信息化建设过程中建设了比较完成的BI应用，但随着业务不断发展，这些解决方案已不能完全满足业务对于数据分析的需求；三是大数据技术的快速发...(more)

随机森林是常用的机器学习算法，既可以用于分类问题，也可用于回归问题。本文对scikit-learn、SparkMLlib、DolphinDB、xgboost四个平台的随机森林算法实现进行对比测试。评价指标包括内存占用、运行速度和分类准确性。本次测试使用模拟生成的数据作为输入进行二分类训练，并用...(more)

摘要：随着数字化转型的深入，海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点，但面对海量数据，其缺点也越来越明显：如扩展性差、成本高等。为了克服上述缺点，满足海量数据的存储需求，市场上出现了分布式存储技术。分布式存储系统，通常包括主控服...(more)

Hadoop概述从《Hadoop前世今生》中我们知道，Hadoop是从Nutch搜索引擎项目里拆分出来了两个通用性的模块：HDFS和MapReduce，他们主要提供的功能分别是分布式存储和分布式计算。HadoopCommon但是问题来了，分布式存储和分布式计算都需要网络通信，所以Hadoop第三个模块：HadoopCommon...(more)

pn0wcabeuv80HDFS引入HDFS是分布式文件系统，首先我们来看一下什么是文件系统文件系统文件系统：看得见的文件管理：拿windows系统举例，咱们可以看到有各种盘符，盘符下面有各种目录以及文件。看不见的块（block）管理：文件实际存放的位置是在磁盘中的块内。单机文件系统windowsFAT16、...(more)

Hadoop的前世今生说到hadoop前世今生的话，不得不说google这家公司。大家都知道google这家公司一开始是做搜索引擎起家的，而这个搜索引擎是个什么东西呢？搜索引擎其实就做了两件事情。一是网络爬虫。通过网络爬虫，爬取各个网页的数据，然后将爬去的数据找个地方存放。二是索引服...(more)

前言：物联网(IoT)的蓬勃发展推动了结构化/非结构化数据的空前增长，不仅给企业带来了发掘新客户、创造新收入来源的巨大机会。也给企业传统存储架构带来了很大的挑战，具体表现：1）弹性扩展能力差，扩容成本高2）运维管理复杂，对运维人员技术能力要求高3）多种异构存储之间易形成资源孤...(more)

近年来，随着医疗卫生信息化的迅速发展，大数据在医药研发、疾病管理、公共卫生和健康管理等方面逐渐突显出优势。美、英等发达国家已先后投入巨资开展区域医疗健康信息化建设，希望借助更多、更新的信息化技术，使得医疗健康信息化系统能够最大限度的辅助公民医疗质量和安全，以提...(more)

近年来，随着医疗卫生信息化的迅速发展，大数据在医药研发、疾病管理、公共卫生和健康管理等方面逐渐突显出优势。美、英等发达国家已先后投入巨资开展区域医疗健康信息化建设，希望借助更多、更新的信息化技术，使得医疗健康信息化系统能够最大限度的辅助公民医疗质量和安全，以提...(more)

本人维护的Spark主要运行在三个Hadoop集群上，此外还有其他一些小集群或者隐私集群。这些机器加起来有三万台左右。目前运维的Spark主要有Spark2.3和Spark1.6两个版本。用户在使用的过程中难免会发生各种各样的问题，为了对经验进行沉淀，也为了给Spark用户提供一些借鉴，这里将...(more)