根据德勤的估算，非结构化数据在全球携带信息的内容中的占比高达80%-90%。从结构化数据中获取信息是企业数字化转型所必备的技能。而由于访问和处理非结构化数据既昂贵又困难，目前大多数企业对非结构化数据价值的开发还远远不够。IDC预测，到2020年，相比做不到分析结构化数据和...(more)

UliBethke发表的这篇文章，介绍了数据建模到维度建模，以及数据仓库和反规范化一系列知识。比较了MPP和Hadoop的不同，并对如何在大数据和Hadoop平台上进行维度建模，给出了很好的建议和方案。维度建模已死？在回答这个问题之前，让我们回头来看看什么是所谓的维度数据建模。为什么需...(more)

本文要给大家分享的是我们如何去构建一个日志系统、用到了那些技术、为什么用这些技术，同时会讲述这个过程中遇到的问题及优化方法，希望能给你在实践中能够提供一些参考。前言最近在维护一个有关于日志的项目，这个项目是负责收集、处理、存储、查询京东卖家相关操作的日志，我...(more)

前篇：Hbase技术细节笔记（上）四、RegionServer的故障恢复我们知道，RegionServer的相关信息保存在ZK中，在RegionServer启动的时候，会在Zookeeper中创建对应的临时节点。RegionServer通过Socket和Zookeeper建立session会话，RegionServer会周期性地向Zookeeper发送ping消息包，以此说...(more)

使用机器学习的方法可以解决越来越多的实际问题，它在现实世界中的应用越来越广泛，比如智能风控、欺诈检测、个性化推荐、机器翻译、模式识别、智能控制，等等。机器学习分类我们都知道，机器学习可以分为三大类：监督学习（SupervisedLearning）、无监督学习（UnsupervisedLearning）和强...(more)

前言最近在跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase相关技术的分享，由于Hbase涵盖的内容比较多，因此计划分享2期，下面就是针对第一期Hbase技术分享整体而成，第一期的主要内容如...(more)

如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一...(more)

在HDFS中，DataNode将数据块存储到本地文件系统目录中，具体的目录可以通过配置hdfs-site.xml里面的dfs.datanode.data.dir参数。在典型的安装配置中，一般都会配置多个目录，并且把这些目录分别配置到不同的设备上，比如分别配置到不同的HDD（HDD的全称是HardDiskDrive）和SSD（全称Soli...(more)

摘要十档行情指某只股票或者证券在某一时刻全市场的最低的十个卖出价格和最高的十个买入价格，每一个价格称之为一个档位。上海证券交易所市场监察部在进行数据协查和异常分析中需频繁使用个股任意时点的十档行情信息。临时还原档位行情数据的效率不高。因此，本文致力于基于...(more)

1概述2015年以来，随着股市的持续火爆，中国证监会、证券业协会先后发布相关文件，要求对证券公司外部信息系统接入风险加强行业监管和自律。其中要求证券公司应当建立投资者证券、资金账户风险监测模型，动态监测账户交易行为特征、客户交易终端定位信息、账户资金进出等情况，及...(more)