humidy

传统的数据架构是以数据仓库为中心，形成数据采集->数据整合->数据展现->数据挖掘。大数据时代以Hadoop为代表的大数据技术很好的将数据仓库进行了保值扩容，基于其上形成了一个新的生态圈。随着实时计算和离线...

我们做的项目是Logstash代理收集数据，然后数据进入Redis列表，然后进入Storm然后用Elastic Search进行索引，最后用Kubana进行展现。其中还用到Cassandra进行索引的存储...

对于数据的生命周期，我们一般会将数据分为冷数据，温数据和热数据。对于不同的数据我们采用的处理方式不同。冷数据我们一般会归档压缩存储，温数据我们会使用读写IO低的便宜存储(SAS或SATA)存储，热数据我们会使用SSD或高端...

对于事实数据分析，我们通常会采用流处理技术，对于流处理技术，实时采集方面(如实时生成的日志)我们可以用Flume，对于RDBMS我们可以使用ogg和数据库的触发器以及增量更新，采集玩的数据可以进入kafka的消息队列，来进行消息的分...

实时的销售品发展量，用户的实时位置信息，用户的实时DPI访问信息等。

作为一个Hadoop管理员或架构师，集群实现的实战部分从决定需要使用哪一种硬件，以及需要的硬件数量开始。但是在这之前有一些必要的问题需要得到解答。这些问题中有集群设计相关的，像集群需要存储多少的数据，数据的增长率是...

Dubbo是Alibaba开源的分布式服务框架，它最大的特点是按照分层的方式来架构，使用这种方式可以使各个层之间解耦合（或者最大限度地松耦合）。从服务模型的角度来看，Dubbo采用的是一种非常简单的模型，要么是提供方提供服务，要么...