这类文档在社区里面特别多，你可以直接搜索。ubuntu14.04上安装openstack的手册权威http://www.talkwithtrend.com/Document/detail/tid/122877OpenStack完整安装手册(CentOS6.2)http://www.talkwithtrend.com/Document/detail/tid/138099centos 安装配置 hadoop 超详细过...

如果hadoop版本是2.2.0，对应的sqoop版本是：sqoop-1.99.3

表要分区啊，就能truncate分区了啊，尽量不要用delete

Spark性能调优之资源分配性能优化王道就是给更多资源！机器更多了，CPU更多了，内存更多了，性能和速度上的提升，是显而易见的。基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后，进行性能调优的时候，首先第一步，我觉得，就是要来调节最优的资源配置；...

关注一下同时补充一些背景，这块我参与的比较深所以有一些观点刚好也借此机会跟同行们讨论一下。首先是BI层由于存在自主分析的需求，所以聚合结果或者临时表这种方式业务上不可行，客户常见的分析维度经过多轮筛选依旧在70+个，且个人认为随着产品更加扁平维度会以标签的形式扩...

建立质量体系主要应集中在数据质量问题和数据质量评估方法的研究，不同的应用场景对数据质量要求应该不相同，步骤通常包括以下：1、收集评估需求。根据临床医生定义、疾病的诊疗指南、相关文献等多个来源的需求，明确用户使用数据的目的和重点关注的数据。2、确定和采集评估数据...

灾备解决的是业务连续性的问题，大数据平台本身提供多副本机制是保障业务的稳定和可靠运行的目前大数据平台基本是都是部署在虚拟机或是容器之上，很少有直接部署在物理服务器+存储架构之上这样虚拟化和容器本身就带来很强的业务连续性的功能，例如虚拟机的热迁移、HA、DRS等功...

实时推荐需要使用实时处理框架结合推荐算法，从而做到对数据的实时处理和推荐。实时处理框架有Storm、Flink、SparkStreaming，组件可以对接Kafka，获取实时流数据，在实时框架内部实现对数据的处理过程。...

elk 常用组件, 上层业务封装还需要求其他组件完成日志分析 elk + redis + mysql 热点数据 , 热点分析等等, 看你的业务是什么模式和 开发人员偏好

SparkStreaming和Strom都属于实时计算框架，有点都是可以做到对数据的实时处理。SparkStreaming是基于Spark Core实现的，所以对数据的处理要形成RDD，暨要形成数据窗口，所以其处理过程可以称之为微批处理，而storm是可以做到实时处理每一条数据的，所以相对来说，实时性比sparkstream...