不止是Hadoop
整理人：胡旻 版权所有，转载请注明
今天把大数据相关技术搜集了下，整理如下，接下来这段时间就要围绕这些内容开展相应的深入学习
和各位分享
核心技术| Hadoop Distributed File System(HDFS) | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 大容量、错误容忍，海量数据的通用存储 |
| 官网 | http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html |
| 同Hadoop的集成 | 完全集成 |
| MapReduce | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 大数据处理的一种编程框架 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| YARN | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 中等 |
| 作用 | 执行 |
| 官网 | https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html |
| 同Hadoop的集成 | 完全集成 |
| Spark | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 处理/存储 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
数据库和数据管理
| Cassandra | |
| 许可证 | GPL v2 |
| 活跃程度 | 高 |
| 作用 | 键值存储 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| HBase | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | Nosql数据库，支持随机访问 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| Accumulo | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 名值数据库提供单元格级别的安全 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| Memcached | |
| 许可证 | Revised BSD License |
| 活跃程度 | 中等 |
| 作用 | 内存缓存 |
| 官网 | |
| 同Hadoop的集成 | 还未集成 |
| Blur | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 中等 |
| 作用 | 文档数据库 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| Solr | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 文档数据库 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| MongoDB | |
| 许可证 | Free Software Foundation’s GNU AGPL v3.0.;commercial licenses available from MongoDB, Inc. |
| 活跃程度 | 高 |
| 作用 | Json格式的面向文档数据库 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| Hive | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 数据交互 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| Spark SQL (formerly Shark) | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | SQL语句获取Hadoop的数据 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| Giraph | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 图数据库 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
序列化
| Avro | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 中等 |
| 作用 | 数据序列化 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| JSON | |
| 许可证 | |
| 活跃程度 | 中等 |
| 作用 | 数据描述和传输 |
| 官网 | |
| 同Hadoop的集成 | 尚未集成 |
| Protocol Buffers (protobuf) | |
| 许可证 | BSD Simplifid |
| 活跃程度 | 中等 |
| 作用 | 数据序列化 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| Parquet | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 中等 |
| 作用 | 文件格式化 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
管理和监控
| Ambari | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 部署、监控和管理Hadoop集群 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| HCatalog | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 数据抽象层 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| Nagios | |
| 许可证 | GNU General Public License |
| 活跃程度 | 高 |
| 作用 | IT设施监控 |
| 官网 | |
| 同Hadoop的集成 | 尚未集成 |
| Puppet | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 节点管理 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| Chef | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 节点管理 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| ZooKeeper | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 中等 |
| 作用 | 协调 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| Oozie | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 复杂Hadoop作业工作流调度管理 |
| 官网 | |
| 同Hadoop的集成 | 完全整合 |
| Ganglia | |
| 许可证 | BSD |
| 活跃程度 | 中等 |
| 作用 | 监控 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
分析帮助
| Pig | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 高层次的数据流处理语言 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| Hadoop Streaming | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 中等 |
| 作用 | 不用Java编写MapReduce代码 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| Mahout | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 机器学习和数据分析 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| MLLib | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | Spark的机器学习工具 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| Hadoop Image Processing Interface (HIPI) | |
| 许可证 | BSD Simplifid |
| 活跃程度 | 中等 |
| 作用 | 图片打球 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| SpatialHadoop | |
| 许可证 | 未知 |
| 活跃程度 | 高 |
| 作用 | 空间分析 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
数据传输
| Sqoop | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 在HDFS上和关系型数据库间传递数据 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| Flume | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 中等 |
| 作用 | 日志数据收集，汇集 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| DistCp | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 低 |
| 作用 | 在Hadoop集群间的数据移动 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
| Storm | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 流处理 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
安全，访问控制和审计
| Sentry | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 为Hadoop提供一种基本的授权 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| Kerberos | |
| 许可证 | MIT license |
| 活跃程度 | 高 |
| 作用 | 安全授权 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
| Knox | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 中等 |
| 作用 | 安全网关 |
| 官网 | |
| 同Hadoop的集成 | 完全集成 |
云计算和虚拟化
| Serengeti | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 中等 |
| 作用 | Hadoop虚拟化 |
| 官网 | |
| 同Hadoop的集成 | 尚未集成 |
| Docker | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 高 |
| 作用 | 运行应用的容器，包括Hadoop节点 |
| 官网 | |
| 同Hadoop的集成 | 尚未集成 |
| Whirr | |
| 许可证 | Apache License, Version 2.0 |
| 活跃程度 | 低 |
| 作用 | 集群部署 |
| 官网 | |
| 同Hadoop的集成 | API兼容 |
如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！
赞1作者其他文章
评论 3 · 赞 8
评论 0 · 赞 0
评论 0 · 赞 0
评论 0 · 赞 1
评论 0 · 赞 0
添加新评论0 条评论