整理人:胡旻 版权所有,转载请注明
今天把大数据相关技术搜集了下,整理如下,接下来这段时间就要围绕这些内容开展相应的深入学习
和各位分享
核心技术 Hadoop Distributed File System(HDFS) | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 大容量、错误容忍,海量数据的通用存储 |
官网 | http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html |
同Hadoop的集成 | 完全集成 |
MapReduce | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 大数据处理的一种编程框架 |
官网 | |
同Hadoop的集成 | 完全集成 |
YARN | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 中等 |
作用 | 执行 |
官网 | https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html |
同Hadoop的集成 | 完全集成 |
Spark | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 处理/存储 |
官网 | |
同Hadoop的集成 | API兼容 |
数据库和数据管理
Cassandra | |
许可证 | GPL v2 |
活跃程度 | 高 |
作用 | 键值存储 |
官网 | |
同Hadoop的集成 | API兼容 |
HBase | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | Nosql数据库,支持随机访问 |
官网 | |
同Hadoop的集成 | 完全集成 |
Accumulo | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 名值数据库提供单元格级别的安全 |
官网 | |
同Hadoop的集成 | 完全集成 |
Memcached | |
许可证 | Revised BSD License |
活跃程度 | 中等 |
作用 | 内存缓存 |
官网 | |
同Hadoop的集成 | 还未集成 |
Blur | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 中等 |
作用 | 文档数据库 |
官网 | |
同Hadoop的集成 | 完全集成 |
Solr | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 文档数据库 |
官网 | |
同Hadoop的集成 | API兼容 |
MongoDB | |
许可证 | Free Software Foundation’s GNU AGPL v3.0.;commercial licenses available from MongoDB, Inc. |
活跃程度 | 高 |
作用 | Json格式的面向文档数据库 |
官网 | |
同Hadoop的集成 | API兼容 |
Hive | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 数据交互 |
官网 | |
同Hadoop的集成 | 完全集成 |
Spark SQL (formerly Shark) | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | SQL语句获取Hadoop的数据 |
官网 | |
同Hadoop的集成 | API兼容 |
Giraph | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 图数据库 |
官网 | |
同Hadoop的集成 | 完全集成 |
序列化
Avro | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 中等 |
作用 | 数据序列化 |
官网 | |
同Hadoop的集成 | API兼容 |
JSON | |
许可证 | |
活跃程度 | 中等 |
作用 | 数据描述和传输 |
官网 | |
同Hadoop的集成 | 尚未集成 |
Protocol Buffers (protobuf) | |
许可证 | BSD Simplifid |
活跃程度 | 中等 |
作用 | 数据序列化 |
官网 | |
同Hadoop的集成 | API兼容 |
Parquet | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 中等 |
作用 | 文件格式化 |
官网 | |
同Hadoop的集成 | API兼容 |
管理和监控
Ambari | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 部署、监控和管理Hadoop集群 |
官网 | |
同Hadoop的集成 | 完全集成 |
HCatalog | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 数据抽象层 |
官网 | |
同Hadoop的集成 | 完全集成 |
Nagios | |
许可证 | GNU General Public License |
活跃程度 | 高 |
作用 | IT设施监控 |
官网 | |
同Hadoop的集成 | 尚未集成 |
Puppet | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 节点管理 |
官网 | |
同Hadoop的集成 | API兼容 |
Chef | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 节点管理 |
官网 | |
同Hadoop的集成 | API兼容 |
ZooKeeper | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 中等 |
作用 | 协调 |
官网 | |
同Hadoop的集成 | API兼容 |
Oozie | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 复杂Hadoop作业工作流调度管理 |
官网 | |
同Hadoop的集成 | 完全整合 |
Ganglia | |
许可证 | BSD |
活跃程度 | 中等 |
作用 | 监控 |
官网 | |
同Hadoop的集成 | API兼容 |
分析帮助
Pig | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 高层次的数据流处理语言 |
官网 | |
同Hadoop的集成 | 完全集成 |
Hadoop Streaming | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 中等 |
作用 | 不用Java编写MapReduce代码 |
官网 | |
同Hadoop的集成 | 完全集成 |
Mahout | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 机器学习和数据分析 |
官网 | |
同Hadoop的集成 | API兼容 |
MLLib | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | Spark的机器学习工具 |
官网 | |
同Hadoop的集成 | 完全集成 |
Hadoop Image Processing Interface (HIPI) | |
许可证 | BSD Simplifid |
活跃程度 | 中等 |
作用 | 图片打球 |
官网 | |
同Hadoop的集成 | API兼容 |
SpatialHadoop | |
许可证 | 未知 |
活跃程度 | 高 |
作用 | 空间分析 |
官网 | |
同Hadoop的集成 | API兼容 |
数据传输
Sqoop | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 在HDFS上和关系型数据库间传递数据 |
官网 | |
同Hadoop的集成 | 完全集成 |
Flume | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 中等 |
作用 | 日志数据收集,汇集 |
官网 | |
同Hadoop的集成 | 完全集成 |
DistCp | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 低 |
作用 | 在Hadoop集群间的数据移动 |
官网 | |
同Hadoop的集成 | 完全集成 |
Storm | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 流处理 |
官网 | |
同Hadoop的集成 | API兼容 |
安全,访问控制和审计
Sentry | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 为Hadoop提供一种基本的授权 |
官网 | |
同Hadoop的集成 | API兼容 |
Kerberos | |
许可证 | MIT license |
活跃程度 | 高 |
作用 | 安全授权 |
官网 | |
同Hadoop的集成 | API兼容 |
Knox | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 中等 |
作用 | 安全网关 |
官网 | |
同Hadoop的集成 | 完全集成 |
云计算和虚拟化
Serengeti | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 中等 |
作用 | Hadoop虚拟化 |
官网 | |
同Hadoop的集成 | 尚未集成 |
Docker | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 高 |
作用 | 运行应用的容器,包括Hadoop节点 |
官网 | |
同Hadoop的集成 | 尚未集成 |
Whirr | |
许可证 | Apache License, Version 2.0 |
活跃程度 | 低 |
作用 | 集群部署 |
官网 | |
同Hadoop的集成 | API兼容 |
如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!
赞1
添加新评论0 条评论