一、项目建设背景随着大数据、云计算、移动互联迅速发展，快速交付与灵活扩展的强烈需求增长，传统竖井式的IT基础架构设施面临着新的挑战。一方面快速增长的互联网业务需要灵活的、可自由伸缩、不限于规格容量的存储的IT软硬件资源提供坚实基础保障，另一方面高效的业务响应同...(more)

1.基础数据类型2.1数值型类型描述TINYINT1个字节（8位）有符号整数，from-128to127SMALLINT2个字节（16位）有符号整数，from-32,768to32,767INT4个字节（32位）有符号整数,from-2,147,483,648to2,147,483,647BIGINT8个字节（64位）有符号整数,from-9,223,372,036,854,775,808to9,223,372,036...(more)

Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑，就是些表的定义等，也就是...(more)

两者分别是什么？ApacheHive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hado...(more)

2.1Hive简介**Hive是建立在Hadoop之上的数据仓库，本身并不存储和处理数据，依赖于HDFS存储数据，依赖MR处理数据。有类SQL语言HiveQL，不完全支持SQL标准。由于Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive并不能够在大规模数据集上实现低延迟...(more)

（1）按页面类型统计pvselectpageType,count(pageType)fromext_trackflowwherestatDate='20140521'groupbypageType;Note：一般SELECT查询会扫描整个表，使用PARTITIONEDBY子句建表，查询就可以利用分区剪枝（inputpruning）的特性Hive当前的实现是，只有分区断言出现在离FROM子句最近的...(more)

（1）打印查询头，需要显示设置：sethive.cli.print.header=true;（2）加"--"，其后的都被认为是注释，但CLI不解析注释。带有注释的文件只能通过这种方式执行：hive-fscript_name（3）-e后跟带引号的hive指令或者查询，-S去掉多余的输出：hive-S-e"select*FROMmytableLIMIT3">/tmp/myquery（4）遍历...(more)

Hive的数据模型介绍如下：（1）Hive数据库类似传统数据库的DataBase，在第三方数据库里实际是一张表。简单示例命令行hive>createdatabasetest_database;（2）内部表Hive的内部表与数据库中的Table在概念上是类似。每一个Table在Hive中都有一个相应的目录存储数据。例如一个表pvs，...(more)

Hive将元数据存储在RDBMS中，一般常用的有MYSQL和DERBY。启动HIVE的元数据库时，需要进入到hive的安装目录启动derby数据库：/home/admin/caona/hive/build/dist/，运行startNetworkServer-h0.0.0.0。连接Derby数据库进行测试：查看/home/admin/caona/hive/build/dist/conf/hive-de...(more)

Hive和数据库的比较如下表：HiveRDBMS查询语言HQLSQL数据存储HDFSRawDeviceorLocalFS数据格式用户定义系统决定数据更新不支持支持索引无有执行MapReduceExecutor执行延迟高低处理数据规模大小可扩展性高低...(more)