一、项目建设背景随着大数据、云计算、移动互联迅速发展，快速交付与灵活扩展的强烈需求增长，传统竖井式的IT基础架构设施面临着新的挑战。一方面快速增长的互联网业务需要灵活的、可自由伸缩、不限于规格容量的存储的IT软硬件资源提供坚实基础保障，另一方面高效的业务响应同...(more)

Hive将元数据存储在RDBMS中，一般常用的有MYSQL和DERBY。启动HIVE的元数据库时，需要进入到hive的安装目录启动derby数据库：/home/admin/caona/hive/build/dist/，运行startNetworkServer-h0.0.0.0。连接Derby数据库进行测试：查看/home/admin/caona/hive/build/dist/conf/hive-de...(more)

Hive和数据库的比较如下表：HiveRDBMS查询语言HQLSQL数据存储HDFSRawDeviceorLocalFS数据格式用户定义系统决定数据更新不支持支持索引无有执行MapReduceExecutor执行延迟高低处理数据规模大小可扩展性高低...(more)

Hive的数据模型介绍如下：（1）Hive数据库类似传统数据库的DataBase，在第三方数据库里实际是一张表。简单示例命令行hive>createdatabasetest_database;（2）内部表Hive的内部表与数据库中的Table在概念上是类似。每一个Table在Hive中都有一个相应的目录存储数据。例如一个表pvs，...(more)

（1）打印查询头，需要显示设置：sethive.cli.print.header=true;（2）加"--"，其后的都被认为是注释，但CLI不解析注释。带有注释的文件只能通过这种方式执行：hive-fscript_name（3）-e后跟带引号的hive指令或者查询，-S去掉多余的输出：hive-S-e"select*FROMmytableLIMIT3">/tmp/myquery（4）遍历...(more)

（1）重命名列，更改位置，类型和注释ALTERTABLElog_messagesCHANGECOLUMNhmshours_minutes_secondsINTCOMMENT'Thehours,minutes,andsecondspartofthetimestamp'AFTERseverity;更改名称:newcolumnoldcolumntypecomment不是必须的，你可以添加注释AFTER用于更改字段位置仅修改了元...(more)

（1）查看某个表所有分区SHOWPARTITIONSext_trackflow查询具体某个分区SHOWPARTITIONSext_trackflowPARTITION(statDate='20140529');（2）查看格式化的完整表结构descformattedext_trackflow;DESCRIBEEXTENDEDext_trackflow;（3）删除分区：分区的元数据和数据将被一并删除，但是对于扩...(more)

（1）按页面类型统计pvselectpageType,count(pageType)fromext_trackflowwherestatDate='20140521'groupbypageType;Note：一般SELECT查询会扫描整个表，使用PARTITIONEDBY子句建表，查询就可以利用分区剪枝（inputpruning）的特性Hive当前的实现是，只有分区断言出现在离FROM子句最近的...(more)

Hive如何配置与Hadoop关联，进行创建表，加载数据测试下载解压tar-zxvfapache-hive-0.13.1-bin.tar.gz-C/opt/modules/修改配置文件mvhive-env.sh.templatehive-env.sh修改hive-env.sh文件HADOOP_HOME=/opt/modules/hadoop-2.5.0exportHIVE_CONF_DIR=/opt/modules/hive-0.13....(more)

Hive学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。(1)Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制;(2)Hive用于解决海量...(more)