关于Hive Metastore模式杂谈

关于Hive Metastore模式杂谈

本文为胡旻整理，转载请注明

Hive的元数据服务在关系型数据库中存储了Hive表、分区的元数据。并通过元数据服务API提供客户端访问这些信息。

元数据的部署模式

嵌入模式

对于实验环境我们可以使用如下的模式来部署元数据

这是默认的Hive元数据部署模式，在这个模式中元数据使用的是Derby数据库。数据库和元数据服务以嵌入的方式附着在HiveServer的进程中。这两者会随着HiveServer进程的启动而启动。这种模式需求的配置最少(配置参数最少)。这种模式一次只支持一个活跃用户，所以不适合生产环境使用。

本地模式

在这种模式中，hive的元数据服务以同样的进程附着在HiveServer进程中。但元数据库以单独的进程运行，并且可以在一台独立的主机上。嵌入式的元数据服务通过JDBC和元数据库进行通信。

远程模式

我们强烈推荐大家用这种模式

在这种模式中Hive的元数据服务运行在自己的JVM进程中。HiveServer2, HCatalog 和其它的进程通过Thrift的API 和元数据服务通信(通过hive.metastore.uris属性指定)。元数据服务和元数据库通过JDBC进行通信(通过配置javax.jdo.option.ConnectionURL属性指定)。HiveServer进程、元数据服务、数据库能运行在同一个主机上。但HiveServer最好运行在单独的主机上，以便提供更好的可用性和扩展性。

对比本地模式，远程模式的最大好处是远程模式不需要管理员在元数据服务的数据库中为每一个Hive用户去共享JDBC的登入信息。同时HCatalog需要这种模式的支持。