【大数据处理与分析】数据仓库Hive：05 Hive系统架构

发布时间：2026/10/2 13:56:44来源：尧图网络

【作者主页】Francek Chen【专栏介绍】⌈ ⌈⌈大数据技术原理与应用⌋ ⌋⌋专栏系统介绍大数据的相关知识分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。【GitCode】专栏资源保存在我的GitCode仓库https://gitcode.com/Morse_Chen/BigData_principle_application。文章目录Hive 主要由以下 3 个模块组成其系统架构如图1所示用户接口模块、驱动模块以及元数据存储模块。用户接口模块包括 CLI、Hive 网页接口Hive Web InterfaceHWI、JDBC、ODBC、Thrift Server 等用来实现外部应用对 Hive 的访问。CLI 是 Hive 自带的一个命令行客户端工具但是这里需要注意的是Hive 还提供了另外一个命令行客户端工具 Beeline在 Hive 3.0 以上版本中Beeline 取代了 CLI。HWI 是 Hive 的一个简单网页JDBC、ODBC 和 Thrift Server 可以向用户提供进行编程访问的接口。其中Thrift Server 基于 Thrift 软件框架开发它提供 Hive 的 RPC 通信接口。驱动模块Driver包括编译器、优化器、执行器等所采用的执行引擎可以是 MapReduce、Tez 或 Spark 等。当采用 MapReduce 作为执行引擎时驱动模块负责把 HiveQL 语句转换成一系列 MapReduce 作业所有命令和查询都会进入驱动模块通过该模块对输入进行解析编译对计算过程进行优化然后按照指定的步骤执行。元数据存储模块Metastore是一个独立的关系数据库通常是与 MySQL 数据库连接后创建的一个 MySQL 实例也可以是 Hive 自带的 derby 数据库实例。元数据存储模块中主要保存表模式和其他系统元数据如表的名称、表的列及其属性、表的分区及其属性、表的属性、表中数据所在位置信息等。图1 Hive系统架构欢迎点赞 | 收藏⭐ | 评论✍ | 关注

网站建设高端定制企业官网