【大数据系列】:Apache Hive 分布式数据仓库项目介绍
Apache Hive™数据仓库软件有助于读取,编写和管理驻留在分布式存储中的大型数据集并进行查询
使用SQL语法。
Hive 特性
Hive构建于Apache Hadoop™之上,提供以下功能:
- 通过SQL轻松访问数据的工具,从而实现数据仓库任务,如提取/转换/加载(ETL),报告和数据分析。
- 一种在各种数据格式上强加结构的机制
- 访问直接存储在Apache HDFS™或其他数据存储系统(如Apache HBase™)中的文件
- 通过Apache Tez™,Apache Spark™或MapReduce执行查询
- 使用HPL-SQL的过程语言
- 通过Hive LLAP,Apache YARN和Apache Slider进行亚秒级查询检索。
Hive提供标准的SQL功能,包括许多后来的SQL:2003和SQL:2011分析功能。
Hive的SQL也可以通过用户定义的函数(UDF),用户定义的聚合(UDAF)和用户定义的表来扩展用户代码
函数(UDTF)。
没有唯一的“Hive格式”存储数据。 Hive附带内置连接器,用于逗号和制表符分隔值(CSV/ TSV)文本文件,Apache Parquet™,Apache ORC™和其他格式。
用户可以使用其他格式的连接器扩展Hive。有关详细信息,请参阅开发人员指南中的File Formats和Hive SerDe。
Hive不适用于联机事务处理(OLTP)工作负载。它最适用于传统的数据仓库任务。
Hive旨在最大限度地提高可伸缩性(通过向Hadoop集群动态添加更多计算机来扩展),性能,可扩展性,容错,与输入格式松散耦合。
Hive的组件包括HCatalog和WebHCat。
HCatalog是Hive的一个组件。它是Hadoop的表和存储管理层,使用户可以使用不同的数据
- 处理工具 - 包括Pig和MapReduce - 可以更轻松地在网格上读写数据。
- WebHCat提供的服务可用于运行Hadoop MapReduce(或YARN),Pig,Hive作业或执行Hive元数据使用HTTP(REST样式)接口的操作。
Hive 使用
Hive SQL语言手册:命令,CLI,数据类型,
DDL(创建/删除/更改/截断/显示/描述),统计(分析),索引,存档,
DML(加载/插入/更新/删除/合并,导入/导出,解释计划),
查询(选择),运算符和UDF,锁,授权
文件格式和压缩:RCFile,Avro,ORC,Parquet; 压缩,LZO
程序语言:Hive HPL / SQL
Hive配置属性
HIve 客户端
- Hive客户端(JDBC,ODBC,Thrift)
- HiveServer2:HiveServer2客户端和直线,Hive指标
Hive Web界面
Hive SerDes:Avro SerDe,Parquet SerDe,CSV SerDe,JSON SerDe
Hive Accumulo集成
Hive HBase集成
Druid整合
Hive Transactions,Streaming Data Ingest和Streaming Mutation API
Hive 计数器
Hive 管理
安装Hive
配置Hive
设置Metastore
Hive Schema Tool
设置Hive Web界面
设置Hive服务器(JDBC,ODBC,Thrift,HiveServer2)
Hive复制
Hive on Amazon Web Services
Amazon Elastic MapReduce上的Hive
Hive on Spark
- 43 次浏览