Hive数据库、数据表和数据类型

Hive基本操作指南

介绍

Apache Hive是一种数据仓库解决方案，用于处理大规模数据集。它提供了一种使用类似于SQL的语言HiveQL查询和管理存储在Hadoop分布式文件系统（HDFS）中的数据。本文旨在提供Hive的基本操作指南，包括数据表和数据类型的创建、数据的加载和导出、分区表和分桶表的使用，以及Hive查询和函数。

数据库

要使用Hive，需要先创建一个数据库。使用CREATE DATABASE语句可以创建数据库，例如：

CREATE DATABASE my_database;

数据表

数据表是Hive中存储数据的基本单位。可以使用CREATE TABLE语句创建数据表，例如：

CREATE TABLE my_table (
  id INT,
  name STRING,
  age INT
);

数据类型

Hive支持多种数据类型，包括：

• 数值类型：TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE
• 字符串类型：STRING、VARCHAR
• 时间类型：DATE、TIMESTAMP
• 布尔类型：BOOLEAN
• 复杂类型：ARRAY、MAP、STRUCT

数据加载

可以使用LOAD DATA INPATH语句将数据加载到Hive表中，例如：

LOAD DATA INPATH '/path/to/data.txt' INTO TABLE my_table;

数据导出

可以使用EXPORT TABLE语句将数据导出到HDFS，例如：

EXPORT TABLE my_table TO '/path/to/export.txt';

分区表

分区表将数据存储在多个分区中，每个分区都包含特定条件的数据子集。使用PARTITIONED BY子句创建分区表，例如：

CREATE TABLE my_partitioned_table (
  id INT,
  name STRING,
  age INT
) PARTITIONED BY (year INT);

分桶表

分桶表将数据存储在多个分桶中，每个分桶都包含根据哈希函数计算的特定哈希值的数据行。使用CLUSTERED BY和SORTED BY子句创建分桶表，例如：

CREATE TABLE my_bucketed_table (
  id INT,
  name STRING,
  age INT
) CLUSTERED BY (id) SORTED BY (name);

基本查询

可以使用SELECT语句执行基本查询，例如：

SELECT * FROM my_table;

过滤和排序

可以使用WHERE和ORDER BY子句过滤和排序数据，例如：

SELECT * FROM my_table WHERE age > 25 ORDER BY name;

Hive提供了一系列内置函数，包括：

• 字符串函数：LOWER、UPPER、CONCAT
• 数值函数：ABS、ROUND、SQRT
• 时间函数：FROM_UNIXTIME、TO_DATE
• 布尔函数：AND、OR、NOT

例如，以下查询使用LOWER函数将数据表中所有名字转换为小写：

SELECT LOWER(name) FROM my_table;

总结

本文介绍了Hive的基本操作，包括数据库、数据表和数据类型的创建，数据的加载和导出，分区表和分桶表的使用，以及Hive查询和函数。通过理解这些基本操作，您可以使用Hive有效地存储、查询和分析大规模数据集。