华为云耀云服务器L实例-大数据学习-Hive的部署-1

 华为云耀云服务器L实例-大数据学习-Hive的部署-1

产品官网：https://www.huaweicloud.com/product/hecs-light.html

今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，介绍Hive的部署

Hive 是建立在 Hadoop 上的一个数据仓库和查询系统。它提供了类似 SQL 的查询语言（称为 HiveQL）来查询和分析存储在 Hadoop 分布式文件系统（HDFS）中的大规模数据。Hive 的设计目标是使非技术用户能够通过类似于 SQL 的语言来查询和分析大规模数据集，而无需深入了解复杂的编程模型。

以下是 Hive 的一些主要特点和概念：

1. HiveQL语言： Hive 提供了 Hive 查询语言（HiveQL），这是一种类似于 SQL 的语言，允许用户执行查询、过滤和聚合等操作。HiveQL查询会被转化为一系列的 MapReduce 作业，从而在底层利用 Hadoop 进行分布式计算。

2. 元数据存储： Hive 使用元数据存储来存储表模式和统计信息。默认情况下，它使用嵌入式的 Derby 数据库，但也可以配置为使用其他数据库，如 MySQL 或 PostgreSQL。

3. 表和分区： Hive中的数据组织为表，表可以分为分区以提高查询性能。分区允许根据表中的某些列将数据划分为更小的部分，以便更有效地执行查询。

4. UDF（用户定义函数）： Hive 支持用户定义的函数，这允许用户编写自定义的处理逻辑，并将其嵌入到 HiveQL 查询中。

5. 可扩展性： Hive 可以与 Hadoop 生态系统中的其他工具集成，包括 HBase、Spark、Tez 等，以便更灵活地处理不同类型的数据和查询。

6. 批处理： Hive 通常用于大规模批处理，适用于处理大量的静态数据。对于需要实时性能的场景，可能需要考虑其他工具，如 Apache Spark。

Hive 的使用场景主要涉及数据仓库和数据分析，特别是当数据规模很大，而且对实时性能没有过高要求时。通过使用 HiveQL，用户可以利用 SQL 风格的查询语言来分析和挖掘庞大的分布式数据集。

以下是在华为云耀云服务器L实例配置Hive的中文步骤。请确保已经按照前文教程在服务器上配置好Hadoop。在 node1 节点在线安装 MySQL5.7 版本。

### 1. 安装 MySQL 服务器

“`bash

sudo apt update

sudo apt install mysql-server

“`

### 2. 启动 MySQL 服务

“`bash

sudo systemctl start mysql

“`

### 3. 配置 MySQL 安全性

“`bash

sudo mysql_secure_installation

“`

根据提示，设置 MySQL root 用户密码，禁用匿名用户登录，删除测试数据库，并限制 root 用户只能本地登录。

### 4. 登录到 MySQL 服务器

“`bash

mysql -u root -p

“`

输入之前设置的 root 密码，第一次使用，只需直接回车

### 5. 创建新的 MySQL 用户和数据库

“`sql

CREATE DATABASE vhr;

CREATE USER 'root'@'localhost' IDENTIFIED BY 'StrongPassword123';

GRANT ALL PRIVILEGES ON vhr.* TO 'root'@'localhost';

FLUSH PRIVILEGES;

“`

替换 `your_database_name`、`your_username` 和 `your_password` 为你自己的数据库名称、用户名和密码。

### 6. 退出 MySQL

“`sql

exit;

“`

### 7. 配置 MySQL 远程访问

如果需要从远程主机访问 MySQL 服务器，需要修改 MySQL 配置文件。

“`bash

sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf

“`

找到 `bind-address` 行，将其改为0.0.0.0

“`conf

# bind-address = 127.0.0.1

“`

保存并退出。

### 8. 重启 MySQL 服务

“`bash

sudo systemctl restart mysql

“`

### 9. 防火墙配置

如果使用防火墙，确保打开 MySQL 端口（默认为 3306）。

“`bash

sudo ufw allow 3306

“`

### 10. 测试连接

从远程主机使用 MySQL 客户端工具测试连接。

“`bash

mysql -u your_username -h your_server_ip -p

“`

输入密码，确认能够成功连接。

至此，我们已经具备在华为云耀云服务器L实例上部署hive的基础。