摘要：本文详细解析了使用 Apache Sqoop 将数据从 MySQL 导入到 Apache Hive 的完整流程。内容涵盖核心原理、必选与可选参数详解、两种主流导入方法（直接导入与导入 HDFS）的典型命令示例，以及关键的注意事项。旨在帮助读者快速掌握 Sqoop 数据迁移的核心技能。
一、核心原理
Sqoop 将数据从关系型数据库（如 MySQL）导入到 Hadoop 生态的 Hive 数据库，其核心过程分为两步：
- 数据抽取与传输：Sqoop 通过 JDBC 连接 MySQL，将数据抽取并传输到 Hadoop 分布式文件系统（HDFS）上。
- 数据加载：将 HDFS 上的数据文件加载到 Hive 的数据仓库中，完成数据迁移。
理解这一“两步走”的架构，是掌握后续参数和命令的基础。
二、参数详解
Sqoop 命令的参数分为必选和可选两大类，正确配置是成功导入的关键。
2.1 必选参数
以下参数是执行导入操作时必须指定的：
--connect <jdbc-url>：指定 MySQL 数据库的 JDBC 连接信息。--username <name>：MySQL 数据库的登录账户。--password <pwd>：MySQL 数据库的登录密码。--table <table-name>：指定要导出的源关系数据库表名。--hive-import：启用此标志，表示目标是将数据导入 Hive。
2.2 常用可选参数
以下参数可根据具体场景灵活选用，以优化导入过程：
- 输出格式控制
--as-textfile：将数据导入为普通文本文件（默认）。--as-sequencefile：将数据导入为 SequenceFile 格式。--as-avrodatafile：将数据导入为 Avro 数据文件。
- 数据筛选与映射
--columns <col1,col2,...>：指定要导入的字段列表。--where <condition>：指定导入数据的查询条件，例如--where 'id < 100'。--query <select-statement>：通过自定义 SQL 查询语句导入数据，需与--target-dir配合使用。
- Hive 相关
--hive-table <table-name>：目标 Hive 表名。--hive-database <db-name>：目标 Hive 数据库名。--hive-overwrite：导入前清空目标 Hive 表中的所有数据。--hive-partition-key <key>：指定 Hive 表的分区字段（类型默认为 string）。--hive-partition-value <value>：与--hive-partition-key配合，指定导入的分区值。
- 性能与存储
-m或--num-mappers <n>：指定并行执行的 Map 任务数，默认为 4。--split-by <column-name>：指定用于数据分片的字段，以实现并行导入。--target-dir <hdfs-path>：指定数据导入 HDFS 时的目标目录。--delete-target-dir：如果目标目录已存在，则先删除。
- 数据格式处理
--fields-terminated-by <char>：指定字段分隔符，如','。--lines-terminated-by <char>：指定行分隔符，如'\n'。--null-string <string>：指定字符串类型为 NULL 时的替代字符。--null-non-string <string>：指定非字符串类型为 NULL 时的替代字符。--hive-drop-import-delims：导入到 Hive 时，删除数据中的\n、\r、\01等特殊字符。
三、实战方法
根据 Sqoop 的工作原理，主要有两种将 MySQL 数据导入 Hive 的方法。
3.1 方法一：直接导入
此方法通过--hive-import参数，将 MySQL 数据直接导入到指定的 Hive 表中，Sqoop 会自动完成 HDFS 暂存和 Hive 加载两步。
典型命令示例：
sqoop import \ --connect jdbc:mysql://localhost:3306/bdp \ --username root \ --password bdp \ --table emp \ --hive-import \ --hive-database test \ --hive-table EMP \ --where 'id > 10' \ --hive-partition-key time \ --hive-partition-value '2018-05-18' \ --null-string '\\N' \ --null-non-string '\\N' \ --fields-terminated-by ',' \ --lines-terminated-by '\n' \ -m 1适用场景：适用于将单个 MySQL 表中的部分或全部数据直接导入到 Hive 表的情况，操作简洁。
3.2 方法二：导入 HDFS 再加载
此方法分为两步：先将数据导入 HDFS，再通过 Hive 的LOAD DATA命令将数据加载到 Hive 表。适用于需要复杂数据预处理或跨表查询的场景。
步骤 1：导入数据到 HDFS
sqoop import \ --connect jdbc:mysql://localhost:3306/bdp \ --username root \ --password bdp \ --query 'SELECT * FROM emp INNER JOIN user ON emp.id=user.id WHERE $CONDITIONS' \ --split-by id \ --target-dir /user/data/mysql/emp \ -m 1步骤 2：加载数据到 Hive 表
# 在 Hive 中执行 LOAD DATA INPATH '/user/data/mysql/emp' INTO TABLE test.EMP2;适用场景：适用于需要从多张 MySQL 表 JOIN 后导入复杂数据集的场景，灵活性更高。
四、关键注意事项
- 分隔符一致性：通过
--fields-terminated-by和--lines-terminated-by指定的分隔符，必须与目标 Hive 表的定义完全一致，否则会导致数据加载后字段值为 NULL。 - 字段映射：使用
--columns参数时，指定的 MySQL 字段必须与目标 Hive 表的字段在名称、顺序和数据类型上对应，否则会引发异常。 - 分区限制：
--hive-table参数仅支持单个静态分区（通过--hive-partition-key和--hive-partition-value指定）。如需多分区，应使用--hcatalog-table、--hcatalog-database、--hcatalog-partition-keys和--hcatalog-partition-values参数。 - 更新限制：Hive 本身不支持行级更新（UPDATE），因此 Sqoop 导入 Hive 的数据只能进行追加（Append）或覆盖（Overwrite）操作，无法实现增量更新。
