更新时间:2023年11月15日10时17分 来源:传智教育 浏览次数:
Sqoop的安装配置非常简单,前提是部署Sqoop工具的机器需要具备Java和Hadoop的运行环境。接下来,笔者采用Sqoop-1.4.6来讲解Sqoop的安装配置,下载地址为http://archive.apache.org/dist/sqoop/1.4.6/。
首先将下载好的安装包上传至hadoop01主节点的/export/software目录中,并解压至/export/servers路径下,然后对解压包进行重命名,具体指令如下。
$ tar -zxvf sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz -C /export/servers/ $ mv sqoop-1.4.6.bin_hadoop-2.0.4-alpha/ sqoop-1.4.6
执行完上述Sqoop的下载解压后,就完成了Sqoop的安装。
(1)先进入Sqoop解压包目录中的conf文件夹目录下,将sqoop-env-template.sh文件复制并重命名为sqoop-env.sh, 对该文件中的如下内容进行修改。
export HADOOP_COMMON_HOME=/export/servers/hadoop-2.7.4 export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.7.4 export HIVE_HOME=/export/servers/apache-hive-1.2.1-bin
在sqoop-env.sh配置文件中,需要配置的是Sqoop运行时必备环境的安装目录,Sqoop运行在Hadoop之上,因此必须指定Hadoop环境。另外,在配置文件中还要根据需要自定义配置HBase、Hive和Zookeeper等环境变量。
export SQOOP_HOME=/export/servers/sqoop-1.4.6 export PATH=$PATH:$SQOOP_HOME/bin
(2)为了后续方便Sqoop的使用和管理,可以配置Sqoop系统环境变量。使用“vi/etc/profile”指令进入到profile文件,在文件底部进一步添加如下内容类配置Sqoop系统环境变量。
配置完成后直接保存退出,接着执行“source/etc/profile”指令刷新配置文件即可。
(3)当完成前面Sqoop的相关配置后,还需要根据所操作的关系数据库添加对应的JDBC驱动包,用于数据库连接。