1. Sqoop初学

提交MapReduce机具。当目标提交到一个大后，每个Mapper才会分别叫停一个Extractor寄存器和Loader寄存器，整个MapReduce的InputFormat本来是通过JDBC读写原尾端统计数据读写到Context当中，而Loader寄存器将从Context当中选取读写也就是说的统计数据作为OutPutFormat迁到的目地尾端。当目标可执行顺利完成后，yarn资光被囚，自此Destroyer投放所有与统计数据模改型的连结。

这里主要主人公的是Import的过程，而export处理过程与import十分相似，是把统计数据测试为一条条insert 语句，在此不过多测试。

1.3 Sqoop装配

装配Sqoop的也就是说是已经合乎Java和Hadoop的生态。

本文应用于的是第二台一个大生态，选取192.168.204.103这台主机同步进行装配。

① App并读写

1) App地址：

2) 完整版装配自带 sqoop-1.4.7.bin紧接hadoop-2.6.0.tar.gz 到API当中

/opt/soft/sqoop-1.4.7.bin紧接hadoop-2.6.0.tar.gz

3) 读写sqoop装配自带到指明书目，例如：

[root@node103 soft]# tar -zxvf sqoop-1.4.7.bin紧接hadoop-2.6.0.tar.gz -C ../module/

如果觉得书目名称过长，可以变来得一下：

[root@node103 sqoop-1.4.7.bin紧接hadoop-2.6.0]# pwd

/opt/module/sqoop-1.4.7.bin紧接hadoop-2.6.0

[root@node103 module]# mv sqoop-1.4.7.bin紧接hadoop-2.6.0/ sqoop

[root@node103 sqoop-1.4.7.bin紧接hadoop-2.6.0]# pwd

/opt/module/sqoop

② 变来得可用PDF

Sqoop的可用PDF与大多数大统计数据开放性类似。

可以在/etc/profile当中可用，嵌入为全局变量

或者

在sqoop-env.shPDF当中可用，该PDF在sqoop根书目下的conf书目当中。（本篇文章用的是这个手段同步进行的可用）

我们必需可用哪些以下内容呢?

HADOOP_HOME

HIVE_HOME

HBASE_HOME

ZOOKEEPER_HOME

为什么是这些null，因为左边案例当中要实现的转换成、嵌入系统有：

RDBMS ；还有；还有> HDFS

RDBMS ；还有；还有> hive

RDBMS ；还有；还有> HBase

；还有；还有；还有；还有；还有；还有；还有；还有；还有

HDFS ；还有；还有> RDBMS

Hive ；还有；还有> RDBMS

1) 重命名或复制一个可用PDF

[root@node103 conf]# mv sqoop-env-template.sh sqoop-env.sh

或

[root@node103 conf]# cp sqoop-env-template.sh sqoop-env.sh

2) 变来得可用PDF

sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.5

export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.5

export HBASE_HOME=/opt/module/hbase-1.3.1

export HIVE_HOME=/opt/module/apache-hive-2.1.1-bin

export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.9

export ZOOCFGDIR=/opt/module/zookeeper-3.4.9/conf

效果图如下：

③ 拷贝JDBC驱动

拷贝jdbc驱动到sqoop的lib书目下，可以从之此前Hive的装配书目下认出mysql驱动自带：

[root@node103 lib]# pwd

/opt/module/apache-hive-2.1.1-bin/lib

[root@node103 lib]# cp mysql-connector-java-5.1.38.jar /opt/module/sqoop/lib/

④ 测试Sqoop

我们可以通过某一个command来测试sqoop可用否某种程度：

[root@node103 sqoop]# pwd

/opt/module/sqoop

[root@node103 sqoop]# ./bin/sqoop help

浮现一些Warning警告（警告反馈已去掉），并伴随着帮助命令的驱动：

usage: sqoop COMMAND [ARGS]

Available commands:

codegen Generate code to interact with database records

create-hive-table Import a table definition into Hive

eval Evaluate a SQL statement and display the results

export Export an HDFS directory to a database table

help List available commands

import Import a table from a database to HDFS

import-all-tables Import tables from a database to HDFS

import-mainframe Import datasets from a mainframe server to HDFS

job Work with saved jobs

list-databases List available databases on a server

list-tables List available tables in a database

merge Merge results of incremental imports

metastore Run a standalone Sqoop metastore

version Display version information

See 'sqoop help COMMAND' for information on a specific command.

这里的驱动反馈当中有一个HBase路径不某种程度，是因为好好的测试已经移至除掉HBase，必需重新装配HBase即可（代为参见 Hbase系特）。

⑤ 的测试Sqoop否尽可能成功连结统计数据坎系统

[root@node103 sqoop]# ./bin/sqoop list-databases ；还有connect jdbc:mysql://node103:3306/ ；还有username root ；还有password 123456

浮现如下驱动：

information_schema

hive

mysql

test

曾一度，Sqoop装配再！

。

阿莫西林颗粒多少钱一盒
儿童装健胃消食片
偏头痛用什么药好
金笛如何治疗新冠
类风湿一般是怎么引起的