sqoop 导入导出数据HDFS

举报
bigdata张凯翔 发表于 2021/03/26 00:39:16 2021/03/26
【摘要】 sqoop 导入导出数据HDFS 1)导入数据库表数据到 HDFS 默认目录 2)导入数据库表到HDFS指定目录 导入导出数据到HIVE 1)将MySQL表中的数据 导入到hive中 bin/sqoop import --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin ...

sqoop 导入导出数据HDFS
1)导入数据库表数据到 HDFS 默认目录
2)导入数据库表到HDFS指定目录
导入导出数据到HIVE
1)将MySQL表中的数据 导入到hive中

bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin
--table emp
--fields-terminated-by '\001'
--hive-import
--hive-table sqooptohive.emp_hive
--hive-overwrite --delete-target-dir --m 1
  1. 导入关系表到hive 并且自动创建表
bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin --table emp_conn
--hive-import -m 1 --hive-database sqooptohive;

增量导入:
增量导入是 仅仅导入新添加的表中的行的技术
需要添加: 'incremental' 'check-column' 'last-value' 执行增量导入

下面的语法用于Sqoop导入命令增量选项。

--incremental <mode> --check-column <column name> 指定ID字段 --last value <last check column value>  指定开始值
执行增量导入到HDFS

bin/sqoop import \
--connect jdbc:mysql://192.168.52.120:3306/userdb \
--username root \
--password 123456 \
--table emp \
--incremental append \
--check-column id \
--last-value 1202  \
-m 1 \
--target-dir /sqoop/increment

3、用离线的时候是用什么导的数据 如何导数据

sqoop 导入导出数据HDFS
1)导入数据库表数据到 HDFS 默认目录
2)导入数据库表到HDFS指定目录
导入导出数据到HIVE
1)将MySQL表中的数据 导入到hive中

bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin
--table emp
--fields-terminated-by '\001'
--hive-import
--hive-table sqooptohive.emp_hive
--hive-overwrite --delete-target-dir --m 1
  1. 导入关系表到hive 并且自动创建表
bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin --table emp_conn
--hive-import -m 1 --hive-database sqooptohive;

增量导入:
增量导入是 仅仅导入新添加的表中的行的技术
需要添加: 'incremental' 'check-column' 'last-value' 执行增量导入
下面的语法用于Sqoop导入命令增量选项。

--incremental <mode> --check-column <column name> 指定ID字段 --last value <last check column value>  指定开始值
执行增量导入到HDFS
bin/sqoop import \
--connect jdbc:mysql://192.168.52.120:3306/userdb \
--username root \
--password 123456 \
--table emp \
--incremental append \
--check-column id \
--last-value 1202  \
-m 1 \
--target-dir /sqoop/increment

文章来源: www.jianshu.com,作者:百忍成金的虚竹,版权归原作者所有,如需转载,请联系作者。

原文链接:www.jianshu.com/p/1bf540231444

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。