sqoop 导入导出数据HDFS
【摘要】 sqoop 导入导出数据HDFS
1)导入数据库表数据到 HDFS 默认目录
2)导入数据库表到HDFS指定目录
导入导出数据到HIVE
1)将MySQL表中的数据 导入到hive中
bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin
...
sqoop 导入导出数据HDFS
1)导入数据库表数据到 HDFS 默认目录
2)导入数据库表到HDFS指定目录
导入导出数据到HIVE
1)将MySQL表中的数据 导入到hive中
bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin
--table emp
--fields-terminated-by '\001'
--hive-import
--hive-table sqooptohive.emp_hive
--hive-overwrite --delete-target-dir --m 1
- 导入关系表到hive 并且自动创建表
bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin --table emp_conn
--hive-import -m 1 --hive-database sqooptohive;
增量导入:
增量导入是 仅仅导入新添加的表中的行的技术
需要添加: 'incremental' 'check-column' 'last-value' 执行增量导入
下面的语法用于Sqoop导入命令增量选项。
--incremental <mode> --check-column <column name> 指定ID字段 --last value <last check column value> 指定开始值
执行增量导入到HDFS
bin/sqoop import \
--connect jdbc:mysql://192.168.52.120:3306/userdb \
--username root \
--password 123456 \
--table emp \
--incremental append \
--check-column id \
--last-value 1202 \
-m 1 \
--target-dir /sqoop/increment
3、用离线的时候是用什么导的数据 如何导数据
sqoop 导入导出数据HDFS
1)导入数据库表数据到 HDFS 默认目录
2)导入数据库表到HDFS指定目录
导入导出数据到HIVE
1)将MySQL表中的数据 导入到hive中
bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin
--table emp
--fields-terminated-by '\001'
--hive-import
--hive-table sqooptohive.emp_hive
--hive-overwrite --delete-target-dir --m 1
- 导入关系表到hive 并且自动创建表
bin/sqoop import
--connect jdbc:mysql://172.16.43.67:3306/userdb
--username root
--password admin --table emp_conn
--hive-import -m 1 --hive-database sqooptohive;
增量导入:
增量导入是 仅仅导入新添加的表中的行的技术
需要添加: 'incremental' 'check-column' 'last-value' 执行增量导入
下面的语法用于Sqoop导入命令增量选项。
--incremental <mode> --check-column <column name> 指定ID字段 --last value <last check column value> 指定开始值
执行增量导入到HDFS
bin/sqoop import \
--connect jdbc:mysql://192.168.52.120:3306/userdb \
--username root \
--password 123456 \
--table emp \
--incremental append \
--check-column id \
--last-value 1202 \
-m 1 \
--target-dir /sqoop/increment
文章来源: www.jianshu.com,作者:百忍成金的虚竹,版权归原作者所有,如需转载,请联系作者。
原文链接:www.jianshu.com/p/1bf540231444
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)