sqoop导入命令,从关系型数据库到hive

news/2025/5/24 18:06:01

参数说明,查看博文
https://blog.csdn.net/qq_41712271/article/details/101152891

首次导入,一般要加参数 --create-hive-table 自动创建表,或手工先在hive中创建好表(推荐)
再次导入,一般要加参数--delete-target-dir
注意:--hive-overwrite 参数有些诡异,最好不用

自动创建hive内部表,覆盖模式,先删除中间结果数据目录
sqoop import  \
--connect jdbc:mysql://127.0.0.1:3306/linshi_1   \
--username root  \
--password 123456   \
--table article  \
--fields-terminated-by "\t"  \
--lines-terminated-by "\n"  \
--m 1  \
--hive-import  \
--hive-overwrite  \
--create-hive-table  \
--delete-target-dir \
--hive-database  test01 \
--hive-table biao_2用自定义的sql语句把MySQL数据导入到Hive中
sqoop import  \
--connect jdbc:mysql://127.0.0.1:3306/linshi_1   \
--username root  \
--password 123456   \
--fields-terminated-by "\t"  \
--lines-terminated-by "\n"  \
--m 1  \
--hive-import  \
--create-hive-table  \
--hive-database  test01 \
--hive-table biao_4 \
--query 'SELECT a.l_id,a.l_title,a.c_title FROM article AS a INNER JOIN e_left AS b  ON a.l_id=b.l_id WHERE $CONDITIONS and a.l_id=29' \
--target-dir /apps/hive/warehouse/test01.db/biao_4 向hive的指定分区导入数据
sqoop import  \
--connect jdbc:mysql://127.0.0.1:3306/linshi_1   \
--username root  \
--password 123456  \
--table article  \
--where "l_id=57"  \
--columns "l_title,c_title"  \
--fields-terminated-by "\t"  \
--delete-target-dir   \
--hive-import  \
--m 1  \
--hive-partition-key l_id  \
--hive-partition-value '57'  \
--hive-database  test01  \
--hive-table biao_fq_2

 

文章来源:https://blog.csdn.net/qq_41712271/article/details/109210235
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:https://dhexx.cn/news/show-17874.html

相关文章

主流浏览器CSS3和HTML5兼容性详细清单

各大主流浏览器对 CSS3 和 HTML5 的支持越来越完善,曾经让多少前端开发人员心碎的IE系也开始拥抱标准。就在前几天,W3C的 HTML5 社区领袖 Shelley 宣布,HTML5的开发工作已经接近完成,如果进展顺利,HTML5 将在 2012 年正…

tomcat性能优化,内存优化和并发线程连接优化

今天被一同事问到tomcat和内存优化的问题,而网上的资料基本都是来回copy,所以抽时间随便写点。文章中设置的参数都是一个随便写的,具体的还要根据自己的情况来定。 1.内存优化: 说到tomcat不得不提的是jvm,想让tomca…

BootStrap3.0学习--JavaScript 插件

概览 1.单个还是全部引入:可以单个引入bootstrap.js 和 bootstrap.min.js,也可以全部引入,二者都包含了所有插件,你在使用时,只需选择一个引入页面就可以了。 2.data属性:通过 data 属性 API 就能使用所有的…

HIVE-执行命令的几种方式 和 hive -e 和hive -f的使用

第一种,在bash中直接通过hive -e命令,并用 > 输出流把执行结果输出到制定文件 hive -e "select * from test.hour_rate2 where year2019" > /tmp/output_1.txt 第二种,在bash中直接通过hive -f命令,执行文件中一…

两种解决springboot 跨域问题的方法示例

两种解决springboot 跨域问题的方法示例,哪种方法看情况而定,自己选择。社会Boolean哥,人狠话不多,直接上代码。 第一种实现方式: 此种方式做全局配置,用起来更方便,但是无法做到具体问题具体处…

微软BI 之SSAS 系列 - 基于雪花模型的维度设计

基于雪花模型的维度以下面的 Product 产品与产品子类别,产品类别为例。 DimProduct 表和 DimProductSubcategory 表有外键关系,而 DimProductSubcategory 表和 DimProductCategory 表存在外键关系。 测试的维度表与数据 - USE BIWORK_SSIS GOIF OBJECT_…

HIVE-row_number() OVER(PARTITION BY)函数-先分组,取每个分组的前几个

OVER(PARTITION BY order by)函数更详细的使用,可查看博文https://blog.csdn.net/qq_41712271/article/details/109224538 select row_number() over (partition by month order by ref_host_cnts desc) partition:按照month分成区块 order by &#x…

解决nginx跨域请求问题

上篇文章谈过了springboot在跨域中的两种解决方法,但是可能还需要在web容器上做些支持,才能完美解决跨域的问题。 https://blog.csdn.net/bebmwnz/article/details/90168367《springboot在跨域中的两种解决方法》 location / {root /home/project/mini;…

Lr监控linux系统资源方法

1.监控linux系统需要开启rstatd和xinetd两个服务,查看系统是否配置rstatd、xinetd守护进程: 输入命令:rpcinfo -p查看rstatd服务 输入命令:rpm -q xinetd查看xinetd服务 2. 监控linux系统需要安装下载4个服务包:&a…

Windows Phone 8初学者开发—第22部分:用演示图板创建卷盘的动画

第22部分: 用演示图板创建卷盘的动画 原文地址:http://channel9.msdn.com/Series/Windows-Phone-8-Development-for-Absolute-Beginners/Part-22-Animating-the-Reel-Grid-with-a-Storyboard 系列地址:http://channel9.msdn.com/Series/Windows-Phone-8-…