网站首页 > 技术文章 正文
一、使用Load语句进行数据的导入
-语法:
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcoll = vall, partcol2 = val2 ...)]
*将student01.txt数据导入t2 (t2表没有指定分隔符)
load data local inpath '/root/data/student01.txt' into table t2;
select * from t2--查询检查(需要在建表的时候确定数据分隔符是否与导入数据来源相同,不同的话,数据全为NULL)
*将/root/data下的所有数据文件导入t3表中,并且覆盖原来的数据 (t3表分隔符是逗号)
load data local inpath '/root/data/' overwrite into table t3;
*将HDFS中,/input/student01.txt 导入到t3;(HDFS中的文件导入,不需要添加‘local')
load data inpath '/input/student01.txt/ overwrite into table t3;
*将数据导入分区表
load data local inpath '/root/data/data1.txt' into table partition_table partition (gender = 'M');
二、使用Sqoop进行数据的导入
下载jar包:http://sqoop.apache.org/
解压 :
tar -zxvf sqoop-1.4.5.bin__hadoop-0.23.tar.gz
设置环境变量 :(~/training/hadoop-2.4.1/为hadoop的安装目录)
export HADOOP_COMMON_HOME=~/training/hadoop-2.4.1/ export HADOOP_MAPRED_HOME=~/training/hadoop-2.4.1/
使用sqoop导入Oracle数据到hdfs中
./sqoop import --conncet jdbc:oracle:thin:@192.168.56.101:1521:orcl --username scottt --password tiger --table emp --columns 'empno,ename,job,sal,deptno' -m l --target-dir '/sqoop/emp'
--connect:指定jdbc连接的URL地址,用户名,密码
--table:指明导入的表
--columns:指明导入表的列
-m: mapreduce 的 进程数
--target-dir:导入到hdfs的目录
使用sqoop导入Oracle数据到Hive中
./sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.56.101:1521:orcl --username scottt --password tiger --table emp -m l --columns 'empno,ename,job,sal,deptno'
指明表的名字
./sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.56.101:1521:orcl --username scottt --password tiger --table emp -m l --columns 'empno,ename,job,sal,deptno' --hive-table empl
使用where条件
./sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.56.101:1521:orcl --username scottt --password tiger --table emp -m l --columns 'empno,ename,job,sal,deptno' --hive-table empl2 where age>10
注意:如果要换行需要在后面加上 \(空格和\),如:
./sqoop import --hive-import \ --connect jdbc:oracle:thin:@192.168.56.101:1521:orcl \ --username scottt --password tiger
猜你喜欢
- 2025-07-24 数据清洗效率提升 10 倍?揭秘这款能 “拖” 出结果的低代码神器!
- 2025-07-24 Mybatis入门看这一篇就够了(mybatis.)
- 2025-07-24 Navicat Data Modeler使用教程九:数据库导入(下)
- 2025-07-24 Java的优势:跨平台只是一部分(java是跨平台的吗)
- 2024-10-27 标签打印软件中如何导入Excel表批量制作物料标签(四)
- 2024-10-27 Linux桌面应用之MySQL客户端DBeaver
- 2024-10-27 Excel导入数据神器 excel数据导入功能
- 2024-10-27 ElasticSearch数据导入 elasticsearch数据导出
- 2024-10-27 PL/Sql develper工具使用优化(2)批量导入数据B
- 2024-10-27 数据导入——通过外部表同步数据 2、外部数据导入excel表格的操作步骤?
你 发表评论:
欢迎- 632℃几个Oracle空值处理函数 oracle处理null值的函数
- 625℃Oracle分析函数之Lag和Lead()使用
- 614℃0497-如何将Kerberos的CDH6.1从Oracle JDK 1.8迁移至OpenJDK 1.8
- 608℃Oracle数据库的单、多行函数 oracle执行多个sql语句
- 606℃Oracle 12c PDB迁移(一) oracle迁移到oceanbase
- 598℃【数据统计分析】详解Oracle分组函数之CUBE
- 588℃最佳实践 | 提效 47 倍,制造业生产 Oracle 迁移替换
- 572℃Oracle有哪些常见的函数? oracle中常用的函数
- 最近发表
-
- oracle 19cOCM认证有哪些内容(oracle认证ocm月薪)
- Oracle新出AI课程认证,转型要持续学习
- oracle 表的查询join顺序,可能会影响查询效率
- Oracle DatabaseAmazon Web Services正式可用,Oracle数据库上云更容易了
- Oracle 19.28 RU 升级最佳实践指南
- 汉得信息:发布EBS系统安装启用JWS的高效解决方案
- 如何主导设计一个亿级高并发系统架构-数据存储架构(三)
- Java 后端开发必看!工厂设计模式轻松拿捏
- ORA-00600 「25027」 「x」报错(抱错孩子电视剧 爸爸是武术 另一个爸爸是画家)
- 新项目终于用上了jdk24(jdk新建项目)
- 标签列表
-
- 前端设计模式 (75)
- 前端性能优化 (51)
- 前端模板 (66)
- 前端跨域 (52)
- 前端缓存 (63)
- 前端aes加密 (58)
- 前端脚手架 (56)
- 前端md5加密 (54)
- 前端路由 (61)
- 前端数组 (73)
- 前端js面试题 (50)
- 前端定时器 (59)
- 前端获取当前时间 (50)
- Oracle RAC (76)
- oracle恢复 (77)
- oracle 删除表 (52)
- oracle 用户名 (80)
- oracle 工具 (55)
- oracle 内存 (55)
- oracle 导出表 (62)
- oracle约束 (54)
- oracle 中文 (51)
- oracle链接 (54)
- oracle的函数 (58)
- 前端调试 (52)
本文暂时没有评论,来添加一个吧(●'◡'●)