当前位置:网站首页 > 数据科学与大数据 > 正文

sqlldr导入数据(sqlldr导入数据文件外的数据)



sqlldr 数据导入

1) 建立数据文件,用 PL/SQL Developer 导出表 users 的记录为 users_data.csv 文件,内容如下:

2) 建立一个控制文件 users.ctl,内容如下:

load data                  
infile 'ZQTEST.txt'--指定外部数据文件,可以写多个 INFILE"another_data_file.csv" 指定多个数据文件
  --这里还可以使用 BADFILE、DISCARDFILE 来指定坏数据和丢弃数据的文件,  
append into table EOS.EJZQTEST --操作类型,用 truncate table 来清除表中原有记录 

 -- 要插入记录的表  
fields terminated by ','     -- 数据中每行记录用 "," 分隔  
optionally enclosed by '"' -- 数据中每个字段用 '"' 框起,比如字段中有 "," 分隔符时
(

virtual_column FILLER, 

ZQID number,   

ZQNAME,

ZQINFO,

ZQTYPE,

ZQDATE DATE "YYYY-MM-DD HH24:MI:SS") -- 指定接受日期的格式,相当用 to_date() 函数转换

 

说明:在操作类型 truncate 位置可用以下中的一值:

1) insert     --为缺省方式,在数据装载开始时要求表为空
2) append  --在表中追加新记录
3) replace  --删除旧记录(用 delete from table 语句),替换成新装载的记录
4) truncate --删除旧记录(用 truncate table 语句),替换成新装载的记录

 

3) 执行命令:

sqlldr dbuser/dbpass@dbservice control=users.ctl

 

执行完 sqlldr 后希望能留意一下生成的几个文件,如 users.log 日志文件、users.bad 坏数据文件等。特别是要看看日志文件,从中可让你更好的理解 Sql Loader,里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息。

 

 

最后说下有关 SQL *Loader 的性能与并发操作

1) ROWS 的默认值为 64,你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗?)

2)常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE),而直接将数据导入到数据文件中,可以提高导入数据的性能。当然,在很多情况下,不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。

3) 通过指定 UNRECOVERABLE选项,可以关闭数据库的日志(是否要 alter table table1 nologging 呢?)。这个选项只能和 direct 一起使用。

4) 对于超大数据文件的导入就要用并发操作了,即同时运行多个导入任务.

  sqlldr   userid=/   control=result1.ctl   direct=true   parallel=true  
  sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true  
  sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true  

  当加载大量数据时(大约超过10GB),最好抑制日志的产生:  
 
  SQL>ALTER   TABLE   RESULTXT   nologging;
 
  这样不产生REDO LOG,可以提高效率。然后在 CONTROL 文件中 load data 上面加一行:unrecoverable,  此选项必须要与DIRECT共同应用。  
 
  在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到 1-10G 就算不错了,开始可用结构 相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。

到此这篇sqlldr导入数据(sqlldr导入数据文件外的数据)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!

版权声明


相关文章:

  • orecal数据库区分大小写吗(oralcal数据库)2025-04-19 20:18:10
  • 数据库常用命令增删改查(数据库增删改查指令)2025-04-19 20:18:10
  • 微服务 配置中心 数据库(微服务的配置中心)2025-04-19 20:18:10
  • 数据库课程(数据库课程表怎么建)2025-04-19 20:18:10
  • 数据中台建设思路(数据中台建设方案)2025-04-19 20:18:10
  • iotdb数据库备份(数据库备份dbs)2025-04-19 20:18:10
  • 大数据培训大数据(大数据培训项目)2025-04-19 20:18:10
  • 如何安装达梦数据库(安装达梦数据库no more handles)2025-04-19 20:18:10
  • 大数据培训有哪些机构(大数据培训真的有用吗)2025-04-19 20:18:10
  • 数据库端口号怎么查看的(数据库的端口号是什么意思)2025-04-19 20:18:10
  • 全屏图片