某社区600万用户数据导入MYSQL、MSSQL、Oracle数据库方法 – xwdreamer – 博客园

1.导入MySql数据库

参考文献:http://zhuaxia.org/blog/post/145

1.1.LOAD DATA INFILE语法

因为获得的数据库文件是一个文本文件www.csdn.net.sql,因此需要用到mysql中的LOAD DATA INFILE命令,LOAD DATA INFILE的语法结构如下:

复制代码

<span style="color: #0000ff;">LOAD</span> DATA <span style="color: #ff0000;">[</span><span style="color: #ff0000;">LOW_PRIORITY | CONCURRENT</span><span style="color: #ff0000;">]</span> <span style="color: #ff0000;">[</span><span style="color: #ff0000;">LOCAL</span><span style="color: #ff0000;">]</span> INFILE <span style="color: #ff0000;">'</span><span style="color: #ff0000;">file_name</span><span style="color: #ff0000;">'</span></p><p>    <span style="color: #ff0000;">[</span><span style="color: #ff0000;">REPLACE | IGNORE</span><span style="color: #ff0000;">]</span></p><p>    <span style="color: #0000ff;">INTO</span> <span style="color: #0000ff;">TABLE</span><span style="color: #000000;"> tbl_name</p><p>    </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;">CHARACTER SET charset_name</span><span style="color: #ff0000;">]</span></p><p>    <span style="color: #ff0000;">[</span><span style="color: #ff0000;">{FIELDS | COLUMNS}</p><p>        [TERMINATED BY 'string'</span><span style="color: #ff0000;">]</span></p><p>        <span style="color: #ff0000;">[</span><span style="color: #ff0000;">[OPTIONALLY</span><span style="color: #ff0000;">]</span> ENCLOSED <span style="color: #0000ff;">BY</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">char</span><span style="color: #ff0000;">'</span><span style="color: #000000;">]</p><p>        </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;">ESCAPED BY 'char'</span><span style="color: #ff0000;">]</span><span style="color: #000000;"></p><p>    ]</p><p>    </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;">LINES</p><p>        [STARTING BY 'string'</span><span style="color: #ff0000;">]</span></p><p>        <span style="color: #ff0000;">[</span><span style="color: #ff0000;">TERMINATED BY 'string'</span><span style="color: #ff0000;">]</span><span style="color: #000000;"></p><p>    ]</p><p>    </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;">IGNORE number LINES</span><span style="color: #ff0000;">]</span></p><p>    <span style="color: #ff0000;">[</span><span style="color: #ff0000;">(col_name_or_user_var,...)</span><span style="color: #ff0000;">]</span></p><p>    <span style="color: #ff0000;">[</span><span style="color: #ff0000;">SET col_name = expr,...</span><span style="color: #ff0000;">]</span>

复制代码

1.2.创建存放数据的表

观察文本结构,发现每一行都是如下所示结构:

username # password # email

中间用”#“进行分割。因此我们创建的表必定含有username,password和email字段,但是我们还必须为表添加一个主键列,并让其自动增长,这样我们在添加数据的时候就不需要手动添加主键列。因此表结构如下:

复制代码

<span style="color: #0000ff;">CREATE</span> <span style="color: #0000ff;">TABLE</span><span style="color: #000000;"> `csdnuser` (</p><p>  `id` </span><span style="color: #0000ff;">int</span>(<span style="color: #800000; font-weight: bold;">11</span>) <span style="color: #808080;">NOT</span> <span style="color: #0000ff;">NULL</span><span style="color: #000000;"> AUTO_INCREMENT,</p><p>  `username` </span><span style="color: #0000ff;">varchar</span>(<span style="color: #800000; font-weight: bold;">255</span>) <span style="color: #0000ff;">DEFAULT</span> <span style="color: #0000ff;">NULL</span><span style="color: #000000;">,</p><p>  `password` </span><span style="color: #0000ff;">varchar</span>(<span style="color: #800000; font-weight: bold;">255</span>) <span style="color: #0000ff;">DEFAULT</span> <span style="color: #0000ff;">NULL</span><span style="color: #000000;">,</p><p>  `email` </span><span style="color: #0000ff;">varchar</span>(<span style="color: #800000; font-weight: bold;">255</span>) <span style="color: #0000ff;">DEFAULT</span> <span style="color: #0000ff;">NULL</span><span style="color: #000000;">,</p><p>  </span><span style="color: #0000ff;">PRIMARY</span> <span style="color: #0000ff;">KEY</span><span style="color: #000000;"> (`id`)</p><p>) ENGINE</span><span style="color: #808080;">=</span>MyISAM <span style="color: #0000ff;">DEFAULT</span> CHARSET<span style="color: #808080;">=</span>utf8;

复制代码

注意:MySQL中MyISAM引擎与InnoDB引擎有一些区别,但是这并不是本篇博客的主题,因此略过不提。

1.3.导入数据

在创建表以后,我们就可以通过 load data infile命令导入数据了,具体的导入命令如下:

<span style="color: #0000ff;">load</span> data local infile <span style="color: #ff0000;">'d:\\</span><span style="color: #ff0000;">www.csdn.net.sql</span><span style="color: #ff0000;">'</span> <span style="color: #0000ff;">into</span> <span style="color: #0000ff;">table</span> csdnuser2 fields terminated <span style="color: #0000ff;">by</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;"> # </span><span style="color: #ff0000;">'</span> (username,password,email);

大概运行了1分钟左右就导入完成了,导入完成以后显示:

Query OK, <span style="color: #800000; font-weight: bold;">6428632</span> rows affected, <span style="color: #800000; font-weight: bold;">2030</span> warnings (<span style="color: #800000; font-weight: bold;">54.47</span><span style="color: #000000;"> sec)</p><p>Records: </span><span style="color: #800000; font-weight: bold;">6428632</span>  Deleted: <span style="color: #800000; font-weight: bold;">0</span>  Skipped: <span style="color: #800000; font-weight: bold;">0</span>  Warnings: <span style="color: #800000; font-weight: bold;">295</span>

注意:

  安装的MySQL5.1默认的数据库文件存放的路径是:C:\Documents and Settings\All Users\Application Data\MySQL 中,比如我们的csdndb就在路径C:\Documents and Settings\All Users\Application Data\MySQL\MySQL Server 5.1\data\csdndb当中。如果经常恢复系统的话,放在c盘不安全,可以在安装的时候修改安装路径。如下图所示:

2.导入Sql Server数据库

参考文献:http://qiaolevip.iteye.com/blog/1324649

2.1.BULK INSERT语法

在Sql Server中,使用BULK INSERT命令导入数据,该命令以用户指定的格式将数据文件导入到数据库表或视图中。BULK INSERT语法结构如下:

复制代码

<span style="color: #0000ff;">BULK</span> <span style="color: #0000ff;">INSERT</span> </p><p>   <span style="color: #ff0000;">[</span><span style="color: #ff0000;"> database_name . [ schema_name </span><span style="color: #ff0000;">]</span> . <span style="color: #808080;">|</span> schema_name . ] <span style="color: #ff0000;">[</span><span style="color: #ff0000;"> table_name | view_name </span><span style="color: #ff0000;">]</span> </p><p>      <span style="color: #0000ff;">FROM</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">data_file</span><span style="color: #ff0000;">'</span> </p><p>     <span style="color: #ff0000;">[</span><span style="color: #ff0000;"> WITH </p><p>    ( </p><p>   [ [ , </span><span style="color: #ff0000;">]</span> BATCHSIZE <span style="color: #808080;">=</span><span style="color: #000000;"> batch_size ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span><span style="color: #000000;"> CHECK_CONSTRAINTS ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> CODEPAGE <span style="color: #808080;">=</span> { <span style="color: #ff0000;">'</span><span style="color: #ff0000;">ACP</span><span style="color: #ff0000;">'</span> <span style="color: #808080;">|</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">OEM</span><span style="color: #ff0000;">'</span> <span style="color: #808080;">|</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">RAW</span><span style="color: #ff0000;">'</span> <span style="color: #808080;">|</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">code_page</span><span style="color: #ff0000;">'</span><span style="color: #000000;"> } ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> DATAFILETYPE <span style="color: #808080;">=</span><span style="color: #000000;"> </p><p>      { </span><span style="color: #ff0000;">'</span><span style="color: #ff0000;">char</span><span style="color: #ff0000;">'</span> <span style="color: #808080;">|</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">native</span><span style="color: #ff0000;">'</span><span style="color: #808080;">|</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">widechar</span><span style="color: #ff0000;">'</span> <span style="color: #808080;">|</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">widenative</span><span style="color: #ff0000;">'</span><span style="color: #000000;"> } ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> FIELDTERMINATOR <span style="color: #808080;">=</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">field_terminator</span><span style="color: #ff0000;">'</span><span style="color: #000000;"> ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> FIRSTROW <span style="color: #808080;">=</span><span style="color: #000000;"> first_row ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span><span style="color: #000000;"> FIRE_TRIGGERS ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> FORMATFILE <span style="color: #808080;">=</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">format_file_path</span><span style="color: #ff0000;">'</span><span style="color: #000000;"> ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span><span style="color: #000000;"> KEEPIDENTITY ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span><span style="color: #000000;"> KEEPNULLS ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> KILOBYTES_PER_BATCH <span style="color: #808080;">=</span><span style="color: #000000;"> kilobytes_per_batch ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> LASTROW <span style="color: #808080;">=</span><span style="color: #000000;"> last_row ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> MAXERRORS <span style="color: #808080;">=</span><span style="color: #000000;"> max_errors ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> <span style="color: #0000ff;">ORDER</span> ( { <span style="color: #0000ff;">column</span> <span style="color: #ff0000;">[</span><span style="color: #ff0000;"> ASC | DESC </span><span style="color: #ff0000;">]</span> } <span style="color: #ff0000;">[</span><span style="color: #ff0000;"> ,...n </span><span style="color: #ff0000;">]</span><span style="color: #000000;"> ) ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> ROWS_PER_BATCH <span style="color: #808080;">=</span><span style="color: #000000;"> rows_per_batch ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> ROWTERMINATOR <span style="color: #808080;">=</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">row_terminator</span><span style="color: #ff0000;">'</span><span style="color: #000000;"> ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span><span style="color: #000000;"> TABLOCK ] </p><p>   </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;"> [ , </span><span style="color: #ff0000;">]</span> ERRORFILE <span style="color: #808080;">=</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">file_name</span><span style="color: #ff0000;">'</span><span style="color: #000000;"> ] </p><p>    )] </span>

复制代码

2.2. 创建数据库表

复制代码

<span style="color: #0000ff;">if</span> <span style="color: #808080;">exists</span>(<span style="color: #0000ff;">select</span> <span style="color: #808080;">*</span> <span style="color: #0000ff;">from</span> sysobjects <span style="color: #0000ff;">where</span> name <span style="color: #808080;">=</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">csdn1</span><span style="color: #ff0000;">'</span><span style="color: #000000;">)</p><p>    </span><span style="color: #0000ff;">drop</span> <span style="color: #0000ff;">table</span><span style="color: #000000;"> csdn1</p><p></span><span style="color: #0000ff;">create</span> <span style="color: #0000ff;">table</span><span style="color: #000000;"> csdn1(</p><p>    </span><span style="color: #008080;">--</span><span style="color: #008080;">id int identity(1,1) primary key,</span></p><p>    username <span style="color: #0000ff;">varchar</span>(<span style="color: #800000; font-weight: bold;">50</span>) <span style="color: #808080;">not</span> <span style="color: #0000ff;">null</span><span style="color: #000000;">,</p><p>    </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;">password</span><span style="color: #ff0000;">]</span> <span style="color: #0000ff;">varchar</span>(<span style="color: #800000; font-weight: bold;">50</span>) <span style="color: #808080;">not</span> <span style="color: #0000ff;">null</span><span style="color: #000000;">,</p><p>    email </span><span style="color: #0000ff;">varchar</span>(<span style="color: #800000; font-weight: bold;">50</span>) <span style="color: #808080;">not</span> <span style="color: #0000ff;">null</span><span style="color: #000000;"></p><p>)</span>

复制代码

2.3.使用bulk insert导入数据

复制代码

<span style="color: #0000ff;">bulk</span> <span style="color: #0000ff;">insert</span><span style="color: #000000;"> csdn1</p><p></span><span style="color: #0000ff;">from</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">D:\www.csdn.net.sql</span><span style="color: #ff0000;">'</span></p><p><span style="color: #0000ff;">with</span><span style="color: #000000;">(</p><p>    </span><span style="color: #008080;">--</span><span style="color: #008080;">FORMATFILE = 'C:\BCPFORMAT.xml',</span></p><p>    <span style="color: #008080;">--</span><span style="color: #008080;">FirstRow --default 1</span></p><p>    <span style="color: #008080;">--</span><span style="color: #008080;">KEEPIDENTITY,</span></p><p>    fieldterminator <span style="color: #808080;">=</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;"> # </span><span style="color: #ff0000;">'</span><span style="color: #000000;">,</p><p>    rowterminator </span><span style="color: #808080;">=</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">\n</span><span style="color: #ff0000;">'</span><span style="color: #000000;"></p><p>)</span>

复制代码

(6428632 行受影响),耗时:00:02:00

其中fieldterminator = # ,表示列分隔符,rowterminator = ‘\n’表示行分隔符。

2.4.添加主键列

参考:http://topic.csdn.net/u/20090913/15/fa2e7e65-73d8-4b64-b6e0-bd583f564d86.html?95717

上面的操作虽然将数据导入到了数据库中,但是我们会发现数据库表csnd1没有主键列,那么如果我们在表中添加一个www.csdn.net.sql文件中没有的主键列以后,该如何进行数据库导入呢?经过多次测试,无法使用原来的bulk insert命令进行导入,但是可以用类似bulk的命令进行导入。

首先创建带主键id的csdnuser表:

复制代码

<span style="color: #008080;">--</span><span style="color: #008080;">创建csdnuser表</span></p><p><span style="color: #0000ff;">if</span> <span style="color: #808080;">exists</span>(<span style="color: #0000ff;">select</span> <span style="color: #808080;">*</span> <span style="color: #0000ff;">from</span> sysobjects <span style="color: #0000ff;">where</span> name <span style="color: #808080;">=</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">csdnuser</span><span style="color: #ff0000;">'</span><span style="color: #000000;">)</p><p>    </span><span style="color: #0000ff;">drop</span> <span style="color: #0000ff;">table</span><span style="color: #000000;"> csdnuser</p><p></span><span style="color: #0000ff;">create</span> <span style="color: #0000ff;">table</span><span style="color: #000000;"> csdnuser(</p><p>    id </span><span style="color: #0000ff;">int</span> <span style="color: #ff00ff;">identity</span>(<span style="color: #800000; font-weight: bold;">1</span>,<span style="color: #800000; font-weight: bold;">1</span>) <span style="color: #0000ff;">primary</span> <span style="color: #0000ff;">key</span><span style="color: #000000;">,</p><p>    username </span><span style="color: #0000ff;">varchar</span>(<span style="color: #800000; font-weight: bold;">50</span>) <span style="color: #808080;">not</span> <span style="color: #0000ff;">null</span><span style="color: #000000;">,</p><p>    </span><span style="color: #ff0000;">[</span><span style="color: #ff0000;">password</span><span style="color: #ff0000;">]</span> <span style="color: #0000ff;">varchar</span>(<span style="color: #800000; font-weight: bold;">50</span>) <span style="color: #808080;">not</span> <span style="color: #0000ff;">null</span><span style="color: #000000;">,</p><p>    email </span><span style="color: #0000ff;">varchar</span>(<span style="color: #800000; font-weight: bold;">50</span>) <span style="color: #808080;">not</span> <span style="color: #0000ff;">null</span><span style="color: #000000;"></p><p>)</span>

复制代码

然后使用如下命令进行导入:

复制代码

<span style="color: #008080;">--</span><span style="color: #008080;">导入数据</span></p><p><span style="color: #0000ff;">INSERT</span> <span style="color: #0000ff;">INTO</span> csdnuser(<span style="color: #ff0000;">[</span><span style="color: #ff0000;">username</span><span style="color: #ff0000;">]</span>,<span style="color: #ff0000;">[</span><span style="color: #ff0000;">password</span><span style="color: #ff0000;">]</span>,<span style="color: #ff0000;">[</span><span style="color: #ff0000;">email</span><span style="color: #ff0000;">]</span><span style="color: #000000;">) </p><p></span><span style="color: #0000ff;">SELECT</span> <span style="color: #808080;">*</span> <span style="color: #0000ff;">FROM</span> <span style="color: #ff00ff;">OPENROWSET</span><span style="color: #000000;">(</p><p>    </span><span style="color: #0000ff;">BULK</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">D:/www.csdn.net.sql</span><span style="color: #ff0000;">'</span><span style="color: #000000;">,</p><p>    FORMATFILE</span><span style="color: #808080;">=</span><span style="color: #ff0000;">'</span><span style="color: #ff0000;">d:/BCPFORMAT.xml</span><span style="color: #ff0000;">'</span><span style="color: #000000;"></p><p>) </span><span style="color: #0000ff;">AS</span> T;

复制代码

(6428632 行受影响),耗时:00:01:25

3.导入Oracle数据库

3.1.目标表只有三列

参考:http://www.cnblogs.com/nocode/archive/2011/12/26/2302343.html

 首先创建数据库表,我们在scott用户下创建csdn表

复制代码

<span style="color: #0000ff;">CREATE</span> <span style="color: #0000ff;">TABLE</span><span style="color: #000000;"> "SCOTT"."CSDN"</p><p>  (</p><p>    "USERNAME"    </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;"> BYTE),</p><p>    "PASSWORD"   </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;"> BYTE),</p><p>    "EMAIL" </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;"> BYTE)</p><p>  )</span>

复制代码

创建控制文件D:\www.csdn.net.sql

复制代码

<span style="color: #000000;">UNRECOVERABLE</p><p></span><span style="color: #0000ff;">LOAD</span> DATA INFILE <span style="color: #ff0000;">'</span><span style="color: #ff0000;">D:\www.csdn.net.sql</span><span style="color: #ff0000;">'</span> </p><p><span style="color: #0000ff;">INSERT</span> <span style="color: #0000ff;">into</span> <span style="color: #0000ff;">table</span><span style="color: #000000;"> CSDN </p><p>fields terminated </span><span style="color: #0000ff;">by</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">#</span><span style="color: #ff0000;">'</span><span style="color: #000000;"></p><p>(</p><p>    USERNAME,</p><p>    PASSWORD,</p><p>    EMAIL</p><p>)</span>

复制代码

打开cmd命令行,使用sqlldr命令进行导入,导入命令如下:

C:\Users\xuwei<span style="color: #808080;">&gt;</span>sqlldr userid<span style="color: #808080;">=</span>scott<span style="color: #808080;">/</span>tiger<span style="color: #008000;">@orcl</span> control<span style="color: #808080;">=</span>D:<span style="color: #808080;">/</span>ora_csdn.ctrl DIRECT<span style="color: #808080;">=</span><span style="color: #000000;">TRUE </span><span style="color: #ff00ff;">log</span><span style="color: #808080;">=</span>resulthis.out

输出的日志文件为resulthis.out,他在C:\Users\xuwei目录下,因为上述sqlldr就在该目录下运行的。resulthis.out内容如下:

复制代码

<span style="color: #000000;">SQL*Loader: Release 11.1.0.6.0 - Production on 星期一 6月 11 15:17:07 2012</p><p>Copyright (c) 1982, 2007, Oracle.  All rights reserved.</p><p>控制文件:      D:/ora_csdn.ctrl</p><p>数据文件:      D:\www.csdn.net.sql</p><p>  错误文件:    D:/www.csdn.net.bad</p><p>  废弃文件:    未作指定</p><p> </p><p>(可废弃所有记录)</p><p>要加载的数: ALL</p><p>要跳过的数: 0</p><p>允许的错误: 50</p><p>继续:    未作指定</p><p>所用路径:       直接</p><p>加载是 UNRECOVERABLE;产生无效的恢复操作。</p><p>表 CSDN,已加载从每个逻辑记录</p><p>插入选项对此表 INSERT 生效</p><p>   列名                        位置      长度  中止 包装数据类型</p><p>------------------------------ ---------- ----- ---- ---- ---------------------</p><p>USERNAME                            FIRST     *   #       CHARACTER            </p><p>PASSWORD                             NEXT     *   #       CHARACTER            </p><p>EMAIL                                NEXT     *   #       CHARACTER            </p><p>表 CSDN:</p><p>  6428632 行 加载成功。</p><p>  由于数据错误, 0 行 没有加载。</p><p>  由于所有 WHEN 子句失败, 0 行 没有加载。</p><p>  由于所有字段都为空的, 0 行 没有加载。</p><p>在直接路径中没有使用绑定数组大小。</p><p>列数组  行数:    5000</p><p>流缓冲区字节数:  256000</p><p>读取   缓冲区字节数: 1048576</p><p>跳过的逻辑记录总数:          0</p><p>读取的逻辑记录总数:       6428632</p><p>拒绝的逻辑记录总数:          0</p><p>废弃的逻辑记录总数:        0</p><p>由 SQL*Loader 主线程加载的流缓冲区总数:     1370</p><p>由 SQL*Loader 加载线程加载的流缓冲区总数:        0</p><p>从 星期一 6月  11 15:17:07 2012 开始运行</p><p>在 星期一 6月  11 15:17:22 2012 处运行结束</p><p>经过时间为: 00: 00: 15.08</p><p>CPU 时间为: 00: 00: 05.52</span>

复制代码

通过上述日志可以发现导入耗时为29.86秒。

3.2为数据表添加主键列,并且自动增长

参考:

(1)Mysql,SqlServer,Oracle主键自动增长的设置

(2)sqlldr 中使用sequence

  起初考虑为主键创建sequence,然后通过触发器来插入主键,但是一直报错。后来通过控制文件中使用sequence来插入主键完成操作。

创建数据库表:CSDNUSER

复制代码

<span style="color: #0000ff;">CREATE</span> <span style="color: #0000ff;">TABLE</span><span style="color: #000000;"> "SCOTT"."CSDNUSER"</p><p>  (</p><p>    "ID" </span><span style="color: #0000ff;">int</span> <span style="color: #0000ff;">primary</span> <span style="color: #0000ff;">key</span> <span style="color: #808080;">not</span> <span style="color: #0000ff;">null</span><span style="color: #000000;">,</p><p>    "USERNAME"    </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;">),</p><p>    "PASSWORD"   </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;">),</p><p>    "EMAIL" </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;">)</p><p>  )</span>

复制代码

_______________________________________________

PS:2012-6-11

如果要求索引的等级BLEVEL,可以通过以下查询语句求出:

<span style="color: #0000ff;">select</span> index_name, blevel, num_rows <span style="color: #0000ff;">from</span> user_indexes <span style="color: #0000ff;">where</span> table_name <span style="color: #808080;">=</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;">CSDNUSER</span><span style="color: #ff0000;">'</span>; 

但是发现查找结果为0。后来发现是因为上述建表出现问题,就是没有为primary key命名,如果没有指定primary key的名称,那么系统为默认设定一个名称,比如SYS_C0038642之类的主键名称。因此我们首先删除上述主键,然后再添加主键。

<span style="color: #008080;">--</span><span style="color: #008080;">删除主键</span></p><p><span style="color: #0000ff;">alter</span> <span style="color: #0000ff;">table</span> csdnuser <span style="color: #0000ff;">drop</span> <span style="color: #0000ff;">constraint</span><span style="color: #000000;"> SYS_C0038642;</p><p></span><span style="color: #008080;">--</span><span style="color: #008080;">添加主键</span></p><p><span style="color: #0000ff;">alter</span> <span style="color: #0000ff;">table</span> csdnuser <span style="color: #0000ff;">add</span> <span style="color: #0000ff;">constraint</span> pk_csdnuser <span style="color: #0000ff;">primary</span> <span style="color: #0000ff;">key</span>(ID);

当然也可以直接在建表到时候就创建主键名称

复制代码

<span style="color: #0000ff;">CREATE</span> <span style="color: #0000ff;">TABLE</span><span style="color: #000000;"> "CSDNUSER"</p><p>  (</p><p>    "ID"      </span><span style="color: #0000ff;">INT</span><span style="color: #000000;"> ,</p><p>    "USERNAME" </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;">),</p><p>    "PASSWORD" </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;">),</p><p>    "EMAIL"    </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;">),</p><p>    </span><span style="color: #0000ff;">CONSTRAINT</span> "PK_CSDNUSER" <span style="color: #0000ff;">PRIMARY</span> <span style="color: #0000ff;">KEY</span><span style="color: #000000;"> ("ID") </p><p>)</span>

复制代码

在创建主键的时候,我们发现花费了一些时间,这是因为主键也是占据一定磁盘空间的。

————————————————————————————

创建控制文件:ora_csdn2.ctrl

复制代码

<span style="color: #000000;">load data</p><p>infile 'D:\www.csdn2.net.sql'</p><p>Append into table CSDNUSER2</p><p>fields terminated by ' # '</p><p>trailing nullcols</p><p>(    ID sequence(max,1),</p><p>    USERNAME,</p><p>    PASSWORD,</p><p>    EMAIL</p><p>)</span>

复制代码

在cmd中执行sqlldr命令

C:\Users\xuwei<span style="color: #808080;">&gt;</span>sqlldr userid<span style="color: #808080;">=</span>scott<span style="color: #808080;">/</span>tiger<span style="color: #008000;">@orcl</span> control<span style="color: #808080;">=</span>D:<span style="color: #808080;">/</span>ora_csdn2.ctrl direct<span style="color: #808080;">=</span><span style="color: #000000;">true  </span><span style="color: #ff00ff;">log</span><span style="color: #808080;">=</span>resulthis.out

resulthis.out内容如下:

复制代码

<span style="color: #000000;">SQL*Loader: Release 11.1.0.6.0 - Production on 星期一 6月 11 15:30:00 2012</p><p>Copyright (c) 1982, 2007, Oracle.  All rights reserved.</p><p>控制文件:      D:/ora_csdn2.ctrl</p><p>数据文件:      D:\www.csdn.net.sql</p><p>  错误文件:    D:/www.csdn.net.bad</p><p>  废弃文件:    未作指定</p><p> </p><p>(可废弃所有记录)</p><p>要加载的数: ALL</p><p>要跳过的数: 0</p><p>允许的错误: 50</p><p>继续:    未作指定</p><p>所用路径:       直接</p><p>加载是 UNRECOVERABLE;产生无效的恢复操作。</p><p>表 CSDNUSER,已加载从每个逻辑记录</p><p>插入选项对此表 INSERT 生效</p><p>TRAILING NULLCOLS 选项生效</p><p>   列名                        位置      长度  中止 包装数据类型</p><p>------------------------------ ---------- ----- ---- ---- ---------------------</p><p>ID                                                        SEQUENCE (MAX, 1)</p><p>USERNAME                            FIRST     *           CHARACTER            </p><p>    终止符字符串:  ' # '</p><p>PASSWORD                             NEXT     *           CHARACTER            </p><p>    终止符字符串:  ' # '</p><p>EMAIL                                NEXT     *           CHARACTER            </p><p>    终止符字符串:  ' # '</p><p>表 CSDNUSER 的以下索引已处理:</p><p>索引 SCOTT.SYS_C0038642 已成功加载, 具有 6428632 个关键字</p><p>表 CSDNUSER:</p><p>  6428632 行 加载成功。</p><p>  由于数据错误, 0 行 没有加载。</p><p>  由于所有 WHEN 子句失败, 0 行 没有加载。</p><p>  由于所有字段都为空的, 0 行 没有加载。</p><p>在直接路径中没有使用绑定数组大小。</p><p>列数组  行数:    5000</p><p>流缓冲区字节数:  256000</p><p>读取   缓冲区字节数: 1048576</p><p>跳过的逻辑记录总数:          0</p><p>读取的逻辑记录总数:       6428632</p><p>拒绝的逻辑记录总数:          0</p><p>废弃的逻辑记录总数:        0</p><p>由 SQL*Loader 主线程加载的流缓冲区总数:     1370</p><p>由 SQL*Loader 加载线程加载的流缓冲区总数:        2</p><p>从 星期一 6月  11 15:30:00 2012 开始运行</p><p>在 星期一 6月  11 15:31:02 2012 处运行结束</p><p>经过时间为: 00: 01: 02.45</p><p>CPU 时间为: 00: 00: 15.32</span>

复制代码

 3.3为数据表添加年龄列(2012-6-13)

  如果要利用上述数据进行数据分析,会发现内容太单调了,下面我们就要为原始数据添加一个年龄age列。即将原始的”username # password # email”的数据源文件变成”username # password # email # age”的文件,age是通过java代码写入文件的一个[18,99]区间的一个随机数。随机数的生成可以参考前一篇博客:java生成指定范围的随机数。

通过java程序为www.csdn.net.sql源文件添加一列age,生成一个新的文件www.csdn22.net.sql

复制代码

<span style="color: #0000ff;">package</span><span style="color: #000000;"> edu.sjtu.erplab.io;</p><p></span><span style="color: #0000ff;">import</span><span style="color: #000000;"> java.io.BufferedReader;</p><p></span><span style="color: #0000ff;">import</span><span style="color: #000000;"> java.io.File;</p><p></span><span style="color: #0000ff;">import</span><span style="color: #000000;"> java.io.FileNotFoundException;</p><p></span><span style="color: #0000ff;">import</span><span style="color: #000000;"> java.io.FileOutputStream;</p><p></span><span style="color: #0000ff;">import</span><span style="color: #000000;"> java.io.FileReader;</p><p></span><span style="color: #0000ff;">import</span><span style="color: #000000;"> java.io.IOException;</p><p></span><span style="color: #0000ff;">import</span><span style="color: #000000;"> java.util.Random;</p><p></span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">class</span><span style="color: #000000;"> FileAddCol {</p><p>    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">void</span><span style="color: #000000;"> main(String[] args) {</p><p>        File file </span>= <span style="color: #0000ff;">new</span> File("D:\\www.csdn22.net.sql");<span style="color: #008000;">//</p><p></span>        <span style="color: #0000ff;">try</span><span style="color: #000000;"> {</p><p>            FileOutputStream fos </span>= <span style="color: #0000ff;">new</span> FileOutputStream(file);<span style="color: #008000;">//</span><span style="color: #008000;">定义输出流</span></p><p>            BufferedReader br = <span style="color: #0000ff;">new</span> BufferedReader(<span style="color: #0000ff;">new</span> FileReader("D:\\www.csdn.net.sql"<span style="color: #000000;">));</p><p>            String temp </span>= <span style="color: #0000ff;">null</span>;<span style="color: #008000;">//</span><span style="color: #008000;">用于存储从文件中读取的每一行。</span></p><p>            StringBuffer sb = <span style="color: #0000ff;">new</span> StringBuffer();<span style="color: #008000;">//</span><span style="color: #008000;">变动字符串修改使用StringBuffer</span></p><p>    </p><p>            <span style="color: #008000;">/**</span><span style="color: #008000;"></p><p>             * 添加年龄列</p><p>             </span><span style="color: #008000;">*/</span></p><p>            <span style="color: #0000ff;">int</span> max=99<span style="color: #000000;">;</p><p>            </span><span style="color: #0000ff;">int</span> min=18<span style="color: #000000;">;</p><p>            Random random </span>= <span style="color: #0000ff;">new</span><span style="color: #000000;"> Random();</p><p>            </span><span style="color: #0000ff;">while</span> ((temp = br.readLine()) != <span style="color: #0000ff;">null</span>) <span style="color: #008000;">//</span><span style="color: #008000;">每次读取一行,直到文本末尾。</span></p><p><span style="color: #000000;">            {</p><p>                </span><span style="color: #008000;">//</span><span style="color: #008000;">如果不清空,则会报错:java.lang.OutOfMemoryError: Java heap space</span></p><p>                <span style="color: #0000ff;">if</span>(sb.length()&gt;1000000<span style="color: #000000;">)</p><p>                {</p><p>                    fos.write(sb.toString().getBytes());</p><p>                    sb.delete(</span>0, sb.length()-1<span style="color: #000000;">);</p><p>                }</p><p>                </span><span style="color: #0000ff;">int</span> s = random.nextInt(max)%(max-min+1) +<span style="color: #000000;"> min;</p><p>                temp </span>=temp+" # "+<span style="color: #000000;">s;</p><p>                sb.append(temp </span>+ "\r\n"<span style="color: #000000;">); </p><p>            }</p><p>            fos.write(sb.toString().getBytes());</p><p>        } </span><span style="color: #0000ff;">catch</span><span style="color: #000000;"> (FileNotFoundException e) {</p><p>            </span><span style="color: #008000;">//</span><span style="color: #008000;"> TODO Auto-generated catch block</span></p><p><span style="color: #000000;">            e.printStackTrace();</p><p>        } </span><span style="color: #0000ff;">catch</span><span style="color: #000000;"> (IOException e) {</p><p>            </span><span style="color: #008000;">//</span><span style="color: #008000;"> TODO Auto-generated catch block</span></p><p><span style="color: #000000;">            e.printStackTrace();</p><p>        }</p><p>    }</p><p>}</span>

复制代码

创建数据库表:csdnuser3

复制代码

  <span style="color: #0000ff;">CREATE</span> <span style="color: #0000ff;">TABLE</span><span style="color: #000000;"> "SCOTT"."CSDNUSER3"</p><p>  (</p><p>    "ID"       </span><span style="color: #0000ff;">INT</span><span style="color: #000000;">,</p><p>    "USERNAME" </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;">),</p><p>    "PASSWORD" </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;">),</p><p>    "EMAIL"    </span><span style="color: #0000ff;">VARCHAR2</span>(<span style="color: #800000; font-weight: bold;">256</span><span style="color: #000000;">),</p><p>    "AGE" </span><span style="color: #0000ff;">INT</span><span style="color: #000000;">,</p><p>    </span><span style="color: #0000ff;">CONSTRAINT</span> "PK_CSDNUSER3_ID" <span style="color: #0000ff;">PRIMARY</span> <span style="color: #0000ff;">KEY</span><span style="color: #000000;"> ("ID") </p><p>  )</span>

复制代码

创建控制文件ora_csdn3.ctrl

复制代码

<span style="color: #000000;">UNRECOVERABLE</p><p></span><span style="color: #0000ff;">load</span><span style="color: #000000;"> data</p><p>infile </span><span style="color: #ff0000;">'</span><span style="color: #ff0000;">D:\www.csdn22.net.sql</span><span style="color: #ff0000;">'</span></p><p><span style="color: #0000ff;">insert</span> <span style="color: #0000ff;">into</span> <span style="color: #0000ff;">table</span><span style="color: #000000;"> CSDNUSER3</p><p>fields terminated </span><span style="color: #0000ff;">by</span> <span style="color: #ff0000;">'</span><span style="color: #ff0000;"> # </span><span style="color: #ff0000;">'</span><span style="color: #000000;"></p><p>trailing nullcols</p><p>(    ID sequence(</span><span style="color: #ff00ff;">max</span>,<span style="color: #800000; font-weight: bold;">1</span><span style="color: #000000;">),</p><p>    USERNAME,</p><p>    PASSWORD,</p><p>    EMAIL,</p><p>    AGE</p><p>)</span>

复制代码

打开cmd命令行,使用sqlldr命令进行导入,导入命令如下:

C:\Users\xuwei<span>&gt;</span>sqlldr userid<span>=</span>scott<span>/</span>tiger<span>@orcl</span> control<span>=</span>D:<span>/</span>ora_csdn3.ctrl DIRECT<span>=</span><span>TRUE </span><span>log</span><span>=</span>resulthis.out

输出的日志文件为resulthis.out,他在C:\Users\xuwei目录下,因为上述sqlldr就在该目录下运行的。resulthis.out内容如下:

复制代码

SQL<span style="color: #808080;">*</span>Loader: Release <span style="color: #800000; font-weight: bold;">11.1</span>.<span style="color: #800000; font-weight: bold;">0.6</span>.<span style="color: #800000; font-weight: bold;">0</span> <span style="color: #808080;">-</span> Production <span style="color: #0000ff;">on</span> 星期三 6月 <span style="color: #800000; font-weight: bold;">13</span> <span style="color: #800000; font-weight: bold;">12</span>:<span style="color: #800000; font-weight: bold;">18</span>:<span style="color: #800000; font-weight: bold;">21</span> <span style="color: #800000; font-weight: bold;">2012</span><span style="color: #000000;"></p><p>Copyright (c) </span><span style="color: #800000; font-weight: bold;">1982</span>, <span style="color: #800000; font-weight: bold;">2007</span>, Oracle.  <span style="color: #808080;">All</span><span style="color: #000000;"> rights reserved.</p><p>控制文件:      D:</span><span style="color: #808080;">/</span><span style="color: #000000;">ora_csdn3.ctrl</p><p>数据文件:      D:\www.csdn22.net.sql</p><p>  错误文件:    D:</span><span style="color: #808080;">/</span><span style="color: #000000;">www.csdn22.net.bad</p><p>  废弃文件:    未作指定</p><p> </p><p>(可废弃所有记录)</p><p>要加载的数: </span><span style="color: #808080;">ALL</span><span style="color: #000000;"></p><p>要跳过的数: </span><span style="color: #800000; font-weight: bold;">0</span><span style="color: #000000;"></p><p>允许的错误: </span><span style="color: #800000; font-weight: bold;">50</span><span style="color: #000000;"></p><p>继续:    未作指定</p><p>所用路径:       直接</p><p>加载是 UNRECOVERABLE;产生无效的恢复操作。</p><p>表 CSDNUSER3,已加载从每个逻辑记录</p><p>插入选项对此表 </span><span style="color: #0000ff;">INSERT</span><span style="color: #000000;"> 生效</p><p>TRAILING NULLCOLS 选项生效</p><p>   列名                        位置      长度  中止 包装数据类型</p><p></span><span style="color: #008080;">--</span><span style="color: #008080;">---------------------------- ---------- ----- ---- ---- ---------------------</span></p><p>ID                                                        SEQUENCE (<span style="color: #ff00ff;">MAX</span>, <span style="color: #800000; font-weight: bold;">1</span><span style="color: #000000;">)</p><p>USERNAME                            FIRST     </span><span style="color: #808080;">*</span>           <span style="color: #0000ff;">CHARACTER</span><span style="color: #000000;">            </p><p>    终止符字符串:  </span><span style="color: #ff0000;">'</span><span style="color: #ff0000;"> # </span><span style="color: #ff0000;">'</span><span style="color: #000000;"></p><p>PASSWORD                             </span><span style="color: #0000ff;">NEXT</span>     <span style="color: #808080;">*</span>           <span style="color: #0000ff;">CHARACTER</span><span style="color: #000000;">            </p><p>    终止符字符串:  </span><span style="color: #ff0000;">'</span><span style="color: #ff0000;"> # </span><span style="color: #ff0000;">'</span><span style="color: #000000;"></p><p>EMAIL                                </span><span style="color: #0000ff;">NEXT</span>     <span style="color: #808080;">*</span>           <span style="color: #0000ff;">CHARACTER</span><span style="color: #000000;">            </p><p>    终止符字符串:  </span><span style="color: #ff0000;">'</span><span style="color: #ff0000;"> # </span><span style="color: #ff0000;">'</span><span style="color: #000000;"></p><p>AGE                                  </span><span style="color: #0000ff;">NEXT</span>     <span style="color: #808080;">*</span>           <span style="color: #0000ff;">CHARACTER</span><span style="color: #000000;">            </p><p>    终止符字符串:  </span><span style="color: #ff0000;">'</span><span style="color: #ff0000;"> # </span><span style="color: #ff0000;">'</span><span style="color: #000000;"></p><p>表 CSDNUSER3 的以下索引已处理:</p><p>索引 SCOTT.PK_CSDNUSER3_ID 已成功加载, 具有 </span><span style="color: #800000; font-weight: bold;">6428632</span><span style="color: #000000;"> 个关键字</p><p>表 CSDNUSER3:</p><p>  </span><span style="color: #800000; font-weight: bold;">6428632</span><span style="color: #000000;"> 行 加载成功。</p><p>  由于数据错误, </span><span style="color: #800000; font-weight: bold;">0</span><span style="color: #000000;"> 行 没有加载。</p><p>  由于所有 </span><span style="color: #0000ff;">WHEN</span> 子句失败, <span style="color: #800000; font-weight: bold;">0</span><span style="color: #000000;"> 行 没有加载。</p><p>  由于所有字段都为空的, </span><span style="color: #800000; font-weight: bold;">0</span><span style="color: #000000;"> 行 没有加载。</p><p>在直接路径中没有使用绑定数组大小。</p><p>列数组  行数:    </span><span style="color: #800000; font-weight: bold;">5000</span><span style="color: #000000;"></p><p>流缓冲区字节数:  </span><span style="color: #800000; font-weight: bold;">256000</span><span style="color: #000000;"></p><p>读取   缓冲区字节数: </span><span style="color: #800000; font-weight: bold;">1048576</span><span style="color: #000000;"></p><p>跳过的逻辑记录总数:          </span><span style="color: #800000; font-weight: bold;">0</span><span style="color: #000000;"></p><p>读取的逻辑记录总数:       </span><span style="color: #800000; font-weight: bold;">6428632</span><span style="color: #000000;"></p><p>拒绝的逻辑记录总数:          </span><span style="color: #800000; font-weight: bold;">0</span><span style="color: #000000;"></p><p>废弃的逻辑记录总数:        </span><span style="color: #800000; font-weight: bold;">0</span><span style="color: #000000;"></p><p>由 SQL</span><span style="color: #808080;">*</span>Loader 主线程加载的流缓冲区总数:     <span style="color: #800000; font-weight: bold;">1523</span><span style="color: #000000;"></p><p>由 SQL</span><span style="color: #808080;">*</span>Loader 加载线程加载的流缓冲区总数:     <span style="color: #800000; font-weight: bold;">1202</span><span style="color: #000000;"></p><p>从 星期三 6月  </span><span style="color: #800000; font-weight: bold;">13</span> <span style="color: #800000; font-weight: bold;">12</span>:<span style="color: #800000; font-weight: bold;">18</span>:<span style="color: #800000; font-weight: bold;">21</span> <span style="color: #800000; font-weight: bold;">2012</span><span style="color: #000000;"> 开始运行</p><p>在 星期三 6月  </span><span style="color: #800000; font-weight: bold;">13</span> <span style="color: #800000; font-weight: bold;">12</span>:<span style="color: #800000; font-weight: bold;">18</span>:<span style="color: #800000; font-weight: bold;">59</span> <span style="color: #800000; font-weight: bold;">2012</span><span style="color: #000000;"> 处运行结束</p><p>经过时间为: </span><span style="color: #800000; font-weight: bold;">00</span>: <span style="color: #800000; font-weight: bold;">00</span>: <span style="color: #800000; font-weight: bold;">38.00</span><span style="color: #000000;"></p><p>CPU 时间为: </span><span style="color: #800000; font-weight: bold;">00</span>: <span style="color: #800000; font-weight: bold;">00</span>: <span style="color: #800000; font-weight: bold;">15.88</span>

复制代码

通过上述日志可以发现导入耗时为38.00秒。

提高 SQL*Loader 的性能:

  1. 一个简单而容易忽略的问题是,没有对导入的表使用任何索引和/或约束(主键)。如果这样做,甚至在使用ROWS=参数时,会很明显降低数据库导入性能。
  2. 可以添加 DIRECT=TRUE来提高导入数据的性能。当然,在很多情况下,不能使用此参数。
  3. 通过指定 UNRECOVERABLE选项,可以关闭数据库的日志。这个选项只能和 direct 一起使用。
  4. 可以同时运行多个导入任务。

常规导入与direct导入方式的区别:

常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE),而直接将数据导入到数据文件中。比如direct导入将不检测主键的唯一性

SQLLDR用法

用法: SQLLDR keyword=value [,keyword=value,…]有效的关键字:

复制代码

<span style="color: #000000;">userid -- ORACLE username/password</p><p>control -- Control file name</p><p>log -- Log file name</p><p>bad -- Bad file name</p><p>data -- Data file name</p><p>discard -- Discard file name</p><p>discardmax -- Number of discards to allow        (全部默认)</p><p>skip -- Number of logical records to skip  (默认0)</p><p>load -- Number of logical records to load  (全部默认)</p><p>errors -- Number of errors to allow          (默认50)</p><p>rows -- Number of rows in conventional path bind array or between direct path data saves(默认: 常规路径 64, 所有直接路径)</p><p>bindsize -- Size of conventional path bind array in bytes(默认256000)</p><p>silent -- Suppress messages during run (header,feedback,errors,discards,partitions)</p><p>direct -- use direct path                    (默认FALSE)</p><p>parfile -- parameter file: name of file that contains parameter specifications</p><p>parallel -- do parallel load                   (默认FALSE)</p><p>file -- File to allocate extents from</p><p>skip_unusable_indexes -- disallow/allow unusable indexes or index partitions(默认FALSE)</p><p>skip_index_maintenance -- do not maintain indexes, mark affected indexes as unusable(默认FALSE)</p><p>readsize -- Size of Read buffer                (默认1048576)</p><p>external_table -- use external table for load; NOT_USED, GENERATE_ONLY, EXECUTE(默认NOT_USED)</p><p>columnarrayrows -- Number of rows for direct path column array(默认5000)</p><p>streamsize -- Size of direct path stream buffer in bytes(默认256000)</p><p>multithreading -- use multithreading in direct path</p><p>resumable -- enable or disable resumable for current session(默认FALSE)</p><p>resumable_name -- text string to help identify resumable statement</p><p>resumable_timeout -- wait time (in seconds) for RESUMABLE(默认7200)</p><p>date_cache -- size (in entries) of date conversion cache(默认1000)</span>

复制代码

导入的四种类型

  1. insert     –为缺省方式,在数据装载开始时要求表为空
  2. append  –在表中追加新记录
  3. replace  –删除旧记录(用 delete from table 语句),替换成新装载的记录
  4. truncate –删除旧记录(用 truncate table 语句),替换成新装载的记录

TRAILING NULLCOLS — 表的字段没有对应的值时允许为空

来源URL:http://www.cnblogs.com/xwdreamer/archive/2012/06/08/2541678.html