Data pump 를 이용해 데이터를 받을 때 테이블에서 원하는 데이터만 필터링 해서 받고 싶을때

 

사용 할수 있는 QUERY 파라미터를 테스트 해보았습니다.

 

- 테스트 환경

OS : Linux 2.6 x86_64

DB : 11.2.0.4 Standard

 

테이블에서 1달 분의 데이터를 뽑기 위한 사전 준비로 Par File 을 만들어 보겠습니다.

 

Syntax

QUERY = [schema.][table_name:] query_clause

 

 

TABLES=TUSER.CRL
QUERY=TUSER.CRL:"where posted_date between to_date('20151231 23:59','yyyymmdd hh24:mi') and to_date('20160131 23:59','yyyymmdd hh24:mi')" 
DUMPFILE=TUSER_1TH_ONIDX.dmp
LOGFILE=TTUSER_1TH_ONIDX.log 
JOB_NAME=TUSER_1TH

 

위 내용을 이용해 데이터를 Export 한 내용 입니다.
 

Export: Release 11.2.0.4.0 - Production on Thu Jan 28 08:26:33 2016

Copyright (c) 1982, 2011, Oracle and/or its affiliates.  All rights reserved.

Connected to: Oracle Database 11g Release 11.2.0.4.0 - 64bit Production
Starting "SYSTEM"."TUSER_1TH":  system/******** DIRECTORY=PUMP_DIR PARFILE=CRL_PAR.txt 
Estimate in progress using BLOCKS method...
Processing object type TABLE_EXPORT/TABLE/TABLE_DATA
Total estimation using BLOCKS method: 236.5 GB
>>> DBMS_AW_EXP: SYS.AW$EXPRESS: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWMD: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWCREATE: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWCREATE10G: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWXML: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWREPORT: OLAP not enabled
Processing object type TABLE_EXPORT/TABLE/TABLE
Processing object type TABLE_EXPORT/TABLE/COMMENT
Processing object type TABLE_EXPORT/TABLE/INDEX/INDEX
Processing object type TABLE_EXPORT/TABLE/CONSTRAINT/CONSTRAINT
Processing object type TABLE_EXPORT/TABLE/INDEX/STATISTICS/INDEX_STATISTICS
>>> DBMS_AW_EXP: SYS.AW$EXPRESS: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWMD: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWCREATE: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWCREATE10G: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWXML: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWREPORT: OLAP not enabled
. . exported "TUSER"."CRL"                             2.303 GB  912451 rows
Master table "SYSTEM"."TUSER_1TH" successfully loaded/unloaded
******************************************************************************
Dump file set for SYSTEM.TUSER_1TH is:
  /backup_data/pump_data/TUSER_1TH_ONIDX.dmp
Job "SYSTEM"."TUSER_1TH" successfully completed at Thu Jan 28 08:27:33 2016 elapsed 0 00:00:59

 

총                236.5 GB

추출 데이터  2.303 GB 912451rows

소요 시간은  elapsed 0 00:00:59

 

 

해당 컬럼에 인덱스가 있을 때와 없을때 Export 속도에 어느 정도 영향이 있는지 알아 보기 위해

 

인덱스를 invisible 로 변경 후  데이터를 추출 해 보겠습니다.

 

-- Export 조건이 포함된 인덱스
CREATE INDEX TUSER.CRL_IDX01 ON TUSER.CRL
(POSTED_DATE)
LOGGING
TABLESPACE TUSER_T
;

SQL> 
SQL> ALTER INDEX TUSER.CRL_IDX01 INVISIBLE;

Index altered.

 

인덱스를 비활성화를 해보고 같은 작업을 반복 합니다.

 

DB-testVM:/backup_data/pump_data/> expdp system/******** DIRECTORY=PUMP_DIR PARFILE=CRL_PAR.txt

Export: Release 11.2.0.4.0 - Production on Thu Jan 28 07:28:35 2016

Copyright (c) 1982, 2011, Oracle and/or its affiliates.  All rights reserved.

Connected to: Oracle Database 11g Release 11.2.0.4.0 - 64bit Production
Starting "SYSTEM"."TUSER_1TH":  system/******** DIRECTORY=PUMP_DIR PARFILE=CRL_PAR.txt 
Estimate in progress using BLOCKS method...
Processing object type TABLE_EXPORT/TABLE/TABLE_DATA
Total estimation using BLOCKS method: 236.5 GB
>>> DBMS_AW_EXP: SYS.AW$EXPRESS: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWMD: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWCREATE: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWCREATE10G: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWXML: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWREPORT: OLAP not enabled
Processing object type TABLE_EXPORT/TABLE/TABLE
Processing object type TABLE_EXPORT/TABLE/COMMENT
Processing object type TABLE_EXPORT/TABLE/INDEX/INDEX
Processing object type TABLE_EXPORT/TABLE/CONSTRAINT/CONSTRAINT
Processing object type TABLE_EXPORT/TABLE/INDEX/STATISTICS/INDEX_STATISTICS
>>> DBMS_AW_EXP: SYS.AW$EXPRESS: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWMD: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWCREATE: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWCREATE10G: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWXML: OLAP not enabled
>>> DBMS_AW_EXP: SYS.AW$AWREPORT: OLAP not enabled
. . exported "TUSER"."CRL"                             2.303 GB  912451 rows
Master table "SYSTEM"."TUSER_1TH" successfully loaded/unloaded
******************************************************************************
Dump file set for SYSTEM.TUSER_1TH is:
  /backup_data/pump_data/TUSER_1TH_NONIDX.dmp
Job "SYSTEM"."CRL_MASICCA" successfully completed at Thu Jan 28 08:23:48 2016 elapsed 0 00:55:12

 

총                236.5 GB

추출 데이터  2.303 GB 912451rows

소요 시간은  elapsed 0 00:55:12

 

QUERY 파라미터를 사용시 조건에 인덱스가 있나 없냐에 따라 데이터를 추출 하는 속도가 달라진 것을 확인 할수 있습니다.