RAC 에서 데이터 파일 추가 이슈

Talros 2017.10.30 16:54 조회 수 : 20019

1. 2 node RAC 환경에서 2번 노드에 접속 데이터 파일 추가 작업을 진행 . 문제 없이 작업이 완료됨

ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_018' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_018' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_019' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_019' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_020' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_020' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_021' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_021' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_022' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_022' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_023' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_023' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_024' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_024' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_025' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_025' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_026' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_026' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_027' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_027' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_028' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_028' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_029' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_029' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_030' SIZE 10239M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSX ADD DATAFILE '/dev/vol_ora23/rdbf_ora23_10_030' SIZE 10239M AUTOEXTEND OFF
ALTER TABLESPACE TBSD ADD DATAFILE '/dev/vol_ora24/rdbf_ora24_20_001' SIZE 20479M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSD ADD DATAFILE '/dev/vol_ora24/rdbf_ora24_20_001' SIZE 20479M AUTOEXTEND OFF
ALTER TABLESPACE TBSD ADD DATAFILE '/dev/vol_ora24/rdbf_ora24_20_002' SIZE 20479M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSD ADD DATAFILE '/dev/vol_ora24/rdbf_ora24_20_002' SIZE 20479M AUTOEXTEND OFF
ALTER TABLESPACE TBSD ADD DATAFILE '/dev/vol_ora24/rdbf_ora24_20_003' SIZE 20479M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSD ADD DATAFILE '/dev/vol_ora24/rdbf_ora24_20_003' SIZE 20479M AUTOEXTEND OFF
ALTER TABLESPACE TBSD ADD DATAFILE '/dev/vol_ora24/rdbf_ora24_20_004' SIZE 20479M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSD ADD DATAFILE '/dev/vol_ora24/rdbf_ora24_20_004' SIZE 20479M AUTOEXTEND OFF
ALTER TABLESPACE TBSD ADD DATAFILE '/dev/vol_ora24/rdbf_ora24_20_005' SIZE 20479M AUTOEXTEND OFF
Completed: ALTER TABLESPACE TBSD ADD DATAFILE '/dev/vol_ora24/rdbf_ora24_20_005' SIZE 20479M AUTOEXTEND OFF

2. 1번 노드 alert log 에서 에러가 발생 하기 시작함

Errors in file /log/DB1/trace/DB1_dbw0_7233.trc:
ORA-01157: cannot identify/lock data file 1853 - see DBWR trace file
ORA-01110: data file 1853: '/dev/vol_ora24/rdbf_ora24_20_001'
ORA-27037: unable to obtain file status
HPUX-ia64 Error: 13: Permission denied
Additional information: 3
Mon Mar 27 15:47:34 2017
Errors in file /log/DB1/trace/DB1_dbw0_7233.trc:
ORA-01186: file 1853 failed verification tests
ORA-01157: cannot identify/lock data file 1853 - see DBWR trace file
ORA-01110: data file 1853: '/dev/vol_ora24/rdbf_ora24_20_001'
Mon Mar 27 15:47:34 2017
File 1853 not verified due to error ORA-01157
Mon Mar 27 15:47:35 2017
Errors in file /log/DB1/trace/DB1_dbw0_7233.trc:
ORA-01157: cannot identify/lock data file 1853 - see DBWR trace file
ORA-01110: data file 1853: '/dev/vol_ora24/rdbf_ora24_20_001'
ORA-27037: unable to obtain file status
HPUX-ia64 Error: 13: Permission denied
Additional information: 3
Mon Mar 27 15:47:35 2017
Errors in file /log/DB1/trace/DB1_dbw0_7233.trc:
ORA-01186: file 1853 failed verification tests
ORA-01157: cannot identify/lock data file 1853 - see DBWR trace file
ORA-01110: data file 1853: '/dev/vol_ora24/rdbf_ora24_20_001'
File 1853 not verified due to error ORA-01157
Mon Mar 27 15:47:54 2017
Errors in file /log/DB1/trace/DB1_dbw0_7233.trc:
ORA-01157: cannot identify/lock data file 1854 - see DBWR trace file
ORA-01110: data file 1854: '/dev/vol_ora24/rdbf_ora24_20_002'
ORA-27037: unable to obtain file status
HPUX-ia64 Error: 13: Permission denied
Additional information: 3
Mon Mar 27 15:47:54 2017
Errors in file /log/DB1/trace/DB1_dbw0_7233.trc:
ORA-01186: file 1854 failed verification tests
ORA-01157: cannot identify/lock data file 1854 - see DBWR trace file
ORA-01110: data file 1854: '/dev/vol_ora24/rdbf_ora24_20_002'
Mon Mar 27 15:47:54 2017
File 1854 not verified due to error ORA-01157
Mon Mar 27 15:47:55 2017
Errors in file /log/DB1/trace/DB1_dbw0_7233.trc:
ORA-01157: cannot identify/lock data file 1854 - see DBWR trace file
ORA-01110: data file 1854: '/dev/vol_ora24/rdbf_ora24_20_002'
ORA-27037: unable to obtain file status
HPUX-ia64 Error: 13: Permission denied
Additional information: 3

3. 디바이스 정보를 확인 , 1번 노드에서 해당 디렉토리가 root 소유로 엑세스가 안되고 있었음

db1@oradb:DB1:/dev> 
drwxr-xr-x   2 oradb     dba           8192 Nov 24 18:15 vol_ora23/
drwxr-x---   2 root      sys           8192 Feb 23 22:12 vol_ora24/
drwxr-x---   2 root      sys           8192 Feb 23 22:21 vol_ora25/

4. 소유자를 변경 후 발생 하던 에러가 멈추었음

Mon Mar 27 15:50:14 2017
Errors in file /log/DB1/trace/DB1_dbw0_7233.trc:
ORA-01186: file 1861 failed verification tests
ORA-01157: cannot identify/lock data file 1861 - see DBWR trace file
ORA-01110: data file 1861: '/dev/vol_ora24/rdbf_ora24_20_009'
File 1861 not verified due to error ORA-01157
Mon Mar 27 15:56:56 2017
Thread 1 advanced to log sequence 249191 (LGWR switch)
  Current log# 2 seq# 249191 mem# 0: /dev/vol_rac/rredo1_2
Mon Mar 27 15:56:58 2017
Archived Log entry 590282 added for thread 1 sequence 249190 ID 0xf6718749 dest 1:

5. mmon_slave 에서 다시 에러가 발생 하기 시작함

Mon Mar 27 15:59:46 2017
Errors in file /log/DB1/trace/DB1_m000_26917.trc:
ORA-01157: cannot identify/lock data file 1853 - see DBWR trace file
ORA-01110: data file 1853: '/dev/vol_ora24/rdbf_ora24_20_001'
Mon Mar 27 15:59:46 2017
Errors in file /log/DB1/trace/DB1_m000_26917.trc:
ORA-01157: cannot identify/lock data file 1854 - see DBWR trace file
ORA-01110: data file 1854: '/dev/vol_ora24/rdbf_ora24_20_002'

-- Trace 내용

*** 2017-03-27 15:59:46.572
*** SESSION ID:(2700.38277) 2017-03-27 15:59:46.572
*** CLIENT ID:() 2017-03-27 15:59:46.572
*** SERVICE NAME:(SYS$BACKGROUND) 2017-03-27 15:59:46.572
*** MODULE NAME:(MMON_SLAVE) 2017-03-27 15:59:46.572
*** ACTION NAME:(Monitor Tablespace Thresholds) 2017-03-27 15:59:46.572

ORA-01157: cannot identify/lock data file 1853 - see DBWR trace file
ORA-01110: data file 1853: '/dev/vol_ora24/rdbf_ora24_20_001'
ORA-01157: cannot identify/lock data file 1854 - see DBWR trace file
ORA-01110: data file 1854: '/dev/vol_ora24/rdbf_ora24_20_002'
ORA-01157: cannot identify/lock data file 1855 - see DBWR trace file
ORA-01110: data file 1855: '/dev/vol_ora24/rdbf_ora24_20_003'
ORA-01157: cannot identify/lock data file 1856 - see DBWR trace file
ORA-01110: data file 1856: '/dev/vol_ora24/rdbf_ora24_20_004'
ORA-01157: cannot identify/lock data file 1857 - see DBWR trace file
ORA-01110: data file 1857: '/dev/vol_ora24/rdbf_ora24_20_005'
ORA-01157: cannot identify/lock data file 1858 - see DBWR trace file
ORA-01110: data file 1858: '/dev/vol_ora24/rdbf_ora24_20_006'
ORA-01157: cannot identify/lock data file 1859 - see DBWR trace file
ORA-01110: data file 1859: '/dev/vol_ora24/rdbf_ora24_20_007'
ORA-01157: cannot identify/lock data file 1860 - see DBWR trace file
ORA-01110: data file 1860: '/dev/vol_ora24/rdbf_ora24_20_008'
ORA-01157: cannot identify/lock data file 1861 - see DBWR trace file
ORA-01110: data file 1861: '/dev/vol_ora24/rdbf_ora24_20_009'
~

데이터 파일 권한을 해결한 이후 인데 아직 인지를 못하고 같은 에러가 발생 하고 있음

6. 1번 노드에서 해당 데이터 파일 조회시 에러가 발생 , 2번 노드에서는 정상 조회

 select * from dba_data_files
 where file_name = '/dev/vol_ora24/rdbf_ora24_20_009';

7. 오라클 문서 에서 다음과 같은 내용 확인

ORA-1157 Troubleshooting (문서 ID 184327.1)

01157, 00000, "cannot identify/lock data file %s - see DBWR trace file"

Cause: The background process was either unable to find one of the data files or failed to lock it because the file was already in use. The database will prohibit access to this file but other files will be unaffected. However the first instance to open the database will need to access all online data files. Accompanying error from the operating system describes why the file could not be identified.

Action: Have operating system make file available to database. Then either open the database or do ALTER SYSTEM CHECK DATAFILES.

8. 1번 노드에서 명령어 실행

ALTER SYSTEM CHECK DATAFILES

9. alter system check datafile 적용 이후 문제 발생 안함

Mon Mar 27 18:00:17 2017
Errors in file /log/DB1/trace/DB1_m000_18500.trc:
ORA-01157: cannot identify/lock data file 1860 - see DBWR trace file
ORA-01110: data file 1860: '/dev/vol_ora24/rdbf_ora24_20_008'
Mon Mar 27 18:00:17 2017
Errors in file /log/DB1/trace/DB1_m000_18500.trc:
ORA-01157: cannot identify/lock data file 1861 - see DBWR trace file
ORA-01110: data file 1861: '/dev/vol_ora24/rdbf_ora24_20_009'
Mon Mar 27 18:01:21 2017
Thread 1 advanced to log sequence 249219 (LGWR switch)
  Current log# 10 seq# 249219 mem# 0: /dev/vol_rac/rredo2_5
Mon Mar 27 18:01:21 2017
Archived Log entry 590320 added for thread 1 sequence 249218 ID 0xf6718749 dest 1:
Mon Mar 27 18:01:23 2017
Thread 1 advanced to log sequence 249220 (LGWR switch)
  Current log# 1 seq# 249220 mem# 0: /dev/vol_rac/rredo1_1
Mon Mar 27 18:01:23 2017
Archived Log entry 590321 added for thread 1 sequence 249219 ID 0xf6718749 dest 1:
Mon Mar 27 18:08:46 2017
Thread 1 advanced to log sequence 249221 (LGWR switch)
  Current log# 2 seq# 249221 mem# 0: /dev/vol_rac/rredo1_2
Mon Mar 27 18:08:47 2017
Archived Log entry 590323 added for thread 1 sequence 249220 ID 0xf6718749 dest 1:
Mon Mar 27 18:20:14 2017
Thread 1 advanced to log sequence 249222 (LGWR switch)
  Current log# 3 seq# 249222 mem# 0: /dev/vol_rac/rredo1_3
Mon Mar 27 18:20:15 2017
Archived Log entry 590324 added for thread 1 sequence 249221 ID 0xf6718749 dest 1:
Mon Mar 27 18:37:17 2017
Thread 1 advanced to log sequence 249223 (LGWR switch)
  Current log# 9 seq# 249223 mem# 0: /dev/vol_rac/rredo2_4
Mon Mar 27 18:37:18 2017
Archived Log entry 590326 added for thread 1 sequence 249222 ID 0xf6718749 dest 1:
Mon Mar 27 19:00:39 2017

10. MMON_SLAVE 의 테이블 스페이스 체크 부분이 이슈가 해결된 이후에도 과거 상태를 가지고 있어 에러가 계속 발생

ALTER SYSTEM CHECK DATAFILES 명령어가 수동으로 테이블 스페이스에 대한 상태를 다시 정상화 시켜 준것으로

판단 됩니다.