테스트 환경:  python     3.10.6

                      cx-Oracle  8.3.0

                      windows

디비 모니터링을 위해 디비가 아닌  파일로 이벤트 정보를 파일로 저장하게 만들었지만 정보를 이용 하기 힘들어 디비에 넣어서 확인을 해보기로 했습니다.

파일은 mon_resptime_YYYYMMDD.out 이런 형식으로 일별로 파일이 생성이 되고

위와 같이 내용이 저장 되는데 문제는 중간에 날짜와 컬럼 정보들로 인해 이대로 데이터를 넣기가 힘든 점입니다.

다른 여러 방법이 있겠지만 전 Python 을 이용해 해당 파일을 수정 하고 디비에 insert 를 해보기로 했습니다.

우선 해당 파일에서 불필요한 요소 세가지가 있습니다.

1.   Sat Jan 1 00:00:16 KST 2022

2. TIME   EVENT     WAITS1    WAITS2       TIME1 TIME2

3. ----------------- ----------------------- --------------- --------------- ----------------- -----------------

테이블에 데이터를 넣을 때 필요 없는 데이터를 지울수 있는 코드를 만들었습니다.

파이썬 들여쓰기로 코드의 영역을 구분 하기 때문에 주의를 해야 합니다.

이 코드에서는 Python 기본 라이브러리인 os 를 이용 했습니다.

우선 작업을 할 디렉토리를 저장 할 변수 두개를 선언 했습니다.

       input_dir : 작업 대상 파일이 있는 위치 

       output_dir : 데이터를 변형 후 저장 할 위치

os.listdir 함수는 디렉토리 안을 조회 하는 함수 입니다. 이 함수를 이용해 조회된 리스트를 for 문을 이용해 반복 처리를 합니다.

그리고 if 문으로 작업 할 파일만 필터링 합니다.

        if filename.startswith("mon_resptime_") and filename.endswith(".out"):

파일의 시작 명칭과 마지막 확장자가 일치 할 경우에 참이 되도록 하고 

        input_path = os.path.join(input_dir, filename)

os.path.join 함수를 이용해 작업 대상 디렉토리와 파일명을 합쳐 절대 위치를 만들어 input_path 에 저장을 합니다.

        output_path = os.path.join(output_dir, filename.replace("mon_resptime_", "c_mon_resptime_"))

filename.replace 로 파일명을 변경 하고 output 파일을 저장할 위치를 변수에 저장 합니다.

        with open(input_path, "r") as f_in, open(output_path, "w") as f_out:

작업이 완료 후 자동으로 파일을 close 할 수 있게 with 문을 이용해 작업 대상 파일은 "r" 로 출력 대상 파일은 "w" 로 쓰기 로 파일을 오픈 합니다.

그리고 파일을 for 문을 이용해 라인 별로 읽어 들입니다.

   for line in f_in:

사용 할 데이터가 있는 정보만 추출하기 위해 라인의 첫번째 글자가 숫자로 된 경우만 데이터를 저장 하도록 조건을 만듭니다.

                if line[0].isdigit():

사용 하는 방법은 간단합니다.  파일에 저장 하고 실행만 하면 됩니다.

다음은 파일을 insert 하는 코드 입니다.

여기서 추가로 사용된 라이브러리는 정규식을 위한 re , 오라클 디비 사용을 위한 cx_Oracle 입니다.

최근 python-oracledb 로 명칭이 변경 되었지만 일단 제가 설치한 버전명으로 사용하겠습니다.

cx_Oracle 의 경우 pip 를 이용해 추가로 라이브러리를 설치를 해야 합니다. 

conn = cx_Oracle.connect("db_user/db_user_pw@tns_name") 

오라클에 접속을 하기 위한 함수 입니다. 다양한 접속 방법을 제공 하지만 저는 TNS 를 이용해 접속을 하였습니다.

 re.match 함수와 함께 사용된 정규 표현식은 다음과 같은 의미입니다.

    ^(\d{2}\/\d{2}\/\d{2}\s+\d{2}:\d{2}:\d{2}): 날짜와 시간을 추출하는데 사용되며, 날짜는 MM/DD/YY 형식, 시간은 HH:MM:SS 형식입니다.
    \s+(.+): 이벤트 이름을 추출하는데 사용되며, 공백 이후의 모든 문자열을 추출합니다.
    \s+(\d+): waits1 값을 추출하는데 사용되며, 숫자 하나 이상의 값에 매칭됩니다.
    \s+(\d+): waits2 값을 추출하는데 사용되며, 숫자 하나 이상의 값에 매칭됩니다.
    \s+(\d+)\s+(\d+): time1과 time2 값을 추출하는데 사용되며, 각각 숫자 하나 이상의 값에 매칭됩니다. 
 

 분리된 데이터는 딕셔너리에 저장을 하고 

 data.append((time, event, waits1, waits2, time1, time2)) 

 커서를 오픈 후 

 cur = conn.cursor()

딕셔너리 변수에 담긴 데이터를 cur.executemany 함수를 이용해 한번에 insert 후  commit 을 합니다. 

 파일 하나가 insert 가 끝이 나면  cur.close() 으로 커서를 종료 하고 

 모든 파일이 insert 가 완료 되면 conn.close() 로 접속을 종료 합니다.

실행을 하는 것은 위의 코드 처럼 저장을 하고 실행을 시키면 됩니다.

이렇게 데이터를 넣은 모습을 확인 할 수 있습니다.

서버에서 자주 사용하는 shell  이외에 다른 방법으로 최근에 사용해 보고 있는 python 에 대한 사용법을 공유해 드립니다.