RENE 데이터 복사 및 정리

[jhgoh]

RENE실험 데이터 복사 및 정리 작업 진행.

현재는 DAQ 서버의 특정 디렉토리를 rsync해 오는 방식으로 해 오고 있었음.
이에 따라 작업중 파일이나 중간 product가 함께 복사되고 있었고, 여러 디렉토리에 같은 파일이 중복 저장되는 경우도 있음.

현재 계획:

• RAW 데이터만 별도 디렉토리에 저장할 것.
• 별개 디렉토리를 만들어 production파일은 최종 output만 저장할 것. 또는 hep에서 직접 생산.
• db 파일을 별도 디렉토리에 백업하고 백업날짜 지정
• 기존에 전송 완료된 run들은 현재 전송작업 완료된 후 재배치.
• config 디렉토리 별도로 마련해 통합 저장
• (추가) PRD파일 확인 후 전송
• (추가) TCB로그파일 전송

[jhgoh]

기존 전송 완료되었던 데이터에 대해 중복 확인 및 empty run / empty directory 및 오류 파일 확인 완료.
RENE/RAW/broken 과 RENE/RAW/empty에 옮김.

broken run은 001410, 001729, 002140임.

[jhgoh]

여러 디렉토리에 흩어져 있던 db 파일들을 RENE/db 아래에 저장함. 형식은 runcatalog.YYYY-MM-DD.db 형식을 따르되, 원본 파일에 suffix가 붙어 있으면 날짜 뒤에 suffix를 붙임 (예: runcatalog.YYYY-MM-DD.ori.db 등)

어차피 깨지지 않은 최근 db 파일 하나만 있어도 되지만, 용량이 크지 않아 일단 백업하는 날짜별로 구분해 저장해 둠. (현재 5월 29일자까지)

[jhgoh]

4000번대 런 전송 완료. ~944GB
4100번대 전송 시작, 3785 시작 (LS주입 후 최초 런)

[jhgoh]

기존 이미 복사된 파일들 중 PRD파일을 RENE/PRD 아래로 이동하고, 원래 디렉토리에서 새 위치로 ln -s 링크 추가함. 해당 run은 000549에서 002956까지임.

[jhgoh]

3875런 전송 완료. disk IO를 나누어 사용하게 되므로 동시 전송은 하지 않고 4100번대 전송만 일단 진행. 전송 속도느 높은 때 2.5MB/s, 낮을 때 400kB/s 수준임.

[jhgoh]

TCB 로그파일도 꼭 저장해야 함. 전송해야 할 파일 리스트에 추가.

[jhgoh]

이미 복사 완료되어 있고 압축까지 된 DAQ 로그파일들을 DAQLOG 디렉토리에 옮김. 000084부터 002783까지 확인됨.

[jhgoh]

로그파일중 Data와 Data_ssd간 중복 없음 확인. 서버측 scratch 디렉토리 내 로그파일 전송 시작. (2163, 3208-4216)

[jhgoh]

로그파일 전송 완료 후 압축까지 완료. 004220까지 완료.

[jhgoh]

기존 Data 디렉토리 내 RAW 파일들을 새로운 디렉토리로 이동 완료.
현재 남은 디렉토리들은 FADC subrun0가 없음.

기존 디렉토리 내 파일 용량 총 4.7TB이고, 이 아래 LOG가 2.1TB, production LOG가 1.4TB임. FADCDAQ*.log, SADCDAQ*.log, TCB*.log는 이미 복사 완료되어 중복이고, 남은 파일들은 log_merge*, log_production*, log_Realtime*, MERGER*, FADCMERGER* 파일 등임. 해당 merger파일 등은 각각 gzip압축 한 상태임.

[jhgoh]

이동 완료한 RAW파일들에 대한 용량 정보를 spreadsheet에 업데이트 완료.

[jhgoh]

요청에 따라 RAW 전송 중지하고 4183번 이후 PRD 파일 전송 시작. 이후 RAW 4180 이어 전송 예정.

[jhgoh]

RAW대신 4179-4182까지 PRD전송 우선 진행함.