728x90

copy 3

[PostgreSQL] 월별 파티션 롤링 운영 — 계획/실행 프루닝 + DETACH/DROP + COPY 적재 + ATTACH

설치·접속: PostgreSQL 설치와 접속부제: 로그를 월별 RANGE 파티션으로 나눴는데, 특정 달만 조회할 때 정말 그 파티션만 읽는지, 오래된 달은 어떻게 무중단으로 내리고 새 달은 어떻게 붙이는지로그 테이블 log를 logdate 기준 월별 RANGE 파티션으로 운영한다. 파티션을 나눴다고 자동으로 빨라지는 건 아니다. 조회가 실제로 필요한 파티션만 읽는지(프루닝), 만료된 달을 어떻게 즉시 내리고 새 달을 어떻게 대량 적재해 붙이는지가 "운영"의 핵심이다.CREATE TABLE log ( id bigserial, logdate date NOT NULL, level text, msg text) PARTITION BY RANGE (logdate);CREATE TABLE log_2026m01 PA..

명령어/DB 2026.07.21

[PostgreSQL] 배치 동기화 ETL — COPY FROM PROGRAM + MERGE 다분기 + PROCEDURE 청크 커밋

설치·접속: PostgreSQL 설치와 접속부제: 매일 벤더가 주는 재고 파일을 본 테이블에 반영하는데, 신규는 INSERT·변경은 UPDATE·재고 0은 DELETE를 한 번에 처리하고 대량이면 트랜잭션이 몇 시간 잠길 때매일 벤더 재고 스냅샷을 받아 재고 테이블과 동기화한다. 앱에서 파일을 파싱해 행마다 조회하고 분기 INSERT/UPDATE/DELETE를 돌리던 루프를, 세 가지 SQL 기능으로 갈아엎는다. 파일 적재는 COPY FROM PROGRAM, 다분기 반영은 MERGE, 대량일 때 롱 트랜잭션 회피는 PROCEDURE 청크 커밋이다.1단계 — COPY FROM PROGRAM으로 스테이징 적재 (HEADER MATCH로 컬럼 검증)COPY ... FROM PROGRAM은 서버가 셸 명령을 실..

명령어/DB 2026.07.21

[CentOS 7] 템플릿, 복사본 제작

※잘못된 내용과 오타가 있다면 덧글로 피드백주시면 감사하겠습니다.※ 윈도우 템플릿 만들기 윈도우는 sysprep을 사용하여 템플릿을 생성할 수 있습니다. 리눅스는 sys-unconfig로 템플릿을 생성할 수 있습니다. 그러나 수동으로 작업하는 것과 많이 다르지 않습니다. 수동작업과 sys-unconfig 모두 해당되는 공통 작업을 알아보고 수동작업과 sys-unconfig의 다른 작업 단계를 알아보겠습니다. 참고 링크 목차 1. 공통 2. 수동 3. sys-unconfig 1. 공통 ssh 호스트 키를 제거합니다. rm -rf /etc/ssh/ssh_host_* 호스트네임을 변경합니다. vi /etc/hostname HOSTNAME=localhost.localdomain 네트워크 구성 파일에서 고유값들을..

Infra 2019.02.19
728x90