PostgreSQL New Feature는 시리즈로 구성됩니다.
- PostgreSQL 17 주요 기능 설명과 파라미터, 시스템 카탈로그 변화
- PostgreSQL 17 추가, 개선 기능
- PostgreSQL 17 Vacuum 성능 향상
- PostgreSQL 17 증분백업(Incremental Backup)
본 문서에서는 PostgreSQL 17에서 Vacuum 성능 향상에 대한 내용을 기술합니다.
Vacuum 성능 향상
PostgreSQL 16 버전까지는 구현상의 이유로
maintenance_work_mem 또는 autovacuum_work_mem설정 값을 크게 설정하더라도 Vacuum 수행 시 최대 1GB까지만 메모리를 사용할 수 있었습니다. 이로 인해 처리해야 할 Dead Tuple을 기억할 메모리 영역이 부족해져 불필요한 테이블 재스캔이 발생하는 경우가 있었습니다. 또한, 발견된 Dead Tuple을 저장하는 데이터 구조가 단순한 배열 형태였기 때문에 Dead Tuple의 개수가 많을 경우 효율적이라고 할 수 없었습니다.PostgreSQL 17 버전에서 이러한 문제를 해결하는 것을 포함하여 Vacuum 구현의 변경이 있습니다.
- Vacuum의 효율성을 높이기 위해 Radix Tree 구조를 도입하여 메모리 사용량을 기존 대비 최대 20배 절약할 수 있고, Vacuum 수행 시 사용 가능한 메모리 크기의 제한이 제거되었습니다. 또한, 대량 데이터 처리의 Vacuum 처리 속도가 향상되었습니다.
- Dead Tuple 정리와 Tuple Freeze 작업을 한 번에 처리하도록 변경하여 WAL 생성량을 감소시켰으며, 인덱스가 없는 테이블의 Vacuum 작업을 효율화하여 WAL 생성량을 감소시켰습니다.
Vacuum 성능 테스트
동일한 환경에서 PostgreSQL 16.4와 PostgreSQL 17.2의 Vacuum 성능 차이를 확인합니다. 테스트에 사용되는 PostgreSQL 파라미터는
autovacuum과 maintenance_work_mem 파라미터만 변경하며, 다른 파라미터는 기본값을 사용합니다.테스트는 총 6개의 Case로 진행하며, 1억 건의 데이터 생성 후 인덱스 존재 여부에 따라 5%, 50%, 95%의 데이터를 UPDATE 합니다. 각 UPDATE 수행 후 Vacuum 명령어에 VERBOSE 옵션을 추가하여 Vacuum 소요 시간과 WAL 생성량을 확인하고, OS에서 메모리 사용량을 확인합니다. 추가적으로 5억 건의 데이터로 Vacuum 수행 시 메모리 사용량이 최대가 되는 경우에 대해 확인합니다.
📢 Vacuum 수행 시 메모리 사용량 확인은 Vacuum을 수행한 세션의 PID를 통해 smaps을 3초마다 확인하여 Vacuum 수행 중 메모리 사용량이 가능 높았던 수치를 사용합니다.
📢 VACUUM VERBOSE에서는 TOAST 테이블에 대한 소요 시간과 WAL 생성량도 포함되어 출력됩니다. 본 테스트에서는 TOAST 테이블에 저장되는 길이의 데이터가 존재하지 않으므로 TOAST에 대한 내용은 다루지 않습니다.
Vacuum 성능 테스트 Case
Case | 상황 | 비고 |
Case 1. | 1억건 데이터 + 전체 데이터 5% UPDATE | |
Case 2. | 1억건 데이터 + 전체 데이터 50% UPDATE | |
Case 3. | 1억건 데이터 + 전체 데이터 95% UPDATE | |
Case 4. | 1억건 데이터 + 인덱스 생성 + 전체 데이터 5% UPDATE | |
Case 5. | 1억건 데이터 + 인덱스 생성 + 전체 데이터 50% UPDATE | |
Case 6. | 1억건 데이터 + 인덱스 생성 + 전체 데이터 95% UPDATE | |
Case 7. | 5억건 데이터 + 인덱스 생성 + 전체 데이터 95% UPDATE | Vacuum 수행 시 메모리 최대 사용 |
Vacuum 성능 테스트 데이터 생성
아래 설명 되는 테스트는 PostgreSQL 16과 PostgreSQL 17에서 동일하게 수행합니다.
vacuum_tab01 ~ vacuum_tab06 테이블에는 1억 건의 데이터를 생성하며, 인덱스 존재 여부에 따라 Vacuum 성능을 확인하기 위해 vacuum_tab04 ~ vacuum_tab06 테이블에는 인덱스를 생성합니다. 추가적으로 vacuum_tab10 테이블에는 Vacuum 수행 시 메모리를 최대로 사용하는 상황을 만들기 위해 5억 건의 데이터를 생성합니다.
각 테스트 Case 별로 생성된 테이블에 데이터 갱신을 합니다.
Vacuum 수행 전 테이블에 대한 Vacuum 수행 내역을 확인합니다.
autovacuum=off이고 별도로 Vacuum을 수행하지 않았기 때문에 Vacuum 수행 이력이 존재하지 않습니다.Vacuum 수행 시 메모리 사용량을 확인하기 위해 새로운 터미널에서 smaps을 수행합니다.
Vacuum 수행
각 테스트 Case별로 Vacuum을 수행합니다.
Vacuum 수행 시 결과는 아래와 같습니다. Vacuum VERBOSE 내용 중 마지막 부분의 WAL usage와 system usage를 통해 Vacuum 생성량과 Vacuum 소요 시간을 확인하고 앞서 수행 한 smaps 결과 중 가장 높은 수치를 확인합니다.
📢 VACUUM VERBOSE로 출력되는 내용은 본 문서 하단에서 설명합니다.
Vacuum 수행 후 테이블에 대한 Vacuum 수행 내역을 확인합니다. Vacuum을 1회 수행했기 때문에 vacuum_count=1로 조회되며, Vacuum 수행이 완료된 시간이 last_vacuum에 조회됩니다.
Vacuum 성능 테스트 결과
PostgreSQL 16.4와 PostgreSQL 17.2에서 Vacuum 수행 결과는 아래 표와 같습니다.
소요 시간 감소: Vacuum 소요 시간은 최대 30% 감소되었습니다.
WAL 생성량 감소: Vacuum 수행 시 WAL 생성량은 최대 30% 감소되었습니다.
메모리 사용량 감소: Vacuum 수행 시 메모리 사용량은 최대 95% 감소되었습니다.
PostgreSQL 17에서 Vacuum 성능 향상을 테스트를 통하여 확인할 수 있으며, 그 중 메모리 사용량 감소가 가장 큰 성능 향상을 보였습니다. 이는 Vacuum에 사용되던 메모리를 다른 작업에 사용할 수 있어 메모리 경합을 감소시킬 수 있어 업무 성능 향상을 가져올 수 있을 것으로 예상됩니다.
📢 테스트 과정에서는 full_page_write=on으로 설정되어 있었으며,
full_page_write=off로 변경 시 WAL 생성이 증가할 수 있습니다.부록 1. VACUUM VERBOSE 해석
Vauum 수행 시 VERBOSE 옵션을 추가하면 Vacuum 처리 과정 및 통계 등을 확인할 수 있습니다. 아래 예시를 통해 해석 방법을 설명합니다.
① Vacuum 작업 정보
- postgres Database의 public 스키마에 속한 vacuum_tab04 테이블을 Vacuum 수행
② Vacuum 작업 완료 정보
- postgres Database의 public 스키마에 속한 vacuum_tab04 테이블을 Vacuum을 완료하였고, 관련된 인덱스 Vacuum을 위해 인덱스를 한 번 스캔
index scans: 0의 경우 테이블에 관련된 인덱스가 없음을 추측 가능
③ 페이지 통계
0 removed: 제거된 Page 수 0
567570 remain: 남아 있는 Page 수 567,570
567570 scanned (100.00% of total): 스캔된 Page 수 567,570 (전체의 100%)
④ Tuple 통계
5000000 removed: 제거된 Tuple 수 5,000,000
100000000 remain: 남아 있는 Tuple 수 100,000,000
0 are dead but not yet removable: 아직 제거되지 않은 Tuple 수 0
⑤ XID 정보
removable cutoff: 780 XID는 제거 가능한 트랜잭션의 기준점이며, 작업 종료 시 기준으로 0개의 트랜잭션이 제거 조건에 해당
new relfrozenxid: 새로 설정된 relfrozenxid는 777로, 이전 값보다 13 트랜잭션 앞서 있으며, 이는 Freeze 된 트랜잭션 ID 범위가 확장되었음을 의미
⑥ Frozen Tuple
- 540,541 페이지가 Frozen 되었고(전체의 95.24%) 95,000,005 Tuple이 Frozen
⑦ 인덱스 통계
- 인덱스 스캔이 필요한 페이지 수는 540,540개 이고(전체의 95.24%) 제거된 항목은 4,999,995개(Dead Tuple과 관련된 인덱스 항목 정리)
⑧ 인덱스 상태
- vacuum_tab04_idx 인덱스 상태를 표현
274194 in total: 총 Page 수 274,194
0 newly deleted: 새로 삭제된 Page 수 0
0 currently deleted: 현재 삭제된 Page 수 0
0 reusable: 재사용 가능한 Page 수 0
⑨ I/O 속도
avg read rate: 113.535 MB/s: 평균 읽기 속도는 113.535 MB/s
avg write rate: 113.457 MB/s: 평균 쓰기 속도는 113.457 MB/s
⑩ 버퍼 사용량
567660 hits: 캐시에서 데이터를 읽은 횟수 567,660
1382447 misses: 디스크에서 데이터를 읽어온 횟수 1,382,447
1381488 dirtied: Vacuum 작업으로 수정된 버퍼 수 1,381,488
⑪ WAL 통계
2462415 records: 기록된 WAL Record 수 2,462,415개
1354334 full page images: 전체 페이지 데이터가 WAL에 기록된 횟수는 1,354,334 (full_page_write=on 경우에만 수치 존재)
10777301340 bytes: WAL의 전체 크기는 약 10.78GB
⑫ 시스템 리소스 사용량
CPU: user: 25.40 s, system: 15.94 s: User CPU 사용 시간 25.40s, System CPU 사용 시간 15.94s
elapsed: 95.12 s: Vacuum 수행 시간 95.12s
부록 2. 각 테스트 별 VACUUM VERBOSE 내용
PostgreSQL 16.4 VACUUM VERBOSE 내용
PostgreSQL 17.2 VACUUM VERBOSE 내용
함께 보면 좋은 아티클
