WalShadow는 PostgreSQL의 Write-Ahead Log(WAL)를 직접 읽는 ClickHouse Managed Postgres용 네이티브 복제 엔진입니다. 낮은 지연 시간과 고처리량 워크로드에 최적화되어 있어 Postgres에서 ClickHouse로 1초 미만의 복제 지연을 제공합니다. ClickHouse/walshadow에서 오픈소스로 개발되고 있습니다.
WalShadow는 Sync to ClickHouse에서 사용할 수 있는 두 가지 복제 방식 중 하나입니다. 다른 하나인 ClickPipes는 완전 관리형 데이터 파이프라인입니다. 가장 낮은 지연 시간과 최소한의 복제 오버헤드가 필요하다면 WalShadow를 선택하십시오.
서비스에서 WalShadow를 사용할 수 있으면 Overview 페이지에 비공개 프리뷰 배너가 표시됩니다. Configure WalShadow를 클릭하여 시작하십시오.
진행하기 전에 ClickHouse에서 Postgres 서비스에 액세스할 수 있는지 확인하십시오.
WalShadow는 대상 ClickHouse 서비스에 직접 연결하므로, 데이터베이스와 테이블을 생성할 권한이 있는 ClickHouse 사용자와 비밀번호가 필요합니다.1
복제 엔진 선택
복제 엔진으로 WalShadow를 선택한 후 다음을 클릭하십시오.
2
복제 서비스 구성
복제 설정을 입력하십시오:
- ClickHouse 서비스: 기존 ClickHouse 서비스를 선택하거나 새로 생성합니다
- Postgres 데이터베이스: 복제할 원본 데이터베이스를 선택하거나 새로 생성합니다
- 복제 방식: 다음 중 하나를 선택합니다:
- 초기 적재 + CDC: 기존 데이터를 가져오고 이후 발생하는 변경 사항을 테이블에 계속 반영합니다(권장)
- 초기 적재만: 기존 데이터를 한 번만 가져오고 이후 업데이트는 수행하지 않습니다
- CDC만: 초기 가져오기를 건너뛰고 이후 발생하는 새로운 변경 사항만 캡처합니다
3
복제할 테이블 선택
대상 데이터베이스를 선택하고 복제할 테이블을 지정하십시오:
- 대상 데이터베이스: 기존 ClickHouse 데이터베이스를 선택하거나 새로 생성합니다
- 테이블: 각 스키마를 확장하여 개별 테이블을 선택하거나, 모든 테이블 선택을 켜십시오. 테이블별로 대상 테이블 이름을 사용자 지정하고 컬럼 설정을 조정할 수 있습니다.
- ClickHouse 사용자 및 ClickHouse 비밀번호:
WalShadow는 대상 ClickHouse 서비스에 직접 연결하므로, 대상 데이터베이스와 테이블을 생성할 수 있는 권한을 가진 자격 증명이 필요합니다.
4
WalShadow 모니터링
복제를 시작하면 Sync to ClickHouse 페이지에
WalShadow가 표시됩니다. 파이프라인이 프로비저닝되고 초기 적재가 준비되는 동안에는 상태가 Creating으로 표시됩니다.프로비저닝이 완료되면 상태가 Running으로 변경됩니다. 이 페이지에서는 복제에 대한 실시간 메트릭을 확인할 수 있습니다:- Status: 파이프라인의 현재 상태(예:
Running) - Rows synced: ClickHouse로 복제된 총 행 수
- Backfills pending: 초기 적재를 아직 대기 중인 테이블 수
- Lag: 아직 적용되지 않은 WAL 데이터의 양
- Lag time: 대상이 현재 Postgres보다 얼마나 뒤처져 있는지
- Uptime: 파이프라인이 실행된 시간
- Last updated: 메트릭이 마지막으로 보고된 시점
주의 사항
WalShadow가 비공개 프리뷰 단계인 동안 유의해야 할 몇 가지 사항은 다음과 같습니다:
- 현재는 Postgres 서비스당
WalShadow를 하나만 사용할 수 있습니다. - 운영 기능과 더 상세한 메트릭은 로드맵에 포함되어 있습니다.