진행하기 전에 ClickPipes 서비스에서 Postgres 서비스에 액세스할 수 있는지 확인하십시오. 기본적으로는 액세스가 가능하지만, IP 액세스를 제한한 경우 ClickHouse 서비스가 위치한 리전에 따라 이 목록의 일부 소스 IP에 대해 액세스를 허용해야 할 수 있습니다.
1
복제 서비스 구성
복제 설정을 입력하십시오:
- Integration name: 이 ClickPipe의 이름
- ClickHouse service: 기존 ClickHouse Cloud 서비스를 선택하거나 새로 생성
- Postgres database: 복제할 원본 데이터베이스
- Replication method: 다음 중 하나를 선택
- Initial load + CDC: 기존 데이터를 가져오고 이후 변경 사항을 반영해 테이블을 계속 최신 상태로 유지(권장)
- Initial load only: 기존 데이터를 일회성으로 스냅샷하며 이후 업데이트는 없음
- CDC only: 초기 스냅샷을 건너뛰고 이후 발생하는 변경 사항만 캡처
2
복제 설정 구성
데이터가 복제되는 방식을 세밀하게 조정하십시오:
- Sync interval (seconds): Postgres에서 변경 사항을 가져오는 주기(기본값: 60)
- Parallel threads for initial load: 초기 스냅샷 시 사용되는 스레드 수(기본값: 4)
- pull batch 크기: 복제 중 배치당 가져오는 행 수(기본값: 100000)
- Snapshot number of rows per partition: 초기 스냅샷 시 파티션당 행 수(기본값: 100000)
- Snapshot number of tables in parallel: 동시에 스냅샷할 테이블 수(기본값: 1)
3
복제할 테이블 선택
대상 데이터베이스를 선택하고 복제할 테이블을 지정하십시오:
- Destination database: 기존 ClickHouse 데이터베이스를 선택하거나 새로 생성
- Prefix default destination table names with schema name: 이름 충돌을 방지하기 위해 Postgres 스키마를 접두사로 추가
- Preserve NULL values from source: 타입 기본값으로 변환하지 않고 NULL 값을 그대로 유지합니다. 이 설정은 파이프의 모든 테이블에 적용되며, 파이프를 생성한 후에는 변경할 수 없습니다.
- Remove deleted rows during merges: ReplacingMergeTree 테이블에서 백그라운드 머지 시 삭제된 행을 물리적으로 제거합니다
4
ClickPipe 모니터링
ClickPipe가 시작되면 동일한 메뉴에 목록으로 표시됩니다. 전체 데이터의 초기 스냅샷은 테이블 크기에 따라 다소 시간이 걸릴 수 있습니다.통합 이름을 클릭하면 상세 상태를 확인하고, 진행 상황을 모니터링하며, 오류를 확인하고, ClickPipe를 관리할 수 있습니다. ClickPipe가 가질 수 있는 다양한 상태를 이해하려면 Postgres ClickPipe의 수명 주기를 참조하십시오.