次に進む前に、Postgres service に ClickPipes サービスからアクセスできることを確認してください。デフォルトではアクセス可能ですが、IP アクセスを制限している場合は、ClickHouse service が配置されているリージョンに応じて、こちらのリストに記載されたソース IP からのアクセスを許可する必要があります。
1
レプリケーションサービスの構成
レプリケーションの設定を入力します。
- インテグレーション名: この ClickPipe の名前
- ClickHouse service: 既存の ClickHouse Cloud service を選択するか、新規に作成します
- Postgres database: レプリケーション元となるソースデータベース
- Replication method: 次のいずれかを選択します。
- 初期ロード + CDC (変更データキャプチャ) : 既存データを取り込み、その後もテーブルを新しい変更で更新し続けます (推奨)
- 初期ロード only: 既存データの snapshot を一度だけ取得し、以降の更新は行いません
- CDC (変更データキャプチャ) only: 初回 snapshot をスキップし、以降の新しい変更のみをキャプチャします
2
レプリケーション設定の構成
データのレプリケーション方法を細かく調整します。
- Sync interval (seconds): Postgres から変更を取得する頻度 (デフォルト: 60)
- Parallel threads for 初期ロード: 初回 snapshot 時に使用するスレッド数 (デフォルト: 4)
- Pull バッチサイズ: レプリケーション中に 1 バッチで取得する行数 (デフォルト: 100000)
- Snapshot number of rows per partition: 初回 snapshot 時のパーティションあたりの行数 (デフォルト: 100000)
- Snapshot number of tables in parallel: 同時に snapshot を取得するテーブル数 (デフォルト: 1)
3
レプリケーションするテーブルの選択
宛先データベースを選択し、レプリケーション対象のテーブルを指定します。
- 宛先データベース: 既存の ClickHouse データベースを選択するか、新規に作成します
- Prefix default destination table names with schema name: 名前の競合を避けるため、Postgres のスキーマ名をプレフィックスとして付加します
- Preserve NULL values from source: 型のデフォルト値に変換せず、NULL 値をそのまま保持します。この設定はパイプ内のすべてのテーブルに適用され、パイプの作成後は変更できません。
- Remove deleted rows during merges: ReplacingMergeTree テーブルの場合、バックグラウンドの merge 中に削除済みの行を物理的に削除します
4
ClickPipe の監視
ClickPipe が開始されると、同じメニューに一覧表示されます。全データの初回 snapshot には、テーブルのサイズに応じて時間がかかる場合があります。インテグレーション名をクリックすると、詳細なステータスの確認、進捗の監視、エラーの表示、ClickPipe の管理を行えます。ClickPipe が取り得るさまざまな状態については、Postgres ClickPipe のライフサイクルを参照してください。