Sincronizar com o ClickHouse usando o WalShadow

Replique seus dados do Postgres para o ClickHouse com o WalShadow, um mecanismo de replicação nativo que lê diretamente do WAL do PostgreSQL

WalShadow é um mecanismo de replicação nativo para o ClickHouse Managed Postgres que lê diretamente do Write-Ahead Log (WAL) do PostgreSQL. Ele é otimizado para menor latência e workloads de alto throughput, entregando uma defasagem de replicação inferior a um segundo entre o Postgres e o ClickHouse. Seu desenvolvimento é aberto em ClickHouse/walshadow.

WalShadow é um dos dois métodos de replicação disponíveis em Sync to ClickHouse. O outro, ClickPipes, é um pipeline de dados totalmente gerenciado. Escolha o WalShadow quando precisar da menor latência e da menor sobrecarga de replicação.

Quando o WalShadow estiver disponível para o seu service, um banner de Private Preview aparece na página Overview. Clique em Configure WalShadow para começar.

Antes de prosseguir, verifique se o seu Postgres service está acessível ao ClickHouse. O WalShadow se conecta diretamente ao ClickHouse service de destino, portanto você precisará de um ClickHouse user e uma senha com permissão para criar bancos de dados e tabelas.

Para configurar a replicação, clique em Sync to ClickHouse na barra lateral do seu Postgres instance e, em seguida, clique em Replicate data in ClickHouse.

1. Selecione o mecanismo de replicação

   Escolha WalShadow como mecanismo de replicação e clique em Next.

2. Configure o serviço de replicação

   Preencha as configurações de replicação:

   • ClickHouse service: selecione um ClickHouse service existente ou crie um novo
   • Postgres database: selecione o banco de dados de origem a ser replicado ou crie um novo
   • Replication method: escolha uma das opções:
     • Carga inicial + CDC: importa os dados existentes e mantém as tabelas atualizadas com as novas alterações (recomendado)
     • Apenas carga inicial: importação única dos dados existentes, sem atualizações contínuas
     • CDC only: ignora a importação inicial e captura apenas as novas alterações a partir de então

   Clique em Next para prosseguir.

3. Selecione as tabelas a replicar

   Escolha um banco de dados de destino e selecione quais tabelas replicar:

   • Destination database: selecione um banco de dados ClickHouse existente ou crie um novo
   • Tables: expanda cada schema e selecione tabelas individuais ou ative Select all tables. Para cada tabela, você pode personalizar o Destination table name e ajustar as Column settings.
   • ClickHouse user e ClickHouse password: o WalShadow se conecta diretamente ao ClickHouse service de destino, portanto precisa de credenciais com permissão para criar o banco de dados e as tabelas de destino.

   Clique em Replicate data to ClickHouse para iniciar a replicação.

4. Monitore o WalShadow

   Depois de iniciar a replicação, o WalShadow aparece na página Sync to ClickHouse. Seu status fica como Creating enquanto o pipeline é provisionado e a carga inicial é preparada.

   Concluído o provisionamento, o status muda para Running. A página exibe métricas em tempo real da replicação:

   • Status: o estado atual do pipeline (por exemplo, Running)
   • Rows synced: o número total de linhas replicadas para o ClickHouse
   • Backfills pending: o número de tabelas que ainda aguardam sua carga inicial
   • Lag: o volume de dados de WAL que ainda falta aplicar
   • Lag time: o quanto o destino está atrasado em relação ao Postgres no momento
   • Uptime: há quanto tempo o pipeline está em execução
   • Last updated: quando as métricas foram reportadas pela última vez

​

Ressalvas

Alguns pontos a observar enquanto o WalShadow está em Private Preview:

• Por enquanto, apenas um WalShadow por Postgres service.
• Operações e métricas mais detalhadas estão no roadmap.