WalShadow es un motor de replicación nativo para ClickHouse Managed Postgres que lee directamente del registro de escritura anticipada (WAL) de PostgreSQL. Está optimizado para cargas de trabajo de baja latencia y alto rendimiento, y ofrece un retraso de replicación inferior a un segundo entre Postgres y ClickHouse. Su desarrollo es abierto y se realiza en ClickHouse/walshadow.
WalShadow es uno de los dos métodos de replicación disponibles en Sync to ClickHouse. El otro, ClickPipes, es una canalización de datos totalmente gestionada. Elija WalShadow cuando necesite la menor latencia posible y la mínima sobrecarga de replicación.
Cuando WalShadow está disponible para su servicio, aparece un banner de Private Preview en la página Overview. Haga clic en Configure WalShadow para comenzar.
Antes de continuar, asegúrese de que su servicio Postgres sea accesible para ClickHouse.
WalShadow se conecta directamente a su servicio ClickHouse de destino, por lo que necesitará un usuario y una contraseña de ClickHouse con permisos para crear bases de datos y tablas.1
Seleccione el motor de replicación
Elija WalShadow como motor de replicación y luego haga clic en Next.
2
Configure el servicio de replicación
Complete los ajustes de replicación:
- ClickHouse service: seleccione un servicio ClickHouse existente o cree uno nuevo
- Postgres database: seleccione la base de datos de origen desde la que replicar, o cree una nueva
- Replication method: elija una de estas opciones:
- Initial load + CDC: importa los datos existentes y mantiene las tablas actualizadas con los nuevos cambios (recomendado)
- Initial load only: importación única de los datos existentes, sin actualizaciones posteriores
- CDC only: omite la importación inicial y captura únicamente los nuevos cambios a partir de ese momento
3
Seleccione las tablas que se van a replicar
Elija una base de datos de destino y seleccione qué tablas replicar:
- Destination database: seleccione una base de datos en ClickHouse existente o cree una nueva
- Tables: expanda cada esquema y seleccione tablas individuales, o active Select all tables. Para cada tabla puede personalizar el Destination table name y ajustar las Column settings.
- ClickHouse user y ClickHouse password:
WalShadowse conecta directamente al servicio ClickHouse de destino, por lo que necesita credenciales con permiso para crear la base de datos y las tablas de destino.
4
Monitorice WalShadow
Después de iniciar la replicación,
WalShadow aparece en la página Sync to ClickHouse. Su estado es Creating mientras se aprovisiona la canalización y se prepara la carga inicial.Una vez completado el aprovisionamiento, el estado cambia a Running. La página muestra métricas en tiempo real de la replicación:- Status: el estado actual de la canalización (por ejemplo,
Running) - Filas sincronizadas: el número total de filas replicadas en ClickHouse
- Backfills pending: el número de tablas que aún esperan su carga inicial
- Lag: el volumen de datos del WAL pendientes de aplicar
- Lag time: cuánto retraso acumula actualmente el destino respecto a Postgres
- Uptime: cuánto tiempo lleva ejecutándose la canalización
- Last updated: cuándo se informaron las métricas por última vez
Advertencias
Algunos aspectos a tener en cuenta mientrasWalShadow se encuentra en Private Preview:
- Por ahora, solo se admite un
WalShadowpor servicio Postgres. - Las Operations y métricas más detalladas forman parte del roadmap.