Guide de configuration de la source ClickHouse Managed Postgres

Configurer ClickHouse Managed Postgres comme source pour ClickPipes

ClickHouse Managed Postgres est un service Postgres entièrement géré dans ClickHouse Cloud. C’est la source Postgres la plus rapide à connecter à ClickPipes : la réplication logique est activée sur chaque instance, les adresses IP de ClickPipes sont autorisées par défaut et les informations de connexion figurent dans la même console que votre service ClickHouse.

Il existe deux façons de lancer la réplication depuis une instance ClickHouse Managed Postgres. Toutes deux créent un ClickPipe Postgres classique : tout ce que décrit la documentation du ClickPipe Postgres s’applique donc dès que le pipe est en cours d’exécution.

​

Option 1 : synchroniser vers ClickHouse depuis le service Postgres

Ouvrez votre service ClickHouse Managed Postgres dans la console ClickHouse Cloud et cliquez sur Sync to ClickHouse dans la barre latérale. L’assistant préremplit la connexion source et vous permet de choisir un service ClickHouse de destination, la méthode de réplication ainsi que les tables à répliquer. Aucune configuration d’utilisateur, de publication ou de réseau n’est nécessaire.

Consultez le guide Sync to ClickHouse pour une procédure pas à pas. Pour une réplication à faible latence, vous pouvez également choisir WalShadow, un moteur de réplication natif qui lit au niveau du système de fichiers, actuellement en private preview.

​

Option 2 : sélectionner ClickHouse Managed Postgres comme source dans ClickPipes

Si vous préférez partir de la destination, ouvrez votre service ClickHouse, accédez à Data Sources et choisissez ClickHouse Managed Postgres dans la liste des sources. Il ne vous reste plus qu’à fournir les informations de connexion de votre instance Postgres, comme pour n’importe quelle autre source Postgres.

​

Informations de connexion

Ouvrez votre service ClickHouse Managed Postgres et cliquez sur Connect pour afficher l’hôte, le port, la base de données, l’utilisateur et le mot de passe. Utilisez la connexion Postgres directe, et non le toggle via PgBouncer : ClickPipes ne prend pas en charge la réplication via PgBouncer ni via aucun autre connection pooler. Consultez Connection pour plus de détails.

​

Création d’un utilisateur avec des permissions

Vous pouvez vous connecter avec l’utilisateur postgres par défaut. En production, nous recommandons un utilisateur de réplication dédié en lecture seule, exactement comme pour toute autre source Postgres. Connectez-vous à votre instance avec psql et exécutez :

1. Créez un utilisateur dédié pour ClickPipes :

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Accordez à l’utilisateur un accès en lecture seule au niveau du schéma. L’exemple suivant montre les permissions pour le schéma public. Répétez ces commandes pour chaque schéma contenant des tables que vous souhaitez répliquer :

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Accordez les privilèges de réplication à l’utilisateur :

   ALTER USER clickpipes_user WITH REPLICATION;
   

4. Créez une publication contenant les tables que vous souhaitez répliquer. Nous recommandons vivement de n’y inclure que les tables nécessaires, afin d’éviter une surcharge des performances.

Toute table incluse dans la publication doit soit disposer d’une primary key définie, soit avoir sa replica identity définie sur FULL. Consultez la FAQ Postgres pour des conseils sur la délimitation.

• Pour créer une publication pour des tables spécifiques :

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Pour créer une publication pour toutes les tables d’un schéma donné :

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

​

Réplication logique

La réplication logique est déjà activée sur chaque instance ClickHouse Managed Postgres. Aucun paramètre wal_level ni parameter group n’est à modifier. Vous pouvez le vérifier avec :

SHOW wal_level; -- should be logical

​

Accès réseau

ClickHouse Managed Postgres accepte par défaut les connexions provenant de ClickPipes. Si vous avez configuré des IP filters sur votre Postgres service, ajoutez à la liste des adresses autorisées les adresses IP statiques de ClickPipes correspondant à la région de votre ClickHouse service.

​

TLS

Les instances ClickHouse Managed Postgres présentent un certificat signé par une CA propre à l’instance et non approuvée publiquement. ClickPipes active la vérification de certificat par défaut : le contrôle de la connexion échoue donc tant que vous n’avez pas effectué l’une des actions suivantes :

• Téléchargez le bundle de certificats CA depuis l’onglet Settings de votre service Postgres et fournissez-le via Upload CA dans les paramètres de connexion du ClickPipe. C’est l’option recommandée. Consultez Verified TLS connection pour savoir où trouver ce bundle.
• Activez Skip certificate verification dans les paramètres de connexion du ClickPipe. La connexion reste chiffrée, mais l’identité du serveur n’est pas vérifiée.

Si vous créez le pipe avec clickhousectl, récupérez le bundle et transmettez-le avec --ca-certificate :

clickhousectl cloud postgres certs get <postgres-service-id> --output pg-ca.pem

​

Et ensuite ?

Vous pouvez désormais créer votre ClickPipe et commencer à ingérer les données de votre instance ClickHouse Managed Postgres dans ClickHouse Cloud. Le CDC natif de ClickHouse Managed Postgres vers ClickHouse est inclus sans frais supplémentaires ; consultez la page Tarification pour plus de détails.