دليل إعداد مصدر ClickHouse Managed Postgres

إعداد ClickHouse Managed Postgres كمصدر لـ ClickPipes

ClickHouse Managed Postgres هي خدمة Postgres مُدارة بالكامل في ClickHouse Cloud، وهي أسرع مصادر Postgres في الاتصال بـ ClickPipes: فالنسخ المتماثل المنطقي مُفعَّل على كل instance، وعناوين IP الخاصة بـ ClickPipes مسموح بها افتراضيًا، وتفاصيل الاتصال متاحة في نفس الكونسول الذي تُدار فيه خدمة ClickHouse الخاصة بك.

هناك طريقتان لبدء النسخ المتماثل من instance تابع لـ ClickHouse Managed Postgres، وكلتاهما تُنشئ ClickPipe عاديًا لـ Postgres، لذا ينطبق كل ما ورد في توثيق Postgres ClickPipe بمجرد أن يبدأ الـ pipe في العمل.

​

الخيار 1: المزامنة إلى ClickHouse من خدمة Postgres

افتح خدمة ClickHouse Managed Postgres الخاصة بك في كونسول ClickHouse Cloud وانقر على Sync to ClickHouse في الشريط الجانبي. يملأ المعالج بيانات اتصال المصدر تلقائيًا، ويتيح لك اختيار destination خدمة ClickHouse وطريقة النسخ المتماثل والجداول المراد نسخها. ولا يتطلب ذلك إعداد أي USER أو publication أو شبكة.

اتبع دليل Sync to ClickHouse للحصول على شرح تفصيلي خطوة بخطوة. وللحصول على النسخ المتماثل بزمن استجابة منخفض، يمكنك أيضًا اختيار WalShadow، وهو engine للنسخ المتماثل native يقرأ على مستوى نظام الملفات، وهو متاح حاليًا في private preview.

​

الخيار 2: اختيار ClickHouse Managed Postgres كمصدر في ClickPipes

إذا كنت تفضّل البدء من جهة الوجهة، فافتح خدمة ClickHouse الخاصة بك، وانتقل إلى Data Sources، ثم اختر ClickHouse Managed Postgres من قائمة المصادر. بعدها أدخل تفاصيل الاتصال الخاصة بـ Postgres instance لديك، كما تفعل مع أي مصدر Postgres آخر.

​

تفاصيل الاتصال

افتح خدمة ClickHouse Managed Postgres وانقر على Connect لعرض المضيف والمنفذ وقاعدة البيانات والمستخدم وكلمة المرور. استخدم اتصال Postgres المباشر، وليس خيار via PgBouncer، إذ لا يدعم ClickPipes النسخ المتماثل عبر PgBouncer أو أي مجمّع اتصالات آخر. راجع Connection للمزيد من التفاصيل.

​

إنشاء مستخدم مع الأذونات

يمكنك الاتصال باستخدام المستخدم الافتراضي postgres. أما في بيئة الإنتاج فنوصي بمستخدم replication مخصص للقراءة فقط، تمامًا كما هو الحال مع أي مصدر Postgres آخر. اتصل بالـ instance الخاص بك عبر psql ثم نفّذ:

1. أنشئ مستخدمًا مخصصًا لـ ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. امنح المستخدم صلاحية وصول للقراءة فقط على مستوى الـ schema. يوضح المثال التالي الأذونات الخاصة بالـ schema المسمى public. كرّر هذه الأوامر لكل schema يحتوي على جداول ترغب في نسخها:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. امنح المستخدم صلاحيات الـ replication:

   ALTER USER clickpipes_user WITH REPLICATION;
   

4. أنشئ publication يتضمن الجداول التي ترغب في نسخها. ونوصي بشدة بأن تُضمّن في الـ publication الجداول التي تحتاجها فقط، تجنبًا للأعباء الإضافية على الأداء.

يجب أن يكون لأي جدول مُضمَّن في الـ publication إما primary key معرّف أو أن تكون replica identity الخاصة به مهيّأة على FULL. راجع أسئلة Postgres الشائعة للاطلاع على إرشادات تحديد النطاق.

• لإنشاء publication لجداول محددة:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • لإنشاء publication لجميع الجداول في schema محدد:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

​

النسخ المتماثل المنطقي (النسخ المتماثل المنطقي)

النسخ المتماثل المنطقي مُفعَّل مسبقًا على كل instance من ClickHouse Managed Postgres. ولا يوجد إعداد wal_level أو parameter group يحتاج إلى تغيير. ويمكنك التحقق من ذلك بواسطة:

SHOW wal_level; -- should be logical

​

الوصول عبر الشبكة

يقبل ClickHouse Managed Postgres الاتصالات من ClickPipes افتراضيًا. أما إذا كنت قد هيّأت IP filters على خدمة Postgres الخاصة بك، فأضف عناوين IP الثابتة الخاصة بـ ClickPipes للمنطقة التي يوجد بها خدمة ClickHouse إلى قائمة العناوين المسموح بها.

​

TLS

تُقدّم instances الخاصة بـ ClickHouse Managed Postgres شهادة موقّعة من CA فريدة لكل instance وغير موثوقة علنًا. ويكون التحقق من الشهادة مُمكّنًا افتراضيًا في ClickPipes، لذا يفشل فحص الاتصال إلى أن تقوم بأحد الإجراءين التاليين:

• تنزيل حزمة شهادة CA من علامة التبويب Settings في خدمة Postgres الخاصة بك وتوفيرها عبر Upload CA في إعدادات اتصال ClickPipe. وهذا هو الخيار الموصى به. راجع اتصال TLS مُتحقَّق منه لمعرفة مكان الحصول على الحزمة.
• تفعيل Skip certificate verification في إعدادات اتصال ClickPipe. يبقى الاتصال مشفّرًا، لكن دون التحقق من هوية server.

إذا أنشأت pipe باستخدام clickhousectl، فاحصل على الحزمة ومرّرها عبر --ca-certificate:

clickhousectl cloud postgres certs get <postgres-service-id> --output pg-ca.pem

​

ما الخطوة التالية؟

يمكنك الآن إنشاء ClickPipe الخاص بك والبدء في استيعاب البيانات من instance الخاص بـ ClickHouse Managed Postgres إلى ClickHouse Cloud. ويُتاح Native CDC من ClickHouse Managed Postgres إلى ClickHouse دون أي تكلفة إضافية؛ راجع الأسعار لمزيد من التفاصيل.