المزامنة مع ClickHouse باستخدام ClickPipes

انسخ بيانات Postgres إلى ClickHouse باستخدام إمكانات CDC المدمجة

يأتي كل ClickHouse Managed Postgres instance مزوّدًا بقدرات CDC مدمجة نحو أي من خدمات ClickHouse لديك. ويتيح لك ذلك نقل بعض أو كل البيانات الموجودة في Postgres instance إلى ClickHouse، مع انعكاس التغييرات الحاصلة على بيانات Postgres في ClickHouse بشكل مستمر وشبه لحظي. ويعمل ذلك في الخلفية بالاعتماد على ClickPipes.

للوصول إلى هذه الميزة، انقر على Sync to ClickHouse في الشريط الجانبي لـ Postgres instance.

قبل المتابعة، تأكد من أن Postgres service لديك متاح للوصول من خدمة ClickPipes. وهذا هو الوضع الافتراضي عادةً، لكن إذا كنت قد قيّدت الوصول عبر عناوين IP فقد تحتاج إلى منح الوصول لبعض عناوين IP المصدر من هذه القائمة، وفقًا للمنطقة التي توجد فيها ClickHouse service الخاصة بك.

انقر على Replicate data in ClickHouse لبدء إعداد ClickPipe الخاص بك.

1. تهيئة خدمة النسخ المتماثل

   املأ إعدادات النسخ المتماثل:

   • Integration name: اسم لهذا الـ ClickPipe
   • ClickHouse service: اختر خدمة ClickHouse Cloud موجودة أو أنشئ واحدة جديدة
   • Postgres database: قاعدة البيانات المصدر التي سيتم النسخ المتماثل منها
   • Replication method: اختر أحد الخيارات التالية:
     • تحميل أولي + CDC: استيراد البيانات الموجودة وإبقاء الجداول محدَّثة بالتغييرات الجديدة (موصى به)
     • تحميل أولي فقط: لقطة واحدة للبيانات الموجودة دون تحديثات مستمرة
     • CDC only: تخطّي اللقطة الأولية والتقاط التغييرات الجديدة فقط

   انقر على Next للمتابعة.

2. تهيئة إعدادات النسخ المتماثل

   اضبط تفاصيل كيفية نسخ البيانات:

   • Sync interval (seconds): مدى تكرار سحب التغييرات من Postgres (الافتراضي: 60)
   • Parallel threads for initial load: عدد الخيوط المستخدمة أثناء اللقطة الأولية (الافتراضي: 4)
   • Pull batch size: عدد الصفوف التي يتم جلبها في كل دفعة أثناء النسخ المتماثل (الافتراضي: 100000)
   • Snapshot number of rows per partition: عدد الصفوف لكل partition أثناء اللقطة الأولية (الافتراضي: 100000)
   • Snapshot number of tables in parallel: عدد الجداول التي تُؤخذ لها لقطة بالتوازي (الافتراضي: 1)

   انقر على Next للمتابعة.

3. اختيار الجداول المراد نسخها

   اختر قاعدة بيانات هدف وحدِّد الجداول التي سيتم نسخها:

   • Destination database: اختر قاعدة بيانات ClickHouse موجودة أو أنشئ واحدة جديدة
   • Prefix default destination table names with schema name: يضيف schema الخاص بـ Postgres كبادئة لتجنّب تعارض الأسماء
   • Preserve NULL values from source: يحافظ على قيم NULL بدلاً من تحويلها إلى القيم الافتراضية للنوع. ينطبق هذا الإعداد على جميع الجداول في الـ pipe ولا يمكن تغييره بعد إنشائه.
   • Remove deleted rows during merges: بالنسبة لجداول ReplacingMergeTree، يزيل الصفوف المحذوفة فعلياً أثناء عمليات الدمج في الخلفية

   وسّع المخططات وحدِّد الجداول التي تريد نسخها. يمكنك أيضاً تخصيص أسماء جداول الوجهة وإعدادات الأعمدة.

   انقر على Replicate data to ClickHouse لبدء النسخ المتماثل.

4. مراقبة الـ ClickPipe الخاص بك

   بمجرد بدء الـ ClickPipe، ستجده مدرجاً في القائمة نفسها. وقد تستغرق اللقطة الأولية لجميع البيانات بعض الوقت حسب حجم جداولك.

   انقر على اسم التكامل لعرض الحالة التفصيلية ومتابعة التقدم وعرض الأخطاء وإدارة الـ ClickPipe. راجع دورة حياة ClickPipe الخاص بـ Postgres لفهم الحالات المختلفة التي قد يمرّ بها الـ ClickPipe الخاص بك.