شرح طريقة تصدير البيانات من Search Console إلى BigQuery

byمدونة العرائش التقنية -

تصدير بيانات Google Search Console إلى BigQuery خطوة بخطوة مع أمثلة عملية

تصدير البيانات من Search Console إلى BigQuery

 

لماذا تصدير بيانات Search Console إلى BigQuery؟

في هذا الموضوع و من خلال مدونة العرائش التقنية سوف نتعرف على عالم تحسين محركات البحث (SEO) والتحليلات المتقدمة، أصبح الوصول إلى بيانات Google Search Console (GSC) بشكل أعمق وأكثر مرونة ضرورة لا غنى عنها. بينما توفر Search Console تقارير مفيدة، فإنها تظل محدودة في:

  • فترة الاحتفاظ بالبيانات (16 شهرًا فقط)
  • عدم القدرة على دمج البيانات مع مصادر أخرى (مثل Google Analytics 4)
  • صعوبة إجراء تحليلات مخصصة باستخدام لغة SQL

هنا يأتي دور Google BigQuery، الذي يتيح:

  • ✅ تخزين غير محدود لبيانات Search Console
  • ✅ تحليلات متقدمة باستخدام SQL
  • ✅ دمج البيانات مع أنظمة أخرى (GA4, Ads, CRM)
  • ✅ إنشاء لوحات تحكم ديناميكية عبر Looker Studio أو Power BI

معلومة حديثة (2025): أضافت Google مؤخرًا دعمًا لتصدير بيانات Discover وGoogle News مباشرة إلى BigQuery، مما يوسع إمكانيات التحليل.


ماهي المتطلبات الأساسية قبل تصدير البيانات؟


1.1 الحسابات والخدمات المطلوبة

لبدء التصدير، تحتاج إلى:

  • حساب Google Search Console مع صلاحية "المالك" أو "المستخدم المُدارة"
  • مشروع Google Cloud Platform (GCP) نشط
  • تفعيل واجهة برمجة التطبيقات (API) لـ BigQuery
  • رصيد كافي في حساب GCP (التصدير قد يتطلب تكاليف تخزين واستعلام)

ملاحظة مهمة (2025):

  • بعض الميزات تتطلب ترقية حساب GCP إلى الخطة المدفوعة بعد انتهاء التجربة المجانية
  • تأكد من تفعيل Search Console API و BigQuery API من لوحة تحكم GCP

1.2 تهيئة BigQuery لاستقبال البيانات

قبل التصدير، يجب إنشاء:

  • مجموعة بيانات (Dataset) في BigQuery
  • جدول (Table) تلقائي (يُنشأ عند أول تصدير)

خطوات إنشاء Dataset:

  1. انتقل إلى console.cloud.google.com/bigquery
  2. انقر على اسم المشروع → Create Dataset
  3. أدخل:
    • Dataset ID: search_console_data (مثال)
    • الموقع: us (أو أقرب منطقة إليك)
  4. احفظ الإعدادات

نصيحة: استخدم أسماء واضحة لمجموعات البيانات مثل search_console_production للبيانات الحية وsearch_console_test للاختبارات.


طريقة تصدير البيانات من Search Console إلى BigQuery


2.1 إعدادات تصدير البيانات

  1. انتقل إلى Search Console
  2. اختر الإعدادات (Settings) → تصدير البيانات → BigQuery
  3. حدد نوع التصدير:
    • موقع ويب (URL-prefix) أو نطاق كامل (Domain)
  4. اختر نطاق البيانات:
    • جميع البيانات أو استعلامات محددة (مثل: "mobile" أو "country=US")
  5. عيّن التردد: يومي (حاليًا، لا يوجد خيار للتصدير الفوري)
  6. اربط حساب GCP واختر المشروع والمجموعة البيانات

مثال عملي:

  • لو اخترت نطاق كامل، ستُصدَر كل البيانات (جميع المواقع الفرعية)
  • لو اخترت URL-prefix مثل https://example.com/blog/، ستُصدَر بيانات هذا القسم فقط

2.2 التحقق من التصدير

بعد الإعداد، يمكنك:

  1. التحقق من حالة التصدير في صفحة تصدير البيانات في Search Console
  2. مراجعة البيانات في BigQuery بعد 24-48 ساعة (أول تصدير قد يستغرق وقتًا أطول)
  3. تتبع تكاليف التخزين في لوحة الفواتير في GCP


طريقة فهم بيانات Search Console في BigQuery

3.1 جداول البيانات المنشأة

بعد التصدير، ستظهر جداول مثل:

  • searchdata_site_impression (بيانات الظهور للموقع)
  • searchdata_url_impression (بيانات الظهور لكل URL)

هيكل الجدول (Schema):

الحقل النوع الوصف
date DATE تاريخ الظهور
query STRING الكلمة المفتاحية
page STRING رابط الصفحة
clicks INTEGER عدد النقرات
impressions INTEGER مرات الظهور
ctr FLOAT نسبة النقر إلى الظهور
position FLOAT المتوسط المرتبة
country STRING البلد (إذا كان التصدير يشمل بيانات جغرافية)
device STRING نوع الجهاز (mobile/desktop/tablet)

تحديث 2025: أضافت Google حقل rich_result_type لتتبع أداء النتائج المنسقة (Featured Snippets، FAQs، إلخ).


3.2 أمثلة استعلامات SQL مفيدة


1. استخراج أكثر الكلمات المفتاحية أداءً:

SELECT 
  query, 
  SUM(clicks) AS total_clicks, 
  AVG(position) AS avg_position 
FROM 
  `project.search_console_data.searchdata_site_impression` 
WHERE 
  date BETWEEN '2025-01-01' AND '2025-03-31' 
GROUP BY 
  query 
ORDER BY 
  total_clicks DESC 
LIMIT 20;

2. تحليل أداء الصفحات:

SELECT 
  page, 
  SUM(impressions) AS total_impressions, 
  SUM(clicks) AS total_clicks, 
  (SUM(clicks)/SUM(impressions)) * 100 AS ctr 
FROM 
  `project.search_console_data.searchdata_url_impression` 
GROUP BY 
  page 
ORDER BY 
  total_clicks DESC;

3. تحليل الأداء حسب البلد:

SELECT 
  country,
  COUNT(DISTINCT query) AS unique_queries,
  SUM(clicks) AS total_clicks,
  SUM(impressions) AS total_impressions
FROM 
  `project.search_console_data.searchdata_site_impression`
WHERE
  date >= '2025-01-01'
GROUP BY
  country
ORDER BY
  total_clicks DESC;


خطوات لتحسين الأداء وتجنب المشكلات أثناء تصدير البيانات


4.1 تقليل تكاليف BigQuery

  • استخدم استعلامات محددة (تجنب SELECT *)
  • قسّم البيانات باستخدام WHERE date BETWEEN
  • ضغط الجداول لتقليل مساحة التخزين
  • استخدم جداول مُقسّمة (Partitioned Tables) لتحسين الأداء

4.2 حلول لأخطاء شائعة

المشكلة الحل
لا تظهر البيانات في BigQuery تحقق من تفعيل APIs وتأكد من صلاحيات الحساب
تكاليف التخزين مرتفعة احذف البيانات القديمة أو قلل فترة التصدير
استعلامات بطيئة أضف فهارس (Indexes) أو استخدم PARTITION BY date
بيانات غير مكتملة تحقق من إعدادات التصدير في Search Console

تحذير هام: تكاليف BigQuery يمكن أن تزيد بسرعة إذا لم تكن حريصًا. استخدم ضوابط التكلفة في GCP لضبط الميزانية.


كيفية الإستفادة من هذه البيانات؟

  • دمجها مع Google Analytics 4 لفهم سلوك المستخدم بشكل كامل
  • إنشاء لوحات تحكم ديناميكية عبر Looker Studio
  • تتبع تحسينات SEO بتحليل التغيرات في المراكز والنقرات
  • تحليل المنافسين عبر مقارنة أداء الكلمات المفتاحية

تحديث 2025: Google قد تُحدّث واجهات APIs، لذا تأكد من متابعة التغييرات عبر مدونة مطوري Google Search.


هل يمكن تصدير بيانات تاريخية؟

نعم، لكن بحد أقصى 16 شهرًا (محدد من Search Console). يمكنك تصدير البيانات على دفعات إذا كنت بحاجة إلى فترة أطول.


ماهي تكلفة تصدير البيانات؟

  • التخزين: ~$0.02 لكل GB شهريًا
  • الاستعلامات: ~$5 لكل TB بيانات مُعالجة
  • تصدير البيانات: مجاني من جانب Search Console

هل هناك بدائل لـ BigQuery؟

نعم، مثل Amazon Redshift أو Snowflake، لكن تكاملها مع GSC أقل سلاسة. BigQuery هو الحل الأمثل للبيئة البيئية Google.


كيفية دمج البيانات مع Google Analytics 4؟

يمكنك استخدام تصدير GA4 إلى BigQuery ثم كتابة استعلامات JOIN لدمج مجموعتي البيانات.

هذا الدليل حصري ومُحدث لعام 2025، ويُغطي كل ما تحتاجه لتصدير وتحليل بيانات Search Console كالمحترفين! 🚀

لمزيد من المصادر الموثوقة:

Tags
أحدث أقدم

نموذج الاتصال