Cloudflare شهدت خدمة الإنترنت انقطاعًا واسع النطاق في ١٨ نوفمبر ٢٠٢٥، بدءًا من الساعة ١١:٢٠ صباحًا بتوقيت غرينتش تقريبًا. أثر هذا الانقطاع على جزء كبير من حركة الإنترنت العالمية، وتسبب في انقطاع الخدمة عبر منصات رئيسية، بما في ذلك ChatGPT، كلود، سبوتيفاي، إكس، و HostScore.netأدى الفشل إلى أخطاء HTTP 5xx المستمرة، وتدفقات المصادقة المعطلة، وزيادة زمن الوصول داخل Cloudflareشبكة.
Cloudflare أكدنا لاحقًا أن الحادث لم يكن ناجمًا عن هجوم إلكتروني، على الرغم من التكهنات المبكرة بشأن نطاق العطل وأعراضه. يُعد هذا الإعلان بمثابة تحديث رسمي لقرائنا وشركائنا والجهات المعنية، حيث نوثق ما حدث، وكيف انتشر، وكيف عادت الخدمات إلى طبيعتها في النهاية.
نطاق الاضطراب
الانقطاع تسبب Cloudflare'نتيجة CDN وطبقات الأمان لإيقاف معالجة حركة المرور بشكل طبيعي، مما أدى إلى ارتفاع حاد في أخطاء HTTP 5xx عبر الشبكة. واجه زوار المواقع المتأثرة صفحات أخطاء، أو توقفًا في التحميل، أو تأخيرات طويلة. Cloudflareواجهت طبقة الوكيل صعوبة في الاستجابة. الخدمات الرئيسية، بما في ذلك إدارة الروبوتات، وTurnstile، وWorkers KV، و Cloudflare تدهورت إمكانية الوصول في الوقت نفسه. وتفاقم التأثير على المواقع الإلكترونية التي تعتمد على Cloudflare للتخزين المؤقت والأمان والمصادقة.
Cloudflareكان الوصول إلى لوحة معلومات الشركة صعبًا أيضًا بسبب فشل تحميل Turnstile، وهي طبقة التحقق في صفحة تسجيل الدخول. كما توقفت صفحة الحالة المُستضافة خارجيًا للشركة عن العمل، مما تسبب في حالة من الارتباك خلال الدقائق الأولى من الحادث. Cloudflareاستمرت البنية التحتية للبريد الإلكتروني في العمل، وانخفضت دقة اكتشاف البريد العشوائي لفترة وجيزة بسبب فقدان موجز سمعة IP.
السبب الجذري: الخطأ الكامن
Cloudflare وأكدت الشركة أن الانقطاع حدث بسبب خلل كامن في أحد المكونات الأساسية لنظام إدارة الروبوتات.
في الساعة 11:05 بالتوقيت العالمي المنسق، غيّر تحديث روتيني لأذونات قاعدة البيانات، دون قصد، طريقة استعلام خدمة توليد الميزات عن البيانات الوصفية. فبدلاً من السحب من مخطط واحد، بدأت الخدمة بالاستعلام عن المخططين الافتراضي وr0، مما أدى إلى ظهور مجموعة كبيرة من صفوف الميزات المكررة. ثم تم نشر ملف التكوين المتضخم هذا عبر Cloudflareالشبكة العالمية.
يفرض محرك الوكيل الأساسي حدًا أقصى قدره 200 ميزة تعلّم آلي لتحسين الأداء وتخصيص الذاكرة. تجاوز الملف ذو الحجم الكبير هذا الحد، مما تسبب في حدوث خطأ في برنامج الوكيل FL2 وظهور أخطاء 5xx لجميع الطلبات المتأثرة. لم يفشل العملاء الذين ما زالوا يستخدمون محرك FL الأقدم تمامًا، ولكن انخفضت درجات إدارة الروبوتات لديهم إلى الصفر، مما أدى إلى عدم اتساق في معالجة حركة البيانات.
الجدول الزمني للقرار
Cloudflare تم اكتشاف الموجة الأولى من الأخطاء في حركة مرور العملاء في الساعة 11:28 بالتوقيت العالمي المنسق.
ركز المهندسون في البداية على Workers KV، الذي أظهر انخفاضًا غير طبيعي في معدلات الاستجابة بين الساعة 11:32 و13:05 بالتوقيت العالمي المنسق.
في الساعة 13:04 بالتوقيت العالمي المنسق، Cloudflare تم تطبيق تصحيح طارئ لتجاوز الوكيل الأساسي لـ Workers KV، متبوعًا بتجاوز مماثل لـ Cloudflare الوصول في الساعة 13:05 بالتوقيت العالمي المنسق.
بحلول الساعة 13:37 بالتوقيت العالمي المنسق، بدأ فريق الهندسة في إرجاع تكوين إدارة الروبوت إلى إصدار معروف بأنه جيد.
Cloudflare تم إيقاف إنشاء ملفات الميزات الجديدة في الساعة 14:24 بالتوقيت العالمي المنسق ونشر التكوين المصحح عالميًا في الساعة 14:30 بالتوقيت العالمي المنسق، مما أدى إلى استعادة تدفق حركة المرور الطبيعي.
تم حل مشكلات تسجيل الدخول إلى لوحة المعلومات لاحقًا، وتمت استعادة الوصول الكامل إلى لوحة التحكم حوالي الساعة 15:30 بالتوقيت العالمي المنسق. Cloudflare تم حل الحادثة بشكل كامل في الساعة 17:06 بالتوقيت العالمي المنسق.
HostScore.net بيان الأثر
HostScore.net كان من بين المواقع المتأثرة خلال فترة الانقطاع. لاحظ فريقنا ارتفاعًا فوريًا في استجابات 5xx وانقطاعًا مؤقتًا للخدمة. Cloudflareالصورة CDN فشلت طبقات الأمان في معالجة الطلبات. تم استعادة الموقع تدريجيًا Cloudflare نفذت خطوات التراجع والاستعادة.
اكتشفت أنظمة المراقبة لدينا المشكلة في غضون دقائق، وواصلنا تتبع أداء الشبكة حتى عودة الاستقرار الكامل. مع أن الانقطاع بدأ من مصدر خارجي لبنيتنا التحتية، فإننا ملتزمون بالشفافية وسنواصل تحسين عمليات المراقبة والطوارئ لتعزيز مرونة الخدمة بشكل عام.
Cloudflareإقرارات وإجراءات ما بعد الحادث
Cloudflare اعترف علنًا بخطورة الحادث، حيث أصدر المدير التقني دان كنيتشت اعتذارًا، مؤكدًا أن الشركة "خذلت عملاءها والإنترنت على نطاق أوسع". ووصفت الشركة هذا الانقطاع بأنه الأخطر منذ عام ٢٠١٩، مؤكدةً كيف يمكن لخطأ بسيط في التكوين أن ينتشر عبر أنظمة موزعة واسعة النطاق.
Cloudflare بدأت العمل على العديد من التحسينات طويلة المدى، بما في ذلك تعزيز عملية استيعاب ملفات التكوين المُولّدة داخليًا، وتوسيع نطاق مفاتيح الإيقاف الشامل لعزل المكونات المعيبة بسرعة أكبر، ومنع طفرات الإبلاغ عن الأخطاء التي تستهلك موارد النظام. مع بنية تحتية تغطي 330 مدينة وتشغل ما يُقدّر بنحو 20% من شبكة الإنترنت، Cloudflare وأكدت التزامها بمنع حدوث إخفاقات مماثلة في المستقبل.
في المخص:
تُسلّط هذه الحادثة الضوء على مدى اعتماد الإنترنت اليوم على عدد محدود من مُزوّدي الخدمات الأساسيين. فعندما تُواجه إحدى هذه الشبكات عطلًا، يُمكن أن تصل آثاره إلى ملايين المستخدمين في غضون دقائق. Cloudflare تعمل على خطة إصلاحها، HostScore.net وتظل ملتزمة بالشفافية والمراقبة المستمرة والتحسينات المستمرة التي تعزز مرونة منصتنا وموثوقية الخدمات التي يعتمد عليها قراؤنا.
