تعقيد التوجيه في شبكات الذكاء الاصطناعي: ECMP، والتوجيه التكيفي، وDCQCN، ولماذا يهتم به خبراء الحوسبة عالية الأداء.

تناولت المقالات السابقة الكابلات وبطاقات الشبكة والمحولات والطوبولوجيا. أما هذه المقالة فتتناول ما يحدث أعلاه: كيف تجد الحزم مسارًا عبر بنية متعددة المحولات، وما الذي يمنع هذه البنية من الانهيار عندما تقرر عشرة آلاف وحدة معالجة رسومية (GPU) خفض جميع عملياتها في نفس اللحظة.

يختلف تدفق بيانات الذكاء الاصطناعي اختلافًا جذريًا عن تدفق البيانات في مراكز البيانات التقليدية. فواجهة المستخدم الأمامية للويب تُرسل ملايين الاتصالات الصغيرة عبر بروتوكول TCP. أما عملية تدريب الذكاء الاصطناعي فتُرسل عددًا قليلًا من التدفقات الضخمة والمتزامنة تمامًا إلى نظراء معروفين، وينتظر الجميع أبطأها. وبالتالي، فإن التقنيات التي تُجدي نفعًا في الحالة الأولى تفشل في الحالة الثانية.

تنبيه مُسبق: يُشغّل مُعظم عملاء كينتينو مجموعات من 1 إلى 4 عُقد. عند هذا الحجم، لا تُؤثر أي من هذه المشاكل فعليًا. قم بتوصيل العُقد الأربع بمُبدّل 100 جيجابت إيثرنت واحد (أو بدون مُبدّل - انظر N05 )، وشغّل RoCE الأساسي بالإعدادات الافتراضية، ولا تُفكّر أبدًا في ECMP أو DCQCN. مع ذلك، نكتب هذا لأنّه (أ) يُوفّر معلومات أساسية مُفيدة لاتخاذ قرارات تحديد الحجم، و(ب) عندما تنتقل من أربع عُقد إلى ست عشرة عُقدة، ستُصبح جميع هذه الأمور مُهمّة.

ما هو ECMP، ولماذا كان جيدًا بما فيه الكفاية حتى ظهور الذكاء الاصطناعي

ECMP - المسارات المتعددة متساوية التكلفة - هي حيلة التوجيه التي تجعل هياكل Leaf-Spine و Fat-tree تعمل. عندما يكون هناك عدة مسارات متساوية التكلفة من الورقة A إلى الورقة B (عبر العمود الفقري S1..S4)، يقوم المحول بتجزئة حقول الحزمة ويستخدم التجزئة لاختيار العمود الفقري. التجزئة الكلاسيكية المكونة من 5 عناصر هي (src IP, dst IP, src port, dst port, protocol).

بالنسبة لأحمال العمل السحابية التقليدية - ملايين اتصالات TCP قصيرة الأجل - يعمل بروتوكول ECMP بكفاءة عالية. يقوم قانون الأعداد الكبيرة بموازنة الأحمال تلقائيًا. مع 10,000 تدفق و8 خوادم رئيسية، يمكنك الوصول إلى توازن مثالي بنسبة ضئيلة.

صُممت ECMP للتعامل مع العديد من التدفقات الصغيرة. أما تدريب الذكاء الاصطناعي فيرسل عددًا قليلاً من التدفقات الضخمة المتزامنة، مما يؤدي إلى اختلال التوازن الإحصائي.

مشكلة تدفق الفيل

تدريب الذكاء الاصطناعي هو عكس حركة مرور الويب. خطوة التدريب: تقوم كل وحدة معالجة رسومية بحساب التدرج، ثم ترسل كل وحدة معالجة رسومية تدرجها إلى جميع الوحدات الأخرى (عملية تقليل الكل)، وينتظر الجميع أبطأ عملية نقل، ثم تتكرر العملية.

تُمثل تقنية Allreduce عددًا قليلًا من التدفقات الضخمة جدًا. على سبيل المثال، تُمثل تقنية Ring-allreduce على 8 عُقد مزودة ببطاقات شبكة بسرعة 200 جيجابت في الثانية 8 تدفقات متزامنة، كل منها بحجم عدة جيجابايت، جميعها تعمل بسرعة الخط، وتبدأ جميعها في نفس اللحظة. وقد وثّقت ورقة بحثية من شركة Meta بعنوان RoCE-at-scale هذا الأمر بوضوح: ففي مجموعات الذكاء الاصطناعي، يُمثل عدد قليل جدًا من التدفقات الضخمة (التي تُعرف باسم "التدفقات الفيلية") جميع البايتات تقريبًا، وجميعها تحتاج إلى الشبكة في وقت واحد.

يكره تجزئة ECMP الخماسية هذا. مع N تدفقات فيلة عبر S مسارات، يكون احتمال التصادم صفرًا S! / ((S-N)! · S^N)لثمانية تدفقات على ثمانية أعمدة: حول 2.4٪حتى مع 32 نقطة ارتكاز لثمانية تدفقات، لا تتجاوز نسبة النجاح 33%. إضافة نقاط ارتكاز لا تُغير من احتمالية النجاح، بل تُضيف روابط فارغة أكثر بينما يتنافس تدفقان على رابط واحد.

يؤدي التصادم إلى زيادة الاكتظاظ في وصلة العمود الفقري بنسبة 2:1، فتعمل التدفقات المتأثرة بنصف السرعة، ولأن الخطوة تنتظر أبطأ تدفق، فإن التكرار يعمل بنصف السرعة. وتشير قياسات مجموعة الإنتاج إلى أن تصادمات ECMP تتسبب في خسارة تصل إلى 40% من الأداء في عملية allreduce.

الحلول البديلة: تحسين التجزئة، وموازنة الأحمال على مستوى الحزم، والتوجيه التكيفي

أربع استجابات حقيقية، مرتبة تصاعدياً حسب درجة الاضطراب المطلوب تطبيقها:

1. تحسين التجزئة (E-ECMP، مع مراعاة QP). الحل الأقل تكلفة. تعمل التجزئة القياسية ذات الخمسة صفوف على دمج حركة مرور RDMA في صف واحد لكل زوج QP - أي أن تدفق allreduce الواحد يُمثل فعليًا حاوية ECMP واحدة. قم بالتجزئة على رقم QP الوجهة في RoCE أيضًا، واجعل التطبيق يوزع حركة المرور على العديد من QPs ("توسيع نطاق QP"). تشير أرقام Meta إلى تحسن يصل إلى 40% في allreduce. مع ذلك، تبقى هذه الأرقام إحصائية - فالتصادمات أصبحت أقل، وليست معدومة.

2. تبديل التدفقات. اكتشف فجوة خاملة، وأعد التجزئة منها. يعمل هذا مع بروتوكول TCP، ولكنه ضعيف مع بروتوكول RoCE المتتالي.

3. موازنة الأحمال على مستوى الحزم / رش الحزم. يتم تجزئة كل حزمة على حدة، وقبول إعادة ترتيبها، والسماح لبطاقة الشبكة بإعادة تجميعها. هذا يحل مشكلة تدفق البيانات الضخمة، ولكنه يتطلب تعاونًا بين بطاقة الشبكة والمحول. هذا ما يفعله معالج NVIDIA Spectrum-X - رش الحزم على مستوى كل حزمة مع إعادة ترتيبها على مستوى بطاقة الشبكة الرئيسية.

٤. التوجيه التكيفي. يقوم المحول بتتبع الازدحام على كل منفذ ويختار المسار الأقل ازدحامًا والأقل تكلفة عند التبديل، بدلًا من استخدام التجزئة العشوائية. هذا، بالإضافة إلى تقنية رش الحزم، هو ما توفره تقنية InfiniBand منذ خمسة عشر عامًا. ويُعدّ نقل هذه التقنية إلى شبكة الإيثرنت الميزة الرئيسية في NVIDIA Spectrum-X (معالجات Spectrum-4/5 ASICs + BlueField أو ConnectX-8 SuperNICs)؛ و Cisco Silicon One G200/P200؛ و Broadcom Tomahawk 5 / Jericho 3-AI مع بنية مُجدولة قائمة على الخلايا.

بالنسبة للمجموعات التي تتراوح بين عقدة واحدة وثماني عقد، يُعد التوجيه التكيفي مبالغة. أما بالنسبة للوظائف التي تتطلب أكثر من 64 وحدة معالجة رسومية (GPU) وتتوسع لتشمل 1,000 وحدة معالجة رسومية، فإن التوجيه التكيفي يُحدث فرقًا جوهريًا بين "الشبكة هي عنق الزجاجة" و"وحدات المعالجة الرسومية هي عنق الزجاجة". ولهذا السبب، قام كل مُصنِّع جاد لشبكات إيثرنت الذكاء الاصطناعي بتطوير أو ترخيص رقائق سيليكون للتوجيه التكيفي في الفترة ما بين 2024 و2026.

التحكم في الازدحام: لماذا لا يُعدّ "عدم إسقاط الحزم" مجانيًا؟

أما النصف الآخر من تعقيد التوجيه فيتمثل فيما يحدث عند وصول كمية كبيرة من البيانات إلى منفذ واحد في المحول في وقت واحد. هناك خياران: إما أن تقوم شبكة ذات فقدان للبيانات بإسقاط الحزم وتتراجع نقاط النهاية (كما هو الحال في الإنترنت المفتوح)؛ أو أن تقوم شبكة بدون فقدان للبيانات بإيقاف المحول الرئيسي مؤقتًا - لا توجد عمليات إسقاط، ولكن الازدحام ينتشر عكسيًا.

لطالما تطلّب بروتوكول RoCE بنيةً خاليةً من فقدان البيانات. تتعامل بطاقات الشبكة RDMA مع فقدان الحزم بشكلٍ سيئ، إذ يؤدي فقدان حزمة واحدة إلى إعادة إرسال الرسالة كاملةً باستخدام آلية go-back-N، ما يعني إعادة إرسال ميغابايتات على شبكة 100 جيجابت إيثرنت. لذا، يُعدّ بروتوكول RoCEv2 مع آلية go-back-N غير قابل للاستخدام عمليًا على شبكة ذات معدل فقدان عالٍ عند الاستخدام المكثف.

يُعدّ التحكم في تدفق البيانات حسب الأولوية (PFC ) (IEEE 802.1Qbb) أساس عمل الإيثرنت دون فقدان للبيانات. فعندما يتجاوز حجم قائمة انتظار الخروج لكل أولوية في المحوّل حدًا معينًا، يرسل المحوّل إطار إيقاف مؤقت (PAUSE) إلى المنبع يطلب من المرسل التوقف عن إرسال تلك الأولوية. ثماني أولويات، وثماني إشارات إيقاف/تشغيل مستقلة.

حجب رأس الطابور وتدفقات الضحايا

تُعدّ عمليات إيقاف PFC عشوائية. فالإيقاف يعني "توقف عن إرسال البيانات ذات الأولوية 3 على هذا الرابط" - دون معرفة أيّ تدفق تسبب في الازدحام. إذا كانت عشرة تدفقات تشترك في الأولوية 3، وكان أحدها مُزدحمًا في اتجاه المصب، فإن PFC يُوقف التدفقات العشرة جميعها . وتُعاقب التدفقات التسعة الأخرى "المتضررة" بسبب مشكلة تدفقات أخرى. هذا ما يُعرف بحجب رأس الخط، وهو المشكلة الأساسية في إيثرنت غير الفاقد للبيانات عند التعامل مع نطاق واسع.

حجب رأس الطابور: يؤدي الاتصال من A إلى X إلى حدوث خلل في واجهة المستخدم الرسومية على الخط الرئيسي. كما يتم إيقاف الاتصال من B و C إلى Y (وهو أمر طبيعي) مؤقتًا - وهي تدفقات متضررة.

حالة التعطل في PFC : إذا شكلت بنية الشبكة وحركة البيانات اعتمادًا دوريًا للروابط المتوقفة - حيث ينتظر الرابط A الرابط B، وينتظر B الرابط C، وينتظر C الرابط A - فإن الشبكة بأكملها تتعطل. وقد لوحظت هذه الحالة في بيئات الإنتاج. تتميز المحولات الحديثة بخاصية كشف حالات التعطل؛ كما أن بنى Clos الحديثة خالية من حالات التعطل بحكم تصميمها؛ ومع ذلك، فإن كل عملية نشر جادة لـ RoCE تتضمن خطة استعادة على أي حال.

يكمن الهدف من التحكم الحديث في ازدحام الذكاء الاصطناعي في الحفاظ على صغر حجم المخازن المؤقتة بما يكفي لمنع تفعيل PFC في حالة الاستقرار. يبقى PFC مُفعّلاً كشبكة أمان للنبضات الدقيقة الحقيقية. الآلية التي تمنعه ​​من التفعيل هي DCQCN.

DCQCN — معيار التحكم في الازدحام لبروتوكول RoCEv2

DCQCN (إشعار الازدحام الكمي لمراكز البيانات) هي الخوارزمية التي اعتمدت عليها تقنية RoCE بدون فقدان البيانات. طُوّرت هذه الخوارزمية من قِبل مايكروسوفت وميلانوكس (مؤتمر SIGCOMM 2015). اعتبارًا من عامي 2025-2026، أصبحت هذه الخوارزمية هي المُشغّلة افتراضيًا لبطاقات الشبكة ConnectX/BlueField من NVIDIA، وهي ما تُعلنه Azure كمعيار إنتاجي لحوالي 85% من حركة مرور Azure، بتقنية RDMA، في جميع المناطق العامة.

يؤدي DCQCN ثلاثة أدوار: نقطة الازدحام (CP) هي المحول، حيث تقوم بوضع علامة ECN على الحزم عندما يتجاوز عمق قائمة انتظار الخروج عتبة معينة (احتمالية من 0% عند Kmin إلى Pmax عند Kmax)؛ نقطة الإخطار (NP) هي بطاقة الشبكة المستقبلة، حيث تقوم بإنشاء حزمة إخطار الازدحام (CNP) مرة أخرى إلى المرسل عند وضع علامات ECN (محدود المعدل، عادةً واحدة لكل 50 ميكروثانية لكل تدفق)؛ نقطة رد الفعل (RP) هي بطاقة الشبكة المرسلة، حيث تقوم بتقليل معدل QP بشكل مضاعف عند وضع CNP، وزيادته بشكل إضافي (ثم بشكل مفرط) في حالة عدم وجودها.

تكوين المحول النموذجي لـ DCQCN على 100 جيجابت إيثرنت:

# NVIDIA Cumulus-style ECN profile on the lossless RoCE priority (priority 3)
interface swp1..swp32
  qos remark dscp-to-tc 26 to 3       # DSCP 26 → TC 3
  qos congestion-mark ecn priority 3
  qos ecn-kmin       5KB              # start marking
  qos ecn-kmax     200KB              # mark at Pmax
  qos ecn-pmax       1%
  qos pfc priority 3
  qos pfc xoff     400KB              # PFC pause (well above Kmax)
  qos pfc xon      300KB

تُعدّ Kmin/Kmax/Pmax الثلاثية الأكثر ضبطًا في RoCE. قيمة Kmin صغيرة (بضع حزم) بحيث يبدأ ECN بالعمل قبل استنفاد المخزن المؤقت؛ وقيمة Kmax أكبر بكثير بحيث يرتفع معدل نقل البيانات تدريجيًا؛ وعتبة إيقاف PFC أعلى بكثير من Kmax بحيث لا يتم تفعيل PFC إلا إذا كان DCQCN بطيئًا جدًا. في النشر الأصلي لمايكروسوفت: Kmin = 5 كيلوبايت، Kmax = 200 كيلوبايت، Pmax = 1%.

نقاط ضعف DCQCN المعروفة: انهيار البث الداخلي (حيث يصل 100 مرسل إلى مستقبل واحد، وتمتلئ قائمة الانتظار أسرع من انتشار إشعارات CNP، ويتم تفعيل PFC - يعالج DCQCN+ هذه المشكلة)؛ وعدم عدالة التدفقات المتأخرة (يتم تقييد التدفقات التي تبدأ متأخرًا لفترة أطول)؛ وحساسية المعلمات (لا يمكن تعميم قيمة Kmin المُعدّة لـ 4 عقد على 64 عقدة). باختصار: DCQCN هو الخيار الافتراضي لأنه يعمل في معظم الأوقات. توجد بدائل مقترحة مثل HPCC وSwift وEQDS وTIMELY المُعاد إحياؤها، ولكن لم يحل أي منها محله حتى عام 2026.

ECN وDCTCP، والحالات التي يناسبها بروتوكول TCP النقي

يجب الفصل التام بينهما لأن هذه الأمور قد تختلط:

• ECN — آلية طبقة بروتوكول الإنترنت (RFC 3168) حيث تقوم المحولات بوضع علامات بدلاً من إسقاطها. أ بسيطةلا شيء يتفاعل من تلقاء نفسه.
• دي سي كيو سي إن — نقطة نهاية RDMA رد فعليقرأ ECN عبر CNPs، ويضبط المعدل.
• DCTCP — نقطة نهاية TCP رد فعليقرأ ECN في ACKs، ويُوسّع نطاق النافذة وفقًا لنسبة الحزم المُعلّمة. مايكروسوفت + ستانفورد، SIGCOMM 2010، مُضمّن في Windows Server وLinux.

إذا كنت تستخدم بنية RoCE خالصة، فأنت تستخدم DCQCN - تعرف على إعداداتك الافتراضية. إذا كان لديك أيضًا تخزين/تحكم TCP على نفس السلك، فمن المفيد تفعيل DCTCP (net.ipv4.tcp_ecn = 1 بالإضافة إلى المحولات المدركة لـ ECN).

لماذا يُشكّل استخدام الذكاء الاصطناعي ضغطاً أكبر على كل هذا مقارنةً بمراكز البيانات التقليدية؟

ثلاث خصائص لم تُصمم أنظمة التحكم التقليدية في الازدحام من أجلها:

1. دفعات متزامنة. تبدأ جميع وحدات معالجة الرسومات (GPUs) عملية الاختزال الكامل (allreduce) في نفس النانوثانية. ويصل معدل الاستخدام من صفر إلى ١٠٠٪ في الميكروثانية. لا حاجة إلى فترة تهيئة لبدء التشغيل البطيء لتحديد المعدل. يبدأ DCQCN بسرعة الخط لهذا السبب تحديدًا.
2. تدفقات قليلة وكبيرة. قانون الأعداد الكبيرة لا يُجدي نفعاً. ٨ تدفقات ← تصادمات ECMP شائعة؛ ٨ مستقبلات ← انسداد شديد في طبقة الفص الجبهي.
3. المسار الحرج هو الحلقة الأبطأ. زمن خطوة تقليل الكل = أقصى زمن لإكمال التدفق. لا يوجد "حالة متوسطة". احتمال حدوث تصادم سيئ بنسبة 1% يتراكم على مدار أشهر من التدريب.

لهذا السبب، يُولي خبراء الحوسبة عالية الأداء والذكاء الاصطناعي اهتمامًا بالغًا بالشبكات، على عكس ما كان عليه الحال في السابق مع مُشغّلي شبكات الويب واسعة النطاق. فالويب مرن، وتستغرق الطلبات البطيئة وقتًا أطول قليلًا لبعض المستخدمين. أما تدريب الذكاء الاصطناعي فليس كذلك، إذ تُنفّذ العملية بأكملها بسرعة أبطأ مُكوّن مُتزامن فيها.

التعقيد بدون مفتاح (معاينة N05)

يغطي N05 بنى الشبكات التي لا تعتمد على المحولات - مثل الاتصال المباشر، والشبكة المتداخلة، والحلقة، والحلقة ثنائية/ثلاثية الأبعاد، والمكعب الفائق - للمجموعات الصغيرة حيث يكون شراء محول 100 جيجابت إيثرنت مبالغًا فيه. عند إزالة المحول، يصبح كل جهاز بمثابة موجه: بطاقات شبكة متعددة، ومسارات متعددة، ولا بد من وجود آلية لاختيار الوجهة التالية.

الحل الأمثل في عام 2026 هو استخدام توجيه FRR (FRRouting) على كل عقدة، مع ضبطه لبروتوكول BGP غير المرقم . يستخدم بروتوكول BGP غير المرقم عناوين IPv6 المحلية للرابط للتواصل، لذا لا يتم تخصيص عناوين IPv4 لكل رابط. تُعلن كل عقدة عن عنوان الاسترجاع الخاص بها، وتتعرف على عناوين الاسترجاع الخاصة بالعقد النظيرة، ثم يختار جدول توجيه Linux الوجهة التالية المناسبة.

# Minimal FRR config for a node in a switchless mesh:
router bgp 65001
  bgp router-id 10.0.0.1
  neighbor enp1s0 interface remote-as external
  neighbor enp2s0 interface remote-as external
  neighbor enp3s0 interface remote-as external
  address-family ipv4 unicast
    network 10.0.0.1/32         # this node's loopback
    redistribute connected
  exit-address-family

اثنا عشر خطًا لكل عقدة، مع استخدام بروتوكول ECMP عبر عدد أزواج بطاقات الشبكة الموجودة في العقدة - مع مراعاة نفس محاذير بروتوكول ECMP الخاص بالمبدل. في شبكة مكونة من 4 عقد، تظهر تصادمات ECMP على جانب المضيف أيضًا. يمكن التخفيف من هذه المشكلة بزيادة عدد نقاط الوصول أو قبول الخسارة (وهي ضئيلة في 4 عقد). "عدم وجود مبدل" لا يعني "انعدام تعقيد التوجيه" - بل يُعيد توجيهه إلى المضيفين.

عندما يكون هذا الأمر مهمًا بالنسبة لك

لن يحتاج معظم القراء إلى القيام بأي من هذا.

• 1-4 عقد، مفتاح واحد، RoCE للتخزين والتدريب العرضي متعدد وحدات معالجة الرسومات: اترك المفتاح على الإعدادات الافتراضية. عتبات DCQCN وECN الافتراضية مناسبة. خاصية PFC مُفعّلة، ولن تلاحظ على الأرجح أي توقف. تصادمات ECMP واردة، لكن تأثيرها على شبكة من 4 عقد لا يتجاوز نسبة مئوية واحدة.
• 4-16 عقدة، مجموعة تدريب مخصصة: فعّل DCQCN صراحةً، واضبط Kmin/Kmax/Pmax على 5 كيلوبايت / 200 كيلوبايت / 1% (القيمة الأساسية في Azure)، وشغّل توسيع نطاق QP في NCCL، وراقب عدادات توقف PFC ومعدلات CNP. إذا كانت فترات توقف PFC تتزايد، فإن DCQCN ليس فعالاً بالقدر الكافي - خفّض قيمة Kmin.
• 16 عقدة أو أكثر أو 1,000 وحدة معالجة رسومية أو أكثر: يُغطي التوجيه التكيفي تكلفته. اشترِ Spectrum-X مع بطاقات SuperNIC المتوافقة، أو InfiniBand، وتوقف عن القلق بشأن ECMP، أو تعاون مع جهة لديها خبرة في إدارة شبكة بهذا الحجم. تكلفة الخطأ هي شهور من التدريب.
• مجموعة مفاتيح بدون مفتاح، أي حجم: FRR + BGP غير مرقم. من يوم إلى يومين من التكوين والاختبار لكل مضاعفة لعدد العقد. تكمن المشكلة الكبرى في نسيان ECMP من جانب النواة (net.ipv4.fib_multipath_hash_policy = 1 (للتجزئة من المستوى الرابع).

إنّ فكرة "سأشتري المزيد من النطاق الترددي حتى لا يحدث ازدحام" خاطئة. فحركة مرور الذكاء الاصطناعي المتزامنة تُولّد طلبًا فوريًا بسرعة الخط على كل مسار، بغض النظر عن عدد الخوادم. النطاق الترددي يحلّ مشاكل السرعة، لا مشاكل التنسيق.

---

هذا جزء من موسوعة كينتينو، وهي سلسلة مرجعية حول الحوسبة الذكية، والروبوتات، والأنظمة التي تربط بينهما. نرحب بالتعليقات والتصويبات على البريد الإلكتروني info@kentino.com.