تعقيد التوجيه في شبكات الذكاء الاصطناعي: ECMP، والتوجيه التكيفي، وDCQCN، ولماذا يهتم به خبراء الحوسبة عالية الأداء.

تناولت المقالات السابقة الكابلات وبطاقات الشبكة والمحولات والطوبولوجيا. أما هذه المقالة فتتناول ما يحدث أعلاه: كيف تجد الحزم مسارًا عبر بنية متعددة المحولات، وما الذي يمنع هذه البنية من الانهيار عندما تقرر عشرة آلاف وحدة معالجة رسومية (GPU) خفض جميع عملياتها في نفس اللحظة.

يختلف تدفق بيانات الذكاء الاصطناعي اختلافًا جذريًا عن تدفق البيانات في مراكز البيانات التقليدية. فواجهة المستخدم الأمامية للويب تُرسل ملايين الاتصالات الصغيرة عبر بروتوكول TCP. أما عملية تدريب الذكاء الاصطناعي فتُرسل عددًا قليلًا من التدفقات الضخمة والمتزامنة تمامًا إلى نظراء معروفين، وينتظر الجميع أبطأها. وبالتالي، فإن التقنيات التي تُجدي نفعًا في الحالة الأولى تفشل في الحالة الثانية.

تنبيه مسبق: معظم عملاء كينتينو يستخدمون مجموعات من 1 إلى 4 عقد. عند هذا الحجم، لا تؤثر أي من هذه المشاكل فعليًا. قم بتوصيل أربع عقد باستخدام محول 100 جيجابت إيثرنت واحد (أو بدون محول - انظر N05قم بتشغيل RoCE الأساسي بالإعدادات الافتراضية، ولا تفكر أبدًا في ECMP أو DCQCN. نكتب هذا على أي حال لأنه (أ) يُعدّ معلومات أساسية مفيدة لاتخاذ قرارات تحديد الحجم، و(ب) عندما تنتقل من أربعة عقد إلى ستة عشر عقدة، يصبح كل ذلك مهمًا فجأة.

ما هو ECMP، ولماذا كان جيدًا بما فيه الكفاية حتى ظهور الذكاء الاصطناعي

ECMP - المسارات المتعددة متساوية التكلفة - هي حيلة التوجيه التي تجعل هياكل Leaf-Spine و Fat-tree تعمل. عندما يكون هناك عدة مسارات متساوية التكلفة من الورقة A إلى الورقة B (عبر العمود الفقري S1..S4)، يقوم المحول بتجزئة حقول الحزمة ويستخدم التجزئة لاختيار العمود الفقري. التجزئة الكلاسيكية المكونة من 5 عناصر هي (src IP, dst IP, src port, dst port, protocol).

بالنسبة لأحمال العمل السحابية التقليدية - ملايين اتصالات TCP قصيرة الأجل - يعمل بروتوكول ECMP بكفاءة عالية. يقوم قانون الأعداد الكبيرة بموازنة الأحمال تلقائيًا. مع 10,000 تدفق و8 خوادم رئيسية، يمكنك الوصول إلى توازن مثالي بنسبة ضئيلة.

صُممت ECMP للتعامل مع العديد من التدفقات الصغيرة. أما تدريب الذكاء الاصطناعي فيرسل عددًا قليلاً من التدفقات الضخمة المتزامنة، مما يؤدي إلى اختلال التوازن الإحصائي.

مشكلة تدفق الفيل

تدريب الذكاء الاصطناعي هو عكس حركة مرور الويب. خطوة التدريب: تقوم كل وحدة معالجة رسومية بحساب التدرج، ثم ترسل كل وحدة معالجة رسومية تدرجها إلى جميع الوحدات الأخرى (عملية تقليل الكل)، وينتظر الجميع أبطأ عملية نقل، ثم تتكرر العملية.

تُمثل تقنية Allreduce عددًا قليلًا من التدفقات الضخمة جدًا. على سبيل المثال، تُمثل تقنية Ring-allreduce على 8 عُقد مزودة ببطاقات شبكة بسرعة 200 جيجابت في الثانية 8 تدفقات متزامنة، كل منها بحجم عدة جيجابايت، جميعها تعمل بسرعة الخط، وتبدأ جميعها في نفس اللحظة. وقد وثّقت ورقة بحثية من شركة Meta بعنوان RoCE-at-scale هذا الأمر بوضوح: ففي مجموعات الذكاء الاصطناعي، يُمثل عدد قليل جدًا من التدفقات الضخمة (التي تُعرف باسم "التدفقات الفيلية") جميع البايتات تقريبًا، وجميعها تحتاج إلى الشبكة في وقت واحد.

يكره تجزئة ECMP الخماسية هذا. مع N تدفقات فيلة عبر S مسارات، يكون احتمال التصادم صفرًا S! / ((S-N)! · S^N)لثمانية تدفقات على ثمانية أعمدة: حول 2.4٪حتى مع 32 نقطة ارتكاز لثمانية تدفقات، لا تتجاوز نسبة النجاح 33%. إضافة نقاط ارتكاز لا تُغير من احتمالية النجاح، بل تُضيف روابط فارغة أكثر بينما يتنافس تدفقان على رابط واحد.

يؤدي التصادم إلى زيادة الاكتظاظ في وصلة العمود الفقري بنسبة 2:1، وتعمل التدفقات المتأثرة بنصف السرعة، ولأن الخطوة تنتظر أبطأ تدفق، فإن التكرار يعمل بنصف السرعة. تشير قياسات مجموعة الإنتاج إلى حدوث تصادمات ECMP. انخفاض في الأداء يصل إلى 40% on allreduce.

الحلول البديلة: تحسين التجزئة، وموازنة الأحمال على مستوى الحزم، والتوجيه التكيفي

أربع استجابات حقيقية، مرتبة تصاعدياً حسب درجة الاضطراب المطلوب تطبيقها:

1. تحسين التجزئة (E-ECMP، مع مراعاة QP). الحل الأرخص. تعمل خوارزمية التجزئة القياسية ذات الخمسة صفوف على دمج حركة مرور RDMA في صف واحد لكل زوج من نقاط الانتظار (QP) - أي أن تدفق allreduce الواحد يُمثل فعليًا حاوية ECMP واحدة. قم بالتجزئة أيضًا على رقم نقطة انتظار وجهة RoCE، واجعل التطبيق يوزع حركة المرور على العديد من نقاط الانتظار ("توسيع نطاق نقاط الانتظار"). تشير أرقام Meta إلى تحسن يصل إلى 40% في allreduce. مع ذلك، تبقى الإحصائيات إحصائية - فالتصادمات أقل، وليست معدومة.

2. تحويل التدفقات الصغيرة. اكتشف فجوة خاملة، وأعد التجزئة انطلاقاً منها. يعمل هذا مع بروتوكول TCP، ولكنه ضعيف مع بروتوكول RoCE المتتالي.

3. موازنة الأحمال على مستوى الحزم / رش الحزم. يتم تجزئة كل حزمة على حدة، ثم قبول إعادة ترتيبها، والسماح لبطاقة الشبكة بإعادة تجميعها. هذا يحل مشكلة تدفق البيانات الضخمة، ولكنه يتطلب تعاونًا بين بطاقة الشبكة والمحول. هذا ما يفعله معالج NVIDIA Spectrum-X - رش كل حزمة على حدة مع إعادة ترتيبها على مستوى بطاقة الشبكة الرئيسية.

4. التوجيه التكيفي. يقوم المحول بتتبع الازدحام لكل منفذ ويختار المسار الأقل ازدحامًا والأقل تكلفة عند التبديل بدلاً من التجزئة العشوائية. هذا، بالإضافة إلى تقنية رش الحزم، هو ما توفره تقنية إنفينيباند منذ خمسة عشر عامًا. ويُعدّ نقل هذه التقنية إلى الإيثرنت الميزة الرئيسية لـ نفيديا سبيكتروم-X (Spectrum-4/5 ASICs + BlueField أو ConnectX-8 SuperNICs)؛ سيسكو سيليكون ون G200/P200؛ و برودكوم توماهوك 5 / جيريكو 3-AI باستخدام نسيج مجدول قائم على الخلايا.

بالنسبة للمجموعات التي تتراوح بين عقدة واحدة وثماني عقد، يُعد التوجيه التكيفي مبالغة. أما بالنسبة للوظائف التي تتطلب أكثر من 64 وحدة معالجة رسومية (GPU) وتتوسع لتشمل 1,000 وحدة معالجة رسومية، فإن التوجيه التكيفي يُحدث فرقًا جوهريًا بين "الشبكة هي عنق الزجاجة" و"وحدات المعالجة الرسومية هي عنق الزجاجة". ولهذا السبب، قام كل مُصنِّع جاد لشبكات إيثرنت الذكاء الاصطناعي بتطوير أو ترخيص رقائق سيليكون للتوجيه التكيفي في الفترة ما بين 2024 و2026.

التحكم في الازدحام: لماذا لا يُعدّ "عدم إسقاط الحزم" مجانيًا؟

أما النصف الآخر من تعقيد التوجيه فيتمثل فيما يحدث عندما يصل حجم كبير جدًا من البيانات إلى منفذ واحد في المحول في وقت واحد. هناك خياران: أ الضياع تقوم الشبكة بإسقاط الحزم وتتراجع نقاط النهاية (الإنترنت المفتوح)؛ أ ضياع تقوم الشبكة بإيقاف التبديل العلوي مؤقتًا - لا توجد انقطاعات، لكن الازدحام ينتشر للخلف.

لطالما تطلّب بروتوكول RoCE بنيةً خاليةً من فقدان البيانات. تتعامل بطاقات الشبكة RDMA مع فقدان الحزم بشكلٍ سيئ، إذ يؤدي فقدان حزمة واحدة إلى إعادة إرسال الرسالة كاملةً باستخدام آلية go-back-N، ما يعني إعادة إرسال ميغابايتات على شبكة 100 جيجابت إيثرنت. لذا، يُعدّ بروتوكول RoCEv2 مع آلية go-back-N غير قابل للاستخدام عمليًا على شبكة ذات معدل فقدان عالٍ عند الاستخدام المكثف.

PFC — التحكم في التدفق ذي الأولوية يُعدّ معيار (IEEE 802.1Qbb) أساس عمل الإيثرنت دون فقدان للبيانات. فعندما يتجاوز حجم قائمة انتظار الإرسال الصادرة لكل أولوية في المحوّل حدًا معينًا، يرسل إطار إيقاف مؤقت (PAUSE) إلى المنبع يطلب من المرسل التوقف عن إرسال تلك الأولوية. ثماني أولويات، وثماني إشارات إيقاف/تشغيل مستقلة.

حجب رأس الطابور وتدفقات الضحايا

تُعتبر فترات التوقف في بروتوكول PFC غير دقيقة. ففترة التوقف تعني "توقف عن إرسال البيانات ذات الأولوية 3 على هذا الرابط" - أي أنها لا تعرف أي تدفق تسبب في الازدحام. إذا كانت عشرة تدفقات تشترك في الأولوية 3 وكان أحدها مزدحمًا في اتجاه المصب، فإن بروتوكول PFC يقوم بإيقاف مؤقت. العشرة جميعهمأما التدفقات التسعة الأخرى "الضحاياية" فتُعاقَب بسبب مشكلة شخص آخر. هذا ما يُعرف بحجب رأس الطابور، وهو المشكلة الأساسية في شبكات الإيثرنت غير المفقودة عند التعامل مع نطاق واسع.

حجب رأس الطابور: يؤدي الاتصال من A إلى X إلى حدوث خلل في واجهة المستخدم الرسومية على الخط الرئيسي. كما يتم إيقاف الاتصال من B و C إلى Y (وهو أمر طبيعي) مؤقتًا - وهي تدفقات متضررة.

مأزق PFCإذا شكلت بنية الشبكة وحركة البيانات اعتمادًا دوريًا للروابط المتوقفة - حيث ينتظر الرابط A الرابط B، وينتظر B الرابط C، وينتظر C الرابط A - فإن الشبكة بأكملها تتعطل. وقد لوحظ هذا في بيئات الإنتاج. تتميز المحولات الحديثة بخاصية كشف حالات التعطل؛ كما أن بنى Clos الحديثة خالية من حالات التعطل بحكم تصميمها؛ ومع ذلك، فإن كل عملية نشر جادة لتقنية RoCE تتضمن خطة استعادة على أي حال.

يكمن الهدف من التحكم الحديث في ازدحام الذكاء الاصطناعي في الحفاظ على صغر حجم المخازن المؤقتة بما يكفي لمنع تفعيل PFC في حالة الاستقرار. يبقى PFC مُفعّلاً كشبكة أمان للنبضات الدقيقة الحقيقية. الآلية التي تمنعه ​​من التفعيل هي DCQCN.

DCQCN — معيار التحكم في الازدحام لبروتوكول RoCEv2

DCQCN (إشعار الازدحام الكمي لمركز البيانات) هي الخوارزمية التي اعتمدت عليها تقنية RoCE بدون فقدان البيانات. طُوّرت بواسطة مايكروسوفت وميلانوكس (مؤتمر SIGCOMM 2015). اعتبارًا من عامي 2025-2026، تُشغّل هذه الخوارزمية افتراضيًا بطاقات الشبكة ConnectX/BlueField من NVIDIA، وهي ما تُعلنه Azure كمعيار إنتاجي لحوالي 85% من حركة مرور Azure، بتقنية RDMA، في جميع المناطق العامة.

تضطلع DCQCN بثلاثة أدوار: نقطة الازدحام (CP) يقوم المحول بوضع علامة ECN على الحزم عندما يتجاوز عمق قائمة انتظار الخروج عتبة معينة (احتمالية تتراوح من 0% عند Kmin إلى Pmax عند Kmax)؛ نقطة الإخطار (NP) هي بطاقة الشبكة الخاصة بالمستقبل، والتي تولد CNP (حزمة إشعار الازدحام) يتم إرسالها مرة أخرى إلى المرسل عبر علامات ECN (بمعدل محدود، عادةً واحدة لكل 50 ميكروثانية لكل تدفق)؛ نقطة رد الفعل (RP) هو NIC المرسل، مما يقلل بشكل مضاعف من معدل QP على CNP، ويزيد بشكل إضافي (ثم بشكل مفرط) في غيابهم.

تكوين المحول النموذجي لـ DCQCN على 100 جيجابت إيثرنت:

# NVIDIA Cumulus-style ECN profile on the lossless RoCE priority (priority 3)
interface swp1..swp32
  qos remark dscp-to-tc 26 to 3       # DSCP 26 → TC 3
  qos congestion-mark ecn priority 3
  qos ecn-kmin       5KB              # start marking
  qos ecn-kmax     200KB              # mark at Pmax
  qos ecn-pmax       1%
  qos pfc priority 3
  qos pfc xoff     400KB              # PFC pause (well above Kmax)
  qos pfc xon      300KB

تُعدّ Kmin/Kmax/Pmax الثلاثية الأكثر ضبطًا في RoCE. قيمة Kmin صغيرة (بضع حزم) بحيث يبدأ ECN بالعمل قبل استنفاد المخزن المؤقت؛ وقيمة Kmax أكبر بكثير بحيث يرتفع معدل نقل البيانات تدريجيًا؛ وعتبة إيقاف PFC أعلى بكثير من Kmax بحيث لا يتم تفعيل PFC إلا إذا كان DCQCN بطيئًا جدًا. في النشر الأصلي لمايكروسوفت: Kmin = 5 كيلوبايت، Kmax = 200 كيلوبايت، Pmax = 1%.

نقاط الضعف المعروفة في DCQCN: انهيار القالب (100 مرسل يصلون إلى جهاز استقبال واحد، يمتلئ الطابور بشكل أسرع من انتشار إشعارات CNP، يتم تشغيل PFC - DCQCN+ يعالج هذا)؛ عدم الإنصاف في الذيل الطويل (يتم تقييد التدفقات التي تبدأ متأخرة لفترة أطول)؛ حساسية المعلمة (لا يمكن تعميم ضبط Kmin لأربع عقد على 64 عقدة). باختصار: DCQCN هو الخيار الافتراضي لأنه يعمل في معظم الأحيان. توجد بدائل مقترحة مثل HPCC وSwift وEQDS وTIMELY المُعاد إحياؤها، لكن لم يحل أي منها محله حتى عام 2026.

ECN وDCTCP، والحالات التي يناسبها بروتوكول TCP النقي

يجب الفصل التام بينهما لأن هذه الأمور قد تختلط:

• ECN — آلية طبقة بروتوكول الإنترنت (RFC 3168) حيث تقوم المحولات بوضع علامات بدلاً من إسقاطها. أ بسيطةلا شيء يتفاعل من تلقاء نفسه.
• دي سي كيو سي إن — نقطة نهاية RDMA رد فعليقرأ ECN عبر CNPs، ويضبط المعدل.
• DCTCP — نقطة نهاية TCP رد فعليقرأ ECN في ACKs، ويُوسّع نطاق النافذة وفقًا لنسبة الحزم المُعلّمة. مايكروسوفت + ستانفورد، SIGCOMM 2010، مُضمّن في Windows Server وLinux.

إذا كنت تستخدم بنية RoCE خالصة، فأنت تستخدم DCQCN - تعرف على إعداداتك الافتراضية. إذا كان لديك أيضًا تخزين/تحكم TCP على نفس السلك، فمن المفيد تفعيل DCTCP (net.ipv4.tcp_ecn = 1 بالإضافة إلى المحولات المدركة لـ ECN).

لماذا يُشكّل استخدام الذكاء الاصطناعي ضغطاً أكبر على كل هذا مقارنةً بمراكز البيانات التقليدية؟

ثلاث خصائص لم تُصمم أنظمة التحكم التقليدية في الازدحام من أجلها:

1. دفعات متزامنة. تبدأ جميع وحدات معالجة الرسومات (GPUs) عملية الاختزال الكامل (allreduce) في نفس النانوثانية. ويصل معدل الاستخدام من صفر إلى ١٠٠٪ في الميكروثانية. لا حاجة إلى فترة تهيئة لبدء التشغيل البطيء لتحديد المعدل. يبدأ DCQCN بسرعة الخط لهذا السبب تحديدًا.
2. تدفقات قليلة وكبيرة. قانون الأعداد الكبيرة لا يُجدي نفعاً. ٨ تدفقات ← تصادمات ECMP شائعة؛ ٨ مستقبلات ← انسداد شديد في طبقة الفص الجبهي.
3. المسار الحرج هو الحلقة الأبطأ. زمن خطوة تقليل الكل = أقصى زمن لإكمال التدفق. لا يوجد "حالة متوسطة". احتمال حدوث تصادم سيئ بنسبة 1% يتراكم على مدار أشهر من التدريب.

لهذا السبب، يُولي خبراء الحوسبة عالية الأداء والذكاء الاصطناعي اهتمامًا بالغًا بالشبكات، على عكس ما كان عليه الحال في السابق مع مُشغّلي شبكات الويب واسعة النطاق. فالويب مرن، وتستغرق الطلبات البطيئة وقتًا أطول قليلًا لبعض المستخدمين. أما تدريب الذكاء الاصطناعي فليس كذلك، إذ تُنفّذ العملية بأكملها بسرعة أبطأ مُكوّن مُتزامن فيها.

التعقيد بدون مفتاح (معاينة N05)

N05 يغطي هذا التقرير بنى الشبكات التي لا تعتمد على المحولات - مثل الاتصال المباشر، والشبكة المتداخلة، والحلقة، والحلقة ثنائية/ثلاثية الأبعاد، والمكعب الفائق - للمجموعات الصغيرة حيث يُعد شراء محول 100 جيجابت إيثرنت مبالغة. عند إزالة المحول، يصبح كل جهاز بمثابة موجه: بطاقات شبكة متعددة، ومسارات متعددة، ولا بد من وجود آلية لاختيار الوجهة التالية.

الإجابة القياسية في عام 2026 هي FRR (توجيه FRR) على كل عقدة، تم تكوينها لـ بروتوكول بوابة الحدود غير المرقميستخدم بروتوكول BGP غير المرقم عناوين IPv6 المحلية للرابط للتواصل بين الشبكات، لذا لا يتم تخصيص عناوين IPv4 لكل رابط. تُعلن كل عقدة عن عنوان الاسترجاع الخاص بها، وتتعرف على عناوين الاسترجاع الخاصة بالشبكات النظيرة، ثم يختار جدول توجيه لينكس الوجهة التالية الصحيحة.

# Minimal FRR config for a node in a switchless mesh:
router bgp 65001
  bgp router-id 10.0.0.1
  neighbor enp1s0 interface remote-as external
  neighbor enp2s0 interface remote-as external
  neighbor enp3s0 interface remote-as external
  address-family ipv4 unicast
    network 10.0.0.1/32         # this node's loopback
    redistribute connected
  exit-address-family

اثنا عشر خطًا لكل عقدة، مع استخدام بروتوكول ECMP عبر عدد أزواج بطاقات الشبكة الموجودة في العقدة - مع مراعاة نفس محاذير بروتوكول ECMP الخاص بالمبدل. في شبكة مكونة من 4 عقد، تظهر تصادمات ECMP على جانب المضيف أيضًا. يمكن التخفيف من هذه المشكلة بزيادة عدد نقاط الوصول أو قبول الخسارة (وهي ضئيلة في 4 عقد). "عدم وجود مبدل" لا يعني "انعدام تعقيد التوجيه" - بل يُعيد توجيهه إلى المضيفين.

عندما يكون هذا الأمر مهمًا بالنسبة لك

لن يحتاج معظم القراء إلى القيام بأي من هذا.

• 1-4 عقد، مفتاح واحد، RoCE للتخزين والتدريب العرضي متعدد وحدات معالجة الرسومات: اترك المفتاح على الإعدادات الافتراضية. عتبات DCQCN وECN الافتراضية مناسبة. خاصية PFC مُفعّلة، ولن تلاحظ على الأرجح أي توقف. تصادمات ECMP واردة، لكن تأثيرها على شبكة من 4 عقد لا يتجاوز نسبة مئوية واحدة.
• 4-16 عقدة، مجموعة تدريب مخصصة: فعّل DCQCN صراحةً، واضبط Kmin/Kmax/Pmax على 5 كيلوبايت / 200 كيلوبايت / 1% (القيمة الأساسية في Azure)، وشغّل توسيع نطاق QP في NCCL، وراقب عدادات توقف PFC ومعدلات CNP. إذا كانت فترات توقف PFC تتزايد، فإن DCQCN ليس فعالاً بالقدر الكافي - خفّض قيمة Kmin.
• 16 عقدة أو أكثر أو 1,000 وحدة معالجة رسومية أو أكثر: يُغطي التوجيه التكيفي تكلفته. اشترِ Spectrum-X مع بطاقات SuperNIC المتوافقة، أو InfiniBand، وتوقف عن القلق بشأن ECMP، أو تعاون مع جهة لديها خبرة في إدارة شبكة بهذا الحجم. تكلفة الخطأ هي شهور من التدريب.
• مجموعة مفاتيح بدون مفتاح، أي حجم: FRR + BGP غير مرقم. من يوم إلى يومين من التكوين والاختبار لكل مضاعفة لعدد العقد. تكمن المشكلة الكبرى في نسيان ECMP من جانب النواة (net.ipv4.fib_multipath_hash_policy = 1 (للتجزئة من المستوى الرابع).

إنّ فكرة "سأشتري المزيد من النطاق الترددي حتى لا يحدث ازدحام" خاطئة. فحركة مرور الذكاء الاصطناعي المتزامنة تُولّد طلبًا فوريًا بسرعة الخط على كل مسار، بغض النظر عن عدد الخوادم. النطاق الترددي يحلّ مشاكل السرعة، لا مشاكل التنسيق.

---

هذا جزء من ويكي كينتينو، وهي سلسلة مرجعية حول الحوسبة الذكية، والروبوتات، والأنظمة التي تربط بينهما. نرحب بالتعليقات والتصويبات على info@kentino.com.