طوبولوجيات المجموعات المُبدَّلة: Fat-Tree، Leaf-Spine، Dragonfly+، Tesseract
تبدأ جميع مخططات التجميع في عروض الموردين بنفس الطريقة: صف من المربعات بعنوان "عقدة"، وصف آخر بعنوان "مبدل"، وأسهم تربط بينهما. صُممت هذه المخططات لتكون بسيطة عمدًا، لأن الخيار الحقيقي الكامن وراءها - أي نوع البنية، ومقدار الاكتظاظ، وسرعة كل منفذ - يُعدّ أهم قرار متعلق بالتكلفة في مجموعة الذكاء الاصطناعي بعد وحدات معالجة الرسومات نفسها.
تُغطي هذه المقالة طبقة الطوبولوجيا بين N02 (البروتوكول المُستخدم - إنفينيباند، روسي، إيثرنت عادي) و N06 - N08 (كيفية عمل الشبكة فعليًا بعد توصيل الطوبولوجيا). وتُغطي أربع عائلات رئيسية في عام 2026: فات-تري/كلوز/ليف-سباين ، دراغون فلاي/دراغون فلاي+ ، تيسيراكت/هايبركيوب ، وعائلة التورس التي استمرت في مجالين محددين من الحوسبة عالية الأداء. وتختتم المقالة برأي صريح: تسعة من كل عشرة عملاء لشركة كينتينو تقريبًا لا يحتاجون إلى أي من هذه التقنيات، وهذه المقالة مُخصصة للعميل العاشر.
الجمهور المستهدف: الأشخاص الذين يقومون بتحديد حجم مجموعة تدريب تتراوح من 8 إلى 64 عقدة والشبكة المحيطة بها. ليس هذا دليلًا إرشاديًا لتكوين Cisco/NVIDIA - النموذج الذهني الذي يجعل الدليل سهل القراءة.
ثلاثة أشياء مختلفة يطلق عليها الناس اسم "عرض النطاق الترددي"
قبل أن نرسم المربعات والأسهم، دعونا نتعرف على المصطلحات. هناك ثلاثة مصطلحات تُستخدم بشكل متبادل في أدبيات مبيعات المجموعات، وهي ليست بنفس العدد:
| مصطلح | ما يقيسه فعلياً | حيث تؤذيك |
|---|---|---|
| عرض النطاق الترددي الإجمالي | مجموع سعات جميع الروابط في الشبكة. الرقم الموجود في ورقة بيانات المورد. | غير مجدٍ بمفرده. قد يظل نسيج التجميع بسرعة 1 تيرابايت/ثانية يمثل عنق زجاجة لتدفق واحد. |
| عرض النطاق الترددي المقطعي | معدل التدفق عبر قطع عشوائي في النسيج. | معدل نقل البيانات الفعلي لأحمال العمل عندما تكون حركة المرور غير منتظمة - ما تقيسه أثناء عملية allreduce. |
| عرض النطاق الترددي للتقسيم الثنائي | عرض النطاق الترددي عبر المقطع العرضي سجق قطع يقسم العقد إلى نصفين متساويين. | الرقم الذي يحدد ما إذا كانت عملية تقليل الأخطاء تؤدي إلى معدل الخط على نطاق واسع. |
يمتلك محول 400 جيجابت إيثرنت ذو 32 منفذًا عرض نطاق إجماليًا قدره 12.8 تيرابت/ثانية . عند توصيل 16 عقدة به، كل منها بسرعة 400 جيجابت إيثرنت، نحصل على عرض نطاق ثنائي قدره 3.2 تيرابت/ثانية (8 عقد × 400 جيجابت/ثانية على كل جانب من القطع). في خطوة allreduce، حيث ترسل كل وحدة معالجة رسومية من أصل 16 نصف تدرجها عبر القطع الثنائي، فإن 3.2 تيرابت/ثانية هي القيمة التي يُقسم عليها زمن الخطوة، وليس 12.8.
باختصار: عرض النطاق الترددي للتقسيم الثنائي هو الرقم الوحيد من بين هذه الأرقام الثلاثة الذي يتنبأ بوقت خطوة التدريب على عبء عمل محدود بالاختزال الكامل. عندما يذكر كتيب البائع قيمة إجمالية، احسب أسوأ حالة ممكنة واقسمها وفقًا لذلك للعودة إلى التقسيم الثنائي.
بالنسبة لمجموعة مكونة من 16 عقدة تحتوي كل منها على 8 وحدات معالجة رسومية (128 وحدة معالجة رسومية إجمالاً) على عقد ذات بطاقة شبكة واحدة بسرعة 100 جيجابت إيثرنت:
| طبيعة الكابل | عرض النطاق الترددي الإجمالي | متوسط وزن الجسم في المقطع العرضي | تقسيم ثنائي الأبعاد أبيض وأسود |
|---|---|---|---|
| مفتاح تحويل واحد ذو 32 منفذًا بسرعة 100 جيجابت إيثرنت | 1.6 Tb / s | 800 Gb / s | 800 Gb / s |
| شجرة الدهون، 1:1 (تقسيم كامل) | 3.2 Tb / s | 1.6 Tb / s | 1.6 Tb / s |
| فات تري، 2:1 اكتتاب زائد | 2.4 Tb / s | 800 Gb / s | 800 Gb / s |
| اليعسوب+ (4 مجموعات من 4) | 2.0 Tb / s | ~1.0 تيرابايت/ثانية | ~800 جيجابت/ثانية (أسوأ زوج) |
| مكعب رباعي الأبعاد (بدون مفتاح) | 1.6 Tb / s | ~800 جيجابت/ثانية | 800 Gb / s |
| حلقة ثلاثية الأبعاد 4×2×2 | 1.5 Tb / s | ~600 جيجابت/ثانية | 600 Gb / s |
نفس عدد العقد، نفس سرعة نقل البيانات، لكن الأرقام تختلف باختلاف المقصود. هذا هو الإطار الذي يستخدمه باقي المقال.
شجرة دهنية، كلوس، شوكة ورقية - نفس الشيء بثلاث لهجات
أثبت تشارلز كلوز في عام 1953 أن شبكة متعددة المراحل من مفاتيح التبديل المتقاطعة الصغيرة يمكن أن تكون غير مانعة - أي يمكن لأي مدخل الوصول إلى أي مخرج دون تعارض - بتكلفة أقل بكثير من تكلفة مفتاح تبديل متقاطع عملاق واحد. كل شبكة مركز بيانات حديثة هي شكل من أشكال هذه الفكرة. وقد أصبح التسميات معقدة.
- A شبكة كلوز هو الهيكل الرياضي: مراحل الدخول والوسط والخروج للمفاتيح الأصغر.
- A شجرة السمين (تشارلز ليسرسون، 1985) هو نوع من أنواع Clos حيث تصبح الجذوع الأقرب إلى الجذر أكثر سمكًا تدريجيًا بحيث يتناسب عرض النطاق الثنائي مع N.
- A كلوز المطوي يُعيد لفّ مرحلة الخروج إلى مرحلة الدخول. أ شوكة الورقة هي شجرة كلوس مطوية من طبقتين. أما شجرة كلوس المطوية من ثلاث طبقات مع ورقة وعمود فقري وعمود فقري فائق، فهي ما يسميه معظم الناس في الممارسة العملية شجرة سمينة.
بنية ثنائية الطبقات: كل عقدة ورقية تتصل بكل عقدة عمودية. أي عقدتين تتواصلان في خطوتين فقط. التقسيم الثنائي الكامل = لا يوجد اكتظاظ في طبقة العمود الفقري.
تتصل كل عقدة طرفية بكل عقدة رئيسية. حركة البيانات بين أي عقدتين لا تتجاوز خطوتين: عقدة طرفية ← عقدة رئيسية ← عقدة طرفية ← عقدة طرفية. مع توفر عرض نطاق كافٍ للعقدة الرئيسية، تصبح الشبكة غير محجوبة: إذ يمكن لكل عقدة التواصل مع أي عقدة أخرى في الوقت نفسه بسرعة الخط.
نسبة الاكتظاظ هي العامل الحاسم في تحديد التكلفة. إذا كان لكل وحدة طرفية 32 وصلة تنزيل بسرعة 100 جيجابت إيثرنت (3.2 تيرابت/ثانية داخل الحامل) و8 وصلات رفع بسرعة 100 جيجابت إيثرنت (800 جيجابت/ثانية خارج الحامل)، فإن نسبة الاكتظاظ هي 4:1 ، أي أربعة أضعاف عرض النطاق الترددي داخل الحامل مقارنةً بالخارج منه. أما التوزيع الثنائي الكامل فيعني 1:1، أي أن عرض النطاق الترددي للوصلات الرفع يساوي عرض النطاق الترددي للوصلات التنزيل. نسبة 2:1 شائعة في مراكز البيانات العامة. بينما تُعد نسبة 1:1 (التوزيع الثنائي الكامل) هي المعيار الأساسي لمجموعات الذكاء الاصطناعي.
| الاعداد | روابط صاعدة من الأوراق | عدد الأشواك | التكلفة التقريبية للمحول والبصريات (2026) | تقسيم ثنائي الأبعاد أبيض وأسود |
|---|---|---|---|---|
| مفتاح تحويل واحد ذو 64 منفذ بسرعة 400 جيجابت إيثرنت (رف واحد) | ن / أ | 1 | ~ 50 ألف دولار | 12.8 تيرابايت/ثانية (رف واحد) |
| نظام ذو طبقتين على شكل عمود فقري ورقي، بنسبة اكتتاب زائدة 2:1 | 8 × 100 جيجابت إيثرنت | منفذ واحد ذو 32 منفذًا | ~ 120 ألف دولار | 800 Gb / s |
| نظام ذو طبقتين على شكل عمود فقري ورقي، بنسبة اكتتاب زائدة 2:1 | 16 × 100 جيجابت إيثرنت | منفذ واحد ذو 32 منفذًا | ~ 180 ألف دولار | 1.6 Tb / s |
| شوكة ورقية من طبقتين، تقسيم كامل (1:1) | 32 × 100 جيجابت إيثرنت | منفذ واحد ذو 32 منفذًا | ~ 280 ألف دولار | 3.2 Tb / s |
| وصلات صاعدة ثنائية الطبقات بسرعة 400 جيجابت إيثرنت، تقسيم كامل للشبكة | 8 × 400 جيجابت إيثرنت | منفذ واحد ذو 32 منفذًا | ~ 220 ألف دولار | 3.2 تيرابايت/ثانية، عدد أقل من الكابلات |
تتضاعف التكلفة تقريبًا عند الانتقال من نسبة 4:1 إلى 1:1، لأنك تشتري ضعف عدد منافذ العمود الفقري وضعف عدد البصريات. والسبب وراء دفع كل مجموعة حوسبة ذكاء اصطناعي جادة لهذه التكلفة الإضافية هو أن الاكتظاظ يُدمر إنتاجية خاصية الاختزال الشامل. فخاصية الاختزال الشامل المتزامنة ذات التدفقات الثمانية على بنية 4:1 مكتظة لا تعمل بربع السرعة، بل تنهار تحت ضغط تصحيح معامل القدرة ( N07 )، وقد تفقد عمليًا ما بين 60% و80% من الإنتاجية النظرية. تقول الحسابات "القسمة على 4"، لكن الواقع يقول "القسمة على 5-10".
تُحدد بنية DGX SuperPOD المرجعية من NVIDIA بنية شجرية ثلاثية الطبقات مع تقسيم ثنائي كامل على شبكة Quantum-2 NDR InfiniBand بسرعة 400 جيجابت/ثانية لكل منفذ. وتعتمد مجموعات تدريب RoCE المنشورة من Meta وسلسلة Azure ND من Microsoft على نفس البنية على شبكة Spectrum-X Ethernet. وقد تقاربت الصناعة على استخدام بنية شجرية ثنائية كاملة لتدريب الذكاء الاصطناعي ، ويؤدي التطور المتوقع بين عامي 2024 و2026 إلى توسيع نطاق هذه البنية (من 400 جيجابت/ثانية إلى 800 جيجابت/ثانية لكل منفذ) أو تحسينها لتناسب مسارات الشبكة (كما هو موضح في القسم التالي)، دون تغيير البنية الأساسية.
شجرة الدهون المُحسّنة للسكك الحديدية - اللهجة الخاصة بالذكاء الاصطناعي
يعامل نموذج الشجرة السمينة القياسي جميع بطاقات الشبكة بنفس الطريقة. يهتم تدريب الذكاء الاصطناعي بمعرفة أي بطاقة شبكة تابعة لوحدة معالجة الرسومات ترسل أي تدرج، لأن أنماط حركة البيانات في دالة allreduce ليست موحدة. أما النسخة المُحسّنة للمسارات، فتُخصص لكل وحدة معالجة رسومات في العقدة مسارًا محددًا - مسارًا مخصصًا بين الأوراق والعمود الفقري - وتضمن أن وحدة معالجة الرسومات رقم i في كل عقدة تتواصل فقط مع وحدة معالجة الرسومات رقم i في كل عقدة أخرى عبر المسار رقم i.
شجرة بيانات مُحسّنة للسكك الحديدية: كل فتحة لوحدة معالجة الرسومات تُخصص لمستوى أساسي مستقل. حلقة Allreduce على وحدة معالجة الرسومات 3 تستخدم السكة الحديدية 3 فقط.
ثماني شبكات فرعية مستقلة ثنائية الطبقات، واحدة لكل فتحة وحدة معالجة رسومية. تستخدم حلقة Allreduce على وحدة المعالجة الرسومية 3 عبر 16 عقدة المسار 3 فقط ، ولا تتقاطع مع المسارات الأخرى. المزايا: انعدام تصادمات ECMP بين المسارات، وتبسيط التوجيه، وتقليل عدد عمليات التبديل لكل مستوى. العيب: يتم تقسيم المهمة التي تمتد عبر فتحات وحدة المعالجة الرسومية (توازي الموترات داخل العقدة، وتوازي البيانات عبر العقد) عبر المسارات بواسطة NCCL على أي حال، لذا فإن هذه البنية لا تفيد إلا إذا توافق عبء العمل. بالنسبة لـ NCCL المتوازية البيانات والمدركة للمسارات، فهي ميزة واضحة؛ أما بالنسبة لتوازي الموترات عبر المسارات، فإن التوفير يتلاشى.
دراغون فلاي ودراغون فلاي بلس — عندما لا تستطيع تحمل تكلفة فات تري
تتزايد تكلفة بنية الشجرة السمينة تقريبًا وفقًا للوغاريتم N - فكل مضاعفة لعدد العقد تتطلب عرض نطاق أكبر للعمود الفقري، ويضاعف المستوى الثالث عدد المحولات لكل نقطة نهاية. بالنسبة لـ 1024 عقدة، يمكن بناء بنية شجرة سمينة ثلاثية المستويات غير مانعة. أما بالنسبة لـ 10,000 عقدة، فإن عدد المحولات وتكلفة البصريات يصبحان باهظين للغاية. وقد صُممت شبكة Dragonfly، التي اقترحها جون كيم وويليام دالي وآخرون في عام 2008، خصيصًا لتجاوز هذا الحد.
الفكرة: تجميع العقد في مجموعات . داخل المجموعة، تكون جميع المحولات متصلة بكثافة (غالبًا ما تكون شبكة Clos أصغر). بين المجموعات، ترتبط كل مجموعة برابط مباشر واحد مع كل مجموعة أخرى. والنتيجة هي شبكة بقطر 3 (قفزة محلية داخل المجموعة، قفزة بين المجموعات، قفزة محلية داخل المجموعة) قابلة للتوسع لتشمل أعدادًا هائلة من العقد باستخدام عدد أقل بكثير من كابلات النقل لمسافات طويلة مقارنةً بشبكة Fat-Tree.
دراجون فلاي: شبكة كلوز كثيفة داخل المجموعة، رابط عالمي واحد لكل زوج من المجموعات. قطرها 3. تتوسع لتشمل أكثر من 1000 عقدة مع عدد أقل من كابلات النقل لمسافات طويلة مقارنةً بشبكة فات تري.
يكمن التوفير الأكبر في كابلات الألياف الضوئية . تُعدّ كابلات الألياف الضوئية لمسافات طويلة بين الخوادم الجزء الأكثر تكلفة في بنية Fat-Tree. يستبدلها نظام Dragonfly بوصلة ألياف ضوئية واحدة لكل زوج من المجموعات، وليس وصلة واحدة لكل تركيبة من Leaf-Spine. بالنسبة لمجموعة تضم G مجموعة، كل منها تحتوي على S عقدة، يحتاج نظام Fat-Tree إلى ما يقارب G × S × log(G × S) كابلًا؛ بينما يحتاج نظام Dragonfly إلى G(G − 1)/2 كابلًا بين المجموعات بالإضافة إلى كابلات البنية التحتية لكل مجموعة. عند G = 32 مجموعة، كل منها تحتوي على 32 عقدة (1024 عقدة إجمالًا)، ينخفض عدد كابلات الألياف الضوئية لمسافات طويلة بمقدار عشرة أضعاف تقريبًا.
يُحسّن Dragonfly+ (Mellanox، 2017) هذا التصميم لشبكة InfiniBand. يصبح النسيج الداخلي للمجموعة عبارة عن Clos ثنائي الأجزاء صغير، مما يُغني عن إعادة توصيل الأسلاك عند توسيع المجموعة، وتستخدم روابط المجموعات المختلفة توجيهًا تكيفيًا لتجنب المجموعات المزدحمة. هذه هي البنية المستخدمة في Frontier (مختبر أوك ريدج الوطني، معالج AMD MI250X فائق السرعة) و El Capitan (مختبر لورانس ليفرمور الوطني، معالج MI300A) - وكلاهما مُجهز بمفاتيح HPE Slingshot-11 بترتيب اليعسوب، بقطر أقصى ثلاث قفزات، وسرعة نقل بيانات تبلغ 12.8 تيرابت/ثانية لكل مفتاح.
تكمن المشكلة في نمط الفشل للمهام الصغيرة التي تمتد عبر مجموعات . في شبكة Fat-Tree، يرى عقدتان في طرفي المجموعة نفس عرض النطاق الترددي للتقسيم الثنائي كما هو الحال مع عقدتين تفصل بينهما رف واحد (مع مراعاة عدد القفزات). أما في شبكة Dragonfly، فتتشارك عقدتان في مجموعتين مختلفتين رابطهما بين المجموعات مع كل تدفق آخر بين المجموعات. إذا وصلت مهمة التدريب الخاصة بك، التي تتطلب 16 وحدة معالجة رسومية، إلى 8 عقد في المجموعة A و8 في المجموعة B، فأنت تشارك رابطًا واحدًا بين المجموعات مع كل عقدة أخرى تمتد عبر نفس الزوج. يساعد التوجيه التكيفي، لكنه لا يقضي على التنازع.
الآثار العملية: يعمل نموذج Dragonfly بكفاءة عالية مع أحجام المشكلات الضخمة (أكثر من 1000 عقدة، ومهام مصممة لتعبئة المجموعات)، ولكنه لا يُجدي نفعًا مع المجموعات المتوسطة ذات المهام الصغيرة المتنوعة. إنه ليس النموذج الأمثل لمجموعة تدريب مكونة من 16 عقدة، حيث يُعد نموذج Fat-Tree أرخص وأسرع على هذا النطاق. بينما يُعد النموذج الأمثل لحاسوب فائق ذي أحمال عمل مختلطة مكون من 1024 عقدة.
تيسيراكت - المكعب الفائق رباعي الأبعاد
المكعب الفائق هو مكعب رباعي الأبعاد: 16 رأسًا، كل منها متصل بأربعة جيران بالضبط، وقطره 4 (أطول مسار بين أي عقدتين). بتعميمه إلى k بُعد، نحصل على مكعب k : 2k عقدة ، لكل منها k رابط مباشر، وقطره k. توجيه مسافة هامينغ - عملية XOR بين عنواني المصدر والوجهة، مع قلب بت واحد في كل مرة - حتمي بشكل بديهي ومتوازن الأحمال في ظل حركة مرور عشوائية.
المكعب الفائق رباعي الأبعاد (Tesseract): 16 عقدة، لكل منها 4 جيران. الخطوط المتصلة = حواف المكعب ثلاثي الأبعاد؛ الخطوط المتقطعة = روابط البعد الرابع. القطر 4. كل تسمية عقدة عبارة عن عنوان من 4 بتات؛ يختلف الجيران ببت واحد فقط.
هيمنت بنى المكعب الفائق على الحوسبة المتوازية الضخمة في ثمانينيات القرن العشرين. كان جهاز Connection Machine CM-2 (من شركة Thinking Machines، عام 1987) يتألف من 65,536 عقدة موصولة على شكل مكعب فائق ذي 12 بُعدًا. بينما كان جهاز Intel iPSC/2 يشغل مكعبات فائقة ذات 7 أبعاد. أما جهاز CM-5 (من شركة Thinking Machines، عام 1991) فقد تخلى عن المكعبات الفائقة لصالح بنية الشجرة السمينة، لأن منهج المكعب الفائق لم يكن قابلاً للتوسع بسلاسة بعد حوالي 1024 عقدة - فكل بُعد جديد يُضاعف عدد العقد ويتطلب إعادة توصيل جميع العقد الموجودة.
في عام 2026، لا يزال مصطلح "المكعب الفائق" يظهر في ثلاثة مواضع جديرة بالتمييز:
- كاسم لنظام بحثي / DiRAC HPC. يُعدّ نظام DiRAC Tesseract في مركز EPCC (إدنبرة) عبارة عن مجموعة خوادم HPE SGI 8600 تضم 1476 عقدة، وتعمل على منصة Intel Omni-Path. وكلمة "Tesseract" هنا هي مجرد علامة تجارية، أما البنية التحتية فهي أقرب إلى مفهوم "الشجرة السمينة".
- كمصطلح بحثي "مستوى التحكم في الشبكات المعرفة بالبرمجيات" (المكعب: مستوى تحكم رباعي الأبعاد، يان وآخرون). لا علاقة له بالطوبولوجيا الفيزيائية.
- باعتبارها البنية الأساسية لمجموعات مسرعات الجسيمات المدمجة عديمة المفاتيح. تتمتع مجموعة من 16 عقدة موصولة على شكل مكعب فائق رباعي الأبعاد بخصائص مثيرة للاهتمام: كل عقدة تحتوي على 4 بطاقات شبكة بالضبط، ولا يوجد بها محول مركزي، وتوجيه حتمي، وقطرها 4. نتناول هذا الموضوع بالتفصيل في N05 (الشبكات بدون مفاتيح).
ما يوفره نظام المكعب الفائق في عام 2026: لا رسوم على التبديل، وتوجيه حتمي عبر عملية XOR باستخدام مسافة هامينغ، وقطر صغير (log₂(N)). ما يُصعّب الأمر: قيمة N ثابتة (يجب أن تكون قوة للعدد 2)، وتعقيد الكابلات يزداد مع البُعد، وعدد بطاقات الشبكة لكل عقدة يساوي k، ومجموعات الذكاء الاصطناعي الحديثة (حلقة/شجرة NCCL) لا تستغل بنية المكعب الفائق بشكل أصلي.
الحلقة - الناجي في زاويتين محددتين
يُعمم المكعب ذو البعد n من الرتبة k مفهوم المكعب الفائق: فبدلاً من استخدام عنوان ثنائي برابط واحد لكل بُعد، يُستخدم شبكة k×k×k مع التفاف. في الطارة ثلاثية الأبعاد، تتصل كل عقدة بستة جيران (±x، ±y، ±z). أما في الطارة سداسية الأبعاد، فيتصل كل عقدة باثني عشر جارًا.
عملت حواسيب IBM Blue Gene/L و/P على شبكة ثلاثية الأبعاد حلقية، قابلة للتوسع إلى مئات الآلاف من العقد، حيث تحتوي كل عقدة على 6 روابط عالية السرعة فقط. عممت Fujitsu Tofu (الشبكة البينية لحاسوب K، 2011) هذا المفهوم إلى شبكة سداسية الأبعاد حلقية - 158,976 عقدة على Fugaku (التي كانت نشطة حتى عام 2026)، مرتبة على شكل 24×23×24×2×3×2.
يستخدم محرك Cerebras Wafer-Scale Engine بنية حلقية ثنائية الأبعاد على الرقاقة: لكل عنصر معالجة أربعة عناصر مجاورة، ملتفة حول بعضها، بزمن انتقال يبلغ حوالي 1 نانوثانية لكل قفزة. ينجح هذا التصميم لأن الأسلاك الموجودة على الرقاقة شبه مجانية؛ بينما الكابلات الخارجية ليست كذلك.
لماذا تراجعت تقنية Torus في كل مكان آخر؟ السبب هو المسارات غير المتناظرة والسلوك غير الأمثل لأحمال عمل الذكاء الاصطناعي غير المتجانسة. تفترض أحمال عمل الذكاء الاصطناعي الحديثة (مثل حلقات/أشجار NCCL، وخوارزميات NVIDIA الهرمية) تجانس عرض النطاق الترددي بين أي عنصرين. وتخالف تقنية Torus هذا الافتراض. في عام 2026، ستبقى تقنية Torus في ثلاثة مواقع : الربط البيني على رقاقة Cerebras، وFujitsu Fugaku والأنظمة اللاحقة لها، وداخل عقد SXM عبر NVSwitch. خارج هذه المواقع، ستكون جميع مجموعات الذكاء الاصطناعي الجديدة في الفترة 2025-2026 من نوع Clos.
جدول المقارنة
| طبيعة الكابل | قطر الدائرة | قسم BW (16 عقدة، 100 جيجابت) | المفاتيح المطلوبة | الكابلات (تقريبًا) | نسبة التكلفة مقابل فات تري 1:1 | نموذج النمو |
|---|---|---|---|---|---|---|
| مفتاح واحد | 1 | 800 جيجابت/ثانية (محدودة بواسطة المحول) | منفذ واحد ذو 32 منفذًا | 16 | 0.3 × | غطاء صلب عند قاعدة المفتاح |
| شجرة الدهون 1:1 (تقسيم كامل) | 2 | 1.6 Tb / s | شوكتان + ورقتان | 64 | 1.0 × | أضف أوراقًا / أشواكًا |
| فات تري 2:1 | 2 | 800 Gb / s | شوكتان + ورقتان | 48 | 0.7 × | أضف أوراق الشجر |
| دراغون فلاي+ | 3 | 800 جيجابت/ثانية (محدودية أزواج المجموعات) | 4 (2 لكل مجموعة) | 32-40 | 0.6× عند 16 نيوتن؛ ينقلب فوق 64 نيوتن | أضف المجموعات |
| مكعب رباعي الأبعاد (بدون مفتاح) | 4 | ~800 جيجابت/ثانية (فعلي) | 0 | 32 | 0.4 × | يتضاعف بإضافة خافت |
| حلقة ثلاثية الأبعاد (4×2×2، بدون مفتاح) | 4 | ~600 جيجابت/ثانية | 0 | 48 | 0.5 × | أي حجم مستطيل |
وصلة الإرسال العنقودية - كيف تلتقي البنية الشبكية بالعالم الخارجي
تُعدّ البنية التحتية المُبدّلة بمثابة جزيرة معزولة. إذ يجب أن تتصل بشبكة الشركة (سجلات النماذج، وتخزين مجموعات البيانات، وخدمة S3، والقياس عن بُعد)، وبمحطات عمل المطورين (SSH، وJupyter، ونسخ نقاط التحقق)، وبمجموعات الحوسبة الأخرى (من التدريب إلى الاستدلال). ويُطلق على هذا الاتصال اسم وصلة المجموعة.
نموذجان، لهما نتائج مختلفة تماماً:
نقطة اتصال واحدة. يقوم زوج من محولات العمود الفقري (أو موجه اتصال مخصص) بإنهاء جميع الاتصالات الخارجية. سهولة في الحماية بجدار ناري، وسهولة في تحديد معدل النقل، وسهولة في المراقبة. في حالة الفشل: تُعدّ هذه الوصلة نقطة فشل واحدة؛ إذ يؤثر استهلاكها الكامل (مثل نسخ نقطة تفتيش كبيرة، أو سحب جزء من مجموعة بيانات بحجم 10 جيجابايت) على جميع العقد في آنٍ واحد.
وصلة صاعدة موزعة. لكل طرفية وصلة صاعدة منفصلة إلى شبكة الحرم الجامعي، غالبًا ما تكون أبطأ بسرعة 25 جيجابت إيثرنت فوق بنية 100 جيجابت إيثرنت. تبقى عمليات سحب مجموعات البيانات وحركة المرور الخارجية محلية في الطرفية - دون ازدحام على البنية الداخلية. وضع الفشل: كل طرفية بمثابة حدود أمنية، وجدار الحماية يتطلب جهدًا أكبر بكثير، والمراقبة أصعب.
في حالة كينتينو الأساسية (مجموعة تدريب من 4 إلى 16 عقدة)، تُعد نقطة الربط الصاعدة الوحيدة هي الحل الأمثل. تعتمد البنية الداخلية على تقنية RDMA فقط (RoCE أو InfiniBand)، وهي مُحسّنة لتقليل زمن الاستجابة وضمان عدم فقدان البيانات. أما الربط الصاعد فهو عبارة عن إيثرنت عادي، TCP، مع جودة خدمة عادية. تجنب وضع مخزن كائنات مجموعة البيانات على نفس البنية التي لا تفقد البيانات والتي تستخدمها وحدة معالجة الرسومات (GPU) لتقليل البيانات بشكل كامل - إذ لا ينبغي لعميل S3 مُختل أن يُسبب ضغطًا عكسيًا على حركة مرور التدريب. تتكون البنية من طبقتين: طبقة البيانات (RDMA بدون فقدان بيانات) وطبقة الإدارة/الربط الصاعد (TCP مع فقدان البيانات). يُغطي N08 الإعداد العملي.
رأي كينتينو الصريح
يشتري معظم عملاء كينتينو من عقدة واحدة إلى أربع عقد. وبهذا الحجم:
- عقدة واحدة. لا يوجد سؤال حول بنية الشبكة. منفذ PCIe داخل الصندوق (كيه07 ) تم إخراج بطاقة إدارة الشبكة 25 جيجابت إيثرنت واحدة، تم الأمر.
- عقدتان. كابل مباشر بين بطاقتي شبكة RDMA. لا حاجة إلى محول. لا حاجة لاختيار بنية الشبكة.
- 3-4 عقد. مفتاح واحد ذو 32 منفذًا بسرعة 100 جيجابت إيثرنت يتولى الاتصال بين كل طرفين مع تقسيم ثنائي كامل بتكلفة إجمالية تتراوح بين 30 ألف و50 ألف دولار. ولا يزال لا يوجد خيار لتحديد بنية الشبكة.
يبدأ الحديث عن بنية الشبكة عند 8 عقد ، حيث يصبح عدد منافذ المحول الواحد محدودًا، ويصبح ضروريًا عند 16 عقدة . أقل من ذلك، الحل الأمثل هو "محول واحد جيد، وتقسيم كامل لكل منفذ، وانتهى الأمر". أما أعلى من ذلك، فالحل الأمثل هو "بنية ثنائية الطبقات، بسرعة 100 أو 200 جيجابت إيثرنت لكل عقدة، وتقسيم كامل (1:1)، ولا تقم أبدًا بتجاوز الحد المسموح به إلا إذا أجبرك أحدهم على ذلك".
يُعدّ Dragonfly+ الخيار الأمثل لأحجام المشكلات التي تواجهها مراكز الحوسبة فائقة الأداء. أما Tesseract/Hypercube فهو خيارٌ مثيرٌ للاهتمام كحلّ لا يتطلب تبديلًا للمجموعات الحاسوبية الصغيرة ( N05 ). بينما يُعتبر Torus خيارًا حصريًا لمشغلي الحوسبة عالية الأداء الذين يتعاملون مع أحمال عمل مُراعية لبنية الشبكة. بالنسبة لبقية المستخدمين ضمن نطاق سعر Kentino، يُعدّ Fat-Tree الخيار الافتراضي. يُنصح باستخدام التجزئة الثنائية الكاملة إذا كان ذلك مُتاحًا؛ و2:1 إذا لم يكن ذلك مُتاحًا؛ وتجنّب استخدام 4:1 نهائيًا لتدريب الذكاء الاصطناعي.
ماذا تفعل بعد ذلك
إذا كنت تقوم بتحديد حجم نسيج مُبدَّل لمجموعة حقيقية:
- دوّن عدد العقد، ووحدات معالجة الرسومات لكل عقدة، ومعدل الخط لكل بطاقة شبكة. اضرب. اقسم على 2. هذا هو رقم التنصيف المستهدف.
- حدد ما إذا كانت مهامك تمتد على كامل المجموعة أم أنها تقع داخل رف واحد. تتحمل الوظائف المحلية على الرفوف الاكتظاظ. أما الوظائف التي تمتد عبر المجموعة فلا تتحمله.
-
يجري
nccl-tests/all_reduce_perfعلى تكوين مؤقت لشجرة البيانات قبل الالتزام بتشغيل الكابل. إذا كانت عملية الاختزال الكاملة المكونة من 8 عقد تفقد بالفعل 20٪ من عرض النطاق الترددي النظري، فإن لديك مشكلة مختلفة عن مشكلة الطوبولوجيا. - لا تُحسّن الأداء للسنوات الخمس القادمة. اشترِ المجموعة التي تحتاجها هذا العام مع خطة توسع واضحة. يُعدّ تصميم "الشجرة السمينة ذات الأوراق والأعمدة" أرخص تصميم للتوسع التدريجي.
- قم بمطابقة معدل تحميل البيانات مع معدل استيعاب مجموعة البيانات الخاصة بكلا يتعلق الأمر بسرعة الشبكة الداخلية. تحتاج معظم المجموعات إلى سرعة نقل بيانات خارجية تتراوح بين 25 و100 جيجابت إيثرنت، وليس 400 جيجابت.
- نوعان من الأقمشة، دائماً. مستوى البيانات ومستوى الإدارة منفصلان، حتى عند 4 عقد.
تتناول المتابعات في هذا المسار بشكل أعمق: يغطي N05 الطوبولوجيات بدون مفتاح (خيارات المكعب الحلقي والحلقة عندما لا تريد مفتاحًا على الإطلاق)؛ ويحلل N06 مصدر كل ميكروثانية من زمن الاستجابة بمجرد تشغيل البنية؛ ويغطي N07 أعمال التوجيه والتحكم في الازدحام التي تحدد ما إذا كانت الطوبولوجيا الجميلة الخاصة بك تعمل بالفعل؛ أما N08 فهو الإعداد العملي لـ RDMA وتصميم وصلة المجموعة الصاعدة.
هذا جزء من موسوعة كينتينو، وهي سلسلة مرجعية حول الحوسبة الذكية، والروبوتات، والأنظمة التي تربط بينهما. نرحب بالتعليقات والتصويبات على البريد الإلكتروني info@kentino.com.