بنى الشبكات بدون مفاتيح: الشبكة المتداخلة، والحلقية، والاتصال المباشر لمجموعات الذكاء الاصطناعي الصغيرة

سيتراوح سعر محول إيثرنت بسرعة 400 جيجابت ذي 32 منفذًا، مع البصريات ووحدات التوصيل والتراخيص البرمجية اللازمة لتشغيله، بين 40 ألفًا و80 ألف يورو في منتصف عام 2026، بينما يُعدّ محول إنفينيباند NDR ذو 64 منفذًا خيارًا أسوأ. بالنسبة للعميل الذي يُنشئ جهاز تدريب يتكون من عقدتين إلى أربع عقد، قد تتجاوز تكلفة المحول تكلفة وحدات معالجة الرسومات في إحدى العقد. كما أنه يُضيف قفزة إضافية في زمن الاستجابة، ونقطة فشل واحدة، ودورة حياة برمجية منفصلة، ​​بالإضافة إلى تكلفة مشروع صغير من ضبط PFC/ECN في حال استخدام RoCE.

الحقيقة التي لا يتحدث عنها أحد تقريباً هي أن في حالة وجود أقل من ثماني عقد تقريبًا، لن تحتاج إلى مفتاح تبديل على الإطلاقيمكنك توصيل بطاقات الشبكة ببعضها مباشرةً، والاستغناء عن المحول تمامًا، والحصول على حل أبسط وأرخص وأسرع قليلًا. والحقيقة التي لا يعترف بها أحد تقريبًا هي أن فوق ثماني عقد تقريبًا، ينهار نظام التبديل بدون مفتاح بشكل حاد.وعندها، يصبح كل من الكابلات وعدد المنافذ والقصة التشغيلية غير قابلة للدفاع. هذه المقالة ترسم هذا النطاق بصدق.

وهو رفيق لـ N04 (تبديل الطوبولوجيا). اقرأ N06 بالنسبة لحسابات زمن الاستجابة التي بُني عليها نظام الفوز بدون مفتاح، كيه07 لتوضيح شكل عقدة القاعدة الواحدة - وهي اللبنة الأساسية التي يربطها هذا المقال.

قضية الأجهزة اللاسلكية

أربعة أشياء تحصل عليها مجاناً بإزالة المفتاح:

1. زمن استجابة التحويل صفر. يستهلك محول إيثرنت حديث بتقنية الذكاء الاصطناعي (AII) ما بين 400 و600 نانوثانية لكل قفزة. بينما يستهلك محول NDR InfiniBand أقل من 100 نانوثانية. لا يضيف كابل التوصيل المباشر بين بطاقتي الشبكة أي تأخير إضافي (حوالي 5 نانوثانية/متر على النحاس، ونفس الشيء على الألياف الضوئية). في نظام تبادل بيانات ثنائي العقد، ينخفض ​​زمن الاستجابة أحادي الاتجاه من حوالي 2 ميكروثانية إلى حوالي 1.2-1.5 ميكروثانية.
2. تكلفة التحويل صفر. يتكون الاتصال المباشر ثنائي العقد من بطاقتي شبكة (NIC) ومحول رقمي تناظري (DAC). أما الاتصال المثلثي ثلاثي العقد فيتكون من ثلاث بطاقات شبكة وثلاثة محولات رقمية تناظرية. ويُعدّ توفير النفقات الرأسمالية مقارنةً حتى بمحول إيثرنت صغير بسرعة 100 جيجابت مزود ببصريات QSFP28 مبلغًا كبيرًا في مشروع صغير - يتراوح بين 10 آلاف و30 ألف يورو، يُعاد استثمارها في وحدات معالجة الرسومات (GPUs).
3. لا يوجد صداع ناتج عن مشاكل في قشرة الفص الجبهي/الشبكة التنفيذية المركزية. الرابط المباشر بين بطاقات الشبكة هو رابط من نقطة إلى نقطة - التحكم في التدفق عبارة عن محادثة ثنائية الأطراف، ويتدهور PFC إلى "إخبار النظير بالتوقف". لا توجد مشكلة انتشار التوقف على مستوى النسيج لأنه لا يوجد نسيج.
4. فئة جهاز واحدة لتصحيح الأخطاء. عندما يتعطل شيء ما في شبكة بدون محولات، فإن قائمة المشتبه بهم تقتصر على بطاقتي شبكة، وكابل واحد، وبرامج تشغيل النواة على كلا الطرفين. هذه مساحة بحث صغيرة ومحدودة.

في حالة العقدتين: ما عليك سوى توصيلهما معًا

هذا هو أنظف إعداد ممكن لمجموعة الذكاء الاصطناعي، وهو الإعداد الذي يكون فيه استخدام "بدون مفتاح" صحيحًا بشكل لا لبس فيه.

اتصال مباشر ثنائي العقدة: محول رقمي تناظري OSFP سلبي واحد، بدون مفتاح، زمن انتقال RDMA ~0.8–1.2 ميكروثانية، معدل نقل بيانات قابل للاستخدام ~50 جيجابايت/ثانية لكل اتجاه.

وحدة تحويل رقمي تناظري واحدة من نوع OSFP بين بطاقتي شبكة ConnectX-7 بسرعة 400 جيجابت/ثانية. هذا هو كامل بنية الشبكة بين العقد. بطاقتا الشبكة نفسيهما اللتان ستواجهان محولًا في بنية أكبر ستواجهان بعضهما البعض. تعمل أوامر RDMA، ويلتقطها NCCL تلقائيًا، ويعمل GPUDirect RDMA دون تغيير.

ما ستحصل عليه: سرعة نقل بيانات قابلة للاستخدام تبلغ حوالي 50 جيجابايت/ثانية لكل اتجاه، وزمن استجابة خام لتقنية RDMA أقل من ميكروثانية (ib_send_lat يستغرق الوصول حوالي 0.8-1.2 ميكروثانية، باستخدام كابل واحد. لا توجد مشكلة في التجميع لعدم وجود بيانات للتجميع. ولا يوجد اكتظاظ لعدم وجود نقطة تفرع.

بالنسبة لنظام تدريب ثنائي العقد - وهو النظام الأكثر شيوعًا بين عملائنا الذين يحتاجون إلى جهاز واحد فقط - فهذا هو الحل الأمثل. لا داعي لتغيير الجهاز. قم بتوصيلهما معًا. استثمر المبلغ الموفر في وحدة تخزين NVMe أكبر أو منفذ شبكة ثانٍ لضمان التكرار.

تحسين عملي: استخدم منفذ مزدوج قم بتوصيل جهاز ConnectX-7 وقم بتشغيل محولين رقميين تناظريين (DAC) متوازيين بسرعة 200 جيجابت/ثانية بين الجهازين، مع تهيئة NCCL لاستخدام كلا المحولين (HCAs).NCCL_IB_HCA=mlx5_0,mlx5_1ستخسر جزءًا بسيطًا من ذروة كل تدفق، لكنك ستحصل على مسار احتياطي وسلوك أفضل قليلًا للرسائل الصغيرة من أزواج الطوابير المتوازية. نعتمد هذا الخيار افتراضيًا في عمليات البناء ثنائية العقد.

ثلاثة وأربعة عقد: المثلث و K₄

ثلاث عقد هي أصغر حالة يبدأ فيها تأثير بنية الشبكة بالظهور. الخيارات هي:

• سلسلة خطية (ABC). كابلان. القطر 2. العقدة B هي نقطة اتصال رئيسية - جميع حركة المرور من A إلى C تمر عبرها. تجنبها.
• مثلث (شبكة كاملة). ثلاثة كابلات. القطر 1. كل عقدة لها منفذان. كل تدفق عبارة عن قفزة واحدة. هذا هو الجواب الصحيح.

اليسار: مثلث (K₃) - 3 عقد، 3 كابلات، قطر 1. اليمين: شبكة كاملة K₄ - 4 عقد، 6 كابلات، قطر 1. كل زوج متصل مباشرة.

يصبح الأمر مثيرًا للاهتمام عند أربع عقد. تتكون الشبكة الكاملة - الرسم البياني الكامل K₄ - من ستة روابط إجمالًا، وثلاثة منافذ لكل عقدة، وقطرها 1. تصل كل عقدة إلى كل عقدة أخرى في قفزة واحدة بالضبط. حسابات الكابلات:

منافذ الشبكة الكاملة لكل عقدة هي N-1ولهذا السبب يفشل هذا النهج سريعاً. عند استخدام ثماني عقد، ستحتاج إلى سبعة منافذ لكل جهاز، وهو ما يمثل نهاية الطريق العملي لفتحة PCIe Gen5 x16 واحدة.

متى تتفوق شبكة كاملة رباعية العقد على مفتاح صغير؟ تحديدًا عندما يكون لديك 4 عقد K-AI 128 للاستدلال وتريد ربطها بإحكام، وتقوم بتشغيل RoCE ولا تريد PFC عبر مفتاح، ويكون الفرق الطفيف في السعر الذي يتراوح بين 15 ألف يورو و25 ألف يورو لمفتاح 100 جيجابت إيثرنت مع البصريات ذا أهمية في الميزانية.

متى يتفوق المحول الصغير حتى مع أربع عقد؟ عندما تفكر في إضافة عقدة خامسة في الربع القادم. تتطلب إضافة عقدة واحدة إلى شبكة K₄ إعادة توصيل جميع العقد الموجودة لإضافة المنافذ الجديدة. أما المحول، فيحتوي على منافذ إضافية؛ ما عليك سوى توصيلها.

حالة العقد الثمانية: المكعب الفائق، مع علامة النجمة

المكعب الثلاثي (Q₃) - وهو مكعب فائق الأبعاد ذو ثلاثة أبعاد - هو التصميم الأمثل بدون مفاتيح لثماني عقد. تقع كل عقدة في إحدى زوايا المكعب؛ وكل ضلع من أضلاع المكعب يمثل وصلة مباشرة. ثلاثة منافذ لكل عقدة، واثنا عشر وصلة إجمالاً، وقطرها 3.

الرأي الصادق: هذا نادر في الإنتاج. يعمل النظام، وأسوأ حالة بقطر 3 مقبولة لمعظم الشبكات الجماعية، لكن مخطط الكابلات مُربكٌ للغاية لأي شخص لم يقم ببنائه، ويتطلب استكشاف الأخطاء وإصلاحها فهم رموز غراي، كما أن سعر مُبدِّل إيثرنت صغير ذي 16 منفذًا بسرعة 200 جيجابت في الثانية يُقارب سعر منافذ وكابلات بطاقة الشبكة الإضافية. يُعدّ المكعب الفائق ذو 8 عقد أكثر فائدة كمثال تعليمي منه كمنتج نُصدّره. عند استخدام ثماني عقد، نوصي افتراضيًا باستخدام مُبدِّل إيثرنت.

الخاتم: غبي، بسيط، وذو صلة مدهشة

انسَ أمر تقليل القطر. تربط الحلقة كل عقدة بجارتيها فقط: ABCD-...-A. منفذان لكل عقدة بغض النظر عن حجم المجموعة. إجمالي عدد الروابط N. القطر N/2.

هذا يبدو سيئاً للغاية - قطر 4 على 8 عقد، وقطر 16 على 32 عقدة. لماذا لا يكون هذا خطأً دائماً؟

لأن تُطابق جميع عمليات الاختزال الحلقي لـ NCCL حلقةً فيزيائيةً تمامًاترسل الخوارزمية كل جزء من البيانات مرة واحدة حول الحلقة في كل مرحلة؛ إذا كانت البنية الفيزيائية بالفعل حلقة، فإن الخوارزمية تعمل بسرعة خطية لوصلة واحدة، دون أي هدر في عرض النطاق الترددي. الإعداد الافتراضي لـ NCCL للرسائل المتوسطة إلى الكبيرة هو الحلقة، وليس الشجرة، لأن الحلقة تحقق الحد الأمثل لعرض النطاق الترددي. 2(N-1)/N × link bandwidth بالنسبة لـ allreduce. لا يهم قطر البنية الفيزيائية عند أحجام الرسائل الكبيرة - المهم هو استخدام كل رابط بالتوازي، والحلقة تفعل ذلك على أكمل وجه.

المكان العملي الذي يكون فيه استخدام خاتم مادي هو الحل الأمثل بدون مفتاح هو أجهزة تدريب من 4 إلى 8 عقد حيث تحتوي كل عقدة على منفذي RDMA بالضبطالمشكلة: لا يوجد مسار احتياطي في الشبكة الحلقية. كابل واحد تالف يقسم المجموعة إلى جزأين.

عندما يتفوق نظام التشغيل بدون مفتاح على مفتاح صغير، بالعدد

مقارنة تقريبية لأسعار بناء شبكة مكونة من 8 عقد، منتصف عام 2026 (باليورو بدون ضريبة القيمة المضافة):

نقطة التحول التي يصبح عندها المحول مربحًا هي حوالي 6-8 عقد، اعتمادًا على مستوى عرض النطاق الترددي وما إذا كنت تنوي التوسع.

الوصلة الصاعدة: الجزء الذي ينساه الناس

تتميز بنية البيانات غير المزودة بمفاتيح بأنها مكتفية ذاتيًا داخليًا، فهي غير متصلة بأي شيء بشكل مباشر. ومع ذلك، لا تزال المجموعة بحاجة إلى وصلة صاعدة لسحب مجموعات البيانات والنماذج من وحدة التخزين المؤسسية، وبروتوكول SSH من محطات عمل المطورين، وبيانات القياس عن بُعد إلى Prometheus/Grafana، وإدارة IPMI/BMC، وحركة مرور سجل الحاويات.

النمط أ - كل عقدة لها بطاقة شبكة إدارة منفصلة. تحتوي كل عقدة على منفذ صغير بسرعة 25 جيجابت إيثرنت (أو حتى 10 جيجابت إيثرنت) متصل بمحول إدارة رخيص، وهو مستقل تمامًا عن بنية RDMA. هذا هو الحل الأمثل في معظم الأحيان. بنية RDMA بيئة معزولة، خالية من فقدان البيانات، ومُحسَّنة؛ أما طبقة الإدارة فهي شبكة إيثرنت عادية ذات حركة مرور عادية. يؤدي خلطهما إلى تعطيل حركة مرور الإدارة لعمليات التجميع.

النمط ب - عقدة وصلة صاعدة مخصصة. تحتوي إحدى العقد في المجموعة على منفذ إضافي للاتصال بالشبكة الخارجية. وتتصل العقد الأخرى بالعالم الخارجي عبر هذا المنفذ. يُعد هذا النظام مناسبًا للميزانيات المحدودة والمختبرات الصغيرة، إلا أن عقدة الربط الصاعد تُصبح عائقًا أمام قراءة البيانات ونقطة ضعف رئيسية في إدارة الوصول.

الجدار الصلب عند حوالي 16 عقدة

يموت نظام Switchless عند تجاوز عدد العقد 16 عقدة لثلاثة أسباب مستقلة، أي منها كافٍ:

1. عدد المنافذ لكل عقدة. شبكة كاملة تريد N-1 عدد المنافذ لكل عقدة. يريد المكعب الفائق log₂(N)حتى مع تطبيق مبدأ التوسيع اللوغاريتمي، يتطلب 16 عقدة 4 منافذ لكل عقدة، وهو ما يمثل الحد الأقصى لكثافة بطاقات الشبكة العملية على فتحة PCIe Gen5 x16 واحدة. أما 32 عقدة فتتطلب 5 منافذ لكل عقدة، مما يستلزم إدارة فتحات متعددة ومواقع NUMA متعددة.
2. تركيبات الكابلات. تحتوي شبكة K₄ كاملة ذات 16 عقدة على 120 كابلًا. بينما تحتوي شبكة Q₄ فائقة التوصيل ذات 16 عقدة على 32 كابلًا. في كلتا الحالتين، يُعدّ وضع العلامات والتوثيق وسهولة الوصول المادي إلى كل كابل أمرًا بالغ الأهمية. قد يستغرق العثور على كابل واحد موصول بشكل خاطئ في شبكة فائقة التوصيل ذات 32 كابلًا ساعات.
3. القصة التشغيلية. يتطلب استبدال بطاقة شبكة معطلة في بنية غير مُبدّلة تحديد عدد الكابلات المتصلة بها (N-1 أو log N)، وإعادة توجيه كل كابل منها إلى منفذ مُحدد في البطاقة البديلة. ويُلاحظ فرقٌ حقيقي في متوسط ​​وقت الإصلاح (MTTR) مقارنةً بالبنية المُبدّلة.

الخلاصة الصادقة: نظام التشغيل بدون مفتاح مناسب لـ من 2 إلى 4 عقد مخصصة، قابلة للدفاع عنها من 5 إلى 8 عقد مع التزام واضح "لن نتوسع"وخطأ في 9 عقد أو أكثرعند بلوغ سن التاسعة فما فوق، اشترِ جهاز سويتش.

بناءان خرسانيان جديران بالوصف

2× K-AI 256 Turin Dual، متصلة مباشرة، 400G. عقدتان من نوع EPYC Turin، كل منهما مزودة بثمانية معالجات رسومية (5090 أو RTX Pro 6000 Blackwell)، مع منفذ ConnectX-7 أحادي بسرعة 400 جيجابت إيثرنت/NDR، ومحول رقمي تناظري OSFP سلبي بطول 3 أمتار بينهما. التكلفة الإجمالية للأجهزة بين العقدتين: حوالي 4000 يورو. عرض النطاق الترددي لناقل NCCL allreduce للرسائل الكبيرة: حوالي 45 جيجابايت/ثانية. مناسب للاستدلال المتوازي ثنائي الاتجاه باستخدام الموترات لنموذج كثيف بحجم 405 بايت (تقسيم الطبقات على العقدتين)، أو لضبط نموذج بحجم 70 بايت لا يتسع تمامًا لعقدة واحدة. لقد قمنا بشحن نسخ مختلفة من هذا التصميم عدة مرات. إنه تصميم بسيط، ولكنه فعال، وتكلفته أقل بعشر مرات من الإعداد المكافئ المتصل بمحول الشبكة.

4× K-AI 128 في شبكة K₄ كاملة، 100G. أربع عقد EPYC أحادية المقبس، كل منها مزودة بأربع وحدات معالجة رسومية RTX Pro 6000 Blackwell. تحمل كل عقدة تصميمًا لبطاقة شبكة مكافئًا لثلاثة منافذ (منفذ مزدوج بالإضافة إلى منفذ أحادي، أو منفذ رباعي مع منفذ غير مستخدم)، وبنية DAC بسرعة 100 جيجابت إيثرنت. ستة كابلات إجمالًا. عرض نطاق ثنائي الاتجاه 400 جيجابت/ثانية. تُستخدم هذه العقد للاستدلال المتوازي الموتري لنموذج من فئة 70B مع تقسيم رباعي وتمرير تفعيل كامل بين كل زوج. هذا يلغي الحاجة إلى المحول كنقطة فشل وحيدة لخدمة الاستدلال، ووفر ميزانية العميل لوحدات معالجة الرسوميات بدلًا من معدات التبديل. العيب: يقتصر عدد العقد على أربع؛ التوسع يتطلب إعادة تصميم البنية.

---

هذا جزء من ويكي كينتينو، وهي سلسلة مرجعية حول الحوسبة الذكية، والروبوتات، والأنظمة التي تربط بينهما. نرحب بالتعليقات والتصويبات على info@kentino.com.