بنى الشبكات بدون مفاتيح: الشبكة المتداخلة، والحلقية، والاتصال المباشر لمجموعات الذكاء الاصطناعي الصغيرة

سيتراوح سعر محول إيثرنت بسرعة 400 جيجابت ذي 32 منفذًا، مع البصريات ووحدات التوصيل والتراخيص البرمجية اللازمة لتشغيله، بين 40 ألفًا و80 ألف يورو في منتصف عام 2026، بينما يُعدّ محول إنفينيباند NDR ذو 64 منفذًا خيارًا أسوأ. بالنسبة للعميل الذي يُنشئ جهاز تدريب يتكون من عقدتين إلى أربع عقد، قد تتجاوز تكلفة المحول تكلفة وحدات معالجة الرسومات في إحدى العقد. كما أنه يُضيف قفزة إضافية في زمن الاستجابة، ونقطة فشل واحدة، ودورة حياة برمجية منفصلة، ​​بالإضافة إلى تكلفة مشروع صغير من ضبط PFC/ECN في حال استخدام RoCE.

الحقيقة التي يكاد لا يتحدث عنها أحد هي أنه عند استخدام أقل من ثماني عقد تقريبًا، لا تحتاج إلى مُبدِّل شبكة على الإطلاق . يمكنك توصيل بطاقات الشبكة ببعضها مباشرةً عبر كابلات، والاستغناء عن المُبدِّل تمامًا، لتحصل على حل أبسط وأرخص وأسرع قليلًا. لكن الحقيقة التي يكاد لا يعترف بها أحد هي أنه عند استخدام أكثر من ثماني عقد تقريبًا، يصبح استخدام الشبكة بدون مُبدِّل غير عملي ، وتفقد الكابلات وعدد المنافذ وطريقة التشغيل جدواها. تُوضِّح هذه المقالة هذا النطاق بموضوعية.

يُعد هذا القسم مكملاً للقسم N04 (الشبكات المُبدَّلة). اقرأ القسم N06 للاطلاع على حسابات زمن الاستجابة التي بُني عليها مفهوم الشبكة بدون مُبدِّلات، واقرأ القسم K07 لمعرفة شكل عقدة أساسية واحدة - وهي اللبنة الأساسية التي يربطها هذا المقال.

قضية الأجهزة اللاسلكية

أربعة أشياء تحصل عليها مجاناً بإزالة المفتاح:

1. زمن استجابة التحويل صفر. يستهلك محول إيثرنت حديث بتقنية الذكاء الاصطناعي (AII) ما بين 400 و600 نانوثانية لكل قفزة. بينما يستهلك محول NDR InfiniBand أقل من 100 نانوثانية. لا يضيف كابل التوصيل المباشر بين بطاقتي الشبكة أي تأخير إضافي (حوالي 5 نانوثانية/متر على النحاس، ونفس الشيء على الألياف الضوئية). في نظام تبادل بيانات ثنائي العقد، ينخفض ​​زمن الاستجابة أحادي الاتجاه من حوالي 2 ميكروثانية إلى حوالي 1.2-1.5 ميكروثانية.
2. تكلفة التحويل صفر. يتكون الاتصال المباشر ثنائي العقد من بطاقتي شبكة (NIC) ومحول رقمي تناظري (DAC). أما الاتصال المثلثي ثلاثي العقد فيتكون من ثلاث بطاقات شبكة وثلاثة محولات رقمية تناظرية. ويُعدّ توفير النفقات الرأسمالية مقارنةً حتى بمحول إيثرنت صغير بسرعة 100 جيجابت مزود ببصريات QSFP28 مبلغًا كبيرًا في مشروع صغير - يتراوح بين 10 آلاف و30 ألف يورو، يُعاد استثمارها في وحدات معالجة الرسومات (GPUs).
3. لا يوجد صداع ناتج عن مشاكل في قشرة الفص الجبهي/الشبكة التنفيذية المركزية. الرابط المباشر بين بطاقات الشبكة هو رابط من نقطة إلى نقطة - التحكم في التدفق عبارة عن محادثة ثنائية الأطراف، ويتدهور PFC إلى "إخبار النظير بالتوقف". لا توجد مشكلة انتشار التوقف على مستوى النسيج لأنه لا يوجد نسيج.
4. فئة جهاز واحدة لتصحيح الأخطاء. عندما يتعطل شيء ما في شبكة بدون محولات، فإن قائمة المشتبه بهم تقتصر على بطاقتي شبكة، وكابل واحد، وبرامج تشغيل النواة على كلا الطرفين. هذه مساحة بحث صغيرة ومحدودة.

في حالة العقدتين: ما عليك سوى توصيلهما معًا

هذا هو أنظف إعداد ممكن لمجموعة الذكاء الاصطناعي، وهو الإعداد الذي يكون فيه استخدام "بدون مفتاح" صحيحًا بشكل لا لبس فيه.

اتصال مباشر ثنائي العقدة: محول رقمي تناظري OSFP سلبي واحد، بدون مفتاح، زمن انتقال RDMA ~0.8–1.2 ميكروثانية، معدل نقل بيانات قابل للاستخدام ~50 جيجابايت/ثانية لكل اتجاه.

وحدة تحويل رقمي تناظري واحدة من نوع OSFP بين بطاقتي شبكة ConnectX-7 بسرعة 400 جيجابت/ثانية. هذا هو كامل بنية الشبكة بين العقد. بطاقتا الشبكة نفسيهما اللتان ستواجهان محولًا في بنية أكبر ستواجهان بعضهما البعض. تعمل أوامر RDMA، ويلتقطها NCCL تلقائيًا، ويعمل GPUDirect RDMA دون تغيير.

ما ستحصل عليه: سرعة نقل بيانات قابلة للاستخدام تبلغ حوالي 50 جيجابايت/ثانية لكل اتجاه، وزمن استجابة خام لتقنية RDMA أقل من ميكروثانية (ib_send_lat يستغرق الوصول حوالي 0.8-1.2 ميكروثانية، باستخدام كابل واحد. لا توجد مشكلة في التجميع لعدم وجود بيانات للتجميع. ولا يوجد اكتظاظ لعدم وجود نقطة تفرع.

بالنسبة لنظام تدريب ثنائي العقد - وهو النظام الأكثر شيوعًا بين عملائنا الذين يحتاجون إلى جهاز واحد فقط - فهذا هو الحل الأمثل. لا داعي لتغيير الجهاز. قم بتوصيلهما معًا. استثمر المبلغ الموفر في وحدة تخزين NVMe أكبر أو منفذ شبكة ثانٍ لضمان التكرار.

تحسين عملي: استخدم منفذ مزدوج قم بتوصيل جهاز ConnectX-7 وقم بتشغيل محولين رقميين تناظريين (DAC) متوازيين بسرعة 200 جيجابت/ثانية بين الجهازين، مع تهيئة NCCL لاستخدام كلا المحولين (HCAs).NCCL_IB_HCA=mlx5_0,mlx5_1ستخسر جزءًا بسيطًا من ذروة كل تدفق، لكنك ستحصل على مسار احتياطي وسلوك أفضل قليلًا للرسائل الصغيرة من أزواج الطوابير المتوازية. نعتمد هذا الخيار افتراضيًا في عمليات البناء ثنائية العقد.

ثلاثة وأربعة عقد: المثلث و K₄

ثلاث عقد هي أصغر حالة يبدأ فيها تأثير بنية الشبكة بالظهور. الخيارات هي:

• سلسلة خطية (ABC). كابلان. القطر 2. العقدة B هي نقطة اتصال رئيسية - جميع حركة المرور من A إلى C تمر عبرها. تجنبها.
• مثلث (شبكة كاملة). ثلاثة كابلات. القطر 1. كل عقدة لها منفذان. كل تدفق عبارة عن قفزة واحدة. هذا هو الجواب الصحيح.

اليسار: مثلث (K₃) - 3 عقد، 3 كابلات، قطر 1. اليمين: شبكة كاملة K₄ - 4 عقد، 6 كابلات، قطر 1. كل زوج متصل مباشرة.

يصبح الأمر مثيرًا للاهتمام عند أربع عقد. تتكون الشبكة الكاملة - الرسم البياني الكامل K₄ - من ستة روابط إجمالًا، وثلاثة منافذ لكل عقدة، وقطرها 1. تصل كل عقدة إلى كل عقدة أخرى في قفزة واحدة بالضبط. حسابات الكابلات:

منافذ الشبكة الكاملة لكل عقدة هي N-1ولهذا السبب يفشل هذا النهج سريعاً. عند استخدام ثماني عقد، ستحتاج إلى سبعة منافذ لكل جهاز، وهو ما يمثل نهاية الطريق العملي لفتحة PCIe Gen5 x16 واحدة.

متى تتفوق شبكة كاملة رباعية العقد على مفتاح صغير؟ تحديدًا عندما يكون لديك 4 عقد Kentino AI 128 للاستدلال وتريد ربطها بإحكام، وتقوم بتشغيل RoCE ولا تريد PFC عبر مفتاح، ويكون الفرق الطفيف في السعر الذي يتراوح بين 15 ألف يورو و25 ألف يورو لمفتاح 100 GbE مع البصريات ذا أهمية في الميزانية.

متى يتفوق المحول الصغير حتى مع أربع عقد؟ عندما تفكر في إضافة عقدة خامسة في الربع القادم. تتطلب إضافة عقدة واحدة إلى شبكة K₄ إعادة توصيل جميع العقد الموجودة لإضافة المنافذ الجديدة. أما المحول، فيحتوي على منافذ إضافية؛ ما عليك سوى توصيلها.

حالة العقد الثمانية: المكعب الفائق، مع علامة النجمة

المكعب الثلاثي (Q₃) - وهو مكعب فائق الأبعاد ذو ثلاثة أبعاد - هو التصميم الأمثل بدون مفاتيح لثماني عقد. تقع كل عقدة في إحدى زوايا المكعب؛ وكل ضلع من أضلاع المكعب يمثل وصلة مباشرة. ثلاثة منافذ لكل عقدة، واثنا عشر وصلة إجمالاً، وقطرها 3.

بصراحة، هذا نادر في الإنتاج. صحيح أنه يعمل، وأسوأ حالة بقطر 3 مقبولة لمعظم الشبكات الجماعية، لكن مخطط الكابلات مُربكٌ للغاية لأي شخص لم يقم ببنائه، ويتطلب استكشاف الأخطاء وإصلاحها فهم رموز غراي، كما أن سعر مُبدِّل إيثرنت صغير ذي 16 منفذًا بسرعة 200 جيجابت في الثانية يُقارب سعر منافذ وكابلات بطاقة الشبكة الإضافية. يُعدّ المكعب الفائق ذو 8 عقد أكثر فائدة كمثال تعليمي منه كمنتج نُصدّره. عند 8 عقد، نوصي افتراضيًا باستخدام مُبدِّل إيثرنت.

الخاتم: غبي، بسيط، وذو صلة مدهشة

انسَ أمر تقليل القطر. تربط الحلقة كل عقدة بجارتيها فقط: ABCD-...-A. منفذان لكل عقدة بغض النظر عن حجم المجموعة. إجمالي عدد الروابط N. القطر N/2.

هذا يبدو سيئاً للغاية - قطر 4 على 8 عقد، وقطر 16 على 32 عقدة. لماذا لا يكون هذا خطأً دائماً؟

لأن تُطابق جميع عمليات الاختزال الحلقي لـ NCCL حلقةً فيزيائيةً تمامًاترسل الخوارزمية كل جزء من البيانات مرة واحدة حول الحلقة في كل مرحلة؛ إذا كانت البنية الفيزيائية بالفعل حلقة، فإن الخوارزمية تعمل بسرعة خطية لوصلة واحدة، دون أي هدر في عرض النطاق الترددي. الإعداد الافتراضي لـ NCCL للرسائل المتوسطة إلى الكبيرة هو الحلقة، وليس الشجرة، لأن الحلقة تحقق الحد الأمثل لعرض النطاق الترددي. 2(N-1)/N × link bandwidth بالنسبة لـ allreduce. لا يهم قطر البنية الفيزيائية عند أحجام الرسائل الكبيرة - المهم هو استخدام كل رابط بالتوازي، والحلقة تفعل ذلك على أكمل وجه.

يُعدّ استخدام حلقة مادية حلاً عملياً مثالياً بدون محوّل، خاصةً في بيئات التدريب التي تضمّ من 4 إلى 8 عقد، حيث تحتوي كل عقدة على منفذي RDMA . لكنّ المشكلة تكمن في عدم وجود مسار احتياطي في الحلقة، إذ يؤدي أي عطل في الكابل إلى تقسيم المجموعة إلى قسمين.

عندما يتفوق نظام التشغيل بدون مفتاح على مفتاح صغير، بالعدد

مقارنة تقريبية لأسعار بناء شبكة مكونة من 8 عقد، منتصف عام 2026 (باليورو بدون ضريبة القيمة المضافة):

نقطة التحول التي يصبح عندها المحول مربحًا هي حوالي 6-8 عقد، اعتمادًا على مستوى عرض النطاق الترددي وما إذا كنت تنوي التوسع.

الوصلة الصاعدة: الجزء الذي ينساه الناس

تتميز بنية البيانات غير المزودة بمفاتيح بأنها مكتفية ذاتيًا داخليًا، فهي غير متصلة بأي شيء بشكل مباشر. ومع ذلك، لا تزال المجموعة بحاجة إلى وصلة صاعدة لسحب مجموعات البيانات والنماذج من وحدة التخزين المؤسسية، وبروتوكول SSH من محطات عمل المطورين، وبيانات القياس عن بُعد إلى Prometheus/Grafana، وإدارة IPMI/BMC، وحركة مرور سجل الحاويات.

النمط أ - كل عقدة مزودة ببطاقة شبكة إدارة منفصلة. تحمل كل عقدة منفذًا صغيرًا بسرعة 25 جيجابت إيثرنت (أو حتى 10 جيجابت إيثرنت) إلى محول إدارة رخيص، مستقل تمامًا عن بنية RDMA. هذا هو الحل الأمثل في معظم الأحيان. بنية RDMA بيئة معقمة، خالية من فقدان البيانات، ومُحسَّنة؛ أما طبقة الإدارة فهي شبكة إيثرنت عادية ذات حركة مرور عادية. يؤدي خلطهما إلى تعطيل حركة مرور الإدارة لعمليات التجميع.

النمط ب - عقدة وصلة صاعدة مخصصة. تحتوي إحدى العقد في المجموعة على منفذ إضافي للاتصال بالشبكة الخارجية. تصل العقد الأخرى إلى العالم الخارجي عبر هذه العقدة. يناسب هذا النمط الميزانيات المحدودة وإعدادات المختبرات الصغيرة، لكن عقدة الوصلة الصاعدة تُصبح عنق زجاجة لقراءة مجموعات البيانات ونقطة فشل وحيدة للوصول الإداري.

الجدار الصلب عند حوالي 16 عقدة

يموت نظام Switchless عند تجاوز عدد العقد 16 عقدة لثلاثة أسباب مستقلة، أي منها كافٍ:

1. عدد المنافذ لكل عقدة. شبكة كاملة تريد N-1 عدد المنافذ لكل عقدة. يريد المكعب الفائق log₂(N)حتى مع تطبيق مبدأ التوسيع اللوغاريتمي، يتطلب 16 عقدة 4 منافذ لكل عقدة، وهو ما يمثل الحد الأقصى لكثافة بطاقات الشبكة العملية على فتحة PCIe Gen5 x16 واحدة. أما 32 عقدة فتتطلب 5 منافذ لكل عقدة، مما يستلزم إدارة فتحات متعددة ومواقع NUMA متعددة.
2. تركيبات الكابلات. تحتوي شبكة K₄ كاملة ذات 16 عقدة على 120 كابلًا. بينما تحتوي شبكة Q₄ فائقة التوصيل ذات 16 عقدة على 32 كابلًا. في كلتا الحالتين، يُعدّ وضع العلامات والتوثيق وسهولة الوصول المادي إلى كل كابل أمرًا بالغ الأهمية. قد يستغرق العثور على كابل واحد موصول بشكل خاطئ في شبكة فائقة التوصيل ذات 32 كابلًا ساعات.
3. القصة التشغيلية. يتطلب استبدال بطاقة شبكة معطلة في بنية غير مُبدّلة تحديد عدد الكابلات المتصلة بها (N-1 أو log N)، وإعادة توجيه كل كابل منها إلى منفذ مُحدد في البطاقة البديلة. ويُلاحظ فرقٌ حقيقي في متوسط ​​وقت الإصلاح (MTTR) مقارنةً بالبنية المُبدّلة.

باختصار: يُعدّ استخدام الشبكة بدون محوّل خيارًا مناسبًا لعقدتين إلى أربع عقد مخصصة ، ويمكن تبريره لخمس إلى ثماني عقد مع التزام واضح بعدم التوسع ، ولكنه خطأ لتسع عقد أو أكثر . عند تجاوز تسع عقد، يُنصح بشراء محوّل.

بناءان خرسانيان جديران بالوصف

وحدتا معالجة رسومية Kentino AI 256 Turin Dual، متصلتان مباشرةً، بسرعة 400 جيجابت. عقدتان Turin مزودتان بثمانية معالجات رسومية EPYC (5090 أو RTX Pro 6000 Blackwell)، كل منهما مزودة بمنفذ ConnectX-7 أحادي بسرعة 400 جيجابت إيثرنت/NDR، ومحول رقمي تناظري OSFP سلبي بطول 3 أمتار بينهما. التكلفة الإجمالية للأجهزة بين العقدتين: حوالي 4000 يورو. عرض النطاق الترددي لناقل NCCL allreduce للرسائل الكبيرة: حوالي 45 جيجابايت/ثانية. مناسب للاستدلال المتوازي ثنائي الاتجاه لنموذج كثيف بحجم 405 بايت (تقسيم الطبقات على الوحدتين)، أو لضبط نموذج بحجم 70 بايت لا يتسع تمامًا لوحدة واحدة. لقد قمنا بشحن نسخ مختلفة من هذا التصميم عدة مرات. إنه بسيط، ولكنه فعال، وتكلفته أقل بعشر مرات من الإعداد المكافئ المتصل بمحول الشبكة.

أربع وحدات Kentino AI 128 بتقنية K₄ الكاملة، بسرعة 100 جيجابت/ثانية. أربع عقد EPYC أحادية المقبس، كل منها مزودة بأربع بطاقات رسومات RTX Pro 6000 Blackwell. تحمل كل عقدة تصميم بطاقة شبكة مكافئ لثلاثة منافذ (منفذ مزدوج ومنفذ أحادي، أو منفذ رباعي مع منفذ غير مستخدم)، مع نسيج DAC بسرعة 100 جيجابت/ثانية. ستة كابلات إجمالاً. عرض نطاق ثنائي الاتجاه 400 جيجابت/ثانية. تُستخدم للاستدلال المتوازي الموتري لنموذج من فئة 70B مع تقسيم رباعي وتمرير تفعيل كامل بين كل زوج. يزيل هذا النظام المحول كنقطة فشل وحيدة لخدمة الاستدلال، ووفر ميزانية العميل لوحدات معالجة الرسومات بدلاً من معدات التبديل. العيب: يقتصر على أربع عقد؛ التوسع يتطلب إعادة تصميم البنية.

---

هذا جزء من موسوعة كينتينو، وهي سلسلة مرجعية حول الحوسبة الذكية، والروبوتات، والأنظمة التي تربط بينهما. نرحب بالتعليقات والتصويبات على البريد الإلكتروني info@kentino.com.