وحدات رفع وحدة معالجة الرسومات في خوادم الذكاء الاصطناعي: متى تحتاج إليها وما هي الأعطال التي قد تحدث؟

وصلة رفع وحدة معالجة الرسومات هي الكابل أو اللوحة أو الوحدة التي تنقل منفذ PCIe من مكانه على اللوحة الأم إلى مكان وحدة معالجة الرسومات. في جهاز كمبيوتر مكتبي ببطاقة واحدة، لا تفكر في وصلات الرفع. أما في رف 4U بأربع بطاقات RTX 5090، أو معالج EPYC ثنائي المقبس بثماني بطاقات، فلا تفكر في شيء آخر. عند وصلة الرفع، تتلاشى سلامة الإشارة تدريجيًا، ويعود الاتصال تلقائيًا إلى الجيل الثالث، ويبدأ جهاز يُظهر أداءً ممتازًا في الاختبارات المعيارية بفقدان بطاقة رسومات واحدة يوميًا في الإنتاج.

هذا هو المرجع العملي: ما هي الرافعات، ومتى تحتاج إليها، والفئات الأربع، ولماذا يغير الجيل الخامس كل شيء، وكيفية التشخيص، وما الذي يجب تحديده.

لماذا توجد منصات الرفع أصلاً؟

تضع اللوحة الأم فتحات PCIe x16 على مسافة 20 مم تقريبًا. يبلغ سمك وحدة معالجة الرسومات ثنائية الفتحة من 40 إلى 70 مم. لا تتوافق الحسابات. عند الرغبة في تركيب أكثر من بطاقتين في الهيكل، أو بطاقات ثلاثية الفتحات، أو توجيه تدفق الهواء من الأمام إلى الخلف في الرف، يجب نقل وحدات معالجة الرسومات فعليًا.

ثلاثة أسباب عملية تجعل المبنى يحتاج إلى أنابيب رأسية:

تركيب الهيكل. في هيكل الرف 4U، تُثبّت وحدات معالجة الرسومات بشكل مسطح، موازية للوحة الأم، على طول مسار تدفق الهواء. وتكون فتحات PCIe الخاصة باللوحة الأم عمودية على ذلك. كل وحدة معالجة رسومات في هيكل الرف المسطح مثبتة على قاعدة رفع، بلا شك.

العزل الحراري. حتى مع توافق فتحات البطاقات الرسومية، فإن تركيبها متلاصقة يعني أن كل بطاقة تسحب هواء العادم من البطاقة المجاورة. يفصل بينهما وصلة قصيرة بمسافة تتراوح بين 40 و80 ملم، مما يوفر لكل بطاقة مستوى سحب هواء خاص بها. في البطاقات ذات استهلاك 350 واط، يُحدث هذا فرقًا في درجة الحرارة يتراوح بين 72 و86 درجة مئوية تحت ضغط مستمر.

تباعد وحدات معالجة الرسومات المتعددة. لا يمكن استخدام فتحات اللوحة الأم في هيكل 4U/5U مع نظام ثماني وحدات معالجة رسومية. توفر اللوحة الأم أربع أو خمس فتحات x16، بينما يحتاج الهيكل إلى توفير ثماني فتحات متتالية على طول مسار تدفق الهواء. نظام الوصلات الرأسية هو الواجهة الميكانيكية الكاملة بينهما.

الفئات الأربع التي تراها بالفعل

تم تصنيف فئات كابلات التوصيل حسب طول الكابل ومدى ملاءمتها لتقنية الجيل الخامس. MCIO هو الكابل الوحيد المصنف للاستخدام في أنظمة الإنتاج التي تحتوي على 8 وحدات معالجة رسومية من الجيل الخامس.

1. رافعات لوحات الدوائر المطبوعة الصلبة (محولات 1U / 2U)

لوحة دوائر مطبوعة مسطحة تُوصل بفتحة اللوحة الأم، وتُوفر فتحات PCIe بزاوية قائمة أو مُعاد توجيهها من 30 إلى 60 مم. تُستخدم بشكل قياسي في خوادم 1U/2U ذات الكثافة العالية. قصيرة، سلبية، مُصممة هندسيًا في المصنع، ومُخصصة لهيكل مُعين. إذا كان هيكلك مزودًا بها، فاستخدمها.

2. رافعات الشريط والمرونة

الجزء الكلاسيكي الذي يمكنك تركيبه بنفسك. كابل مسطح مرن، طوله من 150 إلى 300 مم، مزود بفتحة PCIe في أحد طرفيه وموصل PCIe طرفي في الطرف الآخر. سعره أقل من 100 يورو. يُستخدم بكثرة في أجهزة تعدين العملات الرقمية، ولا يزال شائعًا في أجهزة الذكاء الاصطناعي ذات الميزانية المحدودة.

تعمل وصلات الشريط في الجيل الثالث بسلاسة تامة. وفي الجيل الرابع، تعمل في معظم الأحيان إذا كانت قصيرة (أقل من 200 مم) وفي بيئة خالية من التداخل الكهرومغناطيسي. أما في الجيل الخامس، فالأمر غير مضمون حتى مع طول 100 مم، إذ لم يُصمم هيكل الكابل أصلاً لسرعة 32 جيجابت/ثانية.

لاحظنا أن رافعات الشريط من الجيل الرابع تعمل بشكل جيد عند سرعة x16 على جهاز الاختبار، ثم تنخفض إلى الجيل الثالث تحت الحمل عند ارتفاع درجة حرارة الهيكل. ولاحظنا أن نفس الرافعة تعمل على معالج EPYC Genoa، بينما تفشل في العمل فوق سرعة الجيل الثالث على معالج EPYC Turin، لأن وحدة PHY من الجيل الخامس في معالج Turin تعمل بهوامش توقيت أدق.

الخلاصة: مناسب للجيل الثالث. مقبول للدفعات القصيرة من الجيل الرابع إذا حددها المورد. غير مقبول لإنتاج الجيل الخامس.

3. الرافعات النشطة / القائمة على إعادة التوقيت

مُعيد التوقيت عبارة عن شريحة مُدمجة في خط التوصيل الرأسي، تعمل على استعادة إشارة الساعة وإعادة توليد إشارة نقية. من حيث سلامة الإشارة، يُقلل هذا الجهاز طول الكابل إلى النصف تقريبًا - من 400 إلى 600 مم مع مُعيد التوقيت في منتصف المسار، بينما يتوقف طول الكابل الرأسي السلبي عند 200 مم.

يُضيف ذلك ما بين 150 و300 يورو لكل وحدة معالجة رسومية، وزمن استجابة منخفض للغاية (لا يُؤثر على الحوسبة). هذا هو الجواب المعتاد لسؤال "كابل طويل، يجب أن يعمل الجيل الرابع/الخامس" - تستخدم معظم مجموعات الجيل الخامس المُصنّعة هذه الكابلات.

4. توصيلات كابلات MCIO و SlimSAS

انتصرت تقنية MCIO (Mini Cool Edge IO) في منافسة كابلات خوادم الجيل الخامس. أما SlimSAS (SFF-8654) فهي النسخة الأقدم، شائعة في الجيل الرابع. تستبدل كلتا التقنيتين موصل PCIe الطرفي بموصل كابل من كلا الطرفين - حيث تعرض اللوحة الأم منافذ MCIO، وتعرض لوحة الدوائر المطبوعة للرافعة منافذ MCIO، ويربط بينهما كابل.

كابل MCIO هو كابل ثنائي تفاضلي مصمم لسرعة 32 جيجابت/ثانية. طوله المعتاد يتراوح بين 300 و500 مم في الجيل الخامس x16. يتميز بمقاومة مضبوطة وحماية مناسبة، وموصلات محكمة الإغلاق. يُعد موصل PCIe الطرفي - وهو معيار عمره 25 عامًا - نقطة ضعف في أي كابل شريطي؛ يزيله كابل MCIO.

سلسلة كابلات MCIO النموذجية لـ 8 وحدات معالجة رسومات من الجيل الخامس: اللوحة الأم → لوحة التبديل/التفرع → بطاقات رفع وحدة معالجة الرسومات → وحدات معالجة الرسومات.

الخلاصة: دعم MCIO في الجيل الخامس، بلا شك. إذا كان أحد البائعين يبيع معالجات رسومات من الجيل الخامس بثمانية وحدات معالجة رسومات بدون دعم MCIO، فارفض ذلك.

سلامة الإشارة، الجيل الرابع مقابل الجيل الخامس

في الجيل الثالث، يمكنك فعل أي شيء تقريبًا باستخدام كابل الشريط. أما في الجيل الخامس، فلا يمكنك ذلك، كما أن أعطال الكابلات ليست دائمًا مصحوبة بصوت عالٍ.

النمط الأكثر شيوعًا: يبدأ تدريب الوصلة عند أدنى قيمة بين ما يُبلغه المنفذ والجهاز بعد تفاوض LTSSM (آلة حالة تدريب الوصلة وحالتها). إذا كانت جودة الإشارة ضعيفة، فسيُعاد تدريبها - بهدوء، عادةً أثناء أول حمل عمل ثقيل لوحدة معالجة الرسومات - وتستقر عند الجيل الرابع أو الثالث. يستمر النظام في العمل. ينخفض ​​عرض نطاق PCIe إلى النصف. تبدو نتائج الاختبارات غير صحيحة، ولا أحد يعرف السبب.

أوضاع الفشل الشائعة

بالترتيب التقريبي لعدد مرات تعرضها للتلف في تركيبات رفوف تحتوي على 4 أو 8 وحدات معالجة رسومية:

خفض مستوى التدريب إلى الجيل الثالث تحت الحمل. تبدأ البطاقة بالعمل على الجيل الرابع x16؛ ترتفع حرارة الهيكل، وتزداد مقاومة تلامس الموصل، ويتقلص هامش العين، ويعيد الرابط تدريب نفسه ويستقر على الجيل الثالث. تُظهر اختبارات عرض النطاق الترددي سرعة 12 جيجابايت/ثانية تقريبًا، بينما السرعة المتوقعة هي 24 جيجابايت/ثانية. السبب: وصلة رفع سلبية هامشية، عادةً ما تكون شريطًا طويلًا.

انقطاع متقطع. اختفاء وحدة معالجة الرسومات من nvidia-smi أثناء العمل، عادةً مع رسائل AER. تثبيت الموصل تحت تأثير دورات الحرارة، وأحيانًا مشكلة في الطاقة، وأحيانًا فتحة لحام هامشية تحت تأثير الحرارة.

ينخفض ​​العرض من x16 إلى x8 أو x4. مسار أو مساران صاخبان للغاية بحيث يتعذر اجتيازهما، ويظهر الرابط على الناجين. مرئي في lspci.

فشل القطار أثناء بدء التشغيل. البطاقة لا تظهر ببساطة. قد يكون السبب هو تركيب الكابلات أو وجود دعامة ثابتة.

أخطاء AER القابلة للتصحيح التي تتسبب في إغراق سجل النظام (dmesg). إصلاح أعطال الأجهزة فورًا؛ خطوة واحدة تفصل القطار عن الانهيار. تنبيه هام - أصلح العطل قبل أن يتفاقم.

انقطاع التيار الكهربائي. تُزوّد ​​بعض وصلات التمديد منفذ الطاقة بقدرة 75 واط عبر الكابل. يؤدي استخدام موصلات رقيقة إلى انخفاض مؤقت في جهد وحدة معالجة الرسومات عند التحميل المستمر، مما قد يتسبب في انقطاع الاتصال. هذا نادر الحدوث في وصلات التمديد الأصلية، ولكنه شائع في الكابلات الشريطية الرخيصة.

كيفية التشخيص

ثلاث أدوات قياسية لنظام لينكس: nvidia-smi, lspci, dmesg.

عرض وسرعة الرابط الفعليان:

$ nvidia-smi --query-gpu=index,pcie.link.gen.current,pcie.link.width.current --format=csv
0, 4, 16
1, 4, 16
2, 3, 16     ← train-down
3, 4, 16

وحدة معالجة الرسومات 2 تعمل على الجيل الثالث وليس الجيل الرابع - يحتاج موصلها إلى فحص.

من جانب PCIe:

$ sudo lspci -vvv -s <bus:dev.fn> | grep -E "LnkCap|LnkSta"
    LnkCap: Speed 32GT/s, Width x16
    LnkSta: Speed 16GT/s (downgraded), Width x16

(downgraded) هل هذا هو الرابط الذي يعمل أسفل هذه الإمكانية؟

حلقة نواة النظام لأخطاء AER:

$ sudo dmesg -T | grep -iE "aer|pcie"
pcieport 0000:60:01.0: AER: Corrected error received: 0000:61:00.0

الأخطاء المصححة ليست قاتلة بعد، لكنها تشير إلى وجود خلل طفيف. قم بتشغيل حمل مستمر وراقب معدل التدفق؛ إذا ارتفع، فهذا يعني أن الأنبوب الصاعد يعاني من عطل.

لعزل المشكلة بين البطاقة والوصلة، استبدل وحدة معالجة الرسومات المشتبه بها بفتحة سليمة. ينتقل العطل مع البطاقة الجديدة، ويبقى مع الفتحة الجديدة.

أمثلة ملموسة من مشاريع بناء حقيقية

4 وحدات معالجة رسومية: 4 × RTX 5090، معالج EPYC Genoa، هيكل 4U

تُتيح اللوحة الأم الوصول إلى 4 منافذ PCIe من الجيل الخامس x16. تُثبّت وحدات معالجة الرسومات بشكل مسطح في قاعدة تبعد 220 مم عن الفتحة. تتضمن مجموعة المصنع من الشركة المصنعة كابلات MCIO من الجيل الخامس إلى لوحات دوائر مطبوعة صغيرة تُعيد تمثيل موصل PCIe الطرفي عند وحدة معالجة الرسومات.

النتيجة: 4 × Gen5 x16، بدون أي خطأ في نقل البيانات (AER) خلال تشغيل Qwen2.5-VL 72B لمدة 72 ساعة. عرض نطاق PCIe لكل وحدة معالجة رسومية يتراوح بين 47 و49 جيجابايت/ثانية (نظريًا Gen5 x16 ≈ 63 جيجابايت/ثانية؛ عمليًا ≈ 50 جيجابايت/ثانية بعد احتساب تكلفة البروتوكول). كانت النتائج نظيفة لأننا استخدمنا مجموعة الأدوات المُصنّعة وفقًا للمواصفات.

8 وحدات معالجة رسومية: 8 × RTX Pro 6000 Blackwell، معالج EPYC Turin Dual، هيكل 4U

معالجان مركزيان، كل منهما مزود بأربعة وحدات معالجة مركزية من الجيل الخامس x16، موصلة عبر منفذ MCIO إلى لوحة دوائر مطبوعة في منتصف الهيكل. تفرع مباشر - تحصل كل وحدة معالجة رسومية على x16 من المعالج المركزي. طول كابل MCIO لكل وحدة معالجة رسومية ≈ 280 مم.

هذا على حافة نطاق MCIO النظيف في الجيل الخامس. يحتوي اثنان من الكابلات الثمانية في مجموعة المورّد على مُعيدات توقيت مدمجة، بينما الستة الأخرى سلبية. يحتاج الكابلان الأبعد عن وحدات المعالجة المركزية إلى هذا الهامش، بينما لا يحتاج إليه الكابلات الستة الأقرب. وقد اختبر المورّد هذا على جهاز تحت ضغط حراري قبل الشحن.

النتيجة: 8 × Gen5 x16 مستقر. طاقة الحائط 4.1 كيلوواط تحت الحمل المستمر. لا توجد عمليات إعادة تدريب خلال 48 ساعة.

نفس التصميم، رافعات مصنوعة يدويًا

نفس الهيكل ووحدات معالجة الرسومات، ولكن رافعات الشريط "المصنفة من الجيل الخامس" من مورد عام:

• تم تدريب اثنين من أصل ثمانية وحدات معالجة رسومية على الجيل الرابع x16 بدلاً من الجيل الخامس.
• انقطع عمل وحدة معالجة الرسومات (GPU) بشكل متقطع تحت ضغط مستمر.
• انخفاض في الإنتاجية بنسبة 15% تقريبًا مقارنةً بالبناء باستخدام مجموعة المصنع.

توفير في التكاليف: حوالي 600 يورو. تكلفة تصحيح الأخطاء: ثلاثة أيام عمل للمهندسين. انخفاض الإنتاجية: دائم. لا تفعل ذلك.

اعتبارات الطاقة لوحدة التزويد المزدوجة

يستهلك رفّ يحتوي على 4 وحدات معالجة رسومية ما بين 1.8 و2.4 كيلوواط تحت الحمل؛ بينما يستهلك رفّ يحتوي على 8 وحدات معالجة رسومية ما بين 3.5 و4.5 كيلوواط. معظم هياكل الرفوف في هذه الفئة مزودة بوحدتي تزويد طاقة ATX بقدرة 2 كيلوواط لكل منهما.

وحدة تزويد الطاقة المزدوجة في هيكل K-AI هي توصيل منفصل، وليست تكرار N+1. يُغذي كل مزود طاقة جزءًا محددًا من النظام - عادةً ما يُغذي مزود الطاقة الأول أربع وحدات معالجة رسومية واللوحة الأم، بينما يُغذي مزود الطاقة الثاني وحدات المعالجة الرسومية الأربع الأخرى (أو أربع وحدات معالجة رسومية بالإضافة إلى وحدة تخزين الأقراص). في حال تعطل أحد مزودي الطاقة، ستفقد الجزء الذي كان يُغذيه. لا يوجد أي شيء بينهما. لا يوجد مشاركة في خطوط الطاقة، ولا يوجد نظام احتياطي.

هذا الأمر مهم بالنسبة لوصلات التمديد الرأسية: مصدر الطاقة 75 واط الموجود على جانب الفتحة في بعض وصلات التمديد الرأسية يأتي من وحدة تزويد الطاقة التي تغذي تلك المجموعة. يؤدي خلط وصلات التمديد الرأسية بين مجموعات وحدات تزويد الطاقة بطريقة لم يقصدها المصنّع إلى مشاكل في حلقة التأريض والتشويش على وصلة PCIe. وهذا سبب إضافي لاستخدام مجموعة المصنع. انظر W04 للحصول على صورة كاملة عن حجم وحدة تزويد الطاقة.

لماذا تتفوق مجموعات الرفع المختبرة في المصنع على مجموعات التركيب الذاتي؟

يقوم موردو الهياكل الذين يشحنون رفوف الذكاء الاصطناعي المزودة بأربعة أو ثمانية وحدات معالجة رسومية بتشغيل عشرات إلى مئات من هذه التركيبات. وقد خضعت مجموعة التوصيلات الرأسية لدورات حرارية، واختبارات اتصال في أسوأ الظروف المحيطة، والتحقق من صحتها باستخدام وحدة PHY الخاصة باللوحة الأم، وعادةً ما يتم مراجعتها مرة واحدة عند مواجهة الدفعة الأولى لمشكلة غير متوقعة. أما شريط التوصيل المصنوع يدويًا من مورد عام، فقد تم اختباره بواسطة شخص ما باستخدام راسم إشارة في درجة حرارة الغرفة على لوحة مرجعية واحدة، إن تم اختباره أصلاً.

فرق السعر: بضع مئات من اليورو في جميع مكونات الجهاز. فرق الموثوقية: هائل. جميع أجهزة K-AI تستخدم مجموعات وصلات توسعة بمواصفات الشركة المصنعة. جربنا البديل بناءً على طلب أحد العملاء مرةً، وكلفنا ذلك أيامًا من تصحيح الأخطاء التي دفع العميل ثمنها على أي حال. الضمان مهم أيضًا - فتعطل وحدة معالجة الرسومات عند استخدام وصلة توسعة غير معتمدة لا يشمله الضمان دائمًا.

يُعدّ MCIO هو الطريق الأمثل للمضي قدمًا في الجيل الخامس

خلاصة القول: في الجيل الخامس، يُعدّ موصل PCIe الطرفي نقطة الضعف، ويحلّ محله MCIO. تستخدم جميع رفوف الجيل الخامس ذات 8 وحدات معالجة رسومية التي تستحق الاقتناء اليوم MCIO بشكل كامل. لا تزال تصميمات الجيل الرابع قادرة على استخدام SlimSAS أو MCIO قصير؛ أما كابلات الشريط من الجيل الثالث فهي مناسبة لأجهزة الجيل الثالث فقط.

عند تقييم جهاز كمبيوتر من الجيل الخامس مزود بثمانية وحدات معالجة رسومية من أحد الموردين، اطرح ثلاثة أسئلة:

1. كيف تبدو الكابلات بين منفذ PCIe في اللوحة الأم ووحدة معالجة الرسومات؟ (يجب ذكر منفذ MCIO).
2. هل تحتوي أي من الكابلات على خاصية إعادة ضبط التوقيت؟ وما هي هذه الخاصية ولماذا؟ (سيقدم البائع الذي يعرف مواصفات منتجه إجابة محددة).
3. ما هي حالة الارتباط المقاسة ومعدل AER على هيكل كامل التركيب ومحمل حرارياً؟ (8 × Gen5 x16، معدل AER صفر أو شبه صفر على مدار 24 ساعة أو أكثر).

الإجابات المبهمة تعني أن البائع لم ينجز العمل.

---

هذا جزء من ويكي كينتينو، وهي سلسلة مرجعية حول الحوسبة الذكية، والروبوتات، والأنظمة التي تربط بينهما. نرحب بالتعليقات والتصويبات على info@kentino.com.