الحرارة وتدفق الهواء في خوادم الذكاء الاصطناعي متعددة وحدات معالجة الرسومات

يُعد خادم الذكاء الاصطناعي متعدد وحدات معالجة الرسومات، من الناحية الحرارية، بمثابة سخان صناعي يقوم أحيانًا بإجراء عمليات حسابية. يُطلق هيكل مزود بأربع وحدات RTX 5090 تحت حمل مستمر 2.4 كيلوواط من الحرارة بشكل متواصل؛ بينما يُطلق هيكل مزود بثماني وحدات 5090 ما مقداره 5 كيلوواط. لا تتسرب هذه الحرارة من تلقاء نفسها، بل تتراكم على شريحة وحدة معالجة الرسومات، ووحدات تنظيم الجهد، ووحدات الذاكرة، ومن ثم إلى أي هواء يمكن للهيكل دفعه للخارج من الخلف. إذا لم يتناسب تدفق الهواء مع استهلاك الطاقة، فإن أداء السيليكون ينخفض، ويؤدي انخفاض الأداء في خادم الاستدلال إلى مضاعفة زمن استجابة الرموز وخفض الإنتاجية إلى النصف دون أن يشعر المستخدم. معظم حالات "تباطؤ خادم وحدة معالجة الرسومات" تكون بسبب الحرارة، وليس البرمجيات. هذا هو جانب تدفق الهواء في الجهاز، بالإضافة إلى W04 على السلطة.

الحرارة ليست سوى قوة، بتعبير آخر.

كل واط يدخل إلى وحدة معالجة الرسومات (GPU) يتحول إلى حرارة - لا تقوم البطاقة بأي عمل ميكانيكي، لذا لا يوجد عامل كفاءة. معدلات استهلاك الطاقة الحرارية (TDP) التي نقارن بها:

ملاحظتان مهمتان لاتخاذ قرارات البناء. رفعت NVIDIA عتبة خفض درجة حرارة الحافة لبطاقة 5090 إلى حوالي 90 درجة مئوية (ارتفاعًا من 83 درجة مئوية في 4090) - تحافظ الشريحة على ترددات كاملة لفترة أطول عند نفس تدفق الهواء، لكن السيليكون يعمل بدرجة حرارة أعلى، وهو أمر مهم لعمليات النشر على مدار الساعة طوال أيام الأسبوع. تحافظ بطاقات محطات العمل ومراكز البيانات (Pro 6000، L40، L4) على معدل استهلاك الطاقة الحرارية (TDP) المُصنّف لها بثبات. لا تتجاوز هذه البطاقات الحد الأقصى. أما بطاقات المستهلكين فتشهد ارتفاعًا مفاجئًا. من الأسهل تبريد تشكيلة محطات العمل بشكل متوقع؛ بينما من الأسهل تجاوز الحد المسموح به لبطاقات المستهلكين عن طريق الخطأ.

عتبات التحكم في السرعة وتكلفتها

التحكم في السرعة هو تدرج، وليس مفتاحًا. على شريحة سيليكون من فئة بلاكويل:

ينخفض ​​استهلاك الطاقة في عملية الاستدلال لبطاقة 5090 من 590 واط عند التشغيل البارد إلى حوالي 510 واط عندما تتجاوز درجة حرارة مستشعر الحافة 90 درجة مئوية، أي ما يعادل فقدان 15% من الرموز المميزة في الثانية على حمل عمل vLLM 70B، وهو الفرق بين الوصول إلى مستوى الخدمة المستهدف (SLO) وعدم الوصول إليه. تصل البطاقة حديثة التشغيل إلى نقطة التباطؤ الأولى بعد 60-120 ثانية من بدء التحميل المستمر؛ وتُبالغ الاختبارات المعيارية التي تقل مدتها عن 5 دقائق في تقدير الإنتاجية المستدامة بنسبة 10-20%، وهو أحد أكثر الأسباب شيوعًا لاختلاف الأرقام المنشورة عن الواقع الفعلي في بيئة الإنتاج.

تدفق الهواء من الأمام إلى الخلف في الرف - التصميم الوحيد السليم للعمل على مدار الساعة طوال أيام الأسبوع

تنقسم تصميمات تبريد وحدة معالجة الرسومات إلى ثلاثة أنواع: تبريد هوائي مفتوح/محوري (بطاقات ألعاب للمستهلكين، حيث يتم توجيه الهواء إلى داخل الهيكل)، وتبريد شعاعي/منفاخ (بطاقات مرجعية، حيث يتم توجيه الهواء إلى خارج لوحة الإدخال/الإخراج)، وتبريد سلبي لبطاقات مراكز البيانات (L4، L40 - بدون مروحة، حيث تدفع مراوح الهيكل الهواء عبر مجموعة الزعانف). بالنسبة لجهاز كمبيوتر بأربع أو ثماني وحدات معالجة رسومات يعمل على مدار الساعة، لا تعمل في الهياكل الكثيفة إلا أنظمة التبريد بالهواء المضغوط والأنظمة السلبية.في وحدة 4U مع تكديس البطاقات عموديًا، يقوم تصميم الهواء المفتوح بتصريف الحرارة إلى مدخل البطاقة العلوية؛ وتتعرض البطاقة العلوية لهواء درجة حرارته 50-60 درجة مئوية، مما يؤدي إلى انخفاض أدائها في غضون دقائق.

تستخدم هياكل Kentino 4U و 8U تدفق هواء صناعي من الأمام إلى الخلف مع مراوح 120 مم تدفع ضغطًا ثابتًا عاليًا عبر وحدات معالجة الرسومات. تُصنّف البطاقات إلى نوعين: بطاقات تعمل بنظام النفخ، وبطاقات سلبية، وبطاقات يتم إعادة توجيه الهواء فيها بشكل فعال بواسطة قنوات الهيكل. الهيكل نفسه هو المبرد.

تدفق الهواء من الأمام إلى الخلف في الرف: مدخل الهواء البارد ← وحدات معالجة الرسومات في عمود تدفق الهواء ← مخرج الهواء الساخن. هذا ما يحافظ على درجة حرارة وحدات 5090 أقل من 85 درجة مئوية عند درجة حرارة مدخل هواء تبلغ 22 درجة مئوية.

الضغط الساكن مقابل تدفق الهواء (قدم مكعب في الدقيقة)

تُدرج بيانات المراوح معدل تدفق الهواء (قدم مكعب في الدقيقة) والضغط الساكن (مم ماء). في حالة العلبة المفتوحة، يكون معدل تدفق الهواء هو العامل الأهم؛ أما في حالة علبة 4U ذات مشتتات حرارية كثيفة، وأنابيب صاعدة، وحزم كابلات، ووحدات تبريد سلبية لوحدة معالجة الرسومات في مسار الهواء، يهيمن الضغط الساكنتُقدّر مروحة صندوق الحاسوب الاستهلاكية النموذجية مقاس 120 مم بتدفق هواء يبلغ 70 قدمًا مكعبًا في الدقيقة عند ضغط 1.2 مم من الماء؛ بينما تُقدّر مروحة خادم صناعية مقاس 120 مم (من شركات دلتا، وسانيو دينكي، ونيدك، وسان إيس) بتدفق هواء يبلغ 110 قدمًا مكعبًا في الدقيقة عند ضغط يتراوح بين 8 و12 مم من الماء. يبلغ فرق تدفق الهواء 60%، بينما يتراوح فرق الضغط الساكن بين 7 و10 أضعاف. في هيكل ذي زعانف متقاربة، قد لا تُوفّر مروحة صندوق الحاسوب سوى 20 قدمًا مكعبًا في الدقيقة من التدفق الفعلي، بينما تُوفّر المروحة الصناعية ما بين 80 و90 قدمًا مكعبًا في الدقيقة. لهذا السبب، يُصدر هيكل K-AI ضجيجًا عاليًا (55-62 ديسيبل عند واجهة الرف) ويُفضّل وضعه في رف أو خزانة، وليس على مكتب.

القواعد: ~40-50 قدم مكعب في الدقيقة من التدفق عبر الهيكل لكل كيلو واط من حرارة وحدة معالجة الرسومات؛ ضغط ثابت عند المدخل ≥ 5 مم H2O؛ يجب أن يكون مبرد وحدة المعالجة المركزية من نوع البرج من الأمام إلى الخلف، وليس من نوع التدفق العلوي.

إدارة الضغط والفلاتر والكابلات

ضغط الهيكل هو معدل تدفق الهواء الداخل (CFM) مقابل معدل تدفق الهواء الخارج (CFM). الضغط الموجب (زيادة تدفق الهواء الداخل) يُسرّب الهواء من جميع الفتحات ويحجز الغبار عند الفلتر الأمامي؛ أما الضغط السالب فيسحب الهواء غير المُفلتر من جميع الوصلات. يتميز جهاز Kentino 4U بتصميم ذي ضغط موجب معتدل - ثلاث فتحات لتدفق الهواء الداخل، وفتحة واحدة لتدفق الهواء الخارج من الخلف، بالإضافة إلى فتحة لتدفق الهواء الخارج من وحدة تزويد الطاقة. الفلاتر مهمة: يؤدي انسداد فلتر سحب الهواء بنسبة 50% إلى انخفاض تدفق الهواء داخل الهيكل بنسبة 30-40%. يُنصح بفحصه كل 90 يومًا في المكتب، وكل 30 يومًا في المختبر. معظم التقارير التي تشير إلى ارتفاع درجة حرارة الخادم بعد ستة أشهر تعود إلى مشاكل في الفلتر، وليس إلى تدهور السيليكون.

تُعد الكابلات الموجودة في عمود الهواء من الأمام إلى الخلف أكثر المشاكل الحرارية التي يتم التقليل من شأنها في أجهزة الكمبيوتر متعددة وحدات معالجة الرسومات. يؤدي وضع حزمة كابلات ATX ذات 24 سنًا على جانب مدخل الهواء لوحدة معالجة الرسومات الرابعة إلى تقليل تدفق الهواء الفعال لهذه البطاقة بنسبة 25-40%، ويرفع درجة حرارتها بمقدار 5-8 درجات مئوية مقارنةً بنظيراتها. يجب توجيه كابلات الطاقة وEPS خلف لوحة الأم، وليس عبر عمود الهواء؛ كما يجب عدم وضع أي كابلات أمام منتصف وحدة معالجة الرسومات. W04 يشرح هذا المقال سبب سهولة استخدام نظام مزود الطاقة المزدوج في تجميعة تضم أربع وحدات معالجة رسومية، حيث يقلل من كتلة الكابلات إلى النصف لكل جانب. ويُعزى اختيار نظام مزود الطاقة المزدوج إلى عوامل حرارية بقدر ما هو عزو إلى عوامل كهربائية.

تباعد الرفوف على شكل حرف U والعادم الساخن

وحدة 4U بقدرة 2.4 كيلوواط تدفع هواءً ساخنًا بدرجة حرارة 35-45 درجة مئوية بمعدل تدفق هواء يزيد عن 100 قدم مكعب في الدقيقة؛ بينما وحدة 8U بقدرة 5 كيلوواط تدفع هواءً ساخنًا بدرجة حرارة 40-50 درجة مئوية بمعدل تدفق هواء يزيد عن 200 قدم مكعب في الدقيقة. يُعدّ تركيب ألواح تغطية في فتحات U غير المستخدمة إلزاميًا في أي رف مغلق، فبدونها، يعود الهواء الساخن إلى مدخل الهواء البارد. تُعتبر الخزائن المغلقة الملاصقة للجدار أسوأ الحالات، حيث تكون الوحدات العلوية أسخن بمقدار 8-12 درجة مئوية من الوحدات السفلية. يُوفّر تركيب وحدة U فارغة أعلى وأسفل كل خادم متعدد وحدات معالجة الرسومات في الرفوف غير المغلقة مساحة إضافية لتهوية المدخل تتراوح بين 5-8 درجات مئوية. يُعدّ احتواء الممر الساخن ذا جدوى عند استخدام أربعة رفوف، ولكنه مُبالغ فيه بالنسبة لرف واحد.

قياسات حقيقية - 4 وحدات معالجة رسومية و8 وحدات معالجة رسومية تحت حمل مستمر

تشغيل اختبار داخلي لـ Kentino، استدلال vLLM 70B Q4، حالة مستقرة لمدة 30 دقيقة، درجة حرارة الغرفة 22 درجة مئوية ± 1 درجة مئوية.

يُعدّ تصميم معالج الرسوميات 5090 رباعي النواة (4× 5090) هو الهدف الأمثل، حيث تتراوح درجة حرارته بين 8 درجات مئوية موزعة على كامل نطاق التردد، مع الحفاظ على تردد التعزيز ضمن نطاق 30 ميجاهرتز من التردد الاسمي. أما تصميم معالج الرسوميات 5090 ثماني النواة (8× 5090) فيقترب من الحد الأقصى؛ إذ تصل درجة حرارة وحدة معالجة الرسوميات الثامنة (GPU 8) إلى 86 درجة مئوية، وهي على حافة الحد الأقصى لتردد التعزيز. في الغرف التي تزيد درجة حرارتها عن 24 درجة مئوية، يبدأ جهاز مكون من 8 بطاقات 5090 في فقدان التعزيز على البطاقات الخلفية — في تكوين 8 وحدات معالجة رسومية، يصبح تأثير درجة حرارة غرفة التركيب عاملاً أساسياً في عملية البناء. تعمل محطة العمل Pro 6000 ذات الأربع وحدات معالجة رسومية بدرجة حرارة أقل مع نفس استهلاك الطاقة، وذلك بفضل الحد الأقصى الثابت للطاقة البالغ 600 واط ونظام التبريد ذي التدفق المزدوج، مما يوفر نطاقًا حراريًا أكثر استقرارًا من تصميم 5090 الاستهلاكي الذي يعاني من ارتفاعات مفاجئة في درجة الحرارة.

نقاط ساخنة خارج شريحة وحدة معالجة الرسومات

عدد nvidia-smi يُشير التقرير إلى مستشعر الحافة - حافة ذاكرة GDDR أو حافة السيليكون، حسب نوع البطاقة. وهو ليس الجزء الأكثر سخونة في الهيكل. هناك ثلاثة مواقع أخرى مهمة:

VRMS عادةً ما ترتفع درجة حرارة وحدة تنظيم الجهد (VRM) بمقدار 10-20 درجة مئوية عن درجة حرارة الشريحة تحت الحمل المستمر، بحد أقصى حوالي 110 درجة مئوية. في بطاقة 5090 بقدرة 575 واط، تُظهر بيانات قياس اللوحة درجات حرارة وحدة تنظيم الجهد في نطاق 85-95 درجة مئوية. تقوم البطاقات ذات التبريد الضعيف لوحدة تنظيم الجهد بخفض الأداء بناءً على درجة حرارة وحدة تنظيم الجهد قبل درجة حرارة الشريحة، وهو أمر غير مرئي للوحة. nvidia-smi --query-gpu=temperature.gpuلا يظهر هذا إلا على شكل انخفاض غير مبرر في تردد المعالج. إذا كانت البطاقة تعمل بدرجة حرارة منخفضة على مستشعر وحدة معالجة الرسومات ولكنها تفقد خاصية التعزيز، فمن المحتمل أن يكون السبب هو وحدة تنظيم الجهد (VRM).

ذاكرة GDDR7 ترتفع درجة حرارة معالج الرسوميات 5090 بشكل ملحوظ. يؤدي الاستخدام المتواصل لعمليات الاستدلال مع حركة مرور عالية إلى رفع درجة حرارة وصلات الذاكرة إلى 95-100 درجة مئوية. يقوم المعالج أولاً بخفض تردد الذاكرة (مما يؤدي إلى فقدان عرض النطاق الترددي بنسبة 3-5%)، ثم تردد وحدة معالجة الرسوميات. بالنسبة لأحمال العمل التي تعتمد بشكل كبير على الذاكرة، تُعد درجة حرارة الذاكرة هي العامل المحدد للسرعة، وليس درجة حرارة المعالج.

NVMe SSDs هي السبب الرئيسي للمشاكل. يصل محرك أقراص PCIe 5.0 الذي يقوم بعمليات قراءة مستمرة (تحميل أوزان بحجم 70 بايت، وتدفق مجموعات البيانات) إلى درجة حرارة 70-80 درجة مئوية في ثوانٍ معدودة دون تبريد فعال. عند تجاوز درجة الحرارة 75 درجة مئوية تقريبًا، يقوم المتحكم بتقليل الأداء، وينخفض ​​عرض نطاق القراءة إلى النصف. يستغرق تحميل نموذج، والذي "يفترض أن يستغرق 8 ثوانٍ"، 16 ثانية، ولا أحد يعرف السبب. تأتي جميع إصدارات K-AI مزودة بوحدات NVMe مع مشتتات حرارية في مسار تدفق الهواء داخل الهيكل.

لمراقبة كل ما يهم في عملية الإنتاج:

nvidia-smi --query-gpu=index,temperature.gpu,temperature.memory,clocks.gr,clocks.mem,power.draw \
           --format=csv -l 5

بالنسبة لتقنية NVMe، nvme smart-log /dev/nvme0 يُبلغ عن درجات حرارة وحدة التحكم والمكونات؛ ويُصدر إنذارًا عند 70 درجة مئوية للمكونات. يتم عرض درجة حرارة وحدة تنظيم الجهد (VRM) على بطاقات Pro 6000 عبر DCGM (dcgm-exporter بالنسبة لبروميثيوس)؛ أما بالنسبة لبطاقات المستهلكين، فهي خاصة ببائع اللوحة وغالبًا ما تظهر فقط في أدوات ويندوز - وهو أحد الأسباب العديدة التي تجعلنا نفضل بطاقات محطات العمل في الإنتاج طويل الأمد.

درجة حرارة الغرفة المحيطة وغلاف ASHRAE

تحدد معايير ASHRAE TC9.9 النطاقات الحرارية التي يتبعها تصميم مراكز البيانات. توصي الفئة A1 (مراكز البيانات المشتركة من المستوى الأول) بدرجة حرارة مدخل تتراوح بين 18 و27 درجة مئوية؛ بينما توسع الفئة A2 (مراكز البيانات العامة) النطاق المسموح به إلى 10-35 درجة مئوية. صُممت مجموعة K-AI وفقًا للفئة A2، ولكن نطاق التشغيل الأمثل لهيكل 5090 رباعي أو ثماني يقع ضمن الفئة A1: حيث تبلغ درجة حرارة المدخل 22 درجة مئوية كنقطة تصميم، و26 درجة مئوية هي الحد الأقصى العملي قبل بدء فقدان الطاقة. كما أن الرطوبة مهمة أيضًا: توصي ASHRAE بنسبة رطوبة غير مكثفة تتراوح بين 20 و80%. يُنصح بالحفاظ على نسبة رطوبة نسبية تتراوح بين 40 و60% على مدار العام.

تُعدّ أرقام L40 وL4 السبب وراء استمرار جاذبية هذه البطاقات في بيئات العمل المكتبية: فهي تتحمل أنظمة التكييف والتهوية المكتبية العادية. أما نظام 5090 ذو 8 وحدات معالجة رسومية فيحتاج إلى غرفة خوادم أو خزانة مزودة بنظام تبريد خاص، بلا شك.

تحديد حجم نظام التدفئة والتهوية وتكييف الهواء في فقرة واحدة

حمل تبريد الغرفة يساوي استهلاك الطاقة المستمر من الجدار: 1 كيلوواط = 3,412 وحدة حرارية بريطانية/ساعة. خادم بقدرة 2.4 كيلوواط و4 وحدات معالجة رسومية يستهلك حوالي 8,200 وحدة حرارية بريطانية/ساعة؛ وخادم بقدرة 4.5 كيلوواط و8 وحدات معالجة رسومية يستهلك حوالي 15,400 وحدة حرارية بريطانية/ساعة. قم بتحديد حجم التيار المتردد عند 1.3 ضعف الحمل في حالة الاستقرار ينطبق نفس مبدأ هامش الأمان على وحدات تزويد الطاقة. يعمل مكيف سبليت بقدرة 12,000 وحدة حرارية بريطانية على خادم بقدرة 2.4 كيلوواط بكامل طاقته، مما يؤدي إلى تلف الضاغط خلال 18-30 شهرًا؛ بينما يعمل مكيف بقدرة 24,000 وحدة حرارية بريطانية على نفس الحمل بنصف طاقته، ويدوم من 8 إلى 10 سنوات. يصبح التبريد الدقيق (CRAC) ضروريًا عند تجاوز قدرة 10 كيلوواط؛ أما عند أقل من ذلك، فيكفي مكيف سبليت ذو حجم مناسب.

عامل الشكل: رف 4U، رف 8U، برج

تستخدم تشكيلة K-AI ثلاثة: 4U رف بالنسبة للتركيبات التي تحتوي على 4 وحدات معالجة رسومات (3 × 120 مم مدخل هواء، 1 × خلفي، ATX مزدوج، رف 19 بوصة)، 8U رف بالنسبة للأجهزة ذات 8 وحدات معالجة رسومية (مراوح خوادم صناعية، ووحدة تزويد طاقة CRPS، ولوحة أم ثنائية المعالج، وكثافة حرارية تبلغ ضعف كثافة 4U تقريبًا)، محطة عمل برجية لأجهزة التطوير ذات وحدة معالجة رسومية واحدة أو اثنتين (مراوح PWM، مناسبة للمكاتب). لا نوفر صناديقًا عمودية لأجهزة ذات وحدات معالجة رسومية أكثر من اثنتين، حيث تصل درجة حرارة الهيكل العمودي ذي الأربع وحدات معالجة رسومية إلى 90 درجة مئوية على البطاقة العلوية خلال 20 دقيقة من التشغيل المستمر. بينما تبقى درجة حرارة نفس الأجهزة في رف 4U أقل من 85 درجة مئوية بشكل دائم.

التبريد السائل - متى ولماذا

يُمكن تبريد كل وحدة معالجة رسومية (GPU) بالهواء في وحدة 4U مُصممة جيدًا بحوالي 600 واط؛ أما في حال تجاوز هذا الحد، فالتبريد السائل هو الحل الأمثل. يُقلل نظام التبريد السائل المتكامل (AIO) لكل بطاقة درجة حرارة حافة وحدة المعالجة الرسومية بمقدار 15-25 درجة مئوية، ولكنه يُضيف تعقيدًا كبيرًا، حيث يُصبح تعطل المضخة وتبخر سائل التبريد الصامت من أنماط الأعطال الجديدة. يُعد التبريد المباشر للرقاقة باستخدام مُبادل حراري خلفي مُتصل بمياه التبريد في المنشأة هو الحل الأمثل عند وجود 16 وحدة معالجة رسومية أو أكثر لكل مجموعة. يُعد الغمر في سائل عازل فعالًا، ولكنه مُكلف، ويُغير نموذج الصيانة تمامًا.

بالنسبة لتشكيلة كينتينو الحالية - هياكل مبردة بالهواء تصل قدرتها إلى 600 واط لكل بطاقة - الهواء هو الإجابة الصحيحةيعمل جهاز مزود بأربعة معالجات 5090 عند درجة حرارة قصوى تتراوح بين 78 و84 درجة مئوية دون أي تباطؤ، على مدار الساعة، في بيئة باردة بدرجة حرارة 22 درجة مئوية. التبريد السائل سيرفع درجة الحرارة إلى ما بين 55 و65 درجة مئوية، مع زيادة طفيفة في تردد المعالج؛ إلا أن التكلفة الرأسمالية والتعقيد لا تبرر ذلك على هذا النطاق.

---

هذا جزء من ويكي كينتينو، وهي سلسلة مرجعية حول الحوسبة الذكية، والروبوتات، والأنظمة التي تربط بينهما. نرحب بالتعليقات والتصويبات على info@kentino.com.