لقد قمنا ببناء خادم ذكاء اصطناعي بسعة 576 جيجابايت يعمل بنظام GLM 5.2 في مبناك الخاص

يحتوي خادم الذكاء الاصطناعي المحلي الخاص بشركة Kentino على ست بطاقات NVIDIA RTX PRO 6000 Blackwell Max-Q، ومعالجين EPYC، ومستوى كافٍ من التكرار للبقاء على قيد الحياة في حالة انقطاع التيار الكهربائي - لذلك تعمل النماذج المتطورة على أرضك، وليس على سحابة شخص آخر.

الجميع يعرف عمال المناجم. والآن، تعرفوا على كينتينو.

إذا كنتَ على دراية بعالمنا لفترة من الوقت، فأنت تعرف شركة One Miners. شركة Kentino هي الشركة الشقيقة لها، وتقوم Kentino ببناء الأجهزة: خوادم الذكاء الاصطناعي، ومحطات العمل، وأجهزة الكمبيوتر المخصصة للألعاب - أيًا كانت المواصفات التي تخطر ببالك.

تتناول هذه المقالة أحد هذه المشاريع. إنه نظام قمنا بتجميعه لأحد عملائنا، لذا لن نكشف عن هويته. ما يمكننا فعله هو الكشف عن مكونات خادم الذكاء الاصطناعي المحلي الذي لا يقبل المساومة.

الفكرة: ذكاء اصطناعي من طراز كلود لا يغادر المبنى أبدًا

الهدف من هذا الجهاز بسيط للغاية. ستحصل على مساعد بنفس كفاءة كلود أوبوس أو جي بي تي، ويعمل في مقر عملك. مكتبك، غرفة الخوادم، أو حتى منزلك إن كنت تعمل فيه. كل سطر برمجي، وكل مستند، وكل أمر تقوم بلصقه فيه يبقى داخل شبكتك الخاصة.

هذا هو العرض المقدم: لا توجد رسوم لكل رمز تتناسب مع مدى فائدة الخدمة، ولا انتظار خلف المستخدمين الآخرين، ولا طرف ثالث يتحكم في نافذة السياق الخاصة بك. أنت تملك الجهاز، وبالتالي أنت تملك عبء العمل.

المحتويات: ست وحدات معالجة رسومات احترافية، سعة كل منها 96 جيجابايت

افتح الهيكل، وأول ما تراه هو جدار وحدات معالجة الرسومات - ثلاث بطاقات على جانب، وثلاث أخرى على الجانب الآخر. كل واحدة منها من نوع NVIDIA RTX PRO 6000 Blackwell Max-Q بذاكرة فيديو 96 جيجابايت. ست بطاقات، أي ما يقارب 576 جيجابايت من ذاكرة الفيديو في صندوق واحد.

هذا التكوين بست بطاقات، لكن الهيكل ليس ممتلئًا. فهو يتسع لما يصل إلى ثماني بطاقات، مما يتيح إضافة وحدات معالجة رسومية لاحقًا أو استخدام الفتحات لأغراض أخرى تمامًا، مثل شبكات الألياف الضوئية. خلف لوحة وحدة معالجة الرسوميات، يوجد معالجان من نوع AMD EPYC 7643 لتغذيتها.

الأجزاء غير الجذابة هي التي تهم

يعتمد نجاح جهاز كهذا أو فشله على مواصفاته التقنية الدقيقة. الذاكرة: 512 جيجابايت من نوع DDR4 مثبتة على شكل 8 وحدات LRDIMM سعة كل منها 64 جيجابايت، قابلة للتوسيع حتى 1.5 تيرابايت عند الحاجة. التخزين: قرص نظام بسعة 2 تيرابايت بالإضافة إلى 4 تيرابايت من نوع NVMe، وذلك لسرعة نقل بيانات النماذج من القرص الصلب.

يتم تزويد الخادم بالطاقة عبر خمسة مزودات طاقة احتياطية بقدرة 2000 واط. إذا قمت بإزالة أحدها أثناء التشغيل، فسيستمر الخادم في العمل - سيُصدر صوتًا يدل على عدم رضاه، لكنه سيستمر. أما نظام التبريد فيتكون من 12 مروحة عالية الضغط بسرعة 15,000 دورة في الدقيقة، قابلة للاستبدال أثناء التشغيل، ومرتبة في صفوف عبر الهيكل. يمكنك سحب مروحة معطلة أثناء تشغيل الجهاز، وتركيب مروحة جديدة، وإغلاق الجهاز، والابتعاد. سيصدر صوتًا عاليًا لبضع ثوانٍ. هذه هي عملية الصيانة بالكامل.

تحتوي اللوحة الأم على إدارة عن بعد مخصصة، وشبكة LAN مزدوجة بسرعة 10 جيجابت، ومنفذ VGA مدمج للطرفية، ومنفذ USB 3.2، وزر طاقة رئيسي وزر طاقة ثانوي حتى لا تضطر إلى فك أي شيء لإعادة تشغيله.

تشغيل GLM 5.2 محليًا

يبلغ حجم العمل الرئيسي في الربع الرابع من العام 341 جيجابايت تقريبًا من أوزان النماذج، موزعة على وحدات معالجة الرسومات الست. إنه نموذج ضخم بالفعل، ويتم تشغيله في نفس المبنى. كما يتم تشغيل نماذج مفتوحة أخرى هنا أيضًا؛ حيث تتوفر ذاكرة وصول عشوائي كافية لتشغيل عدة نماذج أو التبديل بينها.

بدء التشغيل البارد ليس فوريًا، ونفضل إخبارك بذلك بدلًا من أن تكتشفه بنفسك. فبين قيام نظام BIOS بحصر هذا الكم الهائل من المكونات، وقيام نظام Linux بإنشاء شجرة أجهزة ضخمة، ثم نقل 341 جيجابايت من محرك الأقراص ذي الحالة الصلبة (SSD) إلى ذاكرة الوصول العشوائي للفيديو (VRAM)، ستنتظر دقائق قبل بدء أول عملية نقل بيانات. وبمجرد بدء التشغيل، لا يوجد رقم محدد لمعدل نقل البيانات، وأي شخص يذكره لك يتجاهل السؤال. يعتمد الأمر على ثلاثة عوامل: عدد الطلبات قيد التنفيذ، وما إذا كان فك التشفير التخميني مُفعلاً، وما إذا كان الطراز مناسبًا لبطاقة واحدة.

بالنسبة لـ GLM 5.2 الموزع على جميع وحدات معالجة الرسومات الست: يبلغ معدل فك التشفير أحادي التزامن الخالص، بدون فك التشفير التخميني، حوالي 25-40 رمزًا/ثانية - هذه هي الحسابات، وهي القيمة الموجودة على صفحة المنتج العامة. عند تفعيل فك التشفير التخميني، مع استمرار معالجة طلب واحد في كل مرة، يرتفع المعدل إلى 40-60 رمزًا/ثانية. هذا هو المعدل الموضح في الفيديو، ولهذا السبب يصل معدل التشغيل على الكاميرا إلى حوالي 42 رمزًا/ثانية. بإضافة التزامن إلى فك التشفير التخميني، يصل المعدل إلى 60-120 رمزًا/ثانية.

هذه كلها أرقام خاصة بالنماذج الكبيرة، بسعة 341 جيجابايت موزعة على ست بطاقات. أما إذا انتقلنا إلى نموذج يتسع داخل وحدة معالجة رسومية واحدة بسعة 96 جيجابايت، فسنصل إلى آلاف الرموز في الثانية، لأننا نشغل ست نسخ مستقلة بدلاً من نسخة واحدة مجزأة. نفس المكونات، لكن الفرق شاسع - وهذا هو السبب الرئيسي في أن رقمًا واحدًا في العنوان لا معنى له.

إلى جانب الدردشة والبرمجة، يُعدّ هذا المعالج نفسه جهازًا متطورًا لإنتاج الصور، كما أنه قادر على معالجة الفيديو أيضًا. والفرق العملي بينه وبين نقطة نهاية سحابية لا يقتصر على السرعة فحسب، بل يكمن أيضًا في عدم وجود أي منافسين لك في قائمة الانتظار.

لماذا Max-Q، وما هي التكلفة الفعلية لهذه الصفقة؟

من المهم ذكر معلومة مهمة: هذه هي إصدارات Max-Q من بطاقة RTX PRO 6000. تعمل بطاقة Max-Q بقدرة 300 واط. أما البطاقة العادية (غير Max-Q) فتستهلك 600 واط، ويمكنك تحديد استهلاكها إلى حوالي 400 واط من خلال برنامج التشغيل.

تُضحي تقنية Max-Q بجزء بسيط من ذاكرة التخزين المؤقت المدمجة مقابل استهلاك أقل بكثير للطاقة. في هيكل بست بطاقات، يُعد هذا التنازل هو السبب الرئيسي لفعالية ميزانية الحرارة والطاقة. إنه نوع من القرارات التي تتخذها مرة واحدة، أثناء عملية التجميع، ثم تتعايش معها بسعادة – طالما كنت على دراية بقرارك.

ترقبوا المزيد - وكيفية الحصول على واحد

كان هناك بعض الأشياء الأخرى على طاولة العمل أثناء التصوير لا تنتمي إلى هذا الخادم. بطاقة رسومات RTX 4090، وبطاقة NVIDIA CMP 170HX - وهي بطاقة تعدين من حقبة إيثيريوم، معروضة بسعر 1,600 يورو على موقعنا. ستخضع هذه البطاقة لمراجعة واختبار شاملين في الفيديو التالي، لذا لن نكتفي بشرحها هنا.

نعمل أيضاً على إعداد جدول مرجعي حقيقي يشمل عدة نماذج مفتوحة. أرقام ومنهجية، بدون أي تلاعب. هذا هو موضوعنا التالي أيضاً.

إذا كنت ترغب في جهاز كهذا - أو نسخة أصغر منه، أو محطة عمل، أو جهاز ألعاب - فهذا ما تقدمه شركة كينتينو. تصفح مجموعة خوادم الذكاء الاصطناعي ، أو أخبرنا بما تحتاجه وسنقوم بتخصيصه لك.