كينتينو AI 96 روما L40 724TOPS — خادم استدلال إنتاجي مزدوج NVIDIA L40 ECC

خادم استدلال من فئة الإنتاج مزود بمعالجين رسوميين، مبني على معالج ROMED8-2T / EPYC Milan، ويحتوي على بطاقتي NVIDIA L40 سلبيتين. يتميز بذاكرة GDDR6 بسعة 96 جيجابايت مع تصحيح الأخطاء ECC، بنفس سعة ذاكرة الفيديو (VRAM) لخادم RTX 4090 ذي الأربع بطاقات، ولكنه حاصل على شهادة اعتماد كاملة لمراكز البيانات، وذاكرة ECC على كل بطاقة، وتصميم حراري مصمم للعمل المتواصل على مدار الساعة. يُعد هذا الخادم الخيار الأمثل في الحالات التي قد تثير فيها بطاقة RTX 4090 مخاوف تتعلق بالضمان أو الموثوقية أو الامتثال، مثل قطاعات التمويل والرعاية الصحية والتحقق الرسمي وأي خدمة إدارة دورة حياة منخفضة/ افتراضية مستدامة.

أجهزة التبخير

ما يمكنك تشغيله

ماجستير في القانون - نص / استدلال / برمجة

الحدود الصينية

• Qwen3-32B bf16 وحدة معالجة رسومات واحدة على L40 واحد مع مساحة رأسية تبلغ 32 ألف ctx (~18-22 tok/s تدفق واحد على L40، مرجع منشور)
• Qwen3.5-27B bf16؛ Qwen3-30B-A3B / Qwen3-Coder-30B-A3B bf16 (~60 جيجابايت) 256 ألف صورة
• Qwen3.5-122B-A10B الربع الرابع (~70 جيجابايت) - المنتج الرئيسي لوزارة التعليم، ذو نطاق زمني طويل
• كيو دبليو كيو-32 بي bf16؛ هونيوان-A13B الربع الرابع (~48 جيجابايت)
• ديب سيك-R2 32B sparse MoE bf16 — قادر على العمل على وحدة معالجة رسومات واحدة، مع مسارين متوازيين
• GLM-4.5-Air 106B/12B Q4-Q5 (60-70 GB مريح)
• Seed-OSS-36B bf16 — 512k native ctx; ERNIE-4.5-47B-A3B Q6-Q8
• بايتشوان-M2-32B bf16 (منطق طبي - ميزة ECC هنا)

الحدود الغربية

• اللاما 3.3 70 ب Q6 (~58 جيجابايت) مع هامش KV؛ Q4_K_M (~43 جيجابايت) ctx طويل جدًا (~15-18 tok/s تدفق واحد على 2x L40، مرجع منشور)
• هيرميس 3 70B / تولو 3 70B س4-س6؛ لاما 4 كشاف 109B/17B وزارة التعليم الربع الرابع (~63 جيجابايت)
• ميسترال صغير 3 / ماجيسترال صغير 1.2 / ديفسترال صغير 2 (24B) bf16؛ ميكسترال 8x22B Q3-Q4
• gpt-oss-120b MXFP4 (~80 جيجابايت) مع غرفة KV
• جيما 3 27 ب لعبة BF16 متعددة الوسائط مع 128 ألف ملف CTX
• فاي-4 14ب / الاستدلال فاي-4 / فاي-4 متعدد الوسائط bf16
• نيموترون-سوبر 49ب س6-س8؛ IBM Granite 4.0 H-Small 32B/9B — الامتثال المؤسسي
• ريكا فلاش 3 21B bf16؛ OLMo 2 32B / OLMo 3.1-32B-Think bf16

نماذج الرؤية واللغة

Qwen3-VL-8B / 32B، Qwen3-VL-30B-A3B MoE، Qwen3-Omni-30B-A3B؛ InternVL3 حتى 78B Q4 (~48 جيجابايت)؛ InternVL3.5-38B bf16؛ DeepSeek-VL2؛ ERNIE-4.5-VL-28B-A3B-Thinking؛ Llama 3.2 11B Vision bf16؛ Pixtral 12B bf16؛ Gemma 3 12B / 27B متعدد الأنماط؛ PaliGemma 2 (3/10/28B)؛ MiniCPM-V 2.6 / MiniCPM-o 2.6؛ GLM-4.6V-Flash؛ Molmo 72B Q4؛ Aya Vision 32B.

توليد الصور

تحتوي بطاقة L40 على نوى Ada Tensor ونطاق ترددي للذاكرة يبلغ 864 جيجابايت/ثانية لكل بطاقة - وهي مثالية لخطوط معالجة الصور الإنتاجية: FLUX.1 [dev] / [schnell] fp16 (~24 جيجابايت) أو fp8 (~12 جيجابايت) (~15-25 ثانية لكل صورة 1024x1024 عند fp8، مرجع منشور)؛ FLUX.1 Kontext [dev]؛ أدوات FLUX (Fill / Depth / Canny / Redux)؛ SD 3.5 Large (18 جيجابايت fp16 / 11 جيجابايت fp8)؛ SDXL 1.0 + ControlNet + AnimateDiff؛ HunyuanImage-2.1 bf16 (~34 جيجابايت)؛ Kolors 2.0؛ AuraFlow v0.3؛ OmniGen v1؛ PixArt-Sigma.

توليد الفيديو

HunyuanVideo 13B bf16 يناسب جهاز L40 واحد بدقة 720p لمقطع قصير؛ Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 جيجابايت) متوازي ثنائي الاتجاه؛ Wan 2.2 TI2V-5B bf16 لكل بطاقة؛ Wan 2.1 14B fp8 / bf16؛ HunyuanVideo 1.5 (8.3B) bf16؛ Open-Sora 2.0 (11B) bf16؛ CogVideoX-5B / 1.5 bf16؛ Mochi-1 bf16 (~42 جيجابايت)؛ LTX-Video 2B؛ SVD / SV3D / SV4D؛ NVIDIA Cosmos Predict 2.

الصوت / الكلام / تحويل النص إلى كلام

• ASR: Whisper v3 كبير/مُعزز (يعمل بسرعة 50 ضعفًا تقريبًا في الوقت الفعلي على وحدة معالجة رسومية واحدة، وفقًا للمرجع المنشور)؛ Parakeet-TDT 1.1B؛ Canary 1B؛ Qwen3-ASR؛ SenseVoice
• تحويل النص إلى كلام: CosyVoice 2 / Fun-CosyVoice 3.0؛ Kokoro 82M؛ Stable Audio Open؛ Coqui XTTS v2؛ StyleTTS 2؛ Step-Audio-EditX
• في الوقت الحقيقي / من جهاز لآخر: كيوتاي موشي (زمن استجابة 200 مللي ثانية، اتصال ثنائي الاتجاه)؛ ستيب-أوديو 2 ميني / R1 / R1.1؛ كوين 2.5-أومني-7B
• الموسيقى / المؤثرات الصوتية / الترجمة: MusicGen؛ AudioGen؛ Suno Bark؛ SeamlessM4T v2؛ MMS

خدمة متعددة النماذج / متعددة المستأجرين

• 4-8 مستخدمين متزامنين على وحدات معالجة التعلم من الفئة 32-70B عبر vLLM المتوازية الموترية أو التقسيم لكل بطاقة
• مجموعة مختلطة: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi مقيم مع ذاكرة فيديو مقسمة
• استدلال LoRA + ضبط دقيق خفيف لـ 7-14 مليار؛ إمكانية استخدام المعلمات الكاملة على النماذج الأصغر
• خطوط أنابيب RAG مع تضمينات Command R / Qwen3 + BGE-M3 / E5 / Jina

أحمال العمل المستهدفة

• خدمات إدارة المشاريع على مدار الساعة طوال أيام الأسبوع - 70 مليار دولار أمريكي في الربع الرابع إلى الربع السادس، وQwen3-32 مليار دولار أمريكي في الفترة من فبراير 2016، وMistral Small 3 في الفترة من فبراير 2016
• النشر المنظم الذي يتطلب ذاكرة ECC (التمويل، الرعاية الصحية، التحقق الرسمي)
• خدمة السياق الطويل — يتناسب سياق Seed-OSS-36B 512k بشكل مريح مع مجموعة 96 جيجابايت
• خدمة وزارة التعليم من الفئة المتوسطة - Hunyuan-A13B Q6، GLM-4.5-Air Q4، Qwen3-30B-A3B bf16
• معالجة مستندات VLM — InternVL3.5-38B، Pixtral 12B bf16، Qwen3-VL-32B

المراجع المنشورة للأداء

ليست مثالية لـ

• تحسين التكلفة لكل تيرافلوب — 4x RTX 4090 تعطي 2644 تيرافلوب إجمالية بتكلفة تقارب 40٪ من تكلفة المكونات (بدون ECC / ضمان مركز البيانات)
• طرازات Frontier 200B+ عالية الكثافة — ينطبق حد أقصى لحجم التخزين يبلغ 96 جيجابايت (يلزم وجود وحدة تخزين بسعة 192 جيجابايت أو أكثر)
• توليد الفيديو بدقة كاملة طويلة في bf16 (خبيران في Wan 2.2 MoE يريدان المزيد من ذاكرة الوصول العشوائي للفيديو)
• التدريب من الصفر - جهاز L40 معتمد في الاستدلال؛ استخدم جهاز RTX Pro 6000 / محطة عمل Blackwell للتدريب

الضمان ومدة التسليم

ضمان NVIDIA OEM لمدة 3 سنوات لمراكز البيانات على L40 + ضمان تكامل Kentino (سنتان للأجزاء، وسنة واحدة لليد العاملة). يشمل التجميع، وتكوين BIOS، وتثبيت برامج التشغيل، واختبار التحمل، والتحقق من الوظائف.

الإضافات الموصى بها

• قم بالترقية إلى 4x L40 (K-AI 192 Rome L40 1448TOPS) للحصول على مجموعة ECC بسعة 192 جيجابايت وخدمة من المستوى الحدودي
• قم بترقية ذاكرة الوصول العشوائي (RAM) إلى 512 جيجابايت (أضف 4 × 64 جيجابايت DDR4) لمجموعات تضمين/إعادة ترتيب أكبر
• قم بترقية وحدة تخزين NVMe إلى 4 تيرابايت لمكتبة النماذج + تجهيز مجموعة البيانات
• تتوفر وحدة تزويد طاقة احتياطية (مزدوجة بقدرة 2 كيلوواط متزامنة) عند الطلب
• وحدة توزيع الطاقة المثبتة على الرف + وحدة تزويد الطاقة غير المنقطعة (UPS) بقدرة 3 كيلو فولت أمبير متصلة بالإنترنت لمواقع الإنتاج