K-AI 96 Rome 4090 2644TOPS — 4× RTX 4090 خادم استدلال الذكاء الاصطناعي

خادم استدلال يُثبّت في رفّ بحجم 4U، مزوّد بأربعة معالجات رسومات GeForce RTX 4090 مُجمّعة في ذاكرة وصول عشوائي للفيديو (VRAM) بسعة 96 جيجابايت، ومعالج AMD EPYC 7542 Rome (32 نواة/64 خيطًا)، وذاكرة DDR4 ECC بسعة 256 جيجابايت، ووحدة تخزين NVMe بسعة 2 تيرابايت للتشغيل، ووحدتي تزويد طاقة ATX متزامنتين بقدرة 2 كيلو واط. يشغل vLLM وSGLang وllama.cpp وComfyUI وجميع حزم الاستدلال الرئيسية مفتوحة المصدر مباشرةً.

أجهزة التبخير

ما يمكنك تشغيله

ماجستير في القانون - نص / استدلال / برمجة

الحدود الصينية

• Qwen3 / Qwen3.5: Qwen3-72B Q4 (~15-20 tok/s)؛ Qwen3-32B Q6؛ Qwen3-30B-A3B MoE Q4-Q6؛ Qwen3-Coder-30B-A3B بسرعة 256 كيلوبت/ثانية؛ Qwen3.5-122B-A10B Q4؛ QwQ-32B
• ديب سيك: DeepSeek-R2 32B الربع الرابع - الربع السادس (92.7% من متوسط ​​سعر الصرف المتوقع في السوق الأوروبية المشتركة لعام 2025)؛ DeepSeek-R1-Distill-Qwen-32B bf16؛ DeepSeek-V2-Lite 16B
• GLM / Z.ai: GLM-4.5-Air 106B/12B Q4-Q5؛ GLM-4.6V-Flash؛ GLM-Zero 9B
• هونيوان: Hunyuan-A13B Q4-Q6 (~48 جيجابايت) 256 كيلوبايت ctx ثنائي الوضع للاستدلال
• أخرى: Seed-OSS-36B Q4 512k ctx; ERNIE-4.5-47B-A3B Q4; Yi-34B Q6; Baichuan-M2-32B; Step-3.5-Flash

الحدود الغربية

• ميتا لاما: Llama 3.3 70B Q4_K_M (~20 tok/s llama.cpp، ~179 tok/s Batch-32 vLLM - تم قياس كنتينو)؛ اللاما 3.1 8B bf16 (~80-120 توك/ثانية)؛ اللاما 4 الكشفية Q4
• ميسترال: صغير 3 24B bf16؛ كبير صغير 24B استدلال؛ مطور صغير 2 24B 256k ctx؛ مختلط 8x7B Q6
• أوبن إيه آي: gpt-oss-20b MXFP4 (16 جيجابايت)؛ gpt-oss-120b MXFP4 (80 جيجابايت مضغوطة)
• أخرى: جيما 3 27 ب س 6 128 ك؛ فاي-4 14B bf16؛ نيموترون سوبر 49B Q4؛ الجرانيت 4.0 ح-صغير؛ أولمو 2 32 ب؛ ريكا فلاش 3؛ الأمر R 35B

نماذج الرؤية واللغة

Qwen3-VL-8B/32B، Qwen3-VL-30B-A3B، Qwen3-أومني-30B-A3B؛ InternVL3 حتى 78B Q4؛ إنترنVL3.5-38B; ديب سيك-VL2؛ اللاما 3.2 11B الرؤية؛ بيكسترال 12ب؛ مولمو 7 ب؛ جيما 3 12ب/27ب؛ باليجيما 2؛ MiniCPM-V 2.6 / MiniCPM-o 2.6.

توليد الصور

FLUX.1 [dev]/[schnell] fp8 (~15-25 ثانية لكل 1024x1024)؛ FLUX.1 Kontext؛ أدوات FLUX؛ SD 3.5 Large؛ SDXL؛ HunyuanImage-2.1 bf16 (~34 جيجابايت) 2K أصلي؛ Kolors 2.0؛ AuraFlow؛ OmniGen v1.

توليد الفيديو

Wan 2.2 T2V-A14B/I2V-A14B MoE (~54 جيجابايت bf16)؛ وان 2.2 TI2V-5B 720p@24fps; HunyuanVideo 13B Q4-Q5; هونيوانفيديو 1.5; com.CogVideoX-5B; مفتوح سورا 2.0؛ موتشي-1؛ LTX-فيديو؛ سفد/SV3D/SV4D؛ نفيديا كوزموس التنبؤ 2.

الصوت / الكلام / تحويل النص إلى كلام

• ASR: Whisper v3 turbo (~50x الوقت الحقيقي)؛ Parakeet-TDT 1.1B؛ Canary 1B؛ Qwen3-ASR؛ SenseVoice
• تحويل النص إلى كلام: CosyVoice 3.0؛ Kokoro 82M؛ Stable Audio Open؛ Step-Audio-EditX
• في الوقت الحالى: كيوتاي موشي (200 مللي ثانية، اتصال ثنائي الاتجاه)؛ ستيب-أوديو 2 ميني؛ كوين 2.5-أومني-7 بي
• الموسيقى: MusicGen؛ AudioGen؛ Suno Bark؛ SeamlessM4T v2

خدمة متعددة النماذج

• 4-8 مستخدمين متزامنين على 32-72 مليار وحدة معالجة خطية عبر vLLM / SGLang tensor-parallel
• مزيج: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi مع ذاكرة فيديو مقسمة
• ضبط دقيق لـ LoRA/QLoRA من 32 إلى 72 بايت؛ معلمات كاملة من 7 إلى 14 بايت
• RAG مع Command R+ أو Qwen3 + BGE-M3/E5/Jina

أحمال العمل المستهدفة

• بوابة استدلال لمنظمة تضم من 50 إلى 200 مقعد (70 مليار في الربع الرابع إلى الربع السادس، من 4 إلى 8 جلسات متزامنة)
• خط أنابيب نشر الفيديو/البث الدفعي (SDXL + FLUX.1 + Wan 2.2 طوال الليل)
• مختبر الضبط الدقيق لـ LoRA/QLoRA لتكييفات نطاق 7-34B
• مساعد مستندات RAG (Qwen3-VL + BGE-M3 + Command R، 32k ctx)
• جهاز واحد مختلط: دردشة + صورة + التعرف التلقائي على الكلام + صوت في الوقت الفعلي على ذاكرة فيديو مقسمة

الأداء المقاس

ليست مثالية لـ

• Frontier 100B+ كثيف في bf16 (DeepSeek V3/R1، GLM-4.5+، Kimi-K2، Mistral Large 3 - يتطلب 256+ جيجابايت من ذاكرة الوصول العشوائي للفيديو)
• التدريب من الصفر (بطاقة RTX 4090 الاستهلاكية تفتقر إلى تقنية NVLink)

الضمان ومدة التسليم

تشمل عملية التجميع، وتكوين نظام الإدخال والإخراج الأساسي (BIOS)، وتثبيت برامج التشغيل، واختبار التشغيل الأولي، والتحقق من الوظائف. يعتمد وقت التسليم على توافر المكونات، ويتم تأكيده عند الطلب.

الإضافات الموصى بها

• قم بترقية ذاكرة الوصول العشوائي إلى 512 جيجابايت (أضف 4 × 64 جيجابايت DDR4 - أربعة فتحات DIMM متاحة)
• محرك أقراص ثانوي NVMe بسعة 4 تيرابايت لتخزين مجموعات البيانات/النماذج
• خزانة مفتوحة بحجم 24U لنشر خوادم متعددة