ركن الذكاء الاصطناعي
دراسة حالة: محطة عمل الذكاء الاصطناعي بأربع بطاقات RTX 4090
توثق هذه المقالة عملية بناء كاملة تم تكليفها لعميل بحثي كان بحاجة إلى محطة عمل استدلالية LLM قابلة للتركيب في رف، تعمل على مدار الساعة طوال أيام الأسبوع، مع ذاكرة وصول عشوائي كافية لاستضافة نماذج من فئة 70 مليار نموذج دون الحاجة إلى خدمات سحابية. كل شيء...
دراسة حالة: محطة عمل الذكاء الاصطناعي بأربع بطاقات RTX 4090
توثق هذه المقالة عملية بناء كاملة تم تكليفها لعميل بحثي كان بحاجة إلى محطة عمل استدلالية LLM قابلة للتركيب في رف، تعمل على مدار الساعة طوال أيام الأسبوع، مع ذاكرة وصول عشوائي كافية لاستضافة نماذج من فئة 70 مليار نموذج دون الحاجة إلى خدمات سحابية. كل شيء...
TurboQuant: قراءة ذاكرة التخزين المؤقت KV لضغط البيانات...
وقت القراءة: ١٠ دقائق | كيف تجعل تقنية ضغط جوجل ذات ٣ بت نماذج اللغة ذات السياق الطويل أرخص، وماذا تخبرنا عن الأشهر الثمانية عشر القادمة من استدلال الذكاء الاصطناعي؟ هناك هدوء...
TurboQuant: قراءة ذاكرة التخزين المؤقت KV لضغط البيانات...
وقت القراءة: ١٠ دقائق | كيف تجعل تقنية ضغط جوجل ذات ٣ بت نماذج اللغة ذات السياق الطويل أرخص، وماذا تخبرنا عن الأشهر الثمانية عشر القادمة من استدلال الذكاء الاصطناعي؟ هناك هدوء...
متطلبات VRAM لنموذج الذكاء الاصطناعي عبر وحدات معالجة الرسوميات المختلفة
متطلبات VRAM لنموذج الذكاء الاصطناعي عبر تكوينات وحدة معالجة الرسوميات المختلفة يوفر هذا الجدول نظرة عامة على أحجام النماذج التقريبية (بمليارات المعلمات) التي يمكن تشغيلها على تكوينات VRAM المختلفة، إلى جانب...
متطلبات VRAM لنموذج الذكاء الاصطناعي عبر وحدات معالجة الرسوميات المختلفة
متطلبات VRAM لنموذج الذكاء الاصطناعي عبر تكوينات وحدة معالجة الرسوميات المختلفة يوفر هذا الجدول نظرة عامة على أحجام النماذج التقريبية (بمليارات المعلمات) التي يمكن تشغيلها على تكوينات VRAM المختلفة، إلى جانب...