توربو كوانت: قراءة ذاكرة التخزين المؤقت KV - اختراق في ضغط البيانات

وقت القراءة: 10 دقائق | كيف تجعل تقنية ضغط جوجل ثلاثية البتات نماذج التعلم طويلة المدى أرخص، وماذا تخبرنا بذلك عن الأشهر الثمانية عشر القادمة من استدلال الذكاء الاصطناعي

تكمن مشكلة خفية في كل محادثة طويلة مع نموذج لغوي ضخم، وهي السبب وراء ارتفاع تكلفة هذه المحادثات. تُعرف هذه المشكلة بذاكرة التخزين المؤقت للقيم والمفاتيح (KV)، وفي سياقات طويلة، قد تستهلك ذاكرة أكبر من النموذج نفسه. في 24 مارس، نشر فريق من جوجل للأبحاث TurboQuant ، الذي يضغط ذاكرة التخزين المؤقت إلى ثلاثة بتات لكل قيمة دون أي فقدان ملحوظ في الدقة ودون الحاجة إلى ضبط دقيق. هذا يعني استهلاكًا أقل للذاكرة بست مرات، وسرعة انتباه تصل إلى ثمانية أضعاف على معالج H100. من المهم فهم هذه المشكلة جيدًا، لأن ضغط ذاكرة التخزين المؤقت للقيم والمفاتيح يُعد من أهم التحديات في الذكاء الاصطناعي المُستخدم حاليًا، وTurboQuant هو أوضح مؤشر علني حتى الآن على أن هذا المجال قد حقق نقلة نوعية.

أدير شركة كينتينو. يتضمن عملي قراءة أوراق بحثية كهذه بعناية، حتى لا يضطر عملاؤنا - من مُعدّني العملات الرقمية، والمطورين، والمهتمين بمجال الذكاء الاصطناعي والعملات الرقمية - إلى القيام بذلك. هذه المقالة هي محاولتي لشرح وظيفة برنامج TurboQuant، وموقعه ضمن موجة أبحاث ضغط ذاكرة التخزين المؤقت KV الأوسع نطاقًا في الفترة 2025-2026، وما يمكن توقعه خلال الأشهر الثمانية عشر القادمة.

مشكلة ذاكرة التخزين المؤقت KV، كما وردت بصراحة

عندما يُنشئ المُحوِّل نصًا، فإن كل رمز جديد يُعالج كل رمز سابق. ولتجنب إعادة حساب موترات المفاتيح والقيم لتلك الرموز السابقة في كل خطوة، يقوم النموذج بتخزينها. ويُسمى هذا المخزن بذاكرة التخزين المؤقت للمفاتيح والقيم.

يزداد حجم ذاكرة التخزين المؤقت خطيًا مع طول السياق. ضاعف حجم المحادثة، وضاعف حجم ذاكرة التخزين المؤقت. بالنسبة لنموذج متوسط ​​الحجم بسعة 8 بايتات يعمل بسياق يحتوي على 128 ألف رمز مميز في FP16 ، يمكن أن تصل ذاكرة التخزين المؤقت للمفتاح والقيمة بسهولة إلى عشرات الجيجابايتات لجلسة واحدة. قد يصل عدد الأوزان إلى ستة عشر وزنًا، لكن حجم ذاكرة التخزين المؤقت يفوقها بكثير.

تترتب على ذلك ثلاث نتائج عملية.

أولاً، يعتمد الاستدلال ذو السياق الطويل على الذاكرة قبل أن يعتمد على القدرة الحسابية. ستنفد ذاكرة الوصول العشوائي للفيديو (VRAM) قبل أن تنفد عمليات الفاصلة العائمة (FLOPs).

ثانيًا، تتزايد تكلفة الخدمة بشكل كبير مع زيادة حجم البيانات. يحتاج كل مستخدم متزامن إلى ذاكرة تخزين مؤقتة خاصة به. قد تتمكن وحدة معالجة الرسومات التي يمكنها معالجة خمسين محادثة قصيرة دفعة واحدة من معالجة خمس محادثات طويلة فقط.

ثالثًا، يظل الاستدلال على الجهاز وعلى الحافة بعيدًا عن متناول النماذج التي ستكون مفيدة بالفعل هناك، لأن ذاكرة التخزين المؤقت، وليس الأوزان، هي التي ترفض أن تتناسب.

لذا، فإن ضغط ذاكرة التخزين المؤقت للقيم والمفاتيح بكفاءة عالية - أي بشكل مكثف وبتكلفة منخفضة ودون التأثير على جودة المخرجات - ليس مجرد تحسين بسيط. فهو يُغير من جدوى أحمال العمل. وهذه هي المشكلة التي يعالجها برنامج TurboQuant.

ما يفعله برنامج TurboQuant فعليًا

TurboQuant خوارزمية ثنائية المراحل. كلا المرحلتين لا تتطلبان تدريبًا ولا تعتمدان على البيانات، ما يعني عدم الحاجة إلى ضبط دقيق، أو مجموعة بيانات معايرة، أو ضبط لكل نموذج على حدة. ما عليك سوى تطبيقها وستعمل. وهذا أهم من نسبة الضغط، لأنه ما يسمح بدمج هذه الطريقة بسلاسة في بنية الاستدلال الحالية.

المرحلة الأولى: بولار كوانت

المرحلة الأولى هي PolarQuant، وهي ورقة بحثية منفصلة لنفس المجموعة (زانديه، ميروكني وآخرون، AISTATS 2026). الفكرة هيكلية وليست إحصائية.

يُعدّ تكميم المتجهات عالية الأبعاد في الإحداثيات الديكارتية عمليةً معقدة. فالخطوة البديهية - وهي التطبيع إلى كرة الوحدة، ثم تكميم الاتجاه - تُصبح مكلفة، لأن حساب معيار كل متجه هو العائق الذي كنت تحاول تجاوزه. وقد تكبّدت الطرق السابقة هذا العبء، ومع ذلك فقدت دقتها عند استخدام عرض بتات منخفض.

يقوم PolarQuant بخطوتين لتجنب هذا المأزق. أولاً، يُطبّق دورانًا عشوائيًا، مما يجعل هندسة توزيع المتجهات أكثر قابلية للتنبؤ والتعامل، على عكس المتوقع. ثم يُحوّل البيانات إلى إحداثيات قطبية - نصف قطر للمقدار، وزاوية للاتجاه - ويُسقطها على شبكة دائرية يُمكن تكميمها دون الحاجة إلى خطوة التطبيع. والنتيجة هي تمثيل واضح ومنخفض الدقة لكل متجه، يحافظ على هندسته الأساسية.

المرحلة الثانية: كيو جيه إل

تترك خوارزمية PolarQuant وحدها خطأً متبقياً. أما المرحلة الثانية، وهي خوارزمية جونسون-ليندنستراوس الكمية (QJL)، فتقوم بإصلاحه بإضافة بت واحد لكل قيمة.

يُعدّ تحويل جونسون-ليندنستراوس نتيجةً كلاسيكية: إذ يُمكن إسقاط متجهات عالية الأبعاد في فضاء ذي أبعاد أقل بكثير باستخدام خريطة خطية عشوائية مع الحفاظ تقريبًا على المسافات بين كل زوج من المتجهات. ويُطوّر QJL هذا الأمر بالاحتفاظ فقط ببت الإشارة لكل إحداثية مُسقطة - زائد واحد، ناقص واحد، لا شيء آخر. ولا توجد أيّة تكلفة تخزين إضافية تتجاوز البت نفسه.

ما يقدمه QJL، من الناحية الرياضية، هو مُقدِّر غير متحيز لدرجات الانتباه. فهو يُصحِّح الخطأ المتبقي من PolarQuant دون إعادة إدخال التحيز الذي تعاني منه المخططات البسيطة ذات البتات المنخفضة. هذه هي الحيلة. بت واحد للإشارة، مُختار بعناية، يكفي لتصحيح خطأ المرحلة الأولى.

الأرقام

عند دمج المرحلتين، يتم استخدام ثلاث بتات لكل قيمة، أي أقل بست مرات من معيار FP16 الأساسي. على معالج NVIDIA H100، تتم عملية حساب لوجيت الانتباه بسرعة تصل إلى ثماني مرات عند استخدام 4 بتات مقارنةً بـ 32 بتًا. اختبرت جوجل خوارزميات Gemma وMistral وLlama-3.1-8B-Instruct على اختبارات LongBench وNeedle In A Haystack وZeroSCROLLS وRULER وL-Eval. وقد حافظت الخوارزمية على دقتها في جميع معايير السياق الطويل الخمسة. كما أظهر اختبار جانبي للبحث المتجهي على GloVe-200 تفوقًا في معدل الاستدعاء 1@k مقارنةً بمعياري PQ وRabbiQ الأساسيين، مما يشير إلى أن هذه الطريقة قابلة للتعميم لتشمل ما هو أبعد من ذاكرة التخزين المؤقت KV تحديدًا.

التقرير الكامل موجود على مدونة جوجل للأبحاث . سيتم عرض برنامج TurboQuant في مؤتمر ICLR 2026 في ريو دي جانيرو.

الموجة الأوسع

لا يُعدّ برنامج TurboQuant البرنامج الوحيد من نوعه. فهو أحدث وأبرز إضافة في مجال بحثي سريع التطور، وقراءته دون سياقه يُبالغ في تقدير حداثته. وهناك العديد من الطرق الأخرى التي طُرحت في أواخر عام 2025 وأوائل عام 2026، والتي تتناول نفس المشكلة من زوايا مختلفة.

يستهدف كل منها مجالًا متخصصًا مختلفًا. يُستخدم KVTC لإعادة الاستخدام دون اتصال بالإنترنت - تخزين البيانات من محادثة وتحميلها في محادثة أخرى، حيث يُمكن تحمل جهد ترميز أكبر مقابل ضغط أعلى بكثير. أما ChunkKV فهو مُناسب للحالات التي تتطلب ضغطًا قويًا مع الحفاظ على المعنى الدلالي، وهو أمر بالغ الأهمية في المهام التي يكون فيها فقدان رمز واحد أكثر ضررًا من فقدان رقم واحد من الدقة. بينما صُمم PM-KVQ خصيصًا لأحمال العمل ذات سلاسل التفكير الطويلة التي تُنتجها نماذج الاستدلال. أما KVPress فهو البنية التحتية التي تُمكّننا من مقارنة جميع هذه التقنيات بموضوعية.

تكمن مساهمة TurboQuant المميزة في الجمع بين التشغيل بدون تدريب، وملاءمة الاستدلال الفوري، ومُقدِّر غير متحيز مثبت. وهو البرنامج الأوفر حظاً للانتشار في أطر الإنتاج أولاً، تحديداً لأنه لا يتطلب أي شيء من مُشغِّل النموذج.

ما الذي يتيحه هذا

بالابتعاد عن الورق والتفكير في إلى أين سيؤدي هذا: من الأسهل تسمية الآثار العملية من تحديد حجمها.

يصبح الاستدلال طويل المدى أقل تكلفة بشكل ملحوظ. فإذا كان حجم ذاكرة التخزين المؤقت للقيم والمفاتيح أصغر بست مرات، يمكنك معالجة عدد أكبر من المستخدمين على نفس وحدة معالجة الرسومات، أو تقديم سياقات أطول بنفس الميزانية، أو كليهما. أي شخص يدير خدمة استدلال سيلاحظ هذا التحسن في هوامش أرباحه خلال ربع سنة من التكامل.

يصبح النشر على الحافة خيارًا عمليًا لأنواع من النماذج التي كانت سابقًا بعيدة المنال. فعلى سبيل المثال، يتحول نموذج بحجم 8 بايتات مع سياق طويل على وحدة معالجة الرسومات في محطة عمل، أو نموذج بحجم 3 بايتات على حاسوب محمول، من كونه "ممكنًا بالكاد" إلى "روتيني" عند تقليص حجم ذاكرة التخزين المؤقت بهذا القدر. ويشهد النشر المحلي للشركات التي لا تستطيع إرسال البيانات إلى واجهات برمجة التطبيقات السحابية - مثل الشركات القانونية والطبية وشركات القياس عن بُعد الصناعية - تحسنًا مماثلًا.

تتضح أهمية جانب الأجهزة بشكل مباشر، وهنا يتوقف الأمر عن كونه مجرد فكرة نظرية. فتقنيات الضغط مثل TurboQuant لا تُغير من أنواع وحدات معالجة الرسومات الموجودة، بل تُغير من أنواع أحمال العمل التي تُناسبها . وفي الوقت الحالي، فإن أحمال العمل التي يرغب المستخدمون بتشغيلها محليًا هي نماذج المعالجات الصينية مفتوحة المصدر الرائدة التي احتلت مكانة رائدة في السوق حتى الربع الأول من عام 2026.

من الجدير ذكر التشكيلة الحالية بشكل صريح، لأن هذا ما يسألنا عنه العملاء. كيمي K2.5 من شركة مونشوت للذكاء الاصطناعي — 1T إجمالي المعلمات، 32ب نشطوزارة التربية والتعليم سياق 256Kرخصة MIT - صدرت في 27 يناير وتتصدر معايير البرمجة والرياضيات بين الأوزان المفتوحة. GLM-5 من Z.ai — 744 مليار إجمالي / 40ب نشط, سياق 204Kمرخصة من معهد ماساتشوستس للتكنولوجيا - وهي حاليًا في صدارة مؤشر الذكاء المفتوح الوزن ومعتمدة من SWE-bench. ميني ماكس M2.5 - 229 مليار إجمالي / 10ب نشط, سياق 200K — تم إصداره في 12 فبراير، بسعر تنافسي، و80%+ SWE-bench. Qwen3-Coder-Next من علي بابا — 80 مليار إجمالي / 3ب نشط, سياق 256K أصلي، قابل للتوسيع إلى 1M مع غزل — بالإضافة إلى عائلة Qwen3 الأوسع من dense 0.8ب–27ب من خلال 397ب-أ17ب وزارة البيئة. جميع الأوزان مفتوحة. جميعها قابلة للشحن اليوم.

نحن نبني الآلات في كنتينو خصيصاً لهذا النوع من العمل، لذا دعوني أكون واضحاً بشأن الحسابات. خادم الاستدلال الرئيسي لدينا هو 4 × نفيديا RTX 4090 يبني - 96 جيجا بايت من ذاكرة الوصول العشوائي للفيديو المجمعة، AMD EPYC 7542 على رف ASRock ROMED8-2T, 256 جيجا بايت of DDR4-2666 ECC RDIMM, 2 TB NVMeمزدوج وحدات تزويد الطاقة بقدرة 2 كيلو واط، في 24U رفوفوق ذلك نبني 4 × RTX 5090 و 8 × RTX 5090 التكوينات (128 جيجا بايت و 256 جيجا بايت ذاكرة الوصول العشوائي للفيديو المجمعة) ومستوى مراكز البيانات 4× L40 / L40S (192 جيجا بايت المجمعة ECC) من أجل أحمال مستدامة من فئة المؤسسات وخدمة إنتاج على مدار الساعة طوال أيام الأسبوع.

ما يُغيّره TurboQuant في هذه الحالة هو حجم ذاكرة التخزين المؤقت للقيم الرئيسية (KV). تستخدم نماذج MoE الحديثة بالفعل آلية الانتباه المضغوط ( الانتباه الكامن على غرار MLA في Kimi، وGQA في Qwen3)، لذا فإن ذاكرة التخزين المؤقت للقيم الرئيسية لكل رمز فيها أصغر من مثيلاتها في نماذج Llama القديمة. بتطبيق TurboQuant، نحصل على زيادة تُقارب 6 أضعاف . والنتيجة العملية هي أن نافذة السياق التي يمكن أن يخدمها مربع معين فعليًا - بدلًا من مجرد الإعلان عنها - تتوسع بشكل ملحوظ. لم تتغير الأوزان ، بل تغيرت نقطة الاختناق.

ملاحظتان صادقتان. أولاً، كيمي K2.5 و GLM-5 كليا FP8 (1T و 744 مليار إجمالي لا تزال الأوزان (على التوالي) تتجاوز ما تحتويه هذه الصناديق - بالنسبة لأولئك الذين ينظرون إلى مجموعة أو يقبلون العدوانية INT4 التكميم. ثانيًا، تعتمد حدود الرموز الدقيقة على حجم الدفعة، وتكوين الانتباه المحدد للنموذج، والإطار (vLLM, SGLang, TensorRT-LLM جميعها تُطبّق نظام المفتاح والقيمة ذي البتات المنخفضة بطرق مختلفة). لكن الاتجاه هو المهم: أ 4 × RTX 4090 الصندوق الذي كان منطقيًا قبل عام لنماذج 13 مليار كثيفة هو الآن الحل الصحيح لـ Qwen3-Coder-Next بكامل طاقتها سياق 256K. A 4 × RTX 5090 يتعامل مع 80ب نشطنموذج برمجة من فئة واحدة يوفر مساحة كافية للمستخدمين المتزامنين. 8 × RTX 5090 or 4× L40S يفتح ميني ماكس M2.5 والإصدارات الأكبر من Qwen3 MoE على نطاق الإنتاج. لم يزد حجم الأجهزة، بل انخفض حجم العمل.

وأي عبء عمل استدلالي يعمل باستمرار على بيانات القياس عن بُعد التشغيلية يستفيد بشكل متناسب. يُعد تحسين أسطول التعدين مثالًا واقعيًا على ذلك: إذ تُشغّل شركات مثل OneMiners أنظمة كفاءة مدعومة بالذكاء الاصطناعي عبر آلاف من الدوائر المتكاملة الخاصة بالتطبيقات (ASICs)، وتتوسع طبقة الاستدلال الموجودة أسفل هذه الأنظمة بشكل مباشر مع كمية المعلومات السياقية التي يمكن لكل نموذج استيعابها بتكلفة منخفضة. لا يُحدث هذا النوع من الأبحاث تحولًا جذريًا في مثل هذه الأعباء بين عشية وضحاها، ولكنه يُوسّع نطاق ما هو مُتاح بتكلفة معقولة.

التوقعات الصادقة هي توقعات تدريجية. إن تقليل حجم الذاكرة بمقدار ستة أضعاف في إحدى نقاط الاختناق لا يُحدث تغييرًا جذريًا، بل يُنتج نسخةً أرخص قليلًا، وأطول سياقًا قليلًا، وأسهل نشرًا قليلًا من النسخة الحالية. ومع ذلك، يظل هذا توفيرًا كبيرًا في المال والجهد الهندسي، على مستوى القطاع بأكمله.

ما الذي يجب مشاهدته في عامي 2026-2027

بعض الأمور المحددة، مرتبة تقريبًا حسب احتمالية حدوثها.

تكامل الأطر البرمجية. ستتبنى كل من vLLM و TensorRT-LLM و SGLang أساليب مشابهة لأسلوب TurboQuant خلال أشهر، على الأرجح عبر KVPress كطبقة قياس الأداء. ويجعل تطبيق Triton مفتوح المصدر الذي نشره فريق جوجل هذه العملية شبه آلية.

دعم على مستوى الأجهزة. أبدت NVIDIA اهتمامًا بتقنيات الانتباه منخفضة البت من خلال كلٍ من KVTC وKVPress. من المتوقع أن تتعامل أدوات الجيل الجديد من Blackwell مع تنسيقات KV ذات 3-4 بت كعناصر أساسية وليست تجريبية.

توحيد الأساليب. تعالج الأساليب الخمسة المذكورة أعلاه مشاكل متداخلة. من المرجح أن تكون النتيجة النهائية هي مجموعة موحدة من الأساليب، تشمل الضغط الهندسي على غرار PolarQuant للانتباه الفوري، وتشفير الإنتروبيا على غرار KVTC للتخزين غير المتصل بالإنترنت، والتجميع الدلالي على غرار ChunkKV كواجهة أمامية. لم تصل أي ورقة بحثية منفردة إلى هذه النتيجة؛ بل تشكلت هذه المجموعة على مدار عام من العمل التكاملي.

انخفاضات حقيقية في تكاليف الخدمة. بحلول أواخر عام 2026، من المتوقع أن تنخفض تكاليف خدمة الاستدلال طويل السياق بشكل ملحوظ عما هي عليه اليوم، حيث سيأتي معظم هذا التحسن من ضغط البيانات بدلاً من استخدام رقائق سيليكون جديدة. هذه هي الطريقة الأمثل للتنبؤ بنجاح هذا المجال من العمل.

اغلاق

يمثل TurboQuant تقدماً حقيقياً في معالجة معضلة حقيقية، وقد ظهر ضمن موجة بحثية تعمل على حل المشكلة من جوانب متعددة في آن واحد. الأرقام الرئيسية مثيرة للإعجاب بحد ذاتها - ثلاث بتات، ست مرات، ثماني مرات - لكن الأهم من ذلك أنه لا يتطلب أي شيء من مُشغّل النموذج. الأساليب التي لا تحتاج إلى تدريب، والتي لا تعتمد على البيانات، هي التي يتم تطبيقها.

إذا كنت تستخدم الاستدلال السياقي الطويل على أي نطاق، فمن المفيد تتبعه. وإن لم تكن تستخدمه، فإنه لا يزال من المفيد فهمه، لأن اقتصاديات النماذج التي ستستخدمها في نهاية المطاف تُحدد، بهدوء، من خلال أبحاث مثل هذه.