ما هي نافذة السياق (context window) ولماذا هي مهمة في نماذج الذكاء الاصطناعي التوليدي؟

نافذة السياق هي الحد الأقصى لعدد الرموز (tokens) التي يمكن لنموذج اللغة الكبير (LLM) معالجتها في وقت واحد لتوليد استجابة. تعمل النافذة كذاكرة قصيرة المدى للنموذج؛ فهو يأخذ بعين الاعتبار جميع الرموز داخل هذه النافذة لفهم المحادثة. بمجرد تجاوز الحد، تبدأ أقدم الرموز في الانزلاق خارج النافذة، مما يعني أن النموذج يفقد السياق القديم. هذا يشبه في البشر نسيان بداية محادثة طويلة. أهمية نافذة السياق تكمن في أنها تحدد قدرة النموذج على فهم السياقات الطويلة، مثل المستندات الضخمة أو المحادثات الممتدة. النماذج الحديثة مثل GPT-4 لها نوافذ مختلفة (8k, 32k, 128k)، واختيار الحجم المناسب يؤثر على جودة المخرجات. فإذا تجاوزت النافذة، سيفقد النموذج معلومات مهمة وقد يصبح غير قادر على الإجابة بدقة. لذا فإن مراقبة نسبة الاستخدام أمر حاسم للحفاظ على أداء موثوق.

كيف يمكنني حساب عدد الرموز المستخدمة بدقة في المحادثة مع نموذج مثل ChatGPT؟

حساب الرموز بدقة ليس سهلاً لأن النماذج المختلفة تستخدم خوارزميات ترميز مختلفة (مثل BPE). لكن يمكنك استخدام أدوات مثل 'Tokenizer' من OpenAI (متاح عبر صفحة OpenAI Tokenizer) لحساب عدد الرموز لنص معين. لاحظ أن كل كلمة لا تساوي رمزاً واحداً؛ فمثلاً كلمة 'Hello' هي رمز واحد، لكن 'unbelievable' قد تكون 3 رموز. إذا كنت تستخدم واجهة برمجة التطبيقات (API)، فسترسل لك النماذج عدد الرموز المستخدمة في كل طلب. بالنسبة للمحادثات التفاعلية، يمكنك تقدير العدد بتطبيق قاعدة: كلمة إنجليزية ≈ 1.3 رمز، أما العربية فكل حرف ≈ 2 رمز تقريباً. لكن التقدير قد لا يكون دقيقاً. الأفضل استخدام عداد رمز منفصل أو الاعتماد على إخراج API. في هذه الحاسبة، ندخل عدد الرموز المستخدمة يدوياً، ويمكنك الحصول عليه من لوحة التحكم أو بتجميع الأرقام من مصدر موثوق.

ما الفرق بين 'usedTokens' و 'systemPromptTokens' في سياق هذه الحاسبة؟

'usedTokens' هو إجمالي عدد الرموز التي تم استهلاكها حتى الآن في المحادثة بأكملها، بما في ذلك جميع الرسائل السابقة (كل من المستخدم والمساعد) بالإضافة إلى تعليمات النظام (system prompt). أما 'systemPromptTokens' فهو عدد الرموز التي تشغلها تعليمات النظام فقط. تعليمات النظام هي التعليمات الأساسية التي تحدد سلوك النموذج (مثل 'أنت مساعد مفيد') وتكون عادة ثابتة في بداية الجلسة. فكرة فصل هذين الرقمين تتيح لك تحليل مقدار السياق الذي تستخدمه التعليمات الثابتة مقابل الحوار الديناميكي. إذا كانت تعليمات النظام طويلة جداً، فقد تستهلك حيزاً كبيراً من النافذة دون داعٍ، مما يقلص المساحة المتاحة للحوار. في المقابل، إذا كان usedTokens مرتفعاً لكن systemPromptTokens منخفض، فالمشكلة تكمن في طول الحوار نفسه. هذا التفصيل يساعد في تحسين استخدام السياق.

ما هي أفضل الممارسات للحفاظ على استخدام فعال لنافذة السياق في التطبيقات التي تتطلب محادثات طويلة؟

للحفاظ على فعالية نافذة السياق في المحادثات الطويلة، اتبع هذه الممارسات: 1) اختصر تعليمات النظام إلى الحد الأدنى الضروري دون التضحية بالجودة. لأن كل رمز إضافي يقلص مساحة الحوار. 2) استخدم ملخصات: كل عدة جولات، اختصر المحادثة السابقة في بضع جمل واحذف الأجزاء غير الضرورية. مثلاً بعد 10 جولات، أضف رسالة نظام تلخص السياق القديم. 3) استخدم نماذج ذات نوافذ أكبر إذا تطلب الأمر، مثل الانتقال من 4k إلى 8k أو 32k. لكن انتبه إلى التكلفة لأن النوافذ الأكبر غالباً ما تكون أغلى. 4) تجنب إضافة سياق غير ضروري مثل التاريخ والوقت إذا لم تكن بحاجة إليه. 5) راقب نسبة الاستخدام بانتظام باستخدام هذه الحاسبة، وضع حداً آمناً (مثلاً 80%) لاتخاذ إجراءات وقائية. 6) استخدم تقنيات مثل 'sliding window' أو 'retrieval augmented generation (RAG)' حيث تحتفظ بقاعدة معرفية خارجية وتسترد الأجزاء ذات الصلة بدلاً من إدراج كل شيء في النافذة. هذه الممارسات تضمن بقاء النموذج دقيقاً ومستجيباً حتى مع الحوارات المطولة.

استخدام نافذة السياق

خطوات الاستخدام

الخطوة الأولى: فهم المدخلات. أدخل الحجم الإجمالي لنافذة السياق (totalContextSize) وهو الحد الأقصى لعدد الرموز (tokens) التي يمكن للنموذج معالجتها دفعة واحدة. هذا الرقم يحدده النموذج الذي تستخدمه (مثل GPT-3.5 بسعة 4096 رمزاً). أدخل عدد الرموز المستخدمة حالياً (usedTokens) بما في ذلك جميع جولات المحادثة السابقة ورسالة النظام. وأخيراً أدخل عدد رموز تعليمات النظام (systemPromptTokens) والتي تشكل جزءاً من الرموز المستخدمة.

الخطوة الثانية: حساب الرموز المتاحة للحوار. اطرح رموز تعليمات النظام من إجمالي الرموز المستخدمة للحصول على عدد الرموز المخصصة للحوار فقط (dialogTokens = usedTokens - systemPromptTokens). هذا يساعد في تحليل توزيع الاستخدام بين التعليمات الثابتة والمحادثة الديناميكية.

الخطوة الثالثة: حساب نسبة الاستخدام الإجمالي. استخدم المعادلة: (usedTokens / totalContextSize) * 100. هذه النسبة تخبرك بكمية النافذة المستخدمة حالياً. على سبيل المثال، إذا كان الإجمالي 4096 والاستخدام 2048 فالنسبة 50%.

استخدام نافذة السياق

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أدخل القيم

خطوات الاستخدام

حاسبات ذات صلة