ما هي درجة BLEU وكيف تُحسب بالتفصيل؟

درجة BLEU (Bilingual Evaluation Understudy) هي مقياس شائع لتقييم جودة الترجمة الآلية مقارنة بواحدة أو أكثر من الترجمات المرجعية البشرية. تعتمد على مفهوم دقة n-grams، حيث يتم حساب عدد المجموعات المتتابعة من الكلمات (n-grams) في الترجمة الآلية التي تظهر في المرجع، مقسمة على إجمالي عدد n-grams في الترجمة الآلية. للحصول على درجة BLEU، نحسب أولاً دقة كل رتبة من 1 إلى 4 (انجرام، بيجرام، ترايجرام، 4-غرام). ثم نأخذ المتوسط الهندسي لهذه الدقات الأربع (أي الجذر الرابع لمنتجها) ونضربه في عامل جزاء على القصر (Brevity Penalty) إذا كانت الترجمة الآلية أقصر من المرجع. الصيغة النهائية: BLEU = BP * exp( (1/4) * Σ ln(p_n) ) حيث p_n هي دقة الرتبة n، و BP = min(1, exp(1 - ref_len/cand_len)). تتراوح الدرجة بين 0 و 1 (أو 0-100)، وكلما ارتفعت كلما كانت الترجمة أقرب إلى المرجع. يُستخدم المقياس في معالجة اللغة الطبيعية لمقارنة النماذج المختلفة، لكن له عيوب مثل عدم مراعاة المرادفات أو التراكيب النحوية المختلفة.

ما هو تأثير عامل الجزاء على القصر (Brevity Penalty) في حساب BLEU؟

عامل الجزاء على القصر (BP) هو عنصر أساسي في درجة BLEU لمنع الترجمات القصيرة جدًا من الحصول على درجات عالية بشكل غير عادل. إذا كانت الترجمة الآلية أقصر من المرجع، فقد تحقق دقة عالية لمجرد أنها تحتوي على كلمات شائعة فقط؛ لذلك يتم تطبيق BP لخفض النتيجة. صيغة BP هي: BP = 1 إذا كان طول الترجمة (c) أكبر من أو يساوي طول المرجع (r)، وإلا BP = e^(1 - r/c). على سبيل المثال، إذا كانت الترجمة تحتوي على 5 كلمات والمرجع على 10 كلمات، فإن BP = e^(1 - 10/5) = e^(-1) ≈ 0.368. هذا يعني أن الدرجة ستنخفض إلى حوالي 36.8% من قيمتها الأصلية بعد تطبيق عامل الجزاء. يضمن هذا العامل أن الترجمة يجب أن تكون بطول مناسب لتكون مقبولة. إذا كانت الترجمة أطول من المرجع، فلا يوجد جزاء، بل قد تعاني من انخفاض الدقة بسبب وجود كلمات زائدة. وبالتالي، يشجع BP على إنتاج ترجمات بطول مماثل للمرجع.

ما هي حدود وعيوب درجة BLEU في تقييم الترجمة الآلية؟

على الرغم من انتشاره، إلا أن درجة BLEU لها عدة قيود مهمة. أولاً، يعتمد بشكل كبير على مطابقة n-grams الحرفية، مما يعني أنه لا يأخذ في الاعتبار المرادفات أو الصياغات المختلفة التي قد تكون صحيحة نحويًا ودلاليًا. على سبيل المثال، إذا قالت الترجمة الآلية 'The cat sat on the mat' والمرجع 'The cat sat on the rug'، فستحصل على درجة منخفضة لأن 'mat' و'rug' مختلفان، مع أنهما قد يكونان مقبولين. ثانيًا، BLEU لا يقيس السياق أو المعنى العام للجملة، بل يعتمد فقط على الأنماط السطحية. ثالثًا، يعاني من مشكلة الحساسية للطول: إذا كانت الترجمة الآلية طويلة جدًا، فقد تنخفض الدقة بسبب زيادة n-grams غير المتطابقة، بينما إذا كانت قصيرة جدًا، يعمل BP على خفض النتيجة. رابعًا، BLEU لا يأخذ بعين الاعتبار التراكيب النحوية أو الترتيب الصحيح للكلمات بخلاف n-grams. أخيرًا، يحتاج إلى مراجع بشرية متعددة ليكون أكثر دقة، حيث أن الترجمة الواحدة قد لا تغطي جميع التعبيرات الصحيحة الممكنة. لذلك، يُنصح باستخدام BLEU جنبًا إلى جنب مع مقاييس أخرى مثل METEOR أو ROUGE أو تقييم بشري.

كيف يمكن تحسين درجة BLEU في نماذج الترجمة الآلية العصبية؟

تحسين درجة BLEU يتطلب تحسين دقة الترجمة عند مستويات n-grams المختلفة. في نماذج الترجمة الآلية العصبية (NMT)، يمكن اتباع عدة استراتيجيات: 1) استخدام بيانات تدريب أكبر وأكثر تنوعًا لتغطية أنماط لغوية متعددة. 2) تضمين تقنيات مثل الترجمة العكسية (back-translation) لزيادة البيانات الاصطناعية. 3) تحسين خوارزمية البحث (beam search) أثناء التوليد، مثل ضبط عرض الحزمة (beam width) أو استخدام طولية النهاية (length penalty) لتوليد ترجمات متوازنة. 4) استخدام آلية الانتباه (attention) متعددة الرؤوس لالتقاط التبعيات الطويلة. 5) تطبيق تقنيات مثل التغذية الراجعة التلقائية (reinforcement learning) حيث يتم تحسين النموذج مباشرة لتعظيم درجة BLEU (استخدام BLEU كدالة خسارة). 6) استخدام مجموعات متعددة من المراجع لتدريب النموذج. مع ذلك، يجب الحذر من الإفراط في تحسين BLEU على حساب الجودة البشرية، لأن BLEU لا يقيس جميع جوانب الترجمة الجيدة.

حساب درجة BLEU

خطوات الاستخدام

الخطوة 1: إدخال عدد التطابقات لكل نوع من أنواع n-grams. قم بإدخال عدد الوحدات النحوية (unigrams) المتطابقة بين الترجمة الآلية والمرجعية، ثم عدد الثنائيات (bigrams) المتطابقة، وهكذا حتى الرباعيات (4-grams). هذه الأعداد تمثل عدد المرات التي ظهرت فيها سلسلة متتالية من الكلمات في الترجمة الآلية وتطابقت مع نصوص مماثلة في المرجع (مع مراعاة القص لتفادي التكرار المفرط). كلما زادت هذه الأعداد، زادت جودة الترجمة. يتم حساب التطابقات عن طريق مقارنة كل n-gram في الترجمة الآلية مع كل n-gram في المرجع، وأخذ الحد الأدنى من التكرارات لكل n-gram.

الخطوة 2: إدخال إجمالي عدد n-grams في الترجمة الآلية. هذا الرقم هو مجموع عدد جميع أنواع n-grams في الترجمة الآلية من الرتبة 1 إلى 4. إذا كان طول الترجمة الآلية هو H كلمة، فإن عدد unigrams هو H، وعدد bigrams هو H-1، وعدد trigrams هو H-2، وعدد 4-grams هو H-3 (بشرط أن H ≥ 4). وبالتالي فإن إجمالي n-grams = H + (H-1) + (H-2) + (H-3) = 4H - 6. يمكنك حساب ذلك يدويًا أو استخدام حاسبة الطول لإيجاده. هذا الرقم ضروري لحساب الدقة لكل رتبة، حيث أن الدقة = عدد التطابقات / عدد n-grams في الترجمة الآلية لتلك الرتبة.

الخطوة 3: إدخال طول الترجمة الآلية (عدد الكلمات) وطول المرجع المرجعي. يتم استخدام هذين الطولين لحساب عامل الجزاء على القصر (brevity penalty). إذا كانت الترجمة الآلية أقصر من المرجع، يتم تطبيق معامل جزاء لتقليل النتيجة، لأن الترجمات القصيرة جدًا قد تحقق دقة عالية بشكل مصطنع. صيغة عامل الجزاء: BP = exp(1 - طول المرجع / طول الترجمة الآلية) إذا كانت الترجمة الآلية أقصر، وإلا BP = 1. هذا العامل يضمن أن الترجمات الطويلة الكافية تحصل على تقييم عادل.

حساب درجة BLEU

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أدخل القيم

خطوات الاستخدام

حاسبات ذات صلة

2مثال 2: ترجمة آلية طولها 10 كلمات، ومرجع طوله 12 كلمة. التطابقات: unigrams = 8، bigrams = 5، trigrams = 3، 4-grams = 1. إجمالي n-grams في الترجمة = 4*10 - 6 = 34. احسب درجة BLEU.