ما أهمية F1-score مقارنة بالدقة (Accuracy)؟

F1-score هو مقياس مهم جداً عندما تكون مجموعات البيانات غير متوازنة (imbalanced). على سبيل المثال، في مشكلة اكتشاف الاحتيال، عادة ما تكون الحالات الإيجابية (الاحتيال) قليلة جداً (مثل 0.1%) مقارنة بالحالات السلبية (99.9%). في هذه الحالة، قد تكون الدقة (Accuracy) مضللة: إذا توقع النموذج أن جميع الحالات سلبية، فستكون الدقة 99.9%، لكن النموذج عديم الفائدة لأنه لم يكتشف أي حالة احتيال. F1-score يجمع بين الدقة (Precision) والاستدعاء (Recall) في مقياس واحد. الدقة تهتم بمدى دقة التوقعات الإيجابية، بينما الاستدعاء يهتم بتغطية الحالات الإيجابية الفعلية. F1-score هو الوسط التوافقي (harmonic mean) لهما، ويميل ليكون قريباً من القيمة الأصغر بينهما. لذلك، إذا كان أحد المقياسين منخفضاً، يتأثر F1-score سلباً. بالإضافة إلى ذلك، هناك مقاييس أخرى مثل precision-recall curve و AUC-PR التي تستخدم لتقييم أداء النموذج في حالة عدم التوازن. لكن F1-score يبقى مقياساً بسيطاً وقوياً لمقارنة النماذج. في سياقنا، الحاسبة توفر جميع المقاييس معاً لفهم شامل.

ماذا يحدث إذا كانت القيم المدخلة صفراً في المقام؟ كيف تتعامل الحاسبة مع ذلك؟

في حالة ما إذا كان المقام في حساب Precision أو Recall أو F1-score يساوي صفراً، فإن هذه المقاييس تكون غير معرفة (undefined). على سبيل المثال، إذا كان tp + fp = 0 (أي لا يوجد أي توقع إيجابي)، فإن Precision تكون 0/0 غير معرفة. وبالمثل، إذا كان tp + fn = 0 (أي لا توجد حالات إيجابية فعلية)، فإن Recall غير معرف. في معظم التطبيقات العملية، نعتبر أن القيمة في هذه الحالة هي 0 أو 1؟ هناك اتفاقيات مختلفة: بعض العلماء يعتبرون Precision = 1 إذا لم يتم عمل أي توقع إيجابي (لأنه لا توجد false positives)، ويعتبرون Recall = 1 إذا لم تكن هناك حالات إيجابية فعلية (لأنه لا توجد false negatives). لكن الأكثر شيوعاً في أدوات التعلم الآلي (مثل sklearn) هو تعيين القيمة إلى 0 عندما يكون المقام صفراً، أو إصدار تحذير. حاسبة مصفوفة الارتباك هذه تستخدم قاعدة: إذا كان المقام صفراً، يتم تعيين المقياس إلى 0 (لأنه لا توجد تنبؤات صحيحة إيجابية). بالنسبة لـ F1-score، إذا كان كل من Precision و Recall معرفين ولكن مجموعهما صفر، يتم تعيينه إلى 0 أيضاً. نوصي المستخدم بالتحقق من مدخلاته للتأكد من أنها تمثل حالة واقعية.

كيف يمكن تحسين دقة (Precision) واستدعاء (Recall) في نموذج التصنيف؟

تحسين هذه المقاييس يعتمد على طبيعة المشكلة وبياناتها. هناك عدة استراتيجيات: 1. **ضبط عتبة القرار (Threshold Tuning)**: النماذج عادة تعطي احتمالات. بتغيير عتبة التصنيف (مثلاً من 0.5 إلى 0.7) يمكن زيادة الدقة على حساب الاستدعاء، أو العكس. منحنى ROC و precision-recall يساعدان في اختيار العتبة المثلى. 2. **معالجة عدم التوازن**: إذا كانت الفئات غير متوازنة، يمكن استخدام تقنيات مثل إعادة العينات (oversampling للفئة الأقل أو undersampling للفئة الأكبر)، أو استخدام خوارزميات مرجحة (class weights). 3. **اختيار ميزات أفضل (Feature Engineering)**: إضافة ميزات أكثر تمييزاً أو تقليل الضوضاء يمكن أن يحسن كلا المقياسين. 4. **استخدام نماذج أكثر تعقيداً أو جمع نماذج (Ensemble)**: مثل Random Forest، Gradient Boosting، أو الشبكات العصبية العميقة قد تعطي أداءً أفضل. 5. **تقليل false positives و false negatives**: فهم أسباب الأخطاء. مثلاً، إذا كانت false positives كثيرة، قد يكون النموذج حساساً جداً، فيمكن تقليل التعقيد أو تطبيق تسوية (regularization). إذا كانت false negatives كثيرة، قد يكون النموذج غير حساس بما يكفي. 6. **استخدام مقاييس أخرى كهدف للتحسين**: أحياناً تحسين F1-score مباشرة كدالة خسارة (F1-loss) يمكن أن يحقق توازناً. يجب ملاحظة أن هناك دائماً مفاضلة (trade-off) بين Precision و Recall. لا يمكن زيادتهما معاً دون تغيير جوهري في النموذج أو البيانات. لذلك، يجب اختيار المقياس المناسب حسب التطبيق: مثلاً في تشخيص الأمراض الخطيرة، نفضل Recall عالي حتى لو تضحى ببعض الدقة.

ما الفرق بين true positive rate (TPR) و precision و recall؟

المصطلحات يمكن أن تكون مربكة. TPR (True Positive Rate) يعرف أيضًا بـ Recall أو Sensitivity. وهو نفس المقياس: tp / (tp + fn). بينما Precision هو tp / (tp + fp). الفرق الأساسي هو أن TPR/Recall يركز على الحالات الإيجابية الفعلية: من بين جميع الإيجابيات الحقيقية، كم تم توقعها بشكل صحيح؟ أما Precision فيركز على التنبؤات الإيجابية: من بين جميع التنبؤات الإيجابية التي قام بها النموذج، كم كانت صحيحة؟ في سياق مصفوفة الارتباك، لدينا أيضًا Specificity (النوعية) = tn / (tn + fp) وهي مكملة لـ Recall على الفئة السلبية. لكن معظم التطبيقات تركز على الفئة الإيجابية. في الحاسبة الخاصة بنا نقدم فقط المقاييس الأساسية الأربعة المذكورة سابقاً. في بعض الأدبيات، يستخدمون مصطلح "sensitivity" لـ Recall و "specificity" لـ (tn / (tn+fp)). أما "accuracy" فهو شامل. لذلك من المهم فهم السياق. في عالم تعلم الآلة، يُفضل عادة استخدام مصطلحات "precision" و "recall" و "F1" لأنها أكثر شيوعاً في التصنيف الثنائي.

مصفوفة الارتباك

خطوات الاستخدام

أدخل قيم مصفوفة الارتباك: true positives (tp) و false positives (fp) و false negatives (fn) و true negatives (tn). هذه القيم تمثل نتائج تصنيف نموذج التعلم الآلي. يجب أن تكون أعدادًا صحيحة غير سالبة. على سبيل المثال، في مشكلة تشخيص مرض، tp = عدد المرضى الذين تم تشخيصهم بشكل صحيح، fp = عدد الأصحاء الذين تم تشخيصهم خطأً كمرضى، fn = عدد المرضى الذين تم تشخيصهم خطأً كأصحاء، tn = عدد الأصحاء الذين تم تشخيصهم بشكل صحيح.

بعد إدخال القيم، تقوم الحاسبة تلقائيًا بحساب المقاييس التالية: الدقة (Accuracy) = (tp + tn) / (tp + tn + fp + fn). هذا المقياس يمثل نسبة التنبؤات الصحيحة من بين جميع التنبؤات. قيمته بين 0 و 1، وكلما اقترب من 1 كان الأداء أفضل.

ثم تحسب الحاسبة الدقة (Precision) = tp / (tp + fp). هذا المقياس يجيب على السؤال: من بين جميع الحالات التي تنبأ النموذج بأنها إيجابية، كم منها كانت إيجابية فعليًا؟ قيمته بين 0 و 1، وهو مهم عندما تكون تكلفة false positives عالية (مثل تشخيص مرض خطير لشخص سليم).

مصفوفة الارتباك

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أدخل القيم

خطوات الاستخدام

حاسبات ذات صلة

1مثال: نموذج تشخيص السرطان. لدينا 1000 عينة، 100 منها مصابة بالسرطان فعليًا (إيجابية) و900 سليمة (سلبية). نتائج النموذج: tp=80, fp=10, fn=20, tn=890. احسب الدقة والضبط والاستدعاء و F1.

2مثال آخر: نموذج كشف البريد العشوائي. من بين 500 بريد، 150 بريد عشوائي (إيجابي) و350 غير عشوائي (سلبي). نتائج النموذج: tp=140, fp=20, fn=10, tn=330. احسب المقاييس.