ما هي القوة الإحصائية؟ ولماذا هي مهمة في تجارب A/B؟

القوة الإحصائية (Statistical Power) هي احتمال اكتشاف تأثير حقيقي عندما يكون موجوداً. تساوي 1 - β، حيث β هو احتمال الخطأ من النوع الثاني (عدم رفض الفرضية الصفرية الخاطئة). في تجارب A/B، القوة العالية تعطي ثقة بأن النتائج السلبية (عدم وجود فرق ذو دلالة إحصائية) تعني فعلاً عدم وجود تأثير، وليس عدم القدرة على اكتشافه. تعتبر القوة 80% معياراً شائعاً، مما يعني أن هناك 20% خطر عدم اكتشاف التأثير الحقيقي. القوة تعتمد على حجم العينة، حجم التأثير، تباين البيانات، ومستوى الدلالة. تجاهل القوة يؤدي إلى مخاطر: إما إهدار الموارد على تجارب غير قادرة على اكتشاف التأثيرات الصغيرة (قوة منخفضة)، أو القرارات الخاطئة إذا اعتقدنا أن غياب الدلالة يعني عدم وجود تأثير بينما هو غير موجود فعلاً. لذلك، حساب القوة المسبق (a priori) يساعد في تحديد حجم العينة المطلوب لتحقيق قوة كافية، مما يحسن كفاءة التجربة ويقلل التكاليف الزمنية والمالية.

كيف يؤثر حجم العينة على القوة الإحصائية؟

حجم العينة له علاقة طردية مع القوة الإحصائية. كلما زاد حجم العينة، زادت القوة. السبب الإحصائي هو أن الخطأ المعياري (standard error) يتناقص مع زيادة حجم العينة (se = σ/√n). عندما يكون الخطأ المعياري أصغر، يصبح من الأسهل اكتشاف الفروق الصغيرة، لأن الإحصاء الاختباري (z-value) يزداد مما يجعله يتجاوز القيمة الحرجة في كثير من الأحيان. على سبيل المثال، في تجربة A/B بمعدل تحويل أساسي 5% وتأثير 1%، إذا كان حجم العينة الإجمالي 2000 (1000 لكل مجموعة)، القوة قد تكون حوالي 40% فقط. لكن مع 10,000 إجمالي (5000 لكل مجموعة)، القوة ترتفع إلى حوالي 95%. لذلك، لضمان قوة كافية، من الضروري حساب حجم العينة المسبق بناءً على حجم التأثير المتوقع. في الممارسة، غالباً ما يكون حجم العينة محدوداً بالميزانية أو الوقت، لذا يمكن استخدام حسابات القوة لتقييم جدوى التجربة قبل إجرائها.

ما هو حجم التأثير؟ وكيف أختاره لتجربة A/B؟

حجم التأثير (Effect Size) هو الفرق المطلق (أو النسبي) الذي تتوقع اكتشافه بين المجموعتين. في تجارب A/B، عادةً ما يكون الفرق في معدل التحويل. اختيار حجم التأثير يعتمد على الأهداف التجارية والتأثير المتوقع من التغيير. مثلاً، إذا كنت تتوقع أن تغيير لون الزر يزيد التحويل بنسبة 0.5% (حجم تأثير مطلق 0.005)، فهذا هو حجم التأثير. لكن يجب أن يكون واقعياً: تأثيرات صغيرة جداً تحتاج عينات ضخمة لاكتشافها. من الناحية الإحصائية، كلما كان حجم التأثير أصغر، زادت صعوبة اكتشافه، وبالتالي تحتاج قوة عالية إلى حجم عينة أكبر. لذلك، اختر أصغر حجم تأثير يهم عملياً (minimum clinically important difference). في بعض الأحيان، يستخدم حجم التأثير المعياري (Cohen's h) لتوحيد القياس، ولكنه أقل شيوعاً في A/B تسويق. بشكل عام، نوصي بتحديد حجم التأثير بناءً على تحليل البيانات التاريخية أو التجارب السابقة.

ما هو مستوى الدلالة الإحصائية؟ وكيف يؤثر على القوة؟

مستوى الدلالة (α) هو احتمال رفض الفرضية الصفرية عندما تكون صحيحة (خطأ من النوع الأول). القيمة الشائعة هي 0.05. يؤثر α على القوة بطريقتين: أولاً، تقليل α (مثلاً إلى 0.01) يزيد من القيمة الحرجة للاختبار (z_α/2)، مما يجعل من الصعب رفض الفرضية الصفرية، وبالتالي تنخفض القوة. ثانياً، زيادة α (مثلاً إلى 0.1) تزيد القوة لكنها تزيد خطر الخطأ من النوع الأول. في حسابات القوة، عادةً ما نستخدم α = 0.05 كافتراض. لذلك، إذا كنت تريد قوة عالية جداً، قد تفكر في رفع α قليلاً، لكن هذا غير مقبول في كثير من المجالات بسبب خطر الإيجابيات الكاذبة. من المهم موازنة α وβ (قوة = 1-β). الممارسة الشائعة هي اختيار α=0.05 وقوة 0.8.

القوة الإحصائية لتجربة A/B

خطوات الاستخدام

الخطوة 1: فهم القوة الإحصائية (Statistical Power) القوة الإحصائية هي احتمالية رفض الفرضية الصفرية (عدم وجود فرق) عندما تكون الفرضية البديلة (وجود فرق حقيقي) صحيحة. بمعنى آخر، هي قدرة الاختبار على اكتشاف تأثير حقيقي إذا كان موجودًا. التفسير: كلما زادت القوة، قل خطر الخطأ من النوع الثاني (β)، وهو الفشل في اكتشاف التأثير الحقيقي. القوة = 1 - β. في تجارب A/B، نريد عادةً قوة لا تقل عن 80% (أي 0.8)، مما يعني أننا نقبل خطر 20% من عدم اكتشاف التأثير.

الخطوة 2: إدخال حجم العينة (Sample Size) أدخل إجمالي عدد الزوار أو المستخدمين في التجربة (المجموعتين معًا). حجم العينة يؤثر بشكل كبير على القوة: كلما زاد حجم العينة، زادت القوة الإحصائية. هذا لأن العينة الأكبر تقلل من التباين العشوائي وتزيد من دقة التقدير. على سبيل المثال، إذا كان لديك 1000 زائر لكل مجموعة، أدخل 2000 كحجم عينة إجمالي. تأكد من أن حجم العينة يشمل كلا المجموعتين بالتساوي.

الخطوة 3: تحديد حجم التأثير (Effect Size) أدخل الحد الأدنى من التحسن المطلق الذي تريد اكتشافه في معدل التحويل. على سبيل المثال، إذا كان معدل التحويل الأساسي 5% وتريد اكتشاف زيادة إلى 6%، فإن حجم التأثير = 0.01 (أي 1% نقطة مئوية). يمكن أن يكون حجم التأثير سالبًا إذا كنت تبحث عن انخفاض. يؤثر حجم التأثير على القوة: التأثيرات الأكبر يسهل اكتشافها، لذا تزداد القوة مع زيادة حجم التأثير.

القوة الإحصائية لتجربة A/B

أدخل القيم

خطوات الاستخدام

أمثلة محلولة

أدخل القيم

خطوات الاستخدام

حاسبات ذات صلة

1مثال 1: شركة للتجارة الإلكترونية تريد اختبار زر جديد لتحسين نسبة النقر إلى الظهور (CTR) من 10% إلى 12%. لديها 10,000 زائر لكل مجموعة. احسب القوة الإحصائية.

2مثال 2: شركة SaaS تريد تحسين معدل الاشتراك من 3% إلى 3.5%. لديها 5,000 مستخدم في كل مجموعة. هل القوة كافية؟