חיפוש באתר

קישורים

עמודים

קטגוריות

מה ה-P-value הוא לא?

ברשימה קודמת הסברתי מהו ה-p-value, אותו ערך מיסטי שאיש כמדומה אינו יכול לחיות חיים שלמים בלעדיו. אחזור ואומר, לטובת מי שלא זוכר, כי בניסוי מבוקר המלווה בבדיקת השערות סטטיסטיות, הp-value הוא ההסתברות כי בניסוי חוזר תתקבל עדות לדחיית השערת האפס שהינה משכנעת לפחות כמו העדות שהתקבלה בניסוי הנוכחי, וכל זאת תחת ההנחה כי השערת האפס נכונה.

לאחר שנערך הניסוי והתקבל ה-p-value, מה עושים איתו? בקורסים של מבוא לסטטיסטיקה למיניהם נהוג ללמד כי אם ה-p-value קטן מ-5% אז דוחים את השערת האפס לטובת ההשערה האלטרנטיבית, ואם הוא גדול מ-5% אז לא דוחים את השערת האפס (ההסתברות כי יהיה שווה בדיוק ל-5% היא, תיאורטית, 0). אפשר להראות כי הכלל הזה שקול לכלל ההחלטה המתקבל מהלמה של ניימן ופירסון (בין שתי טעויות), אם רמת המובהקות שנקבעה מראש לבדיקת ההשערות היא 5% (למה 5%? על כך בשיעור ההיסטוריה הקרוב). עם זאת, אני וחברי למקצוע נתקלים פעמים רבות בפרשנויות שגויות למושג ה-p-value ולערכיו. רשימה זו תסקור חלק מהפרשנויות האלה ותנסה להסביר מדוע הן שגויות. הרשימה מתבססת בחלקה על הערך של p-value בויקיפדיה (באנגלית),  ועל מאמרם של שטרן וסמית: "Sifting the evidence—what's wrong with significance tests?".

ה-p-value אינו ההסתברות כי השערת האפס נכונה. אני שומע את הפרשנות הזו לעתים קרובות: "יצא p-value של 2%, ולכן יש רק 2% סיכוי שאין הבדל בין הקבוצות". אבל זה פשוט לא נכון. ה-p-value הוא פונקציה של תוצאות הניסוי שערכנו. בין הקבוצות יש הבדל או שאין הבדל, וקיומו או אי קיומו של ההבדל הזה, או במלים יותר פורמליות, נכונותה או אי נכונותה של השערת האפס, אינו תלוי בתוצאות הניסוי שערכנו. אם השערת האפס נכונה, אז ההסתברות שהיא נכונה היא 1, ואם לא, אז ההסתברות היא 0. ה-p-value רק מבטא את חוזקן של העדויות שאספנו נגד נכונותה של השערת האפס. באותו אופן, 1 פחות ה-p-value אינה ההסתברות כי ההשערה האלטרנטיבית נכונה. (לפני שתגיבו: הסטטיסטיקה הבייסיאנית מאפשרת השמת הסתברויות להשערות, אולם יש לכך מחיר כבד).

ה-p-value אינו ההסתברות כי תוצאות הניסוי התקבלו "במקרה". כבר התייחסתי לכך ברשימה הקודמת שהבהירה את הפרשנות הלא נכונה שנתן הוול-סטריט ג'ורנל ל-p-value של הניסוי לחיסון לוירוס HIV. הראיתי כי ניתן לחשב את ההסתברות לקבלת תוצאת הניסוי בהנחה שהשערת האפס נכונה, והסתברות זו שונה תמיד מה-p-value על פי עצם הגדרתו.

באופן דומה, ה-p-value אינה ההסתברות כי בחזרה על הניסוי תתקבל אותה תוצאה כמותית (לדוגמא, בניסוי הפרות שתיארתי ברשימה הקודמת, ה-p-value שחושב שם אינו ההסתברות כי בניסוי חוזר יהיו שוב 15 המלטות נקבה).

ערכים נמוכים של ה-p-value אינם "מוכיחים" כי השערת האפס נכונה. זכרו כי ה-p-value מחושב תחת ההנחה כי השערת האפס נכונה, אז איך בדיוק הוא יכול "להוכיח" את ההנחה שעליה הוא מתבסס?

ה-p-value אינו ההסתברות לדחיה מוטעית של השערת האפס. ההסתברות לדחיה מוטעית של השערת האפס אמורה להקבע מראש לפני עריכת הניסוי, וממנה נגזר כלל ההחלטה לדחיית השערת האפס על פי הלמה של ניימן ופירסון.

באופן דומה, ה-p-value אינו ההסתברות כי בחזרה על הניסוי תתקבל אותה תוצאה איכותית (השערת האפס תידחה שוב, או תתקבל שוב). ההסתברות לדחיה (או קבלה) חוזרת של השערת האפס בניסוי חוזר נגזרת מרמת המובהקות והעוצמה של המבחן הסטטיסטי, מהמצב האמיתי (כלומר מנכונותה של השערת האפס או ההשערה האלטרנטיבית), וכן מפרמטרים נוספים.

p-value הקרוב בערכו לרמת המובהקות (בדרך כלל 5%) אינו מעמיד בספק את ההחלטה המתקבלת. אם מקבלים p-value של 0.048 למשל, פירוש הדבר כי תוצאות הניסוי סיפקו עדות מספקת כדי לדחות את השערת האפס (אם רמת המובהקות הנדרשת היא אכן 5%), ולכן דינה להידחות, ובאותו אופן p-value של 0.052 פירושו כי תוצאות הניסוי אינן מהוות עדות מספקת לדחיית השערת האפס. טענה כמו "הערך של ה-p-value מובהק, אבל גבולי…" הינה בעייתית, כיוון שהיא למעשה נסיון לשנות את כלל ההחלטה בדיעבד, לאחר שהניסוי בוצע ותוצאותיו התקבלו. בדרך כלל טענות כאלה נשמעות כאשר התוצאות אינן מתיישבות עם האמונות של האדם שמנסה לפרש את תוצאת הניסוי ("התוצאות מראות שהטיפול שנתנו עוזר בדיוק כמו שתיית מים, אבל אני יודע שזה עוזר לרפא את המחלה הזו…").

באופן דומה, p-value שערכו נמוך במיוחד (או גבוה במיוחד) אינו מחזק יותר את ההחלטה המתקבלת, ובמלים אחרות – p-value נמוך יותר אינו "דוחה יותר" את השערת האפס. אמנם ערך נמוך יותר של p-value אומר כי ישנן עדויות רבות יותר לדחיית השערת האפס, ובכל זאת, זה לא משנה אם דוחים את השערת האפס עם p-value של 0.048 או 0.001. השורה התחתונה היא אותה שורה: או שדוחים או שלא. כדי לחדד את הנקודה, אביא כאן את הדוגמא ששמעתי פעם ממורי ורבי, פרופ' צבי גילולה. ברשימה הקודמת הבאתי אנלוגיה מעולם המשפט. תיארתי מצב בו אדם מואשם בשוד תחנת דלק, ומספר שופטים היפותטיים שלכל אחד מהם כלל החלטה אחר לפיו יקבע אם הנאשם אשם.שופט אחד יכול להחליט כי ירשיע את הנאשם אם יופיעו בפניו שני עדי ראיה שיעידו כי הנאשם הוא אכן השודד. שופט מחמיר יותר  ידרוש שלושה עדים, וגם הוכחה כי הכסף נמצא בידי הנאשם, ושופט אחר אולי יסתפק בוידאו של מצלמת האבטחה. עכשיו תארו לכם שני שודדי תחנות דלק. אחד מהם שדד את תחנת הדלק בתל-מונד, ושני עדי ראיה הופיעו בבית המשפט והעידו כי אכן ביצע את השוד. השודד השני בחר לשדוד דווקא את תחנת הדלק שליד אצטדיון טדי בירושלים, במוצאי שבת, כאשר זה עתה מכבי חיפה ניצחה את בית"ר ירושלים שלוש אפס, ועשרים אלף איש יצאו מהאצטדיון, ראו את השוד, וכולם מוכנים לבוא לבית המשפט ולהעיד נגדו, כי השודד אוהד הפועל. האם השודד השני אשם יותר מהשודד הראשון?

ואחרון חביב: ערכו של ה-p-value אינו מעיד על גודל האפקט או חשיבותו. אפקט (הבדל בין הקבוצות) נמוך יכול להיות מובהק, ואפקט גבוה יכול להיות לא מובהק. אפקט מובהק יכול להיות בלתי משמעותי בהקשר בו נערך הניסוי (וחלק מקוראיי תהו ברשימה על הניסוי לחיסון נגד HIV האם האפקט המובהק שגילה הניסוי הוא גם משמעותי מבחינה קלינית). אפקט לא מובהק יכול להיות משמעותי – זה קורה הרבה בניסויים קליניים בשלב II. כל האפשרויות קיימות.

8 תגובות ל“מה ה-P-value הוא לא?”

  • תגובה מאת שחר
    תאריך 25 בנובמבר 2009 20:54

    יוסי, תודה!
    כל כך הרבה זמן אני מביט בכוכביות קטנות מ 0.05 ורק היום באמת הבנתי את המשמעות האמיתית שלהן. אני מקוה.

  • תגובה מאת גיל
    תאריך 31 בדצמבר 2009 11:47

    כתבה מצויינת!

  • תגובה מאת גיל קלעי
    תאריך 28 בינואר 2012 22:22

    "אחזור ואומר, לטובת מי שלא זוכר, כי בניסוי מבוקר המלווה בבדיקת השערות סטטיסטיות, הp-value הוא ההסתברות כי בניסוי חוזר תתקבל עדות לדחיית השערת האפס שהינה משכנעת לפחות כמו העדות שהתקבלה בניסוי הנוכחי, וכל זאת תחת ההנחה כי השערת האפס נכונה."

    בכל זאת יש עוד מה להגיד כאן. אם בניסוי מבוקר הp-value מאד נמוך האם יש טעם בכלל לחזור על הניסוי? הרי חזרה על ניסויים היא בסיס למתודולוגיה המדעית – מה הטעם לחזור על ניסוי שהp-value שהושג בו מאד נמוך?

    • תגובה מאת יוסי לוי
      תאריך 30 בינואר 2012 23:06

      יש לי בעיה עם השאלה – היא כוללת את המונח "p-value מאד נמוך" שאיני מכיר בו. יש רק שני סוגים של p-value: מובהק ולא מובהק.

      ובכל זאת אנסה לענות, אם כי התשובה אינה רק סטטיסטית אלא גם פילוסופית. התשובה לא תהיה מנוסחת בדיוק מתמטי, ולכן אם טעיתי או לא דייקתי, הקוראים מתבקשים לסלוח לי ולתקן אותי.

      למה לחזור על ניסוי בו התקבלה תוצאה מובהקת? קודם כל, כי עדיין ייתכן שאירעה טעות מסוג ראשון – זו המשמעות של רמת המובהקות. חוץ מזה, ניוסי מוצלח אינו הוכחה לתיאוריה, אלא רק עדות לנכונותה, כי על פי פופר במדע אי אפשר באמת להוכיח, רק להפריך. לכן חשוב לחזור גם על ניסויים שהצליחו כדי לאסוף עדויות נוספןת לנכונות התיאוריה

  • תגובה מאת גיל קלעי
    תאריך 5 ביוני 2012 21:23

    תודה רבה על התשובה, יוסי. (הכוונה שלי היתה שה p-value שהתקבל היה לא רק מובהק, אלא קרוב מאד לאפס- נאמר 0000001.)

    אני מסכים עם מה שאתה אומר. האופן שאני רואה זאת (כסטאטיסטיקאי חובב וחובב סטאטיסטיקה) הוא שמבחן המובהקות הוא חלק חשוב מהתהליך של ביסוס השערת המחקר והתאוריה שבבסיס המחקר. אבל יש מרכיבים חשובים אחרים שפגמים בהם יכולים להביא לכך שהמחקר מוטעה למרות שה p-value מובהק.

  • תגובה מאת נעמה
    תאריך 11 באוגוסט 2014 16:15

    תודה על הכתבה. דוגמאות מצוינות וברורות. אני מאמינה שהבנתי מהו ה-P VALUE.
    האם תוכל להסביר כיצד מחשבים אותו?
    אם לדוג' יש לי 2 ממוצעים של 2 קבוצות שונות ואני רוצה לדעת מה ה-P VALUE שלהם?
    האם ניתן לחשב באקסל?

    • תגובה מאת יוסי לוי
      תאריך 12 באוגוסט 2014 14:49

      נעמה,
      תודה על המחמאות ואני שמח שעזרתי לך להבין את הנושא מעט יותר טוב.
      אני מעדיף לא להכנס להסברים טכניים על חישובים. בעקרון, לדוגמה שנתת, יש צורך בידיעת ממוצעי הקבוצות, סטיות התקן וגדלי הקבוצות. הנוסחה לא כל כך מסובכת אבל מפילה בכל זאת חללים רבים. ניתן למצוא אותה בקלות בכל ספר בסיסי.
      לתוכנת אקסל יש מספר פונקציות בסיסיות שמאפשרות ניתוחים סטטיסטיים בסיסיים מאוד, מהסוג שלומדים בקורס מבוא לסטטיסטיקה בסיסי, אך לא הרבה יותר מכך.

  • תגובה מאת נעמי
    תאריך 8 באפריל 2016 11:51

    תודה רבה!

תגובה