בתהליך הסטטיסטי של בדיקת השערות מוצבות זו מול זו שתי השערות. ההשערה הבסיסית, המכונה השערת האפס, מתארת את הידע הקיים (ידע מדעי או אחר), ומולה ניצבת השערה אלטרנטיבית, המייצגת תיאוריה חדשה. כדי להוכיח כי התיאוריה החדשה נכונה, על החוקר להציג ראיות מובהקות ומשמעותיות שיביאו לדחיית השערת האפס לטובת ההשערה האלטרנטיבית.
מה קורה אם אין ראיות מובהקות? האם ניתן להסיק מכך שהשערת האפס נכונה? ממש לא. הטענה כי השערת האפס נכונה רק בגלל שלא הצלחנו להפריך אותה היא כשל לוגי הידוע בשם “אד איגנורנטיאם” – טיעון מן הבורות. וכפי שאמר קארל סאגאן: “Absence of evidence is not evidence of absence” ((אני לא מצליח לתרגם אמירה קולעת זו לעברית בצורה מניה את הדעת)) . כאשר אין עדויות לטובת התיאוריה החדשה, עדיין אי אפשר לראות בכך עדות לנכונות התיאוריה הישנה.
מה צריך לעשות כדי להראות כי השערת האפס נכונה? יש להחליף בין ההשערות. הפרוצדורה הזו נפוצה בתעשייה פרמצבטית. כדי להראות כי תרופה נתונה שקולה לתרופה אחרת (במובן שמוגדר מראש, כמו אפקט קליני, או במקרים של תרופה גנרית, פרמטרים פרמקוקינטיים), יש לערוך ניסוי bioequivalence – שקילות ביולוגית. השערת האפס מניחה כי התרופות שונות זו מזו, ומטרת הניסוי היא, כמו תמיד, להביא עדויות סטטיסטיות נגד השערת האפס, ואם השערת האפס נדחית ניתן לקבל את הקביעה כי שתי התרופות שקולות.
למרות שתוצאות לא מובהקות בדרך כלל לא מתפרסמות, עדיין תוכלו למצוא את הכשל הזה במקומות רבים, ומישהו אפילו טען כי הדבר לגיטימי ((קישור למאמר משנת 1995)). חיפוש בגוגל אחרי הביטוי “There was no difference” באתר https://www.ncbi.nlm.nih.gov מצא כ-1000 מאמרים שהתפרסמו החל מ-2010 ועד סוף 2017 שהכילו בתוכם את הביטוי הזה, וברבים מהם צורף לטענה p-value, שערכו כמובן גדול מ-5%. אין לדעת מתי החוקרים מרימים ידיים כאשר לא הצליחו לדחות את השערת האפס, ומסיקים כי היא נכונה. השאלה החשובה היא אם הם מושכים את הכתפיים מכיוון שממילא הם לא מייחסים לכך משמעות, או קופצים למסקנות על סמך ההנחה המוטעית כי כישלונם לדחות את השערת האפס מבטא עובדה בעלת משמעות.
כישלון לדחות את השערת האפס יכול לנבוע מגורמים רבים: תכנון לא נכון של הניסוי, עצמה סטטיסטית נמוכה, או אפקט קטן ובלתי משמעותי. קשה בדרך כלל לדעת מהי הסיבה. עם זאת, אפשר (ולא קשה) לתכנן ניסוי בצורה טובה, ובעל עצמה מספקת כדי לדחות את השערת (או השערות) האפס שהינן בעלות חשיבות.
לסיכום: כישלון לדחות את השערת האפס לא מוכיח כי היא נכונה. אנחנו אמנם ממשיכים להאמין כי היא נכונה, כיוון שהיא מייצגת את הידע הקיים, אבל יש כמובן הבדל גדול בין הוכחה לאמונה.
רשימות נוספות בסדרה:
כמובן: אין כלום כי לא היה כלום 🙂
מעולה. תודה רבה!