נסיכת המדעים

"לקרוא לסטטיסטיקאי לאחר שהניסוי התבצע זה כמו לבקש ממנו לבצע ניתוח שלאחר המוות. לכל היותר הוא יוכל לומר מה הייתה סיבת המוות" – רונלד פישר.

כשמדברים בסטטיסטיקה על תכנון, מדברים בדרך כלל על תכנון ניסויים. ((תכנון איסוף הנתונים ותכנון הניתוח הסטטיסטי הם חלק מתהליך תכנון הניסוי. )) קשה להביא דוגמאות למקרים של כשלים בתכנון ניסויים, כי הכשלים בדרך כלל מובילים לכישלון, וכישלונות בדרך כלל נזרקים לפח האשפה. הכישלונות עלולים להיות צורבים. זה לא נעים לראות ניסוי קליני שנכשל (אם כי במקרים כאלה יש בדרך כלל סיבות רבות לכישלון, מעבר לבעייתיות אפשרית בתכנון הסטטיסטי). כשל וכישלון בניסוי במעבדה עלול להוביל להחמצה של תגלית חשובה, או להשקעה מיותרת. מתכנון לקוי של ניסויים עלולים לנבוע תהליכי ייצור לא אופטימליים, וגם החלטות שיווקיות לא נכונות. יכולות להיות גם השלכות בטיחותיות (רכב אוטונומי, מישהו?) או השלכות על בריאות הציבור.

לא אדון כאן בכל התורה המורכבת של תכנון ניסויים. כדי לראות את קצה קצהו של הקרחון יש צורך בקורס שלם. אתם מוזמנים לעיין במצגת שלי שעוסקת בנושא תכנון הניסויים בזעיר אנפין, בעיקר מנקודת המבט של התעשייה הפרמצבטית.

בגדול, התהליך של תכנון ניסוי כולל מספר רב של שלבים, וביניהם: החלטה על מטרת הניסוי, החלטה אלו פרטים יהוו את אוכלוסיית הניסוי (חיות? ואם כן, איזה חיה? בני אדם? תרביות תאים? ריאקציות כימיות? גולשים באתר? תצלומים שיש לזהות בהם תבניות, כגון האם רואים בתצלום חתול?), לקבוע מה יהיו משתני הניסוי, לבדוק האם יש אפשרות ליחסי גומלין בין משתני הניסוי, להחליט איזו תגובה או תגובות ימדדו, להחליט איזו אינפורמציה לאסוף מעבר למשתני הניסוי ומשתני התגובה (למשל משתני בסיס, או משתנים מתערבים (confounding) פוטנציאליים שעשויים להשפיע גם על המשתנה התלוי – התגובה, וגם על משתני הניסוי), להחליט איך לאסוף את האינפורמציה, לקבוע את דרך הבקרה של הניסוי, להחליט האם תהיה סמיות, לקבוע היכן ומתי ייערך הניסוי ומי יבצע אותו, לקבוע את גודל המדגם, להחליט האם לבצע רנדומיזציה, ואם כן איך, לצפות תרחישים אפשריים למהלך הניסוי ולהחליט מראש כיצד להתמודד איתם, לתכנן את הניסוי כך שיאפשר הסקת מסקנות כלליות (external validity), להחליט על השיטות הסטטיסטיות שבעזרתן ינותחו הנתונים של הניסוי ((בהנחה שלא מתכננים לבצע p-hacking, כמובן )), ועוד הרבה החלטות אחרות.

בכל אחת מההחלטות שצריך לקבל בתהליך התכנון יש פוטנציאל לכשל או לכשלים, ותאמינו לי, ראיתי את כולם. אתמקד כאן רק במספר כשלים עיקריים.

כשל הגדול מכולם הוא, כמובן, להתחיל את הניסוי לפני שיש תשובות ברורות לכל השאלות האלה, ולפני שהתקבלו כל ההחלטות. ((זה קורה באמת. ראו את הרשימה שלי על הסטטיסטיקה בתעשייה. )) גם אם התקבלו כל ההחלטות הרלוונטיות, יש לפרט אותן בפרוטוקול הניסוי, אותו יש לכתוב, שוב, לפני תחילת הניסוי. הפרוטוקול הוא חלק מהתכנון.

הכשל העיקרי השני הוא גודל מדגם לא מתאים. גודל מדגם אמור להיקבע על ידי לקיחה בחשבון של מספר גורמים: ההסתברויות הרצויות לטעויות (False Positive  ו-False Negative), איזה גודל אפקט ייחשב למשמעותי, ומה רמת אי הודאות הצפויה, כלומר השונות של הנתונים שייאספו. כמו כן, יש לקחת בחשבון כמובן את השיטה בה ייערך הניסוי ((כגון: שתי קבוצות מקבילות, תכנון של לפני-אחרי, וכדומה)). מניסיוני, הבעיה העיקרית היא בהערכת השונות. לחוקרים לא תהיה בעיה להגיד מה ההסתברויות לטעות המקובלות עליהם ((אפס, כמובן)), ולאחר לחץ פיזי מתון גם יאמרו לך מה לדעתם ייחשב לאפקט משמעותי. לגבי הערכת השונות יש אכן בעיה שהסטטיסטיקאי צריך להתמודד איתה. לעיתים השונות נקבעת על ידי הפרמטר ((לדוגמא, אם מדברים על תדירות של אירועים בתהליך פואסון, אז השונות נגזרת ישירות מהתדירות המשוערת)). במקרים אחרים יש לערוך מחקר בפרסומים אודות ניסויים דומים בספרות המדעית. האפשרות הטובה ביותר היא להשתמש בנתונים של ניסויים דומים קודמים שביצע אותו החוקר.

בקביעת גודל המדגם (ולא רק שם) יש לשקול גם שיקולים אתיים. למשל, ניסוי בחיות (וגם בבני אדם, בעצם) ייחשב ללא אתי אם גודל המדגם קטן מדי ולכן בעל עצמה סטטיסטית נמוכה – חייהן של החיות יוקרבו לשווא. יש דרכים סטטיסטיות להקטין את מספר החיות בהן ישתמשו בניסוי, וסטטיסטיקאי טוב יוכל להמליץ עליהן.

הכשל העיקרי השלישי הוא התעלמות מאינטראקציות – כלומר התעלמות מיחסי הגומלין בין המשתנים השונים. זהו כשל נפוץ ביותר, וראיתי אותו מתרחש במספר רב של יישומים.

הנה דוגמא (מלאכותית) פשוטה אך ארוכה.

שיטת המחקר העוברת בין הדורות של החוקרים המדעיים היא OFAT, כלומר One Factor At a Time. בכל קובעים את ערכם של כל המשתנים העשויים להשפיע על התוצאה פרט למשתנה אחד, שאת ערכו משנים. מה לא בסדר?

מהנדס כימיה רוצה לכוונן שני גורמים המשפיעים על התפוקה של תהליך כלשהו: משך הזמן של הריאקציה, שיכול לנוע בין 60 ל-180 דקות, והטמפרטורה בה היא מתבצעת, שיכולה לנוע בין 21 ל-25 מעלות. הוא עורך סדרה של 5 ריאקציות בהן הטמפרטורה קבועה על 22.5 מעלות, ובודק את ההשפעה של משכי זמן שונים על התהליך. הוא מגיע למסקנה כי התפוקה הגבוהה ביותר, כ-75 גרם, מתקבלת כאשר משך זמן הריאקציה היה 130 דקות.

עכשיו המהנדס שלנו עורך סדרה שניה של עוד 5 ריאקציות, בהן משך זמן הריאקציה קבוע ל-130 דקות, ובודק את התפוקה בטמפרטורות שונות. תוצאת הניסויים: התפוקה הגבוהה ביותר, גם כאן כ-75 גרם, כאשר הטמפרטורה היא 22.5 מעלות.

המסקנה של המהנדס: תהליך הייצור האופטימלי הינו כאשר טמפרטורת הריאקציה היא 22.5 מעלות ומשך הזמן של הריאקציה הוא 130 דקות, והתפוקה המקסימלית היא כ-75 גרם. האם המסקנה נכונה? ייתכן מאוד שלא, כיוון שסביר מאוד להניח כי יש יחסי גומלין בין המשתנים.

בדוגמא שלנו המצב הוא כפי שהגרף הבא מראה. התפוקה תהיה מקסימלית כאשר הטמפרטורה היא 25.5 מעלות, ומשך הזמן הוא כ-70 דקות. התפוקה בתנאים האלה תהיה כ-91 גרם, שיפור של למעלה מ-20%.

אילו נועץ המהנדס בסטטיסטיקאי טוב, הוא היה מציע לו לערוך סדרה של ארבע ריאקציות, בהם ישתנו גם הטמפרטורה וגם משך הזמן של הריאקציה. הריאקציה הראשונה, למשל, תהיה בטמפרטורה של 22 מעלות ומשך הזמן יהיה 120 דקות, הריאקציה השנייה תהיה גם היא בטמפרטורה של 22 מעלות אך עם משך זמן של 150 דקות, וכן הלאה. תכנון כזה יראה, בתנאי הדוגמא, כי הורדת משך הזמן ביחד עם העלאת הטמפרטורה מגדילה את התפוקה.

שימו לב גם כי התהליך של המהנדס היה בזבזני: הוא ביצע 10 ריאקציות והגיע לתוצאה פחות טובה ממה שיכול היה לעשות בארבע ריאקציות בלבד. את התכנון שהציע הסטטיסטיקאי ניתן להכליל למספר רב יותר של משתנים ((אני תכננתי פעם ניסוי עם 8 משתנים, כאשר לכל משתנה יש שתי רמות אפשריות, סה"כ 256 אפשרויות, אם אכן מנסים את כל האפשרויות. יש דרכים לצמצם את מספר האפשרויות, אם מוכנים לוותר על חלק מהאינפורמציה, כמו למשל אינטראקציות מסדר גבוה))

כשל נוסף ובעייתי מאוד, הוא שינוי תנאי הניסוי במהלכו, וכן, זה קורה הרבה פעמים. אמנם אפשר לשנות את תנאי הניסוי בתנאים מסויימים, אך יש להגדיר מראש בפרוטוקול הניסוי באלו מצבים אפשר לשנות את תנאי הניסוי, איזה שינוי יבוצע (אם יבוצע), ומהם הקריטריונים לפיהם ייקבע האם יש לבצע את השינוי. כמובן שיש לקחת בחשבון את ההשלכות של שינוי כזה על שאר הפרמטרים של הניסוי.

לסיכום, תכנון ניסוי הוא דבר מסובך, ויש להיעזר באנשי מקצוע במהלך התכנון (סטטיסטיקאי, ובדרך כלל גם אנשי מקצוע נוספים). תכנון לקוי יוביל במקרה הטוב לבזבוז משאבים, ובדרך כלל לתוצאות חמורות בהרבה.

רשימות נוספות בסדרה:

• סטטיסטיקה: שבעת החטאים
• סטטיסטיקה רעה: פרשנות לא נכונה של ה-p-value ואי הבחנה בין תוצאות מובהקות לתוצאות משמעותיות
• סטטיסטיקה רעה: אי אבחנה בין מתאם לסיבתיות
• סטטיסטיקה רעה: לקבל את השערת האפס
• סטטיסטיקה רעה: p-Hacking
• סטטיסטיקה רעה: מדגם לא מייצג
• סטטיסטיקה רעה: לא לתת מדד לאי ודאות

הסטטיסטיקה מבוססת על מדגמים. מדגם לא מייצג מוביל בדרך כלל להטיה בנתונים הנאספים ולמסקנות שאינן תקפות.

לרוב אין זה מעשי לאסוף את כל הנתונים הדרושים למחקר מסויים ((למשל נתוני השכר של כל אזרחי מדינת ישראל)), ולכן יש להסתפק במדגם – כלומר בנתונים חלקיים. המדגם צריך לאפשר הסקה לגבי כלל הנתונים. אם המדגם אכן מאפשר זאת, המדגם הוא מייצג. מדגם לא מייצג, ברוב המקרים, לא מאפשר הסקה אמינה.

במקום לתת הסברים טכניים, אציג כאן מספר דוגמאות. רובן עוסקות בסקרים, אך הבעיות עלולות לצוץ בכל מיני יישומים אחרים (למשל דגימה של מוצרים מפס הייצור לצורך בקרת איכות, או ביצוע AB testing בקרב משתמשים, למשל עלי ידי הכללה של משתמשים חדשים בלבד).

נתחיל בסקרי בחירות. שתי דוגמאות מפורסמות הן סקרי הבחירות לנשיאות ארצות הברית ב-1936 (רוזוולט נגד לנדון) וב-1948 (טרומן נגד דיואי) .

ב-1936 ערך העיתון Literary Digest סקר שהקיף 2.4 מיליון משתתפים. זהו הסקר הגדול ביותר שנערך אי פעם. למעשה נשלחו 10 מיליון שאלונים, אך רק רבע מהנמענים השיבו. הסקר חזה ניצחון מוחץ ללנדון, אך רוזוולט הוא זה שנבחר. התברר שהמדגם לא היה מייצג. במדגם היו שתי בעיות. השאלונים נשלחו לאנשים שהופיעו ברשימות של חברי מועדונים ו/או בספרי טלפונים. ב-1936, רוב מוחלט של האנשים האלה היו עשירים. הסקר דגם אנשים עשירים באופן שיטתי. אנשים עשירים תמכו בלנדון. העניים, שהיו רבים יותר מן העשירים, תמכו ברוזוולט. בעיה נוספת בסקר הייתה שכשלושה רבעים מהאנשים אליהם נשלחו השאלונים לא השיבו. האנשים שלא השיבו שונים מאלה שהשיבו (הם הרי לא השיבו). ייתכן מאוד כי הם נבדלו מהמשיבים גם בהעדפותיהם הפוליטיות.

יש לציין כי סקרים קודמים שהעיתון ערך בשיטה זו חזו את המנצחים בבחירות, למרות שהמדגמים לא היו מייצגים ((גם אז הם דגמו יותר עשירים באופן שיטתי)). זה קרה מכיוון שהנושאים המרכזיים בבחירות קודמות היו מדיניים ולא כלכליים, ובנושאים אלה אין הבדלים מהותיים בין עניים ועשירים.

מסקנה חשובה מהסקר של 1936: מדגם גדול לא עוזר להתגבר על הטיה באיסוף הנתונים. להיפך – הוא מעצים את ההטיה.

עם זאת, היה מי שחזה היטב את התוצאות ששל הבחירות האלה – ג'ורג' גאלופ, והוא עשה זו בעזרת מדגם של 50,000 נסקרים בלבד. גאלופ השתמש בשיטת דגימה שנקראת Quota Sampling. הסוקרים שלו יצאו לשטח וראיינו בעלי זכות בחירה. כך נמנע חלק גדול מבעיית חוסר ההשבה. כמו כן, הסוקרים קיבלו הוראות מדוייקות איך לדגום את המרואיינים. למשל, סוקר שנשלח לראיין 13 איש, הונחה לראיין 7 גברים ו-6 נשים. את 7 הגברים היה עליו לבחור כך ש-3 מהם יהיו מתחת לגיל 40 ו-4 מעל גיל 40, וכולי. כך קיבל גאלופ מדגם שייצג את אוכלוסיית הבוחרים בכל הפרמטרים שלפיהם נבנתה תכנית הדגימה: מין, גיל ופרמטרים נוספים. השיטה הזו עבדה יפה עד 1948. ב-1948 חזה גאלופ, על פי השיטה הזו, כי בבחירות לנשיאות המועמד הרפובליקני, דיואי, יביס את המועמד הדמוקרטי, טרומן. טרומן ניצח. מה קרה פה? הוראות הדגימה לא כללו פילוח לפי העדפה מפלגתית – הרי זה מה שהסקר ניסה לחזות. התברר כי לסוקרים היה הרבה יותר נוח לדגום רפובליקאים (בלי שיהיו מודעים לכך, כמובן). הסקר היה מוטה לטובת הרפובליקאים.

מה קרה בבחירות 2016, בהן הסקרים והמודלים חזו כי הילארי קלינטון תנצח את טראמפ בבחירות לנשיאות? ((טראמפ ניצח, לידיעת מי שהדחיק)) התשובה עדיין לא ברורה. החיזוי נעשה על פי מודלים ששקללו מספר רב של סקרי בחירות, מעין מטה-אנליזה. המודלים האלה פותחו לקראת בחירות 2012, וחזו בדייקנות את נצחונו של אובמה על רומני. הם כשלו ב-2016. יש ויכוח בין המומחים האם המודל היה מוטה כבר ב-2012, וחזה את ניצחון אובמה למרות ההטיה, או שמא המודל נפל קורבן להטיה ספציפית ב-2016.

ראינו קודם בעיה בסקר שנגרמה, בין השאר, כיוון שרוב הנסקרים הפוטנציאליים לא השיבו לשאלות הסקר. יכולה להיות גם בעיה הפוכה – אנשים שנלהבים להשיב לסקר. כך, למשל, קרה לבעלת הטור אן לנדרס, ששאלה את קוראיה שהינם הורים לילדים שאלה פשוטה: "לו הייתם חיים שוב את חייכם, האם שוב הייתם מביאים ילדים לעולם?" (קישור לקובץ pdf). היא קיבלה כ-10000 תגובות לסקר. 70% אמרו שלא. בסקר דומה שנערך על ידי המגזין Good Housekeeping, מספר חודשים לאחר מכן, שיעור משיבי ה-"לא" היה 95%. אני חושב שכאן ברור שהמדגם לא מייצג. סביר להניח שציבור הקוראים אינו מייצג את כל האוכלוסייה (מדובר בטור במדור שמיועד לנשים, ובמגזין לנשים). כמו כן, המשיבים לסקר לא נדגמו מתוך האוכלוסייה הכללית. הם בחרו להשיב לסקר. ייתכן מאוד כי בעלי הדיעה הקיצונית, משיבי ה-"לא", היו נלהבים יותר להשיב לסקר.

דוגמה היסטורית נוספת – מחקריו של אלפרד קינזי על מיניות האדם. אני חושב שאין חולק על כך שקינזי היה פורץ דרך במחקר תחום שנחשב בזמנו לטאבו. גם ממצאיו האיכותניים עדיין נחשבים כמשמעותיים, גם כאשר עברו יותר מ-60 שנה מאז פירסם את הדו"ח שלו על מיניות האדם. עם זאת, שיטות המחקר שלו היו שנויות במחלוקת, בלשון המעטה. אני אתייחס כאן רק למחקר הכמותי שביצע. קינזי הכיר בקיומה של הומוסקסואליות, גם אצל גברים וגם אצל נשים, ואף הבחין כי מדובר ברצף, ובנה סולם בן 7 דרגות, כך שרמת הנטייה המינית של כל אדם מבוטאת על ידי דרגה בסולם, שעדיין נמצא בשימוש. שאלה מעניינת, עד עצם היום הזה, היא איזה אחוז מהאוכלוסייה נמצא בכל שלב של הסולם? הנמצאים בשתי הדרגות של הסולם נחשבים כהומוסקסואלים (או לסביות). קינזי הגיע למסקנה כי  13% מהנשים ו-7% מהגברים נמצאים בדרגות האלה. ((הנתון הידוע, הטוען כי שיעור ההומוסקסואלים ו/או לסביות באוכלוסייה הוא 10%, הגיע מחישוב הממוצע של 7 ו-13)) אולם המדגם של קינזי לא היה מייצג, ככל הנראה במודע. היה בו ייצוג יתר לאסירים ולזונות ממין זכר. גם העובדה כי רוב הנסקרים (והנסקרות) שלו היו מתנדבים הפחיתה מרמת הייצוג של הסקרים שלו. עקב כך, ממצאיו הכמותיים שנויים במחלוקת.

הדוגמה האחרונה שאביא היא מהמחקר שפירסם משרד האוצר בשנת 2004 על מה שכינה "שכר המינימום ונזקיו". החלק הכמותי/אקונומטרי של המחקר עסק בנתונים מתקופה של 11 שנים, מ-1993 ל-2003, וזאת למרות ששכר המינימום הונהג בישראל בראשית שנות ה-70. ה-"מדגם" שלהם לא מייצג, וזה נעשה במודע. החוקרים ((שלא היו מספיק אמיצים כדי לחתום על המחקר בשמם)) הסבירו כי "תקופת המדגם נבחרה כך שלא תכלול את השינויים המבניים הגדולים שהתרחשו בתחילת שנות ה-90". במילים אחרת, הם התעלמו במכוון מתקופה של כ-20 שנה בהן היה נהוג שכר מינימום, ומהתובנות שעשויות לעלות מהנתונים הכלכליים של התקופה ההיא. אפשר לחשוב על הרבה סיבות נוספות לבחירה שלהם, מלבד הסיבה שהם סיפקו. לא אכנס כאן לספקולציות. כמו כן, עדיין לא ניתן לקבוע בבירור האם הם צדקו במסקנותיהם. שכר המינימום כמעט ולא השתנה באופן ריאלי בין 2004 ל-2014. עם זאת, מאז 2014 חלה עליה ריאלית משמעותית בשכר המינימום, והאסונות שנחזו בדו"ח (שהיו אמורים להיות מיידיים) עדיין לא אירעו.

אז איך עורכים מדגם לא מייצג?

נסביר תחילה איך עורכים מדגם מייצג, כפי שמלמדים בקורס הבסיסי בדגימה בשנה ג' של לימודי הסטטיסטיקה. קודם כל צריכים לערוך רשימה של כל המועמדים להיכלל במדגם. זוהי מסגרת הדגימה. כעת אפשר לבחור את שיטת הדגימה.

הבסיס לכל השיטות היא דגימה הסתברותית – לכל פרט באוכלוסייה נקבעת ההסתברות כי ייכלל במדגם.

הדרך הפשוטה ביותר היא לערוך מדגם מקרי פשוט – לכל הפרטים יש את אותה ההסתברות להיכלל במדגם. כדי לקבוע מי יידגם, מכניסים לתוך כובע גדול פתקים, כשלכל פרט באוכלוסייה יש פתק עליו כתוב השם (או מזהה אחר) הפרט. מערבבים היטב את כל הפתקים, ומוציאים מהכובע מספר פתקים על פי גודל המדגם הדרוש. אפשר, כמובן, לבצע את התהליך הזה באופן ממוחשב.

יש וריאציות יותר מתקדמות. אם האוכלוסייה מתחלקת למספר שכבות אשר שונות זו מזו באופן מהותי (למשל דתיים וחילוניים), אפשר לבצע מדגם נפרד בתוך כל שכבה ולאחר מכן לשקלל את התוצאות. אם לעומת זאת, האוכלוסייה מורכבת מאשכולות אשר לא שונים זה מזה באופן מהותי (דוגמה היפותטית: אוכלוסיית הקיבוצים), אפשר לדגום רק מספר אשכולות (קיבוצים) מתוך רשימת הקיבוצים, ובעזרת מודל מתמטי לא מורכב להסיק ממדגם זה על האוכלוסייה כולה.

אבל יש גם דרכים לקבל מדגם לא מייצג. ציינתי חלק מהן בדוגמאות שהבאתי. אציין כמה מהשיטות הפופולריות.

המקרה הנפוץ הוא להשתמש במסגרת דגימה השונה באופן מהותי מהאוכלוסייה הנחקרת. זה עשוי לקרות בטעות, כפי שקרה בסקר הבחירות בארה"ב ב-1936, או במודע, כפי שנעשה במחקר המדובר של משרד האוצר. מסגרת דגימה לא ראויה עלולה לגרום לייצוג יתר של חלק מהאוכלוסייה, וייצוג חסר של חלקים אחרים. ייתכן גם כי יידגמו פרטים שאינם נכללים באוכלוסייה (למשל, נער בן 16 העונה לסוקר טלפוני לשאלה בעד מי יצביע בבחירות הקרובות).

גם כאשר בונים היטב את מסגרת הדגימה, המדגם שמתקבל עשוי להיות מוטה ובלתי מייצג עקב שיעורי השתתפות נמוכים של הנדגמים במדגם עצמו.

מדגם נוחות, בו החוקר בוחר את המדגם באופן הנוח לו (למשל, חוקר באוניברסיטה שבמחקר שלו משתתפים הסטודנטים שלו) הוא מתכון כמעט בטוח למדגם לא מייצג.

שליחת שאלונים לכל מי שאפשר (כמו בבחירות 1936 בארצות הברית) גורמת בדרך כלל גם היא לחוסר ייצוג. לפרטים שונים באוכלוסייה יש הסתברויות שונות להכללות במדגם, אולם איש אינו יודע מה ההסתברויות האלה, ולכן אין אפשרות סבירה לסיכום התוצאות.

מדגם המבוסס על מתנדבים יביא גם הוא לחוסר ייצוג, כפי שלמדנו מהמקרה של אן לנדרס. אנשים המעוניינים להיות חלק מהמדגם (נניח, מוכנים להשיב לסקר כלשהו) שונים באופן מהותי מאלה שאינם מעוניינים. זו בעיה די שכיחה בטכניקה של הפצת שאלונים באינטרנט, למשל.

המתודולוגיה של הפצת שאלונים (כיום בעיקר דרך האינטרנט) כאשר מצורפת אליהם הבקשה "אנא שתפו עם חבריכם" ידועה בשם "מדגם כדור השלג". מספר ראשוני קטן של נדגמים מפיצים את השאלון בקרב חבריהם, ואלה בתורם מפיצים את השאלון הלאה. התוצאה: הנדגמים יהיו כולם שייכים לרשת חברתית מסויימת, שקרוב לוודאי תהיה שונה באופן מהותי מכלל האוכלוסייה ולא תייצג אותה.

לסיכום – יש להחליט על הדרך בה ייאספו הנתונים שישמשו לאחר מכן כבסיס לניתוח סטטיסטי בכובד ראש, וזאת כדי להמנע מהכשלים והבעיות שנימנו כאן. מדגם לא מייצג יוביל כמעט תמיד לתוצאות לא תקפות.

רשימות נוספות בסדרה:

• סטטיסטיקה: שבעת החטאים
• סטטיסטיקה רעה: פרשנות לא נכונה של ה-p-value ואי הבחנה בין תוצאות מובהקות לתוצאות משמעותיות
• סטטיסטיקה רעה: אי אבחנה בין מתאם לסיבתיות
• סטטיסטיקה רעה: לקבל את השערת האפס
• סטטיסטיקה רעה: p-Hacking
• סטטיסטיקה רעה: לא לתכנן
• סטטיסטיקה רעה: לא לתת מדד לאי ודאות

בתהליך הסטטיסטי של בדיקת השערות מוצבות זו מול זו שתי השערות. ההשערה הבסיסית, המכונה השערת האפס, מתארת את הידע הקיים (ידע מדעי או אחר), ומולה ניצבת השערה אלטרנטיבית, המייצגת תיאוריה חדשה. כדי להוכיח כי התיאוריה החדשה נכונה, על החוקר להציג ראיות מובהקות ומשמעותיות שיביאו לדחיית השערת האפס לטובת ההשערה האלטרנטיבית.

מה קורה אם אין ראיות מובהקות? האם ניתן להסיק מכך שהשערת האפס נכונה? ממש לא. הטענה כי השערת האפס נכונה רק בגלל שלא הצלחנו להפריך אותה היא כשל לוגי הידוע בשם "אד איגנורנטיאם" – טיעון מן הבורות. וכפי שאמר קארל סאגאן: "Absence of evidence is not evidence of absence" ((אני לא מצליח לתרגם אמירה קולעת זו לעברית בצורה מניה את הדעת)) . כאשר אין עדויות לטובת התיאוריה החדשה, עדיין אי אפשר לראות בכך עדות לנכונות התיאוריה הישנה.

מה צריך לעשות כדי להראות כי השערת האפס נכונה? יש להחליף בין ההשערות. הפרוצדורה הזו נפוצה בתעשייה פרמצבטית. כדי להראות כי תרופה נתונה שקולה לתרופה אחרת (במובן שמוגדר מראש, כמו אפקט קליני, או במקרים של תרופה גנרית, פרמטרים פרמקוקינטיים), יש לערוך ניסוי bioequivalence – שקילות ביולוגית. השערת האפס מניחה כי התרופות שונות זו מזו, ומטרת הניסוי היא, כמו תמיד, להביא עדויות סטטיסטיות נגד השערת האפס, ואם השערת האפס נדחית ניתן לקבל את הקביעה כי שתי התרופות שקולות.

למרות שתוצאות לא מובהקות בדרך כלל לא מתפרסמות, עדיין תוכלו למצוא את הכשל הזה במקומות רבים, ומישהו אפילו טען כי הדבר לגיטימי ((קישור למאמר משנת 1995)). חיפוש בגוגל אחרי הביטוי "There was no difference"  באתר https://www.ncbi.nlm.nih.gov  מצא כ-1000 מאמרים שהתפרסמו החל מ-2010 ועד סוף 2017 שהכילו בתוכם את הביטוי הזה, וברבים מהם צורף לטענה p-value, שערכו כמובן גדול מ-5%. אין לדעת מתי החוקרים מרימים ידיים כאשר לא הצליחו לדחות את השערת האפס, ומסיקים כי היא נכונה. השאלה החשובה היא אם הם מושכים את הכתפיים מכיוון שממילא הם לא מייחסים לכך משמעות, או קופצים למסקנות על סמך ההנחה המוטעית כי כישלונם לדחות את השערת האפס מבטא עובדה בעלת משמעות.

כישלון לדחות את השערת האפס יכול לנבוע מגורמים רבים: תכנון לא נכון של הניסוי, עצמה סטטיסטית נמוכה, או אפקט קטן ובלתי משמעותי. קשה בדרך כלל לדעת מהי הסיבה. עם זאת, אפשר (ולא קשה) לתכנן ניסוי בצורה טובה, ובעל עצמה מספקת כדי לדחות את השערת (או השערות) האפס שהינן בעלות חשיבות.

לסיכום: כישלון לדחות את השערת האפס לא מוכיח כי היא נכונה. אנחנו אמנם ממשיכים להאמין כי היא נכונה, כיוון שהיא מייצגת את הידע הקיים, אבל יש כמובן הבדל גדול בין הוכחה לאמונה.

רשימות נוספות בסדרה:

• סטטיסטיקה: שבעת החטאים
• סטטיסטיקה רעה: פרשנות לא נכונה של ה-p-value ואי הבחנה בין תוצאות מובהקות לתוצאות משמעותיות
• סטטיסטיקה רעה: אי אבחנה בין מתאם לסיבתיות
• סטטיסטיקה רעה: p-Hacking
• סטטיסטיקה רעה: מדגם לא מייצג
• סטטיסטיקה רעה: לא לתכנן

בנושא המתאם והסיבתיות דנתי רבות ((זה היה הפוסט הראשון שהופיע בנסיכת המדעים!)). יש הרבה דוגמאות משעשעות: מתאם בין יבוא לימונים לבטיחות בדרכים,  בין צבעה של מכונית והסיכוי כי תהיה מעורבת בתאונת דרכים, ובין מחזורי הירח ומחירי המניות. קוריוזים כאלה בדרך כלל לא גורמים נזק ((אם כי עלולים להיגרם הפסדים כספיים למי שישקיע את כספו על פי מחזורי הירח)). אף אחד לא יציע להטיל מגבלות על יבוא לימונים, או לצבוע מכוניות שחורות בצבע אחר. למעוניינים יש אתר שלם וספר שעוסק בכך.

ברשותכם אעבור לדוגמאות יותר רציניות.

דוגמא מפורסמת קשורה לגדול הסטטיסטיקאים, רונלד פישר, שהיה מעשן כבד. באמצע שנות החמישים של המאה העשרים, התגלו המתאמים הראשונים בין העישון ובין הסיכוי לחלות בסרטן הריאות. תלמידיו של פישר פנו אליו, וביקשו ממנו שינסה לעשן פחות למען בריאותו. הם נימקו את בקשתם במתאם הסטטיסטי שזה עתה התגלה. פישר דחה אותם, בנימוק שהמתאם עצמו אינו מראה סיבה ותוצאה, ואף הביע את דעתו זו בכתב העת החשוב Nature. ייתכן, אמר פישר, כי מחלת הסרטן גורמת בשלב הראשון של המחלה לצורך בניקוטין, המתבטא בכך שהחולה מעשן, ורק אחר כך מתפתחים הגידולים. פישר נפטר בשנת 1962. רק בשנות השבעים של המאה העשרים הוכיחו המדענים כי צריכה מוגברת של ניקוטין אכן גורמת לעליית הסיכון לחלות בסרטן הריאות.

טענה אחרת שהועלתה היא כי צמחונות אצל נערות בגיל ההתבגרות גורמת לאנורקסיה, וזאת על סמך מתאם גבוה בין שתי התופעות. ניתוח יותר זהיר הראה כי אורח חיים צמחוני לכשעצמו לא בהכרח גורם לאנורקסיה, אך בשילוב עם גורמי סיכון נוספים המחלה עלולה להתפתח.

הסקת סיבתיות עקב קיומו של מתאם עלולה בקלות להגיע לאבדן חיי אדם. הדוגמא המפורסמת ביותר (ואחת המזיקות ביותר) היא הטענה שחיסונים גורמים לאוטיזם, וזאת על פי מחקר גרוע במיוחד ((שתוצאותיו התבררו לאחר מכן כמזוייפות, אבל גם אם היו אמיתיות לא היה ניתן להסיק מהן דבר)). מאמר מאת אנדרו וייקפילד ((שהיה ד"ר לרפואה עד שרישיונו נשלל)) , שפורסם בכתב העת Lancet בשנת 1998, הראה מתאם בין מתן חיסון MMR לילדים ובין אבחון אוטיזם אצל ילדים שחוסנו. זה הספיק כדי להצית תנועה רחבה של התנגדות לחיסונים, שקיימת עד היום. אי מתן חיסונים מוביל להתפרצות מגיפות ולמקרי מוות שהיו יכולים להימנע.

ב-2010 התפרסם מחקר שמצא כי צריכת חומצות שומניות כגון אומגה 3 יכולה להפחית את הסיכון להתקף לב. הטענה התבססה על מספר מחקרים תצפיתיים, וכן מספר ניסויי מעבדה. התברר כי לחומצות שומניות יש תכונות אנטי דלקתיות, וכי יש מתאם שלילי בין רמת הצריכה שלהן ובין רמת הטריגליצרידים בדם. כמו כן יש מתאם בין שלילי בין רמת הטריגליצרידים ובין הסיכון להתקף לב. מכאן הדרך קצרה להשערה כי צריכת חומצות שומניות תוביל להורדת הסיכון להתקף לב. זו תיאוריה יפה, אך היא מבוססת על מתאמים. היא התבררה כלא נכונה. בשנת 2013 התפרסמו התוצאות של מחקר קליני מבוקר, בו המטופלים צרכו, על פי הקצאה רנדומלית, שמן דגים (העשיר באומגה 3) או פלסבו. המחקר הראה כי אין עדות לאפקט חיובי של צריכת שמן דגים.

הדוגמא הטריה ביותר היא המחקר PURE, שתוצאותיו החלו להתפרסם לפני מספר חודשים. בין היתר, טענו החוקרים כי "יש מתאם גבוה בין צריכה גבוהה של פחמימות לשיעורי התמותה, בעוד שצריכת שומנים קשורה לשיעורי תמותה נמוכים". במחקר יש בעיות מתודולוגיות רבות המעמידות בספק רב את עצם קיומו של המתאמים המתוארים, אולם זה לא הפריע לעיתונים לצאת בכותרות כמו "שומן מפחית את הסיכון לתמותה", "שומן לא מזיק, הבעיה עם פחמימות", ו-"תזונה דלת שומן מעלה סיכון למוות מוקדם". שוב, פרשנות מוטעית של מתאם רשלני עלולה להביא להגברה של צריכת שומן, שתוביל לשיעורי תמותה גבוהים יותר ממחלות לב ומחלות נוספות.

כפי שכתב סטיבן ג'יי גולד בספרו The Mismeasure of Man: "ההנחה חסרת התוקף לפיה ממתאם נובעת סיבתיות היא ככל הנראה אחת מתוך שתיים או שלוש השגיאות החמורות ביותר והנפוצות ביותר בשיקול הדעת האנושי".

רשימות נוספות בסדרה:

• סטטיסטיקה: שבעת החטאים
• סטטיסטיקה רעה: פרשנות לא נכונה של ה-p-value ואי הבחנה בין תוצאות מובהקות לתוצאות משמעותיות
• סטטיסטיקה רעה: לקבל את השערת האפס
• סטטיסטיקה רעה:  p-Hacking
• סטטיסטיקה רעה: מדגם לא מייצג
• סטטיסטיקה רעה: לא לתכנן
• סטטיסטיקה רעה: לא לתת מדד לאי ודאות

כבר הסברתי כאן באריכות מהו ה-p-value, ומה הוא לא. לא אחזור כאן על כל הפרשנויות המוטעות למשמעותו של ה-p-value, אך אציין את המובן מאליו – פרשנות לא נכונה של ה-p-value והתרכזות בלעדית בשאלה האם תוצאה היא מובהקת או לא, מהווה סטטיסטיקה רעה שעלולה להביא לתוצאות חמורות.

האיגוד האמריקני לסטטיסטיקה (ASA) פירסם בראשית 2016 הצהרה בדבר המובהקות הסטטיסטית ו-p-values , (( קישור לקובץ pdf )) ובה מפורטים שישה עקרונות שישפרו את הביצוע והפרשנות של מחקרים כמותיים. ASA מציינים כי ה-p-value אמנם מספק הערכה עד כמה הנתונים אינם עולים בקנה אחד עם מודל סטטיסטי ספציפי, אך אינו מודד את ההסתברות כי השערת האפס נכונה ((אין דבר כזה)) או את ההסתברות כי התוצאות התקבלו במקרה. ASA מבהירים כי אין להסיק מסקנות מדעיות, או לקבל החלטות עסקיות או החלטות בדבר מדיניות על סמך ה-p-value בלבד. ה-p-value  לכשעצמו אינו מדד טוב של ראיות (evidence) בעד או נגד השערה או מודל. וכמובן, מובהקות סטטיסטית אינה מעידה או מודדת את גודלו של האפקט הנצפה או חשיבותו.

הבאתי כאן בעבר מספר דוגמאות היפותטיות ואמיתיות בדבר פרשנות לקויה של p-values, והתעלמות מהמשמעות של האפקט הנצפה או חשיבותו. חברת תרופות עלולה להיאחז בתוצאה מובהקת של ניסוי קליני כדי להחליט על המשך הפיתוח של תרופה חסרת תועלת ולבזבז מאות מיליוני דולרים. חוקרים מכובדים פרסמו תוצאות מובהקות של מודל רגרסיה שהריצו, בלי להתייחס לכך שאין משמעות מעשית לתוצאות וגרוע מכך, לא שמו לב כי אחת התוצאות היא אבסורדית. חוקרים אחרים הגיעו למסקנה המובהקת כי במשפחות שבהן שלושה בנים, ההסתברות שהילד הרביעי יהיה גם הוא בן גבוהה יותר. המשמעות של התוצאה היא שכל שנתיים נולד בן אחד יותר ממה שהיה "צריך" להיות אילו ההסתברות לבן רביעי לא הייתה שונה, כלומר ההבדל בין ההסתברות התיאורטית וההסתברות הנצפית ללידת בן רביעי לא היה משמעותי.

אבל הבעיה היא ככל הנראה רחבה יותר וקיימת במחקרים בתחומים רבים.

ב-1996, החוקרים מקלוסקי וזיליאק בדקו 182 מחקרים שהתפרסמו בכתב העת American Economic Review בשנות ה-80 של המאה העשרים והשתמשו ברגרסיה ככלי ניתוח סטטיסטי. הם מצאו כי 70% מהמחקרים לא הבדילו בין מובהקות סטטיסטית למשמעות כלכלית. השניים מציינים גם כי ספרי הלימוד בכלכלה לא דנים בהבדל בין תוצאה מובהקת לתוצאה משמעותית. ((המצב בספרי הלימוד בסטטיסטיקה אינו טוב יותר, לצערי))  הם חזרו על המחקר כעבור עשר שנים, ומצאו כי לא חל שיפור. מתוך 137 מחקרים שפורסמו בשנות ה-90, 82% לא הבחינו בין מובהקות סטטיסטית ומשמעות כלכלית. מאחר ולכלכלנים יש השפעה רבה על החלטות בדבר מדיניות ציבורית, לסטטיסטיקה רעה כזו יש השפעה ישירה על כל אחד מאיתנו.

גם בתחום כלכלת הבריאות יש בעיה. הבלוגר סם ווטסון, אחד הכותבים בבלוג העוסק בכלכלת בריאות, סקר ((אמנם באופן לא שיטתי)) את גיליון מאי 2017 של כתב העת Health Economics. בתשעת המאמרים שהופיעו בגיליון, הוא מצא שמונה מקרים בהם השתמשו ב-p-value באופן בלעדי כדי לקבוע האם קיים אפקט. וכאשר מיישמים סטטיסטיקה רעה לקביעת מדיניות ציבורית בתחום הבריאות, יש לכך השפעה על חיי אדם.

לסיכום: ה-p-value הוא כלי יעיל לבדיקת מובהקות סטטיסטית, כאשר שיטת ניתוח הנתונים ורמת המובהקות של הניתוח נקבעות מראש. עם זאת, ה-p-value אינו מדד טוב לטיבם של הנתונים (ראיות), לגודלו של האפקט הנצפה, משמועות או חשיבותו.

נסיים בדבריו של רון וסרשטיין: “The p-value was never intended to be a substitute for scientific reasoning" – ה-p-value מעולם לא נועד להיות תחליף לחשיבה מדעית.

רשימות נוספות בסדרה:

• סטטיסטיקה – שבעת החטאים
• סטטיסטיקה רעה: אי אבחנה בין מתאם לסיבתיות
• סטטיסטיקה רעה: לקבל את השערת האפס
• סטטיסטיקה רעה: p-Hacking
• סטטיסטיקה רעה: מדגם לא מייצג
• סטטיסטיקה רעה: לא לתכנן
• סטטיסטיקה רעה: לא לתת מדד לאי ודאות

שוב פירסמתי סקר בטוויטר שמאחוריו מסתתרת רשימה על בעיה מעניינת בהסתברות – והפעם בעיית ימי ההולדת. הנה השאלה והתפלגות התוצאות:

בואו ננסה להבין ביחד מה קורה כאן. לשם כך, כרגיל, צריך להניח הנחות.

ההנחה הראשונה היא שאין תלות בין תאריכי הלידה של שני אנשים שונים. כלומר, אם אתם יודעים, למשל, שאני נולדתי ב-13 באוקטובר ((אל תשכחו לציין את זה בלוח השנה שלכם)), זה לא אומר לכם כלום על תאריך ההולדת של דונלד טראמפ, וגם לגבי תאריך ההולדת של כל אדם אחר. שימו לב שבהנחה הזו אנו מוציאם מהמשחק אפשרות של תאומים, שלישיות וכולי.

ההנחה השנייה היא שיש בשנה 365 ימים, ויש לכן 365 ימי הולדת אפשריים. ההנחה הזו מאפשרת לי להתעלם מכל האנשים המעצבנים שנולדו ב-29 לפברואר.

ההנחה השלישית היא שהתפלגות ימי ההולדת היא אחידה. פירוש הדבר הוא שהסיכוי כי אדם שבחרתם באופן מקרי נולד ב-1 בינואר שווה לסיכוי שהוא נולד ב-35 במאי, או בכל יום אחר בשנה, והסיכוי הזה הוא 1/365.

כרגיל, אפשר להתווכח על ההנחות, ולהחליף כל הנחה בהנחה אחרת, אבל זה רק יגרום לחישובים יותר מסובכים, בעוד שהתשובות המהותיות לא ישתנו. אם החישובים לא מדברים אליכם, דלגו עליהם, והתרכזו בעקרונות ובתוצאות. כדאי לכם להגיע עד הסוף, כי יש גם סרט.

ועכשיו נענה לשאלות. אם יש 23 אנשים באוטובוס, מה ההסתברות שלשניים מהם יש יום הולדת באותו יום?

אפשר לשאול את השאלה הזו בצורה אחרת: מה המספר המינימלי של אנשים באוטובוס כדי שההסתברות שלשניים מהם יש יום הולדת באותו יום תעלה על 50%?

קודם כל אסביר מדוע יש מספר אנשים שבו ההסתברות שלשניים מהם יש יום הולדת באותו יום עולה על 50%.

ובכן, אם יש באוטובוס רק בן אדם אחד (הנהג, אני מקווה), ההסתברות כי יש באוטובוס שני אנשים שנולדו באותו יום היא כמובן 0.

אם יש באוטובוס שני אנשים, ההסתברות ששניהם נולדו באותו יום היא 1/365. אסביר: ההסתברות ששניהם נולדו ב-1 בינואר היא 1/365 כפול 1/365. ההסתברות ששניהם נולדו ב-2 בינואר היא שוב 1/365 כפול 1/36, וכן הלאה. נחבר 1/365 כפול 1/365 לעצמו 365 פעמים, ונקבל 1/365.

אם יש באוטובוס 3 אנשים ההסתברות ששניים מהם נולדו באותו יום גבוהה יותר. ההסתברות שהנהג והנוסע הראשון נולדו באותו יום היא כאמור 1/365, אבל יש לקחת בחשבון גם את האפשרות שהנהג והנוסע השני נולדו באותו יום, וגם את האפשרות ששני הנוסעים נולדו באותו יום. התוצאה אמנם אינה חיבור פשוט של כל שלושת ההסתברויות ((כי יש חפיפה בין המאורעות)), אבל אני מקווה שברור כי היא גבוהה יותר.

אם נוסיף עוד נוסע ועוד נוסע ועוד נוסע ההסתברות שיש באוטובוס שני אנשים שנולדו באותו יום תלך ותגדל.

אם יהיו באוטובוס 366 איש ((זה אוטובוס ממש גדול)), ההסתברות שבאוטובוס יש שני אנשים שחולקים יום הולדת מגיעה ל-100%: במקרה הכי גרוע יש 365 אנשים שכל אחד נולד ביום אחר בשנה, ואז יום ההולדת של האדם ה-366 חייב להיות זהה ליום הולדת של אחד מהאחרים ((כי הנחנו שאין 29 בפברואר)). הטיעון הזה, אגב, מבוסס על טענה מתמטית המכונה "עקרון שובך היונים".

ובכן, ההסתברות של המאורע שלנו מתחילה ב-0, גדלה ככל שנוספים אנשים לאוטובוס ומגיעה בסוף ל-100%. לכן חייבת להיות נקודה בה ההסתברות הזו תעבור את ה-50%. הנקודה הזו היא, באופן מפתיע, כאשר מספר האנשים באוטובוס מגיע ל-23. אני לא מתכוון לעבור כאן על כל החישוב, אבל  יש ברשת מחשבון לחישוב ההסתברויות , שם גם יש הסבר כיצד ההסתברות מחושבת. 23 הוא מספר יחסית קטן של אנשים, והאינטואיציה של רוב בני האדם ((כן, כן, גם שלי)) אומרת להם כי זה מספר קטן מדי של אנשים, יחסית למספר ימי ההולדת האפשריים. מסיבה זו בעיית ימי ההולדת מכונה "פרדוקס ימי ההולדת", למרות שאין כאן שום סתירה לוגית.

אם תביטו שוב בתוצאות הסקר, אתם עלולים לחשוב כי כמעט מחצית מהמשיבים (49%) ענו את התשובה הנכונה. אבל זה לא נכון. זו התשובה הנכונה לשאלה שדנתי בה עד עתה, אבל זו לא התשובה לשאלה ששאלתי.

אני שאלתי מה ההסתברות כי בין 22 הנוסעים האחרים יש אדם שחולק איתי יום הולדת. במילים אחרות, מה ההסתברות שיש באוטובוס עוד אדם שנולד ב-13 באוקטובר. התשובה לשאלה הזו היא בערך 5%. כדי שההסתברות שמישהו באוטובוס חולק איתי יום הולדת תהיה בערך 50%, צריכים להיות עליו 253 אנשים. החישוב כאן יותר פשוט מהחישוב של השאלה הקודמת, ולכן אסביר אותו במפורט. מי שלא מתעניין בחישובים יכול לדלג פיסקה.

ההסתברות כי הנוסע הראשון מבין 22 הנוסעים האחרים נולד ב-13 באוקטובר היא 1/365, ולכן ההסתברות כי לא נולד ב-13 באוקטובר היא 364/365. באופן דומה, ההסתברות כי הנוסע השני לא נולד ב-13 באוקטובר גם היא 364/365, וכך הלאה לכל שאר הנוסעים. בגלל אי התלות בין ימי ההולדת, ההסתברות כי אף אחד מבין 22 הנוסעים האחרים היא לכן המכפלה של 364/365 בעצמו 22 פעמים. זה יוצא 0.941. מכאן שההסתברות כי לפחות אחד מבין ה-22 נולד ב-13 באוקטובר היא 1-0.941=0.058, או, בקירוב טיפה גס, בערך 5%. שליש מהמשיבים לסקר בחרו את התשובה הנכונה. ((ומי שענה "אחר" בגלל שהתוצאה יותר קרובה ל-6% מאשר ל-5%, גם זה סבבה))

יש הרבה פולקלור מסביב לבעיית ימי ההולדת. בספר הקלאסי Lady Luck מספר המחבר, המתמטיקאי וורן וויבר, כי השתתף בארוחה עם מספר גנרלים בזמן מלחמת העולם השנייה. הוא סיפר להם על בעיית ימי ההולדת, וכצפוי, הטענה כי אם יש בחדר 23 אנשים אז הסיכוי ששניים מהם חולקים יום הולדת היא כ-50% לא תאמה את האינטואיציה של חלק מהנוכחים. מכיוון שבארוחה השתתפו 22 איש, הם החליטו להעמיד את הטענה למבחן: כל אחד מהמשתתפים אמר מהו יום הולדתו, ולא נמצאו שני סועדים עם יום הולדת משותף. אז התערבה בשיחה המלצרית שנכחה בחדר ואמרה "סלחו לי, אבל אני האדם ה-23 בחדר, ויום הולדתי הוא ה-17 במאי, כמו יום ההולדת של הגנרל היושב שם".

מבין 45 הנשיאים של ארצות הברית, הנשיאים פולק והרדינג נולדו שניהם ב-2 בנובמבר. הנשיאים פילמור וטאפט מתו שניהם ב-8 במרץ, ושלושת הנשיאים אדמס, ג'פרסון ומונרו מתו ב-4 ביולי. אף נשיא לא חולק איתי יום הולדת.

ג'וני קארסון, המנחה ההמיתולוגי של ה-Tonight Show, התעמק גם הוא בבעיה. בשידור ב-6.2.1980 הוא סיפר לאורח שלו כי מספיק שיהיו 35-40 אנשים בחדר, כדי שיימצאו ביניהם שני אנשים שחולקים יום הולדת משותף.  (אם יש בחדר 35 אנשים, ההסתברות היא כ-85%. כשיש 40 אנשים ההסתברות היא כמעט 90%). המרואיין לא השתכנב וקארסון החליט לערוך הדגמה. הוא שאל גברת מהקהל מה תאריך הלידה שלה, והיא ענתה שיום הולדתה הוא ב-9 לאוגוסט. התברר כי אין עוד אדם בקהל שזהו יום הולדתו. קארסון החליט לנסות שוב. הוא בחר מישהו אחר מהקהל, ויום הולדתו היה ה-9 באפריל. שוב התברר כי אין בקהל אדם נוסף שזהו יום הולדתו. קארסון המתוסכל ניסה שוב, הפעם עם יום ההולדת של עצמו, ה-23 באוקטובר. שוב לא היה בקהל אדם נוסף שזהו יום הולדתו. הפעם היו בקהל שני אנשים שחלקו עימו יום הולדת. ((תודה לגיל גרינגרוז ששהפנה את תשומת ליבי)) מי שהגיע עד לכאן כבר הבין כי קארסון חיפש תשובה לשאלה הלא נכונה. בקהל, אגב, היו כ-500 איש, מה ששמבטיח בודאות כי היו שם לפחות שני אנשים עם יום הולדת משותף. אתם מוזמנים לצפות בהקלטת השידור.

יש הרבה דרכים לעשות סטטיסטיקה רעה, אבל גם סטטיסטיקה רעה אפשר לעשות באופן רע יותר. אני לא חושב שמישהו מת כתוצאה מדיאגרמת עוגה תלת מימדית, אבל סטטיסטיקה רעה באמת עשויה להיות הרת אסון. קבלו את שבעת החטאים של הסטטיסטיקה. ((לא בסדר מסויים)) כל קישור יוביל אתכם לסקירה מורחבת על הנושא.

• פרשנות לא נכונה של ה-p-value ואי הבחנה בין תוצאות מובהקות לתוצאות משמעותיות
• אי אבחנה בין מתאם לסיבתיות
• לקבל את השערת האפס
• p-hacking
• מדגם לא מייצג
• לא לתכנן
• לא לתת מדד לאי ודאות

בשבועות הקרובים אפרסם כאן סקירות מפורטות של כל אחד מהחטאים, ומה אפשר ורצוי לעשות כדי להמנע מהם ((רשימה זו תתעדכן בקישורים מתאימים))

לפני כשבועיים הבאתי כאן דוגמה לסטטיסטיקה רעה, בה מרצה בקורס Data Science הדגימה כיצד מחשבים בפייתון מקדם מתאם. היא השתמשה בקובץ שהכיל נתונים על סרטים, וחישבה את מקדם המתאם בין המספר הסידורי של הסרט בבסיס הנתונים ובין הרייטינג הממוצע שלו. (( הרייטינג הממוצע הוא בעצמו יצור בעייתי מבחינה סטטיסטית, ואקדיש לו רשימה אחרת ))

לי ברור כי זו סטטיסטיקה רעה, אך היו כאלה שלא הסכימו איתי. לכן אסביר מה בדיוק הבעיה כאן, ואתייחס לטענות התומכות בחישוב של הגברת הנחמדה (( היא באמת נחמדה, בלי ציניות ))

כדי להבין מה קרה פה, צריך לחזור ליסודות – סולמות מדידה. כתבתי בעבר סקירה נרחבת בנושא. יישנם ארבעה סולמות מדידה, שניים מהם מכונים סולמות כמותיים, ושניים הם סולמות איכותיים. סולמות כמותיים, מטבעם, מודדים כמויות.

אני חושב שלא קשה להשתכנע כי המספר הסידורי של סרט בבסיס הנתונים אינו משתנה כמותי. סרט מספר 4800 בדטהבייס אינו פי שניים (( פי שניים מה בדיוק? )) מסרט מספר 2400. ההבדל (( איזה הבדל בדיוק? )) בין סרט מספר 2 לסרט מספר 4 אינו שווה להבדל בין סרט מספר 2400 לסרט מספר 2402. האם מישהו יכול לטעון אחרת, ולנמק את טענתו? אני חושב שלא. (( ובכל זאת לא אופתע אם מישהו יקום ויגיד שכן ))

מקדם המתאם חישבה המרצה הוא מקדם המתאם של פירסון. מקדם מתאם זה נועד למשתנים כמותיים. הוא קשור קשר הדוק למודל הרגרסיה הלינארית, שהצגתי בקצרה ברשימה קודמת. סוף פסוק. לכאורה.

אבל מה שברור לי לא ברור לכל אחד.

הטענה הראשונה שהועלתה כדי להצדיק את החישוב שערכה המרצה הנ"ל היא שאין שום בעיה, והחישוב רק נועד להדגים את חישוב מקדם המתאם.

האמת היא שאין לי מה לומר נגד טיעון כזה. אני חושב שלדברים שעושים צריכה להיות משמעות, בייחוד כאשר מדובר בקורס מבוא לדטה סיינס. דיברתי כאן באריכות לגבי ההבדלים בין מודלים ואלגוריתמים. המרצה הדגימה את הפעלת האלגוריתם בלי להתייחס למודל הסטטיסטי שעמד בבסיסו, ולדעתי זה לא נכון. המרצה אף הוסיפה חטא על פשע כאשר עברה הלאה בלי להתייחס בכלל לתוצאה שהתקבלה ולמשמעות שלה.

הטענה השניה שהועלתה היא שייתכן כי המספר הסידורי טומן בחובו אינפורמציה נוספת. ייתכן למשל, טענו, כי ככל שהמספר הסידורי קטן יותר, אז הסרט ישן יותר. במילים אחרות, נטען כי המספר הסידורי מבטא סדר בין הנתונים, ולא משמש לזיהוי בלבד.

זו בהחלט טענה מתוחכמת יותר ואכן יש מקרים שבהם מספר מזהה מייצג גם סדר, לפחות חלקי. דוגמאות אפשריות הם מספרי תעודת הזהות, מספרים אישיים בצה"ל, ואלי גם מספרי רישוי של מכוניות (( ככה זה היה בישראל, לפחות, עד סוף שנות ה-70 של המאה ה-20 ))

לכך יש לי שתי תשובות. ראשית, גם אם מספרי הזיהוי מכילים בתוכם אינפורמציה על סדר, הם עדיין לא משתנים כמותיים, ולכן השימוש במקדם המתאם של פירסון שגוי. יש מקדמי מתאם שפותחו עבור משתנים סודרים, הידוע שבהם הוא מקדם המתאם של ספירמן (( חבילת התכנה NumPy של פייתון לא מאפשרת לערוך חישוב כה מתוחכם ))

אבל לפני שרצים לחישוב מקדם מתאם, אפילו זה של ספירמן, צריך לבדוק האם ההנחה כי המספר המזהה של הסרט מכיל אינפורמציה על סדר היא נכונה. (( ואני לא רואה שום סיבה הגיונית להניח את זה מלכתחילה )) סטטיסטיקאי טוב אמור לבדוק את ההנחות, וגם דטה סיינטיסט (להבדיל מדטה-טכנאי) אמור לעשות את זה. לבדוק את הטענה זה קל. הנה הקישור לקובץ הנתונים (קובץ zip). מי שממש רוצה להיות בטוח יפתח מתוך הזיפ את הקובץ movies.csv. סרט מספר 1 הוא Toy story, משנת 1995. סרט מספר 80827 הוא Brown of Harvard משנת 1926. סרט מספר 131262 הוא Innocence משנת 2014. ולא צריך לעבוד קשה כדי לגלות את זה. אפשר לעשות את זה בכמה שורות בפייתון, אם רוצים. אבל לא צריך לעבוד כל כך קשה. כל מה שצריך זה לקרוא את readme.txt.

הטענה השלישית היא כנראה החזקה מכולן. אצטט אותה כלשונה:

חישוב מתאם עם מספר סידורי במאגר כלשהו יכול להיות דווקא מועיל בשני היבטים שונים:
1. גילוי קשר עם סדר הרישום במאגר שלא היה ידוע.
2. במקרה שלא אמור להיות קשר עם הסדר, מספק אמדן די טוב לגובה המתאם שלא צריך לייחס לו משמעות, אפילו אם יצא מובהק.

במילים אחרות, חישוב מקדם המתאם של המספר הסידורי עם משתנה כלשהו, יכול להועיל בכך שהחישוב יראה אם יש או אין אינפורמציה על סדר (או על משהו אחר) במספר הסידורי. כך נדע האם הטענה לפיה במספר הסידורי יש גם אינפורמציה על סדר כלשהו (כפי שטענו אחדים) אכן נכונה. זו אכן היוריסטיקה שעובדת. בקובץ נתוני הסרטים, מקדם המתאם בין שנת היציאה לאור של הסרט ובין המספר הסידורי שלו הוא, דרך אגב, 0.019.

אבל לדעתי אין בהיוריסטיקה הזו הרבה תועלת. למה לבדוק אם המספר הסידורי מכיל אינפורמציה על שנת היציאה לאור, אם כבר יש לנו את הנתון של שנת היציאה לאור? הרי יש שתי אפשרויות: אפשרות אחת היא שנמצא שאין מתאם, ואז אין תועלת במספר הסידורי מעבר להיותו מזהה של תצפיות. אפשרות שניה היא שנמצא שיש מתאם, אבל זה לא יקדם אותנו לשום מקום. למה להשתמש במספר הסידורי שמכיל אינפורמציה חלקית (בהנחה הסבירה שהמתאם קטן מ-1), כאשר יש לנו משתנה עם האינפורמציה המלאה?

לסיכום: חישוב מקדם המתאם בין משתנה של מספר סידורי (ובכלל משתנה שמי כלשהו) הוא גם שגוי וגם חסר תועלת, ומהווה סימן אזהרה לסטטיסטיקה רעה.

לאחרונה השתתפתי בכמה דיונים בפייסבוק שהגיעו למבוי סתום. ניסיתי להבין למה זה קורה ולבסוף הבנתי: אני דיברתי על מודלים והם דיברו על אלגוריתמים.

לכאורה לא צריכה להיות שום בעיה. מודל זה דבר אחד, אלגוריתם זה דבר אחר. אם תחפשו בגוגל מודל, לא תמצאו שום מקום שיטען כי מודל הוא אלגוריתם. גם ההיפך נכון. אז מה קורה כאן?

כדי להסביר למה אני מתכוון, יש צורך במספר שלבים. תחילה אתן הסבר קצר וכללי (ויש יאמרו: פשטני) מהו מודל ומהו אלגוריתם. אחר כך אסביר ביותר פירוט מהו מודל סטטיסטי, ואיך הוא מתקשר למושג האלגוריתם. לבסוף אסביר מנין נובע הבלבול בין שני המושגים, לפחות בהקשר הסטטיסטי, ואצביע על בעיה העולה מכך.

מהו מודל?

מודל הוא תיאור תיאורטי של תופעה מציאותית. המציאות היא בדרך כלל מורכבת, והמודל מנסה להתרכז בגורמים החשובים שבעזרתם אפשר לתאר את התופעה, לאפיין אותה, ובעיקר לחקור אותה. המודל כמובן אינו תיאור מדוייק לגמרי של המציאות, אבל הוא מספיק טוב כדי לתת תשובה אמינה לשאלות מעניינות. כל מודל מתבסס על הנחות. מודל טוב מסוגל להסביר תצפיות על המציאות ולחזות תצפיות עתידיות. מודל צריך להיות ניתן לפירוש, כלומר אינו קופסה שחורה. מודל טוב הינו חסכוני – כלומר פשוט ככל האפשר. מודל יכול להיות פיזי, למשל חלקיק הטס לו בתוך מאיץ חלקיקים, או עכבר – במדעי החיים או ברפואה. יש מודלים המבוטאים על ידי משוואות מתמטיות.

מהו אלגוריתם?

אלגוריתם הוא סדרה של הוראות לביצוע משימה מסויימת, כך שהמשימה תסתיים במספר סופי של צעדים. מתכון להכנת עוגה הוא אלגוריתם. כאשר למדתם בבית הספר (או ניסיתם ללמוד) חילוק ארוך, למדתם אלגוריתם. לכל אלגוריתם יש קלט. במקרה של הכנת עוגה, אלה החומרים שמשמים להכנתה: קמח, ביצים וכולי. אולם כאשר הדברים על אלגוריתמים מדברים בדרך כלל על אלגוריתמים מתמטיים, והקלט שלהם הוא בדרך כלל מספרים/נתונים. התוצר של האלגוריתם נקרא פלט. פלט יכול להיות למשל מנה של עוגה, או המנה המתקבלת כתוצאה של חילוק ארוך. כמו למודל, גם לאלגוריתמים יש הנחות, ויש גם תכונות, ואני לא אכנס כאן לפירוט מכיוון שידיעותיי בנושא מוגבלות.

מהו מודל סטטיסטי?

מודל סטטיסטי הוא מודל מתמטי הכולל בתוכו אלמנט מקרי. בדרך כלל המודל עוסק במדגם מתוך אוכלוסייה, ומתאר תכונות של האוכלוסייה וקשרים אפשריים ביניהם.

אתן כאן דוגמה למודל סטטיסטי פשוט, מודל הרגרסיה הלינארית. זהו אחד המודלים הפשוטים ביותר בסטטיסטיקה. יהיו נוסחאות, אך לא צריך להיבהל מהן. אלה רק אותיות וסימנים מתמטיים כמו חיבור וכפל. אסביר בדיוק ובפשטות מה זה כל דבר. הנה המודל:

מה רואים כאן?

בשורה/נוסחה הראשונה יש אותיות לטיניות גדולות: X ו-Y. אלה הם המשתנים של המודל. המודל מנסה להסביר את הקשר בין המשתנים. X יכול להיות למשל המשקל של אדם, ו-Y יכול להיות הגובה שלו. אפנה את תשומת ליבכם לכך שהמודל מניח כי X ו-Y הם משתנים כמותיים ורציפים, למרות שזה לא כתוב במפורש בנוסחה. X ו-Y יכולים להיות משקל, גובה, גובה המשכורת, דברים כאלה, אבל לא מספר ההתקפים שהיו לחולה במשך שנה, לא מספר נעליים, ובטח לא מספר קו האוטובוס שעובר בשכונה.

נמשיך בהסבר: בנוסחאות יש גם אותיות יווניות קטנות: אלפא, ביתא, וגם סיגמה. אלה הם הפרמטרים של המודל. הם מתארים את הקשר בין המשתנים X ו-Y.

בעולם מושלם, אלפא וביתא לבדם היו מספיקים לתאר את הקשר בין X ל-Y. קח את המשקל של אדם בקילוגרמים (X), תכפיל אותו ב-0.5, תוסיף 136, ותקבל את הגובה שלו בסנטימטרים. (( את הערכים המספריים שנתתי כאן לאלפא וביתא חישבתי על פי קובץ הנתונים body, בו השתמשתי גם ברשימה על ה-PCA )) קשר כזה בין המשתנים נקרא "קשר לינארי". זוהי ההנחה השניה של המודל: בעולם מושלם, הקשר בין X ל-Y הוא לינארי.

אבל העולם אינו מושלם. בעולם מושלם הייתי צריך להתנשא לגובה של 188 ס"מ, אבל גובהי רק 180. האות e מבטאת את ההבדל בין העולם המושלם והעולם האמיתי – במקרה שלי 8 ס"מ.

אם יש לכם קובץ עם הרבה נתונים של משקל וגובה, יהיו לכם גם הרבה ערכים של e. המודל מניח כי אם תציירו גרף של כל הערכים של e תקבלו צורת פעמון – התפלגות הערכים של e היא נורמלית. ההנחה הזו – השלישית במודל שלנו, מתוארת בשורה השניה על ידי הסימן ~ והאות N. המודל מניח עוד הנחה על הפעמון: המרכז שלו, הממוצע של כל הערכים של e, נמצא ב-0. יהיו ערכים חיוביים של e, יהיו גם ערכים שליליים, והם יקזזו אחד את השני. הפרמטר סיגמה מבטא את צורת הפעמון. אם לסיגמה יש ערך גבוה יחסית, נקבל פעמון נמוך ורחב. זה אומר שיש הרבה ערכים של סיגמה שרחוקים מאפס. יש הרבה טעויות גדולות, לשני הכיוונים. אם לסיגמה יש ערך נמוך, הפעמון הוא גבוה וצר, כלומר רוב הטעויות הן קטנות וקרובות יחסית לאפס. ככל שסיגמה קרוב יותר לאפס, העולם "יותר מושלם". אם סיגמה שווה לאפס – זה אומר שאנחנו באמת בעולם מושלם (לא יקרה).

אציין שיש למודל הזה עוד הנחה אחת, אך היא יותר טכנית במהותה ולא אתאר אותה כאן.

עד כאן תיאור המודל.

נניח עכשיו כי יש לנו קובץ, ובו יש לנו נתונים על גובהם ומשקלם של מדגם של אנשים. אנחנו יכולים לשאול הרבה שאלות מעניינות. למשל: האם המודל של רגרסיה לינארית מתאים לנתונים? האם ההנחות של המודל מתקיימות? האם הקשר בין הגובה למשקל הוא לינארי? ואם לא, עד כמה הקשר קרוב לקשר לינארי? מהם הערכים של אלפא, ביתא וסיגמה? ועד כמה הם שונים באופן מובהק מאפס? ועוד הרבה שאלות אחרות. יש דרכים לקבל תשובות לשאלות האלה, כמובן לא בוודאות מלאה, שהרי מדובר כאן במדגם.

לערכים של אלפא ביתא וסיגמה, למשל, אפשר לקבל אומדנים. מייד יופיעו כאן נוסחאות לחישוב האומדנים לאלפא ולביתא. לא להיבהל, הן ממש לא חשובות לדיון שלנו, אני מציג אותן רק למקרה שמישהו יפקפק בקיומן. תסתכלו להן בעיניים ותעברו הלאה:

למודל. (כשהייתי בשנה ב', כתבתי בעצמי תכנית מחשב כזו, בשפת פורטרן).

מה שחשוב כאן זה להבין שהנוסחאות האלה מסבירות איך לקחת את הנתונים, שמסומנים על ידי x ו-y, ולבצע איתם חישובים שיתנו לנו אמדנים לערכים של אלפא וביתא. הנוסחאות האלה מגדירות אלגוריתם. הנתונים הם הקלט, האמדנים הם הפלט. אפשר לכתוב תכנית מחשב שתבצע את החישובים האלה עבורכם, ועוד הרבה חישובים אחרים, שיענו לשאלות אחרות שאפשר לשאול בקשר למודל. (כשהייתי בשנה ב', כתבתי בעצמי תכנית מחשב כזו, בשפת פורטרן).

ככלל, לכל מודל סטטיסטי מתלווים כמה אלגוריתמים, שמגדירים כיצד למצוא את התשובות לשאלות שאפשר לשאול על המודל.

מה בקשר להיפך? האם לכל אלגוריתם יש מודל שעומד בבסיסו (לא בהכרח סטטיסטי)? האמת היא שאני לא בטוח בתשובה. אני מזמין את מי שיודע (או חושב שהוא יודע) לענות לשאלה מעניינת זו.

אז מה הבעיה?

הבעיה הגדולה היא שהאלגוריתם עיוור למודל. הנוסחאות שהצגתי לחישוב האומדנים לאלפא וביתא "לא יודעות" שהן נובעות מהמודל, ולא איכפת להן אם ההנחות של המודל מתקיימות או לא. אתם יכולים, למשל, לקחת קובץ נתונים על שחקני כדורסל, להחליט ש-x הוא מספר הנעליים של שחקן, ו-y הוא מספר החולצה שלו. הנוסחאות יעבדו. תכנית המחשב לא תוציא הודעת שגיאה. פייתון לא יקרוס.

וזה נכון גם לאלגוריתמים אחרים. אתם יכולים גם לחשב את מקדם המתאם בין מספרי הנעליים של השחקנים ומספרי החולצה שלהם. או לחשב לכל שחקן את הממוצע של מספר החולצה ומספר הנעליים. נשמע מופרך? בפורום סטטיסטיקה והסתברות בפייסבוק היו כאלה חשבו שלחשב את מקדם המתאם בין המספר הסידורי של סרט בדטהבייס ובין הרייטינג הממוצע שלו זה בסדר גמור. ובפורום ML הסבירו לי שאין שום בעיה לשקלל את משקלו של אדם עם מנת המשכל שלו (אם רק עושים סקיילינג. אל תשכחו לעשות סקיילינג!). וכשטענתי שאין משמעות לשקלול של משקל הגוף ומנת המשכל, ענה לי סניור דטה סיינטיסט אחד כי "המשמעות אינה חשובה".

נכון שאפשר להריץ את כל האלגוריתמים האלה בלי להבין את המתמטיקה שעומדת בבסיסם. אפשר "לבנות מודל" – זאת אומרת, לבנות איזשהו אלגוריתם קצת יותר מסובך מאבני בניין של אלגוריתמים יותר פשוטים. אפשר לקחת את כל הנתונים ולזרוק אותם ל-xgboost . אני יודע שיש אנשים שעושים את זה, ומה איכפת להם? אם זה יביא לחברה שלהם עוד 30,000 דולר, זה מה שחשוב, ואני לא אומר שזה לא חשוב.

אני חושב שהמשמעות חשובה. אני חושב שאם אתה משתמש במודל, אתה צריך להבין מה הפירוש של המודל, לדעת מה ההנחות שעומדות בבסיסו, וכן, גם לדעת מה המגבלות שלו. ומי שלא מבין, ולא יודע, ולא איכפת לו, הוא מהנדס במקרה הטוב, טכנאי במקרה הפחות טוב, ובשום אופן לא מדען. במה שהוא עושה יש אכן הרבה דטה, אבל מעט מאוד סיינס. וצריך להכיר בזה. וכל אחד צריך לשאול את עצמו מה הוא באמת.

ב-28.11.2017 הופיע בכתב העת Nature מאמר שנשא את הכותרת הפרובוקטיבית Five ways to fix statistics.

המאמר נכתב לאור "משבר השחזוריות" (reproducibility crisis) בו חשים היום חוקרים מתחומים רבים, כלומר הקושי ההולך וגובר לשחזר תוצאות מחקריות במחקר נוסף בלתי תלוי. יש הטוענים כי אחת הסיבות למשבר הזה הוא שימוש לא נכון בסטטיסטיקה. עורכי Nature פנו לחמישה סטטיסטיקאים מובילים (( למעשה שישה )) וביקשו מכל אחד מהם להמליץ של שינוי אחד בפרקטיקה הסטטיסטית שיוכל לשפר את המחקר המדעי. באופן לא מפתיע, הייתה הסכמה בין כולם כי הבעיה אינה בסטטיסטיקה עצמה, אלא באופן השימוש בה.

ברשימה זו אסקור את ההצעות שהועלו, ואביע את דעתי בנוגע לדברים שנאמרו.

ג'ף ליק מאוניברסיטת ג'ונס הופקינס טוען כי "יש להתאים את הידע האנושי" (Adjust for human cognition). כדי להשתמש היטב בסטטיסטיקה, אומר ליק, החוקרים צריכים ללמוד אי לנתח נתונים ולפרש אותם, וליישם את השיטות הסטטיסטיות תוך כדי הימנעות מהטיות קוגניטיביות. אם בעבר היה קשה לאסוף נתונים וכמות הנתונים הייתה מועטה, בימינו אין כל בעיה לאסוף כמויות ענקיות של נתונים. שיטות סטטיסטיות לניתוח נתונים בעידן החדש אכן פותחו, אבל רוב החוקרים עדיין משתמשים בשיטות ישנות (outdated), משתמשים באופן לא נכון במבחנים סטטיסטיים, ונכשלים בביאור התוצאות שקיבלו. האופן שבו משתמשים ב-p-values כדי לקבוע האם תוצאה מחקרית היא "מעניינת" הוא רק דוגמא אחת לשימוש לא נכון בסטטיסטיקה.

אולם, אומר ליק, אי אפשר לתלות את כל האשמה בשפע הנתונים ובהכשרה לא מספיקה בסטטיסטיקה. גם הקריאה להפסיק להשתמש ב-p-values ובמדדים נוספים ככלי לקבלת החלטות אינה מעשית. לעיתים קרובות צריך לקבל החלטות, ורצוי שיהיו כלים והנחיות ברורות כדי לעשות זאת.

יש להבין, מוסיף ואומר ליק, כי ניתוח נתונים אינו רק עניין חישובי/אלגוריתמי. יש בו צד התנהגותי. וההיבט ההתנהגותי של ניתוח הנתונים מושפע לרעה מכך שההכשרה הסטטיסטית הבסיסית לחוקרים מתמקדת בשיטת ישנות שלא מתאימות לבעיות איתן אנו מתמודדים כיום.

אז מה לעשות? ליק מציע להתחיל במחקרים התנהגותיים, שיובילו להבנה כיצד אנשים אוספים, מעבדים ומתחים נתונים, כיצד הם מתקשרים את התוצאות, וכיצד הם צורכים נתונים. לאחר שנבין זאת, נוכל לשפר שיטות ההוראה של הסטטיסטיקה לציבור החוקרים ולציבור הרחב.

אני מסכים עם ליק ברוב הדברים שאמר, אולם אני סבור שאין לנו די זמן לחכות עד שכל המחקרים ההתנהגותיים שהוא מציע ייערכו ותוצאותיהם יובנו ויופנמו. אני לא מתנגד לקיום המחקרים האלה. אבל יש לעשות שינוי מהותי בהוראת הסטטיסטיקה ועכשיו.

לאנדרו גלמן מאוניברסיטת קולומביה ובלייקלי מקשיין מאוניברסיטת נורתווסטרן יש עיצה פשוטה ותקיפה: לנטוש את בדיקות המובהקות. קביעת המובהקות הסטטיסטית כקריטריון לפרסום מחקרים מדעיים מובילה לכך שהמחקרים שמתפרסמים מהווים מדגם לא מייצג של הנתונים. יותר מכך, מזהירים השניים, בדיקת המובהקות נתפסת כדרך להכריע בין שתי אפשרויות: או שקיים אפקט או שלא קיים אפקט. באופן מעשי מתקיימת לדבריהם "מכבסת אי ודאות".

השניים מתייחסים גם לויכוח שמתנה כעת שמתנהל כעת בקרב הקהילה הסטטיסטית, ומתייחסים להצעה של ג'ון יואנידס להדק את מבחני המובהקות ולקבוע את הרף למובהקות על 0.005, וזאת מבלי להזכיר אותו בשמו (וכאן המקום להעיר כי למרבה הצער, עורכי נייצ'ר לא שאלו ככל הנראה את יואנידס לדעתו בעניין). הם, כמובן, מתנגדים לדעתו של יואנידס, אך לא מספקים נימוק משכנע. לחיזוק טענתם הם מביאים כדוגמא מחקר בו התוצאות היו מובהקות אך האפקט אינו משמעותי לדעתם. (( כן, יש הרבה מחקרים כאלה ))

השניים מסכמים את דעתם באמירה שאין הם רוצים לאסור את ה-p-value, אלא מציעים שהוא יהווה רק ראיה אחת בין ראיות נוספות כגון ידע מוקדם, תכנון הניסוי, איכות הנתונים וכדומה. הם מסכמים ואומרים כי הגיע העת "להשאיר את האלכימיה של החלטות בינאריות כגון יש אפקט/אין אפקט מאחורינו"

אני מתנגד לדעתם של גלמן ומקשיין מכל וכל. אימוץ הצעתם יוביל מייד להגדלה של שיעור התוצאות החיוביות-שגויות (False positive). אני לא מתנגד להצעה לקחת בחשבון את משמעות האפקט הנצפה, תכנון הניסוי, איכות הנתונים ופרמטרים נוספים. להיפך. אולם ביטול הדרישה לתוצאה מובהקת רק יוביל ליצירת מגוון של קריטריונים שרירותיים אחרים. לדוגמא, במאמר הזה, שיש בו הרבה דוגמאות לסטטיסטיקה רעה, החוקרים מחשבים את גודל האפקט בעזרת מדד Hedges’ g, ומחליטים כי אפקט ייחשב כמשמעותי אם האפקט לפי מדד זה גדול מ-1.3. מדוע 1.3? ההסבר לכך קלוש ולא מספק. בכל מקרה, לקריטריון כזה ולדומיו אין בסיס תיאורטי מוצק, בניגוד לתיאוריה של בדיקת ההשערות, המתבססת על הלמה של ניימן ופירסון.

דויד קולקיוהון מיוניברסיטי קולג' בלונדון מציע כי בנוסף ל-p-value ומדדים נוספים, יפורסם גם הסיכון לתוצאה חיובית שגויה (False positive risk או FPR .(FPR, לדבריו, תמיד גדול בערכו מה-p-value. החישוב של FPR הוא בייסיאני במהותו ומתבסס על ההסתברות האפריורית לאפקט אמיתי. על פי חישוביו, אם ההסתברות האפריורית הנ"ל היא 10%, וה-p-value קרוב ל-0.05, אז ה-FPR הוא 76%. עם זאת, הוא מודה שאין דרך לדעת מה היא ההסתברות האפריורית לאפקט אמיתי. פתרון אפשרי: להניח כי ההסתברות האפריורית היא 0.5 ולחשב את ה-FPR המינימלי עבור ה-p-value הנצפה.

אני בהחלט בעד הרעיון לפרסם את ה-FPR, אולם הבעיה היא שאין שום דרך נכונה לחשב אותו. יש כמה בעיות בהצעה של קולקיוהון. ראשית, הוא שוכח שה-p-value פותח כקריטריון לקביעת מובהקות (יותר קל לבדוק אם הוא קטן או גדול מ-5%, מאשר ללכת לחפש בטבלת התפלגות t את הערך הקריטי). אמנם יש אינטרפרטציה לערכו המספרי של ה-p-value, אך אין להסיק ממנו כי המובהקות היא מושג רציף, כפי שלמעשה עולה מדבריו. לאמירה כי ה-FPR גדול תמיד בערכו מה-p-value אין משמעות, זו השוואת תפוחים לתפוזים. אמירה בעלת משמעות תהיה אם קולקיוהון יוכל להשוות בין ה-False Positive Risk ובין ה-False Positive Rate. ההצעה להניח כי ההסתברות האפריורית לאפקט אמיתי היא 50% תמוהה בעיני. זהו פתרון של "חצי קפה חצי תה", ולדעתי ההנחה לא מציאותית. אני סבור כי חוקרים לא ישקיעו את משאביהם במחקר אם הם לא סבורים בביטחון גבוה כי המחקר יוביל לתוצאה משמעותית, זאת מכיוון שכל הצעת מחקר (( כמעט )) , (רשמית או לא)  לוקחת בחשבון את הידע הקודם שנצבר אודות נושא המחקר, ואת התיאוריה המצדיקה את קיום המחקר הבא. לכן, ההסתברות האפריורית לאפקט אמיתי גבוהה בהרבה מ-50%, ולדעתי היא בדרך כלל לפחות 80%, אם לא יותר.

למישל ב. נויטן מאוניברסיטת טילבורג בהולנד יש הצעה פשוטה: לפרסם את התכניות לניתוח סטטיסטי (analysis plans). גם שאלות מחקריות פשוטות לכאורה (כגון האם תרופה א עדיפה על תרופה ב) יכולות להוביל לשפע אפשרויות של ניתוחים סטטיסטיים. בתוך השפע הזה, אומרת נויטן, סביר להניח שיש שיטת ניתוח שתוביל לתוצאה מובהקת (( למעשה נויטן אומרת במילים יפות כי "אם תענה את הנתונים מספיק זמן הם יודו לבסוף" )) תכנון מראש ופתיחות, אומרת נויטן, יוכלו לעזור לחוקרים להמנע מתוצאות חיוביות שגויות. נויטן מציע כי החוקרים יכינו מראש תכניות ניתוח סטטיסטי, ואף יפרסמו אותן. השלב הבא יהיה פירסום של כל הנתונים שנאספו, של התוצאות, ואף תכניות מחשב (למשל קוד R). כך כל אחד יוכל לשפוט בעצמו את איכות הניתוח הסטטיסטי, ואת התוצאות שהתקבלו.

בעולם מושלם זו הצעה נהדרת, לדעתי. אני מסכים לחלוטין עם הקביעה שיש לתכנן מראש את שיטות הניתוח הסטטיסטי, וגם עם ההצעה לפרסם גם את הנתונים המחקריים לא רק את התוצאות. למעשה, השיטה הזו היא הסטנדרט בתעשייה הפרמצבטית. כאשר נערך ניסוי קליני, השיטות הסטטיסטיות לפיהן ינותחו הנתונים שבניסוי מצויינות כבר בפרוטוקול הניסוי, ונקבעות לפני שהניסוי בכלל התחיל. במקרים רבים השיטות הסטטיסטיות מוגשות לעיון ולאישור של הרשות הרגולטורית (בדרך כלל ה-FDA). ובסיום הניסוי, כל הנתונים שנאספו מוגשים לרשות הרגולטורית, שם לרוב מנתחים אותם באופן עצמאי. עם זאת, אני יש לי ספק לגבי רמת ההיענות להצעות של נויטן בקרב ציבור החוקרים.

סטיבן נ. גודמן מאוניברסיטת סטנפורד אומר כי יש "לשנות מבפנים". הבעיה היא לא בסטטיסטיקה, אומר גודמן, אלא באופן היישום שלה במחקר המדעי (( לא מפתיע, נכון? )) . הציפיות ממרצים לסטטיסטיקה הן כי הם ילמדו את הגישות הסטנדרטיות המקובלות על כתבי עת ועל עמיתים, ואיש לא מתעניין בבעיות האמיתיות, כמו למשל בהבדלים שבין מובהקות למשמעות. רוב החוקרים מעוניינים רק בידע המינימלי שיאפשר להם להפעיל את התוכנות הסטטיסטיות, כך שיוכלו לפרסם מאמרים במהירות.

גודמן מביא לדוגמא מחקר על חיזוי נטיה להתאבדות שפורסם בחודש האחרון. גודל המדגם היה 17 איש בכל קבוצה. ההצדקה למספר הזה? כותבי המאמר הסבירו כי במאמר אחר, שעסק באנשים על הקשת האוטיסטית, השתמשו באותו גודל מדגם. התרבות המחקרית גוברת על הכללים. ובכל ענף או תת-ענף מדעי יש תרבות אחרת.

מכיוון שכך, אין פתרונות קסם. מי שצריכים להיענות לאתגרים האלה הם קרנות המחקר, כתבי העת, ובעיקר מובילי הדיעה בכל ענף מדעי. ברגע שיתחיל תהליך כזה הוא יחזק את עצמו. מדענים ישתמשו בשיטות סטטיסטיות שבהן משתמשים במאמרים אחרים שכבר התפרסמו. שופטי המאמרים (peer reviewers) ידרשו מהכותבים מה ששופטים אחרים דרשו מהם.

אנחנו בשלים לרפורמה, אומר גודמן. משבר השחזוריות ממחיש לנו את העלות שנובעת מחוסר תשומת לב לתכנון ולניתוחים סטטיסטיים נאותים. חוקרים צעירים משוועים לשינוי. על מובילי הדיעה להיענות להם. לסטטיסטיקאים יש תפקיד חשוב בתהליך, אך הוא משני. השינוי צריך לבוא מבפנים – מתוך הקהילות המדעיות.

ואני מסכים עם כל מילה של גודמן.