גברת נחמדה, בעלת רצון עז להבין את מה שמלמדים אותה באוניברסיטה (או מנסים ללמד), העלתה אתמול לקבוצת סטטיסטיקה והסתברות בפייסבוק מספר שאלות שניתנו במבחנים בסטטיסטיקה. די מהר התברר שבשאלה אחת הייתה טעות גסה, והשאלות האחרות, איך לומר, היו בעייתיות, לפחות בעיני. שאלתי אותה איפה היא לומדת, והיא ענתה שמדובר בקורס “חשיבה סטטיסטית לפסיכולוגים”. עיון מהיר בפרופיל שלה העלה כי היא לומדת באוניברסיטה העברית ((שהיא ה-alma mater שלי)).
כמה מילים על חשיבה סטטיסטית
כאן צריך להתקיים דיון בשאלה מהי חשיבה סטטיסטית ואיך מלמדים אותה. ברשותכם אני אדחה את הדיון הזה למועד אחר. אציין רק שחשיבה סטטיסטית זה דבר קשה, שלא בא בטבעיות כמעט לאף אחד (כולל אותי). שני פסיכולוגים מהאוניברסיטה העברית, דניאל כהנמן ועמוס טברסקי, הוכיחו כבר בסוף שנות השישים כי בני האדם אינם “סטטיסטיקאים טבעיים”, וחשיבה סטטיסטית אינה אינטואיטיבית. ללמד חשיבה סטטיסטית זה עוד יותר קשה ומסובך, אם כי לא בלתי אפשרי (ואני רוצה להפנות את הקוראים המתעניינים בכך לספרם של עמוס טברסקי וורדה ליברמן, “חשיבה ביקורתית“). אני בספק האם ניתן ללמד חשיבה סטטיסטית בקורס של כמה שעות בסמסטר אחד.
כפי שכבר ניתן להבין מדבריי עד כה, אני חושב שהשאלות שהיא העלתה (כאמור שאלות שניתנו במבחנים של הקורס הזה) אינן בודקות שום מימד של חשיבה, אלא יכולות של חישובים ולהטוטים בנוסחאות. אולי זה לגיטימי להתמקד בנוסחאות וחישובים במסגרת קורס בסיסי בסטטיסטיקה (אני חושב שלא) אבל זו לא חשיבה סטטיסטית.
איך לא בודקים יכולות של חשיבה סטטיסטית
ועכשיו בואו ננתח את השאלה שממש הרגיזה אותי:
ובכן, מה יש לנו כאן? מנהל בית ספר שנתוני הציון הממוצע וסטיית התקן בכיתה מסויימת לא מתאימים לאג’נדה שלו. הפתרון של המנהל הוא לעוות את הנתונים ((ביטוי מכובס ל-“לשקר” )). מחבר השאלה מציע למנהל הזה ארבע אופציות: בשתיים מהן מוסיפים לנתונים נתון נוסף של תלמידה מכיתה אחרת שקיבלה ציון גבוה מהממוצע (יש שתי אפשרויות כי המנהל גם רוצה להקטין את השונות, הרי בכל זאת מתיימרים לדבר על חשיבה סטטיסטית). בשתי האופציות האחרות משמיטים מנתוני הכיתה את הציון של תלמיד או תלמידה עם ציון נמוך מהממוצע.
אני חושב שהשאלה הזו ממצה את כל מה שרע בפרקטיקות של אנשים, חוקרים או אחרים, שמשתמשים בסטטיסטיקה ללא שמץ של הבנה או יושרה. כתבתי סדרה של שבעה פוסטים על סטטיסטיקה רעה, והנה שבע שורות שלוקחות את כל מה שכתבתי בהליכה.
מצד שני, באופן אבסורדי, דווקא כאן יש סוג של חשיבה סטטיסטית (אמנם בהקשר רע, אבל בכל זאת חשיבה). אבל השאלה לא בודקת את יכולות החשיבה של הסטודנטים, אלא לכל היותר מציגה בצורה מוגבלת את יכולת החשיבה הסטטיסטית של מחבר השאלה ((אני מקווה שהיכולות שלו גבוהות יותר, אי אפשר לשפוט את היכולות שלו על סמך מה שכתוב בשאלה אחת)). הוא אכן מבין, או לפחות יודע, שככל שממוצע הציונים גבוה יותר וסטיית התקן נמוכה יותר, כך העדות לטובת שיטת הלימוד החדשה חזקה יותר ((אם כי איפה קבוצת הביקורת? )). אבל הוא אומר את זה במפורש לסטודנטים: צריך ממוצע יותר גבוה וסטיית תקן יותר קטנה. מה שנשאר לסטודנטים לעשות זה רק לערוך ארבעה חישובים ((אמנם לא מסובכים)) חסרי טעם.
איך בכל זאת אפשר לבדוק יכולות של חשיבה סטטיסטית
כותב השאלה ממש לא מבין איך לברר את היכולת החשיבתית הזאת אצל הסטודנטים בצורה ישירה, ללא התעסקות בחישובים, וללא הצגה של סטטיסטיקה רעה. הוא היה יכול, למשל, להציע לסטודנטים את ארבע האפשרויות בלי לומר להם שהשאיפה היא לממוצע יותר גבוה עם סטיית תקן יותר קטנה. זה היה בודק האם הסטודנטים בוחרים באפשרות הנכונה ללא הנחיה. עם זאת, הלגיטימיות שניתנת כאן להונאה באמצעות שפצור הנתונים עדיין נשארת.
יש גם אפשרות אחרת: להציג נתוני ממוצע וסטיית תקן של ארבע כיתות היפותטיות, ולשאול איזה נתונים היפותטיים מבטאים עדות חזקה יותר ליעילותה של השיטה החדשה. כך הוא ניתן האם הסטודנטים אכן יודעים להעריך את העדויות על פי הממוצע וסטיית התקן, ללא חישובים, וללא הסיפור המזעזע ((אין כאן שום ציניות)) על המנהל הבלתי מרוצה.
אבל בשביל זה צריך חשיבה סטטיסטית.
אני חושב שאתה מערבב כאן שני נושאים שונים. אחד, העניין הסטטיסטי שהוא החשוב, ואני מסכים איתך שאין כאן איזושהיא חשיבה סטטיסטית מתוחכמת. הדבר השני זה הסיפור שהוא בכלל לא רלוונטי בעיניי. במבחנים ועבודות רבות מספור נתקלתי בסיפורים מופרכים שאפשר לקרוא להם טיפשיים או מזעזעים אם היה מדובר במציאות. אבל הם רק הרקע לשאלה ומעיד במידה מסוימת על חוסר דמיון של כותבי השאלות.
אגב, אני לא מסכים איתך שאין כאן חשיבה סטטיסטית בכלל. הרי לא צריך לעשות ארבעה חישובים. את תשובה א אפשר לבטל כי היא מגדילה את השונות יותר מתשובה ב. תשובה ג גם לא טובה כי היא מקטינה את הממוצע. נשאר רק לבחון את ב וד.
השאלה מטופשת אבל לא מהסיבה שהעלית.
שאלות שמבוססות על סיפורים טפשיים ואף מופרכים זה בסדר גמור. חשיבה סטטיסטית לא מחייבת אתיקה סטטיטית, ולטעמי זה הגיוני וכדאי ללמד אנשים איך לרמות בסטטיסטיקה, ואז אולי כך הם יבינו איפה מרמים אותם… גם בקורסים למשפטים לומדים איך אפשר להיפטר מעונש בכל מיני עברות פליליות ואף אחד לא מתכוון שצריך ליישם את זה בפועל. ושוב, זה רק סיפור טפשי לצורך השאלה בלבד.
אבל הבעיה הגדולה היא שאין תשובה אחת נכונה. מלבד תשובה ג שבוודאות לא נכונה, כל השאר עשוי להיות נכון. תשובות ב וד מעלות את הממוצע ומפחיתות את השונות, ותשובה א עשויה לענות על הדרישות בתנאים מסוימים,. בשאלה לא הוגדר מה עדיף – להעלות את הממוצע בהרבה ולהפחית את השונות במעט או להעלות את הממוצע במעט ולהפחית את השונות בהרבה? ובהעדר הנחיות, אני הייתי הולך על א (האינטואיציה שלי אומרת שמספרים טובים יותר יניבו בסופו של דבר מדדים טובים יותר) אבל זו לא בהכרח התשובה הנכונה יותר…
ברוך הבא למערכות ציבוריות
כנראה פספסתי משהו.
הרי אין קבוצת ביקורת ואפילו אין ידוע מספר התלמידים בכיתה. כלומר אין נתונים המאפשרים לעשות חישובים פרטניים – מה שנותר הוא להפעיל חשיבה סטטיסטית ולא חישוב, ולהעריך מה ישכנע יותר: העלאת הממוצע על חשבון השונות או ההפך?
אני מניח שאני טועה, אך אשמח להבין למה.
ואני חשבתי שהבעיה היא בכך שנכתב “ארבעת האופציות” במקום “ארבע האופציות”.
גם “עדיפה ביותר” הוא ביטוי מגוחך, בדומה לאחיו “יותר עדיף”.