חיפוש באתר

קישורים

עמודים

קטגוריות

ארכיב עבור תגית חינוך

איך לא ללמד חשיבה סטטיסטית

גברת נחמדה, בעלת רצון עז להבין את מה שמלמדים אותה באוניברסיטה (או מנסים ללמד), העלתה אתמול לקבוצת סטטיסטיקה והסתברות בפייסבוק מספר שאלות שניתנו במבחנים בסטטיסטיקה. די מהר התברר שבשאלה אחת הייתה טעות גסה, והשאלות האחרות, איך לומר, היו בעייתיות, לפחות בעיני. שאלתי אותה איפה היא לומדת, והיא ענתה שמדובר בקורס "חשיבה סטטיסטית לפסיכולוגים". עיון מהיר בפרופיל שלה העלה כי היא לומדת באוניברסיטה העברית[1].

כמה מילים על חשיבה סטטיסטית

כאן צריך להתקיים דיון בשאלה מהי חשיבה סטטיסטית ואיך מלמדים אותה. ברשותכם אני אדחה את הדיון הזה למועד אחר. אציין רק שחשיבה סטטיסטית זה דבר קשה, שלא בא בטבעיות כמעט לאף אחד (כולל אותי). שני פסיכולוגים מהאוניברסיטה העברית, דניאל כהנמן ועמוס טברסקי, הוכיחו כבר בסוף שנות השישים כי בני האדם אינם "סטטיסטיקאים טבעיים", וחשיבה סטטיסטית אינה אינטואיטיבית. ללמד חשיבה סטטיסטית זה עוד יותר קשה ומסובך, אם כי לא בלתי אפשרי (ואני רוצה להפנות את הקוראים המתעניינים בכך לספרם של עמוס טברסקי וורדה ליברמן, "חשיבה ביקורתית"). אני בספק האם ניתן ללמד חשיבה סטטיסטית בקורס של כמה שעות בסמסטר אחד.

כפי שכבר ניתן להבין מדבריי עד כה, אני חושב שהשאלות שהיא העלתה (כאמור שאלות שניתנו במבחנים של הקורס הזה) אינן בודקות שום מימד של חשיבה, אלא יכולות של חישובים ולהטוטים בנוסחאות. אולי זה לגיטימי להתמקד בנוסחאות וחישובים במסגרת קורס בסיסי בסטטיסטיקה (אני חושב שלא) אבל זו לא חשיבה סטטיסטית.

איך לא בודקים יכולות של חשיבה סטטיסטית

ועכשיו בואו ננתח את השאלה שממש הרגיזה אותי:

ובכן, מה יש לנו כאן? מנהל בית ספר שנתוני הציון הממוצע וסטיית התקן בכיתה מסויימת לא מתאימים לאג'נדה שלו. הפתרון של המנהל הוא לעוות את הנתונים[2]. מחבר השאלה מציע למנהל הזה ארבע אופציות: בשתיים מהן מוסיפים לנתונים נתון נוסף של תלמידה מכיתה אחרת שקיבלה ציון גבוה מהממוצע (יש שתי אפשרויות כי המנהל גם רוצה להקטין את השונות, הרי בכל זאת מתיימרים לדבר על חשיבה סטטיסטית). בשתי האופציות האחרות משמיטים מנתוני הכיתה את הציון של תלמיד או תלמידה עם ציון נמוך מהממוצע.

אני חושב שהשאלה הזו ממצה את כל מה שרע בפרקטיקות של אנשים, חוקרים או אחרים, שמשתמשים בסטטיסטיקה ללא שמץ של הבנה או יושרה. כתבתי סדרה של שבעה פוסטים על סטטיסטיקה רעה, והנה שבע שורות שלוקחות את כל מה שכתבתי בהליכה.

מצד שני, באופן אבסורדי, דווקא כאן יש סוג של חשיבה סטטיסטית (אמנם בהקשר רע, אבל בכל זאת חשיבה). אבל השאלה לא בודקת את יכולות החשיבה של הסטודנטים, אלא לכל היותר מציגה בצורה מוגבלת את יכולת החשיבה הסטטיסטית של מחבר השאלה[3]. הוא אכן מבין, או לפחות יודע, שככל שממוצע הציונים גבוה יותר וסטיית התקן נמוכה יותר, כך העדות לטובת שיטת הלימוד החדשה חזקה יותר[4]. אבל הוא אומר את זה במפורש לסטודנטים: צריך ממוצע יותר גבוה וסטיית תקן יותר קטנה. מה שנשאר לסטודנטים לעשות זה רק לערוך ארבעה חישובים[5] חסרי טעם.

איך בכל זאת אפשר לבדוק יכולות של חשיבה סטטיסטית

כותב השאלה ממש לא מבין איך לברר את היכולת החשיבתית הזאת אצל הסטודנטים בצורה ישירה, ללא התעסקות בחישובים, וללא הצגה של סטטיסטיקה רעה. הוא היה יכול, למשל, להציע לסטודנטים את ארבע האפשרויות בלי לומר להם שהשאיפה היא לממוצע יותר גבוה עם סטיית תקן יותר קטנה. זה היה בודק האם הסטודנטים בוחרים באפשרות הנכונה ללא הנחיה. עם זאת, הלגיטימיות שניתנת כאן להונאה באמצעות שפצור הנתונים עדיין נשארת.

יש גם אפשרות אחרת: להציג נתוני ממוצע וסטיית תקן של ארבע כיתות היפותטיות, ולשאול איזה נתונים היפותטיים מבטאים עדות חזקה יותר ליעילותה של השיטה החדשה. כך הוא ניתן האם הסטודנטים אכן יודעים להעריך את העדויות על פי הממוצע וסטיית התקן, ללא חישובים, וללא הסיפור המזעזע[6] על המנהל הבלתי מרוצה.

אבל בשביל זה צריך חשיבה סטטיסטית.


הערות
  1. שהיא ה-alma mater שלי []
  2. ביטוי מכובס ל-"לשקר" []
  3. אני מקווה שהיכולות שלו גבוהות יותר, אי אפשר לשפוט את היכולות שלו על סמך מה שכתוב בשאלה אחת []
  4. אם כי איפה קבוצת הביקורת? []
  5. אמנם לא מסובכים []
  6. אין כאן שום ציניות []

סטטיסטיקה ופיתוח תרופות לכיתה ג

בבית הספר של ילדיי התקיים הבוקר "יום ההורה המעשיר", במסגרתו הגיעו הורים והעבירו שיעורים בכל מיני נושאים מעניינים. אני, כמובן, העברתי שיעור על סטטיסטיקה ופיתוח תרופות, לתלמידי כיתה ג.

למעוניינים, מצגת השיעור נמצאת כאן.

 

סטטיסטיקה והסתברות לגיל הרך

שום דבר חדש או מפתיע בפוסט הזה, שום דיון על תובנות (לא שאין כאלה), רק קצת חומר חימום ללב.

בגן של בני הצעיר[1], כמו בהרבה גני ילדים אחרים, יש בכניסה לגן לוח אליו מצמיד כל ילד שלט קטן עם שמו בכל בוקר, מין לוח נוכחות כזה. בכל שבוע, משתנה השאלה שבראש הלוח, ובהתאם לכך משתנה התצורה של לוח הנוכחות. כך, למשל, נוצרה דיאגרמת עמודות של התפלגות מספר האותיות בשמות ילדי הגן:

pashoshname

לקראת חג החנוכה, הונח ליד הלוח סביבון, וכל ילד או ילדה מסובבים את הסביבון, ומצרפים את שמם לעמודה המתאימה לאות שעליה "נעצר הסביבון"[2]:

pashoshsevivon

הערות
  1. גן פשוש, עם הגננות הנפלאות תמי וסווטה []
  2. כאן יכול לבוא דיון על ההתפלגות האחידה שאמורה להתקבל ועל מבחני טיב ההתאמה, אבל אוותר לכם על זה. []

כמה הערות מאוחרות בנושא פרסום ציוני המיצב

ביום חמישי האחרון (23.5.13) השתתפתי בכנס האיגוד הישראלי לסטטיסטיקה. במושב הסיום של הכנס נערך פאנל בו השתתפה, בין היתר, פרופ' מיכל בלר, המנכ"ל הפורשת של הרשות הארצית למדידה והערכה (ראמ"ה). הפאנל היה אמור לעסוק ב-"אתגרים בפרסום פומבי של נתונים על מערכות ציבוריות", אולם בפועל הוקדש רובו להתלהמות חוצבת להבות של פרופ' בלר כנגד ההחלטה להנגיש לציבור את תוצאות מבחני המיצב. ההחלטה התקבלה, אגב, על ידי שופטי בית המשפט העליון של מדינת ישראל, שכמובן אינם מומחים לחינוך כמו פרופ' בלר עצמה. אני ממליץ לקוראים לקרוא את סקירת החלטת בית המשפט העליון בנושא שכתבה קרן ילין-מור, שהופיעה בבלוג "הטרקלין".

הנושא הוא אכן ישן. החלטת בית המשפט התקבלה לפני שבעה חודשים, ותוצאות המיצ"ב פורסמו לציבור הרחב לפני יותר מחצי שנה. מלים רבות נכתבו על כך מאז, ולכן אתייחס רק למספר קטן של טענות שהועלו במהלך הדיון בפאנל.

טענה מרכזית של פרופ' בלר היא שפרסום הציונים, ובעקבותיהם פרסומים בעיתונות ודירוגי בתי ספר שהופיעו באתר מדלן, גורמים ויגרמו להונאות בבחינות/תהליך המדידה מצד בתי הספר, המורים והתלמידים. טענה זו שגויה ומטעה, והסיבה היחידה שאני יכול להעלות בדעתי לכך היא שפרופ' בלר אינה מבחינה בין סיבה ו-… לא ברור מה.

הסיבה להונאות בבחינות היא קיום הבחינות עצמן, והחשש של בתי הספר והמורים כי ייפגעו עקב תוצאות הבחינות. גורלם של מנהלי בתי הספר ומוריהם נתון בידי משרד החינוך, לא בידי הציבור.

גם התמקדות של אנשי מערכת החינוך בשיפור המדדים ולא בשיפור התופעות שגרמו למדדים מספריים אינה קשורה בעצם הפרסום, אלא בעצם קיום המדידה. זו בעיה שהיה צריך לצפות מייד עם ההחלטה על קיום מבחני המיצב, ובמקביל היה צריך לחשוב על דרכים להתמודדות איתה. אני מניח, או לפחות רוצה לקוות, שחשיבה כזו נעשתה.

טענה שניה שהועלתה היא העובדה שאתרים מסוג אתר מדלן (שמפעיליו הם חבורה של סטודנטים למדעי המחשב שאינה מבינה בחינוך, לדעת בלר), פרסמו "טבלאות ליגה" בה ערכו השוואה ארצית בין בתי הספר. זה היה יכול להמנע, לדעת בלר, לו לא פורסמו התוצאות.

ובכן, השוואה ארצית ("טבלת ליגה" כפי שמכנה זו בלר) נערכה על ידי ראמ"ה עצמה, ותוצאות השוואה זו מופיעה בדוחות עצמם שפורסמו לציבור. הרי בדו"ח עצמו מופיע ממוצע הציון במבחן מול הממוצע הארצי (וגם סטיות התקן), וכן מופיע העשירון בו נמצא בית הספר. האם זו אינה השוואה? ההשוואה והדירוג כבר נעשו, על ידי ראמ"ה בכבודה ובעצמה, אבל בכל דו"ח בית ספרי מופיעה רק פיסת מידע קטנה מטבלת הליגה. בלר אכן ניסתה למנוע את הצגת התמונה השלמה על ידי כך שהגישה לדו"חות המפורסמים היא קשה יחסית, ניתן להוריד רק דו"ח של בית ספר אחד בכל פעם, והנתונים מופיעים בקובצי PDF, שאינם מאפשרים קריאה נוחה של נתונים. מזל שיש כמה סטודנטים למדעי המחשב שיכולים להתמודד עם המכשולים האלה ולהביא לציבור את התמונה השלמה.

טענה נוספת שהועלתה במובלע היא שהערכת בית ספר אינה צריכה להיות תלויה רק בנתונים כמותיים של תוצאות מבחנים, אלא במכלול, שחלקו מורכב מנתונים שאינם ניתנים לכימות. נכון, אז מה? פרסמו נא לציבור גם את הנתונים הבלתי כמותיים.

עם טענה אחת אני בכל זאת מסכים: אנשי אתר מדלן נתנו לכל בית ספר דירוג שהוא ממוצע העשירונים במקצועות הליבה השונים מוכפל ב-10. לדוגמא, לבית ספר שדורג בעשירון 8 במבחן האנגלית ו-7 במבחן מתמטיקה, דירוג מדלן הינו 75. בלר, וגם ד"ר חגית גליקמן, הסטטיסטיקאית של ראמ"ה, טענו כי מדד זה בעייתי מבחינה מתודולוגית. אני מסכים – מיצוע עשירונים הוא בעייתי, חסר ביסוס תיאורטי סטטיסטי, ופרדוקס סימפסון עלול להרים את ראשו. אבל מכאן ועד הטענה שלמדד דירוג מדלן אין כל משמעות הדרך רחוקה. זו היוריסטיקה סבירה בהחלט לדעתי, גם אם המתודולוגיה לקויה. אפשר כמובן לעשות טוב יותר. אני מקווה שראמ"ה תפרסם, כפי שהציע טל גלילי, את כל הנתונים בפורמט נוח להורדה ועיבוד, וכך יתאפשר לציבור לנסות גישות אחרות להשוואה בין בתי הספר. מאחר ובציבור הרחב יש גם סטטיסטיקאים, אני מניח שחלקם מכירים שיטות סטטיסטיות (ניתוח מרכיבים ראשיים, factor analysis, MDS הם כמה דוגמאות) שיתנו מדד השוואתי טוב יותר, וכך גם אנשי ראמ"ה שטענו כי "בלתי אפשרי" לבנות מדד משולב כזה ילמדו משהו.

הטענות של בלר בפאנל הן לא יותר מאשר בכי על כך שהסוסים ברחו מהאורווה, וזאת לאחר שבלר עצמה, כמנכ"ל ראמ"ה, פתחה את דלתות האורווה והאיצה בסוסים לצאת ממנה. ברגע שמעמידים את כלל התלמידים בבתי הספר בארץ בפני מבחן אחיד כמבחן המיצ"ב, נעשתה ההשוואה בין בתי הספר, והופנתה תשומת הלב של בתי הספר וצוותיהם מהשגת מטרות חינוכיות אל שיפור תוצאות המדדים הכמותיים. הנזק נעשה. השאלה היא רק האם יש לפרסם את התוצאות לציבור או לא, וכאן בהחלט צריך להעדיף את העקרון הדמוקטי של שקיפות הממשלה לציבור על פני דעתה של בלר וראמ"ה. בלר אמרה כי בעקבות הוראת בית המשפט העליון נשקל ביטול מבחני המיצ"ב. לו יהי.

מקבץ 5

ושוב, אוסף לינקים בנושאי הבלוג שהצטברו מאז המקבץ הקודם.

  • המקבץ הקודם הסתיים בלינק לפוסט בבלוג "עבודה שחורה", שהודיע על העובדה הלא מפתיעה כי התפלגות השכר בישראל מוטה, או יותר נכון, אינה סימטרית. האמת, זה קצת כמו להודיע שכלב נשך אדם. זה המצב בכל התפלגויות השכר בכל מקום, וזאת כיוון שהשכר מוגבל מלמטה (על ידי שכר המינימום, או על ידי האפס) אך אינו מוגבל מלמעלה, ותיאורטית (וגם מעשית) יש קבוצה קטנה של מקבלי שכר גבוה במיוחד שיוצרים "זנב" להתפלגות. כל זה לא מעניין במיוחד את שלומית יהב, יועצת כלכלית לעת מצוא. היא פירסמה בווינט כתבה בה הוכיחה באותות ובמופתים כי משפחה שבה שני בני הזוג מרוויחים את השכר הממוצע במשק יכולה "לחיות טוב" בארצנו. אתם יודעים מה, היא גם צודקת. כי השכר הממוצע המשק גבוה מאוד, ומי ששכרו שווה לשכר הממוצע ניצב בגאון בעשירון השלישי, כלומר, 70% מהאוכלוסיה מרוויחים פחות מהשכר הממוצע. הבעיה היא שמספר המשפחות בהן שני בני הזוג עובדים ומרוויחים את השכר הממוצע במשק זניח. אם אחד מבני הזוג מרוויח את השכר הממוצע, יש סיכוי יותר גדול כי השני מרוויח פחות מכך. כן, גם אם לוקחים בחשבון שיש תלות בין השכר של שני בני הזוג, וזאת כיוון שהשכר הממוצע למשפחה הוא פחות מפעמיים השכר הממוצע במשק. דובי קננגיסר כתב היטב על הכשלים של גברת יהב, והעריך כי התחשיב שלה נכון לגבי לא יותר מ- 10% ממשקי הבית בישראל. השורה התחתונה: אם אתה בעשירון העליון, אתה באמת יכול לחיות טוב בארץ הזו.
  • ראיון עם פרופסור אילון לינדנשטראוס, שזכה במדליית פילדס, הפרס היוקרתי ביותר במתמטיקה.
  • אין שידור טלוויזיה של משחק כדורסל, בייסבול או פוטבול (אמריקני) שאינו מלווה בשפע של נתונים סטטיסטיים אודות המתרחש במשחק. יותר מכך: ניתוחים סטטיסטיים מהווים היום חלק מתהליך קבלת ההחלטות בכל ארגון ספורט בענפים האלה. ומה קורה בכדורגל? לא הרבה. הניו יורק טיימס מנסה לברר מדוע. חלק מהסיבות: האוהדים לא מעוניינים. הקבוצות לא מתעניינות. קשה יותר להשיג נתונים סטטיסטיים על משחקי כדורגל, בין היתר בגלל האופי השונה של המשחק.
  • לא רק לענף הכדורגל יש בעיות עם הסטטיסטיקה. גם לרופאים (שוב, ידיעה מהסוג של "כלב נשך אדם"). אתר ABC מדווח על מחקר שפורסם לאחרונה לפיו רוב הרופאים אינם מבינים נתונים סטטיסטיים אודות תופעות לוואי אפשריות של תרופות. עורכי המחקר מאשימים, איך לא, את חברות התרופות. האפשרות שרופאים ילמדו קצת סטטיסטיקה לא עולה בדעתם.
  • בגליון ספטמבר של Amstat News, המגזין החודשי של האיגוד האמריקני לסטטיסטיקה – ראיון עם שלושה בלוגרים סטטיסטיקאים: אנדרו גלמן, נתן יאו וקייזר פאנג.
  • ובגליון אוגוסט מובאים הזוכים בתחרות הפוסטרים השנתית של האיגוד האמריקני לסטטיסטיקה – הנערכת בקרב תלמידי בתי הספר בארה"ב. מה שמראה שלא צריך להיות רופא, או סטטיסטיקאי, כדי "לעשות" סטטיסטיקה טובה. צריך רק לרצות. הנה טעימה: הזוכה במקום הראשון בקרב תלמידים מכיתות א עד ג: