ביום חמישי האחרון (23.5.13) השתתפתי בכנס האיגוד הישראלי לסטטיסטיקה. במושב הסיום של הכנס נערך פאנל בו השתתפה, בין היתר, פרופ’ מיכל בלר, המנכ”ל הפורשת של הרשות הארצית למדידה והערכה (ראמ”ה). הפאנל היה אמור לעסוק ב-“אתגרים בפרסום פומבי של נתונים על מערכות ציבוריות“, אולם בפועל הוקדש רובו להתלהמות חוצבת להבות של פרופ’ בלר כנגד ההחלטה להנגיש לציבור את תוצאות מבחני המיצב. ההחלטה התקבלה, אגב, על ידי שופטי בית המשפט העליון של מדינת ישראל, שכמובן אינם מומחים לחינוך כמו פרופ’ בלר עצמה. אני ממליץ לקוראים לקרוא את סקירת החלטת בית המשפט העליון בנושא שכתבה קרן ילין-מור, שהופיעה בבלוג “הטרקלין”.
הנושא הוא אכן ישן. החלטת בית המשפט התקבלה לפני שבעה חודשים, ותוצאות המיצ”ב פורסמו לציבור הרחב לפני יותר מחצי שנה. מלים רבות נכתבו על כך מאז, ולכן אתייחס רק למספר קטן של טענות שהועלו במהלך הדיון בפאנל.
טענה מרכזית של פרופ’ בלר היא שפרסום הציונים, ובעקבותיהם פרסומים בעיתונות ודירוגי בתי ספר שהופיעו באתר מדלן, גורמים ויגרמו להונאות בבחינות/תהליך המדידה מצד בתי הספר, המורים והתלמידים. טענה זו שגויה ומטעה, והסיבה היחידה שאני יכול להעלות בדעתי לכך היא שפרופ’ בלר אינה מבחינה בין סיבה ו-… לא ברור מה.
הסיבה להונאות בבחינות היא קיום הבחינות עצמן, והחשש של בתי הספר והמורים כי ייפגעו עקב תוצאות הבחינות. גורלם של מנהלי בתי הספר ומוריהם נתון בידי משרד החינוך, לא בידי הציבור.
גם התמקדות של אנשי מערכת החינוך בשיפור המדדים ולא בשיפור התופעות שגרמו למדדים מספריים אינה קשורה בעצם הפרסום, אלא בעצם קיום המדידה. זו בעיה שהיה צריך לצפות מייד עם ההחלטה על קיום מבחני המיצב, ובמקביל היה צריך לחשוב על דרכים להתמודדות איתה. אני מניח, או לפחות רוצה לקוות, שחשיבה כזו נעשתה.
טענה שניה שהועלתה היא העובדה שאתרים מסוג אתר מדלן (שמפעיליו הם חבורה של סטודנטים למדעי המחשב שאינה מבינה בחינוך, לדעת בלר), פרסמו “טבלאות ליגה” בה ערכו השוואה ארצית בין בתי הספר. זה היה יכול להמנע, לדעת בלר, לו לא פורסמו התוצאות.
ובכן, השוואה ארצית (“טבלת ליגה” כפי שמכנה זו בלר) נערכה על ידי ראמ”ה עצמה, ותוצאות השוואה זו מופיעה בדוחות עצמם שפורסמו לציבור. הרי בדו”ח עצמו מופיע ממוצע הציון במבחן מול הממוצע הארצי (וגם סטיות התקן), וכן מופיע העשירון בו נמצא בית הספר. האם זו אינה השוואה? ההשוואה והדירוג כבר נעשו, על ידי ראמ”ה בכבודה ובעצמה, אבל בכל דו”ח בית ספרי מופיעה רק פיסת מידע קטנה מטבלת הליגה. בלר אכן ניסתה למנוע את הצגת התמונה השלמה על ידי כך שהגישה לדו”חות המפורסמים היא קשה יחסית, ניתן להוריד רק דו”ח של בית ספר אחד בכל פעם, והנתונים מופיעים בקובצי PDF, שאינם מאפשרים קריאה נוחה של נתונים. מזל שיש כמה סטודנטים למדעי המחשב שיכולים להתמודד עם המכשולים האלה ולהביא לציבור את התמונה השלמה.
טענה נוספת שהועלתה במובלע היא שהערכת בית ספר אינה צריכה להיות תלויה רק בנתונים כמותיים של תוצאות מבחנים, אלא במכלול, שחלקו מורכב מנתונים שאינם ניתנים לכימות. נכון, אז מה? פרסמו נא לציבור גם את הנתונים הבלתי כמותיים.
עם טענה אחת אני בכל זאת מסכים: אנשי אתר מדלן נתנו לכל בית ספר דירוג שהוא ממוצע העשירונים במקצועות הליבה השונים מוכפל ב-10. לדוגמא, לבית ספר שדורג בעשירון 8 במבחן האנגלית ו-7 במבחן מתמטיקה, דירוג מדלן הינו 75. בלר, וגם ד”ר חגית גליקמן, הסטטיסטיקאית של ראמ”ה, טענו כי מדד זה בעייתי מבחינה מתודולוגית. אני מסכים – מיצוע עשירונים הוא בעייתי, חסר ביסוס תיאורטי סטטיסטי, ופרדוקס סימפסון עלול להרים את ראשו. אבל מכאן ועד הטענה שלמדד דירוג מדלן אין כל משמעות הדרך רחוקה. זו היוריסטיקה סבירה בהחלט לדעתי, גם אם המתודולוגיה לקויה. אפשר כמובן לעשות טוב יותר. אני מקווה שראמ”ה תפרסם, כפי שהציע טל גלילי, את כל הנתונים בפורמט נוח להורדה ועיבוד, וכך יתאפשר לציבור לנסות גישות אחרות להשוואה בין בתי הספר. מאחר ובציבור הרחב יש גם סטטיסטיקאים, אני מניח שחלקם מכירים שיטות סטטיסטיות (ניתוח מרכיבים ראשיים, factor analysis, MDS הם כמה דוגמאות) שיתנו מדד השוואתי טוב יותר, וכך גם אנשי ראמ”ה שטענו כי “בלתי אפשרי” לבנות מדד משולב כזה ילמדו משהו.
הטענות של בלר בפאנל הן לא יותר מאשר בכי על כך שהסוסים ברחו מהאורווה, וזאת לאחר שבלר עצמה, כמנכ”ל ראמ”ה, פתחה את דלתות האורווה והאיצה בסוסים לצאת ממנה. ברגע שמעמידים את כלל התלמידים בבתי הספר בארץ בפני מבחן אחיד כמבחן המיצ”ב, נעשתה ההשוואה בין בתי הספר, והופנתה תשומת הלב של בתי הספר וצוותיהם מהשגת מטרות חינוכיות אל שיפור תוצאות המדדים הכמותיים. הנזק נעשה. השאלה היא רק האם יש לפרסם את התוצאות לציבור או לא, וכאן בהחלט צריך להעדיף את העקרון הדמוקטי של שקיפות הממשלה לציבור על פני דעתה של בלר וראמ”ה. בלר אמרה כי בעקבות הוראת בית המשפט העליון נשקל ביטול מבחני המיצ”ב. לו יהי.
עם הטיעון הבסיסי שלך אני מסכים – החטא הקדמון הוא לא פרסום תוצאות המיצ”ב, אלא עצם עריכתו. ובזה מיכל בלר היא האשמה המרכזית.
ובכל זאת, לפרסום יש משמעות רבה, כי הוא מגדיל את החשיבות של המבחן. בניגוד לטענתך, ש”גורלם של מנהלי בתי הספר ומוריהם נתון בידי משרד החינוך, לא בידי הציבור” – גם לדעות של הציבור, ובפרט לרצון של הורי תלמידים לרשום את הילד לבית הספר, יש משמעות רבה עבור המנהלים.
ועוד הערה אחת – אתה שואל ‘למה לא לפרסם נתונים לא כמותיים’, אבל פרסום – ובמיוחד פרסום מסוג זה – מאוד מוטה לטובת נתונים כמותיים. תחשוב על ‘בבית הספר שמים דגש רב על פתרון בעיות באמצעות משא ומתן’ – זה אחלה דבר כשאתה בא לבית הספר ושומע עליו מהמנהל, אבל כשאתה יושב מול טבלה של עשרות בתי ספר, הרבה יותר קשה להביא את זה לביטוי מאשר הבדל של עשירית נקודת אחוז בציון האנגלית.
באמת שאין לי כל סימפטיה לראמ”ה או למבחן המיצב ואם פסק הדין יגרום לביטולו הרי שהרווחנו בגדול.
עם זאת, הבעיה בעיניי בפרסום הנתונים היא שפרסום הנתונים בצורה שהעותרים ביקשו יוצר תחושה שיש קשר סיבתי בין בית ספר לציון מיצ”ב – כאילו בית ספר שמטפל באוכלוסיה קשה בשכונת מצוקה משיג ציונים נמוכים כי הוא בית ספר גרוע, ולא בגלל התנאים בהם הוא פועל. אם היו מבקשים ציוני מיצ”ב ממוינים לפי מוצא אתני של המנהל/ת אני מהמר שהפרסום היה יוצר תחושה (מוטעית) כאילו אשכנזים הם מנהלי בית ספר טובים יותר.
אם לא מבטלים את המיצ”ב, הגיוני שראמ”ה תעשה מחקר מסודר על הגורמים שמשפיעים על הציונים ואז תפרסם את השפעת הגורמים הללו וציון לכל בית ספר בניכוי הגורמים השונים. אז אפשר גם לפרסם לידו ציונים גולמיים אם נורא רוצים.
הרן,
הורה שמחפש לאיזה בית ספר לשלוח את ילדו לא מעוניין בסיבות לכישלון. אם הרמה באנגלית נמוכה לא עוזר לי שהיא השתפרה במליון אחוז מהשנה הקודמת ולא שזה בגלל האוכלוסייה האזורית. אני ארצה שילדי ילמד אנגלית ברמה גבוהה.
יוסי
תודה על ההזדמנות לדון במורכבות המיצב, בהמשך לפאנל המעניין שריכזה חגית בכנס האיגוד.
הנושא מציף שוב את הצורך בגיבוש ראייה כוללת הנדרשת מעיבודים סטטיסטיים. השרשרת מתחילה בהגדרת הנתונים הנאספים ובדרך האיסוף, ממשיכה בניתוח הסטטיסטי שמתבצע ובצורת גיבוש והצגת המסקנות עד לשלב בו מישהו מנסה לעשות משהו כתוצאה מהדיווח.
בכל אחד משלבים אלה יש בעיות אפשריות. למשל אם לא מקפידים על מדגם מייצג ומשנים את רשימת התלמידים שמשתתפים במיצב כך שהתלמידים הפחות טובים נשלחים לשחק בכדור, הדיווח יהיה מוטה. בעיה באיכות הנתונים משליכה כמובן על איכות הדיווח ןיש להתמודד גם עם זה. נדמה לי שמיכל רמזה על זה בפאנל.
על הצורך בנתונים כבסיס לגיבוש תמונת מצב, אני מניח שאין צורך לדון בפורום זה. ברור שצריך לעשות את זה נכון וטוב. השאלה היא איזה נתונים נאספים, איך מגובשת ומוצגת תמונת המצב, ומה עושים איתה. לכל זה קראנו InfoQ בעבודה שלי עם גלית שמואלי שמתפרסמת ב (JRSS (A.
אני מסכים עם מיכל שיש הרבה בעייתיות בטבלאות ליגה – הן מציגות תמונה שהיא אולי פשוטה אבל בד”כ שגויה.
המדידה בחינוך, כפי שציינה מיכל, היא רב ממדית. מכאן שהצגת המצב לאשורו מחייב הצגת תמונה רב ממדית.
חוסר הבשלות של הציבור (והעיתונאים) בהבנה של גרפים רב ממדיים מביא לקושי אליו התיחסת. קידום שיטות יעילות להצגת תמונה רב ממדית יכול להועיל בהתמודדות עם בעיית הסקת מסקנות שגויות, דוגמת מה שעושה הציבור מתוך טבלאות ליגה.
ברור לכולם שהדבר רלוונטי בהרבה מאוד תחומים כגון בריאות, איכות הסביבה, רמת שרות מגופים שונים, ועוד ועוד
במונח “קידום” אני כולל גם מחקר ופיתוח, וגם הדרכה והכשרה.
רון –
אני עיתונאי שמתעניין בנושא. אני מציב בפניך אתגר – נסה להמיס את חוסר הבשלות שלי בהבנה של גרפיים רב מימדיים. אשמח להתגבר על הקושי הזה ולהביא מידע מהימן לציבור.
הכדור אצלך
שאול – מצויין
מציע שתפרסם סידרת נתונים רב ממדית כטבלה ותזמין אנשים להציג את הנתונים בצורות שונות.
על בסיס זה ניתן יהיה גם לקיים דיון על מסקנות ומשמעויות.
דוגמא אפשרית ניתן למצוא בתוצאות סקר שביעות רצון לקוחות שמשמש להמחשת מודלים שונים בספר:
http://eu.wiley.com/WileyCDA/WileyTitle/productCd-0470971282.html
את הנתונים של סקר לקוחות חברת ABC ניתן למצוא ב:
http://eu.wiley.com/WileyCDA/WileyTitle/productCd-0470971282,descCd-DOWNLOAD.html
רון
אני חושב שיש בתשובתך התמקדות יתר בסטטיסטיקה שלדעתי היא כמעט לא הסוגייה כאן, ואולי ההסתכלות דרך הפריזמה הסטטיסטית היא שורש הבעיה גם בראמ”ה.
כמו שניסח את זה קמפבל (Campbell’s law)
האדם יתנהג לפי איך שמודדים אותו, ויכוון להשתפר במדד ולאו דווקא במה שהוא מודד.
זו קביעה סוציולוגית, שמכתיבה פשרות מדידה
(מדידה מורכבת, מדגמית וכו’)
שראמ”ה לא היו מוכנים לקבל.
בלר דווקא נותנת קרדיט לאמיתה הזו – כמעט בכל מצגת שלה,
אבל ההשפעה לא מצליחה לעבור את גבולות השקופית הבודדה.
ההתחסות שלי היא להפקת תובנות מנתונים שנאספו בעמל רב.
המשמעות שאתה מציע לסטטיסטיקה היא מאוד צרה ולא משקפת את מה שכתבתי.
מצד שני נכון שהרבה אנשים מעדיפים להתייחס למציאות באופן כללי ולא לעובדות שמשתקפות בנתונים.
תודה על פוסט מעניין כרגיל.
המתודולוגיה של הכתיבה, איננה ברורה. מהי התועלת שאותה הפוסט בוחן, כאשר הוא מתמודד עם השאלה האם יש לפרסם את ציוני המיצ”ב או לא?
ברשותך, אחדד את הנקודה, כי עשית זאת היטב בשורות האחרונות. כל העניין סובב סביב שאלה עקרונית, שאיננה סטטיסטית ולא מדעית, אלא היא שאלה אידיאולוגית מובהקת:
“השאלה היא רק האם יש לפרסם את התוצאות לציבור או לא, וכאן בהחלט צריך להעדיף את העקרון הדמוקרטי של שקיפות הממשלה לציבור על פני דעתה של בלר וראמ”ה.”
ובכן, לדעתי הלא-אובייקטיבית, “שקיפות הממשלה לציבור” היא סיסמה שעשויה להכיל בתוכה יותר מדי השקפות מנוגדות, במילים אחרות היא איננה אומרת הרבה. זה מצד אחד, מצד שני על ההשקפה הזו ביססת מסקנה די גורפת.
עכשיו בהרחבה:
מדוע “שקיפות הממשלה לציבור” היא סיסמה ולא תוכן קוהרנטי: נניח שפרצה שריפה באולם. רק לממשלה ידוע על פרוץ השריפה. האם על הממשלה להודיע בבת אחת לכל הנוכחים כי פרצה שריפה באולם, ובכך ליצור אולי בהלה שתגרום ליציאה לא מסודרת, לא יעילה ואולי אפילו חלילה לרמיסת בני אדם בדרך אל הדלת? או, לחילופין, על הממשלה לעשות כל מה שניתן כדי להציל כמה שיותר אנשים מנזקים אפשריים, ככל שהדבר אפשרי, באמצעים הטובים ביותר העומדים ברשותה לפי העניין?
אני לא מתאפק ומודיע, שאם מישהו יקרא לי “בולשביק” אני אראה לו שהוא מתייחס לדברים לפי הסיסמה שהוא מלביש עליהם, ולא לפי תוכנם הממשי. כאן אני בעצם פוגע בהזדמנות שאולי יש לי, לחכות להרמה ואז להנחית. אבל יש לי עוד תחמושת, יהיה בסדר.
הלאה. אני רואה בעייתיות בהצבה של שתי אפשרויות, או איך אתה מסדר את הברירה, כאשר צריך לקבל החלטה. כאן, בפשטות, מתבצעת מניפולציה על הצגת הדברים כאילו הם מושכל ראשון בעוד שלמעשה מבחינה עניינית הם עומדים על כרעי תרנגולת.
אתה כותב מצד אחד על זכות לדעת, ומצד שני על דעתם של אנשים מסויימים. באיפוק רב אוכל רק לומר שהצבה זו איננה הוגנת כלל ועיקר. מהו תוכן דעתם של אותם אנשים ואיך הוא נשפט? מה התוקף הפנימי והחיצוני של דעתם, כלומר מהו הנזק שעלול להיגרם לדעתם, ואיך נשפוט את דעתם זו? מה, לא על זה הדיון? באמת לא? מה, הדיון נערך רק על מה שלדעתך הוא ברור מאליו?
מצד שני, מהי ההשלכה האפשרית של מימוש הזכות (שעליה – אני מזכיר – החלטת בלי לערוך דיון, אלא הנחת אותה מניה-וביה כתשתית שעליה אתה מבסס החלטה) בעולם הממשי?
לגבי ההבדל בין זכויות לבין מימושן: אילוסטרציה נוספת.
יש לי זכות להוציא מהבנקומט כל יממה, סכום בן חמשת אלפים שקלים. בעולם הממשי, אינני יכול לממש את זכותי לבצע זאת, בכל אופן לא כל יום. בעולם הממשי קיים לעיתים הבדל של שמים וארץ בין זכות לבין מימושה בכל רגע נתון. ההחלטה על מימוש הזכויות, עכשיו אני שם בצד את האילוסטרציה, החלטה זו היא לעיתים די קרובות החלטה שלטונית. השלטון הוא מי שאנחנו מפקידים בידו חלק מחירותנו כדי שנוכל לנהל את חיינו בלי שזכויותיו של אחד יפגעו בזכויותיו של אחר. זה עד כדי כך פשוט, ואני מאוכזב עמוקות מכך שבלוג אינטליגנטי כל כך, נופל על נקודה כל כך פשוטה.
ואני בכלל לא הוכחתי שצריך להיות אחרת. אין לי מסקנה הפוכה, בוודאי אם לא נימקתי אותה. אני רק מפקפק בארגומנטציה.
סליחה שאני מטריל: אמיר ויינשטוק, ממייסדי “מדלן” – שיש לה אינטרס מובהק בפרסום ממצאי המיצ”ב – הביע אכזבה מהקפאת מבחני המיצ”ב החיצוניים שחלה השנה. הוא טוען כי:
“לא היה שום היגיון ציבורי בביטול המיצ”ב החיצוני רק משום שבית המשפט הורה למשרד החינוך לחשוף בפני ציבור ההורים את מדדי האלימות וההישגים בבתי הספר. החלטת משרד החינוך להשאיר את המבחן הציבורי על כנו תאפשר להורים להמשיך ולהעמיק את מעורבותם במערכת החינוך. כך גם יתאפשר דיון ציבורי, מבוסס נתונים, על בעיות היסוד של מערכת החינוך, כמו הפערים והאלימות”.
עד כאן דבריו, אני מציין בעניין שאתר “מדלן” מגלה חשיבות רבה כל כך לטיפול בבעיות מערכת החינוך, זה אתר שעוסק בהערכת שווי נדלן וכנראה יש לו תחושת שליחות. בכל זאת, אני מסב את תשומת לב הבלוג לכך שדווקא מי שרצה בפרסום המבחנים, רוצה גם שהם ימשיכו להתקיים. זה כמובן לא מוכיח כלום. אבל זה מעניין.
תודה וסליחה על ההטרחה