Skip to content

נסיכת המדעים

אלוהים משחק ביקום בקוביות

  • עמוד הבית
  • אודות נסיכת המדעים
  • ייעוץ סטטיסטי
  • מבוא לסטטיסטיקה
  • מצגות Presentations
  • יצירת קשר
  • Toggle search form

כמה הערות מאוחרות בנושא פרסום ציוני המיצב

Posted on 26 במאי 2013 By יוסי לוי 10 תגובות על כמה הערות מאוחרות בנושא פרסום ציוני המיצב

ביום חמישי האחרון (23.5.13) השתתפתי בכנס האיגוד הישראלי לסטטיסטיקה. במושב הסיום של הכנס נערך פאנל בו השתתפה, בין היתר, פרופ’ מיכל בלר, המנכ”ל הפורשת של הרשות הארצית למדידה והערכה (ראמ”ה). הפאנל היה אמור לעסוק ב-“אתגרים בפרסום פומבי של נתונים על מערכות ציבוריות“, אולם בפועל הוקדש רובו להתלהמות חוצבת להבות של פרופ’ בלר כנגד ההחלטה להנגיש לציבור את תוצאות מבחני המיצב. ההחלטה התקבלה, אגב, על ידי שופטי בית המשפט העליון של מדינת ישראל, שכמובן אינם מומחים לחינוך כמו פרופ’ בלר עצמה. אני ממליץ לקוראים לקרוא את סקירת החלטת בית המשפט העליון בנושא שכתבה קרן ילין-מור, שהופיעה בבלוג “הטרקלין”.

הנושא הוא אכן ישן. החלטת בית המשפט התקבלה לפני שבעה חודשים, ותוצאות המיצ”ב פורסמו לציבור הרחב לפני יותר מחצי שנה. מלים רבות נכתבו על כך מאז, ולכן אתייחס רק למספר קטן של טענות שהועלו במהלך הדיון בפאנל.

טענה מרכזית של פרופ’ בלר היא שפרסום הציונים, ובעקבותיהם פרסומים בעיתונות ודירוגי בתי ספר שהופיעו באתר מדלן, גורמים ויגרמו להונאות בבחינות/תהליך המדידה מצד בתי הספר, המורים והתלמידים. טענה זו שגויה ומטעה, והסיבה היחידה שאני יכול להעלות בדעתי לכך היא שפרופ’ בלר אינה מבחינה בין סיבה ו-… לא ברור מה.

הסיבה להונאות בבחינות היא קיום הבחינות עצמן, והחשש של בתי הספר והמורים כי ייפגעו עקב תוצאות הבחינות. גורלם של מנהלי בתי הספר ומוריהם נתון בידי משרד החינוך, לא בידי הציבור.

גם התמקדות של אנשי מערכת החינוך בשיפור המדדים ולא בשיפור התופעות שגרמו למדדים מספריים אינה קשורה בעצם הפרסום, אלא בעצם קיום המדידה. זו בעיה שהיה צריך לצפות מייד עם ההחלטה על קיום מבחני המיצב, ובמקביל היה צריך לחשוב על דרכים להתמודדות איתה. אני מניח, או לפחות רוצה לקוות, שחשיבה כזו נעשתה.

טענה שניה שהועלתה היא העובדה שאתרים מסוג אתר מדלן (שמפעיליו הם חבורה של סטודנטים למדעי המחשב שאינה מבינה בחינוך, לדעת בלר), פרסמו “טבלאות ליגה” בה ערכו השוואה ארצית בין בתי הספר. זה היה יכול להמנע, לדעת בלר, לו לא פורסמו התוצאות.

ובכן, השוואה ארצית (“טבלת ליגה” כפי שמכנה זו בלר) נערכה על ידי ראמ”ה עצמה, ותוצאות השוואה זו מופיעה בדוחות עצמם שפורסמו לציבור. הרי בדו”ח עצמו מופיע ממוצע הציון במבחן מול הממוצע הארצי (וגם סטיות התקן), וכן מופיע העשירון בו נמצא בית הספר. האם זו אינה השוואה? ההשוואה והדירוג כבר נעשו, על ידי ראמ”ה בכבודה ובעצמה, אבל בכל דו”ח בית ספרי מופיעה רק פיסת מידע קטנה מטבלת הליגה. בלר אכן ניסתה למנוע את הצגת התמונה השלמה על ידי כך שהגישה לדו”חות המפורסמים היא קשה יחסית, ניתן להוריד רק דו”ח של בית ספר אחד בכל פעם, והנתונים מופיעים בקובצי PDF, שאינם מאפשרים קריאה נוחה של נתונים. מזל שיש כמה סטודנטים למדעי המחשב שיכולים להתמודד עם המכשולים האלה ולהביא לציבור את התמונה השלמה.

טענה נוספת שהועלתה במובלע היא שהערכת בית ספר אינה צריכה להיות תלויה רק בנתונים כמותיים של תוצאות מבחנים, אלא במכלול, שחלקו מורכב מנתונים שאינם ניתנים לכימות. נכון, אז מה? פרסמו נא לציבור גם את הנתונים הבלתי כמותיים.

עם טענה אחת אני בכל זאת מסכים: אנשי אתר מדלן נתנו לכל בית ספר דירוג שהוא ממוצע העשירונים במקצועות הליבה השונים מוכפל ב-10. לדוגמא, לבית ספר שדורג בעשירון 8 במבחן האנגלית ו-7 במבחן מתמטיקה, דירוג מדלן הינו 75. בלר, וגם ד”ר חגית גליקמן, הסטטיסטיקאית של ראמ”ה, טענו כי מדד זה בעייתי מבחינה מתודולוגית. אני מסכים – מיצוע עשירונים הוא בעייתי, חסר ביסוס תיאורטי סטטיסטי, ופרדוקס סימפסון עלול להרים את ראשו. אבל מכאן ועד הטענה שלמדד דירוג מדלן אין כל משמעות הדרך רחוקה. זו היוריסטיקה סבירה בהחלט לדעתי, גם אם המתודולוגיה לקויה. אפשר כמובן לעשות טוב יותר. אני מקווה שראמ”ה תפרסם, כפי שהציע טל גלילי, את כל הנתונים בפורמט נוח להורדה ועיבוד, וכך יתאפשר לציבור לנסות גישות אחרות להשוואה בין בתי הספר. מאחר ובציבור הרחב יש גם סטטיסטיקאים, אני מניח שחלקם מכירים שיטות סטטיסטיות (ניתוח מרכיבים ראשיים, factor analysis, MDS הם כמה דוגמאות) שיתנו מדד השוואתי טוב יותר, וכך גם אנשי ראמ”ה שטענו כי “בלתי אפשרי” לבנות מדד משולב כזה ילמדו משהו.

הטענות של בלר בפאנל הן לא יותר מאשר בכי על כך שהסוסים ברחו מהאורווה, וזאת לאחר שבלר עצמה, כמנכ”ל ראמ”ה, פתחה את דלתות האורווה והאיצה בסוסים לצאת ממנה. ברגע שמעמידים את כלל התלמידים בבתי הספר בארץ בפני מבחן אחיד כמבחן המיצ”ב, נעשתה ההשוואה בין בתי הספר, והופנתה תשומת הלב של בתי הספר וצוותיהם מהשגת מטרות חינוכיות אל שיפור תוצאות המדדים הכמותיים. הנזק נעשה. השאלה היא רק האם יש לפרסם את התוצאות לציבור או לא, וכאן בהחלט צריך להעדיף את העקרון הדמוקטי של שקיפות הממשלה לציבור על פני דעתה של בלר וראמ”ה. בלר אמרה כי בעקבות הוראת בית המשפט העליון נשקל ביטול מבחני המיצ”ב. לו יהי.

חינוך, על סדר היום Tags:חינוך, על סדר היום

ניווט

Previous Post: פרופ’ יוסי הוכברג הלך לעולמו
Next Post: בריאות – זה אצלי בגנים: המסע לגילוי רפואה מותאמת אישית

Comments (10) on “כמה הערות מאוחרות בנושא פרסום ציוני המיצב”

  1. נדב פרץ-וייסוידובסקי הגיב:
    26 במאי 2013 בשעה 11:11

    עם הטיעון הבסיסי שלך אני מסכים – החטא הקדמון הוא לא פרסום תוצאות המיצ”ב, אלא עצם עריכתו. ובזה מיכל בלר היא האשמה המרכזית.

    ובכל זאת, לפרסום יש משמעות רבה, כי הוא מגדיל את החשיבות של המבחן. בניגוד לטענתך, ש”גורלם של מנהלי בתי הספר ומוריהם נתון בידי משרד החינוך, לא בידי הציבור” – גם לדעות של הציבור, ובפרט לרצון של הורי תלמידים לרשום את הילד לבית הספר, יש משמעות רבה עבור המנהלים.

    ועוד הערה אחת – אתה שואל ‘למה לא לפרסם נתונים לא כמותיים’, אבל פרסום – ובמיוחד פרסום מסוג זה – מאוד מוטה לטובת נתונים כמותיים. תחשוב על ‘בבית הספר שמים דגש רב על פתרון בעיות באמצעות משא ומתן’ – זה אחלה דבר כשאתה בא לבית הספר ושומע עליו מהמנהל, אבל כשאתה יושב מול טבלה של עשרות בתי ספר, הרבה יותר קשה להביא את זה לביטוי מאשר הבדל של עשירית נקודת אחוז בציון האנגלית.

    הגב
  2. הרן הגיב:
    26 במאי 2013 בשעה 11:12

    באמת שאין לי כל סימפטיה לראמ”ה או למבחן המיצב ואם פסק הדין יגרום לביטולו הרי שהרווחנו בגדול.
    עם זאת, הבעיה בעיניי בפרסום הנתונים היא שפרסום הנתונים בצורה שהעותרים ביקשו יוצר תחושה שיש קשר סיבתי בין בית ספר לציון מיצ”ב – כאילו בית ספר שמטפל באוכלוסיה קשה בשכונת מצוקה משיג ציונים נמוכים כי הוא בית ספר גרוע, ולא בגלל התנאים בהם הוא פועל. אם היו מבקשים ציוני מיצ”ב ממוינים לפי מוצא אתני של המנהל/ת אני מהמר שהפרסום היה יוצר תחושה (מוטעית) כאילו אשכנזים הם מנהלי בית ספר טובים יותר.
    אם לא מבטלים את המיצ”ב, הגיוני שראמ”ה תעשה מחקר מסודר על הגורמים שמשפיעים על הציונים ואז תפרסם את השפעת הגורמים הללו וציון לכל בית ספר בניכוי הגורמים השונים. אז אפשר גם לפרסם לידו ציונים גולמיים אם נורא רוצים.

    הגב
  3. דרור הגיב:
    26 במאי 2013 בשעה 12:32

    הרן,
    הורה שמחפש לאיזה בית ספר לשלוח את ילדו לא מעוניין בסיבות לכישלון. אם הרמה באנגלית נמוכה לא עוזר לי שהיא השתפרה במליון אחוז מהשנה הקודמת ולא שזה בגלל האוכלוסייה האזורית. אני ארצה שילדי ילמד אנגלית ברמה גבוהה.

    הגב
  4. רון קנת הגיב:
    26 במאי 2013 בשעה 13:20

    יוסי

    תודה על ההזדמנות לדון במורכבות המיצב, בהמשך לפאנל המעניין שריכזה חגית בכנס האיגוד.

    הנושא מציף שוב את הצורך בגיבוש ראייה כוללת הנדרשת מעיבודים סטטיסטיים. השרשרת מתחילה בהגדרת הנתונים הנאספים ובדרך האיסוף, ממשיכה בניתוח הסטטיסטי שמתבצע ובצורת גיבוש והצגת המסקנות עד לשלב בו מישהו מנסה לעשות משהו כתוצאה מהדיווח.

    בכל אחד משלבים אלה יש בעיות אפשריות. למשל אם לא מקפידים על מדגם מייצג ומשנים את רשימת התלמידים שמשתתפים במיצב כך שהתלמידים הפחות טובים נשלחים לשחק בכדור, הדיווח יהיה מוטה. בעיה באיכות הנתונים משליכה כמובן על איכות הדיווח ןיש להתמודד גם עם זה. נדמה לי שמיכל רמזה על זה בפאנל.

    על הצורך בנתונים כבסיס לגיבוש תמונת מצב, אני מניח שאין צורך לדון בפורום זה. ברור שצריך לעשות את זה נכון וטוב. השאלה היא איזה נתונים נאספים, איך מגובשת ומוצגת תמונת המצב, ומה עושים איתה. לכל זה קראנו InfoQ בעבודה שלי עם גלית שמואלי שמתפרסמת ב (JRSS (A.

    אני מסכים עם מיכל שיש הרבה בעייתיות בטבלאות ליגה – הן מציגות תמונה שהיא אולי פשוטה אבל בד”כ שגויה.

    המדידה בחינוך, כפי שציינה מיכל, היא רב ממדית. מכאן שהצגת המצב לאשורו מחייב הצגת תמונה רב ממדית.

    חוסר הבשלות של הציבור (והעיתונאים) בהבנה של גרפים רב ממדיים מביא לקושי אליו התיחסת. קידום שיטות יעילות להצגת תמונה רב ממדית יכול להועיל בהתמודדות עם בעיית הסקת מסקנות שגויות, דוגמת מה שעושה הציבור מתוך טבלאות ליגה.

    ברור לכולם שהדבר רלוונטי בהרבה מאוד תחומים כגון בריאות, איכות הסביבה, רמת שרות מגופים שונים, ועוד ועוד

    במונח “קידום” אני כולל גם מחקר ופיתוח, וגם הדרכה והכשרה.

    הגב
  5. שאול הגיב:
    26 במאי 2013 בשעה 17:59

    רון –
    אני עיתונאי שמתעניין בנושא. אני מציב בפניך אתגר – נסה להמיס את חוסר הבשלות שלי בהבנה של גרפיים רב מימדיים. אשמח להתגבר על הקושי הזה ולהביא מידע מהימן לציבור.
    הכדור אצלך

    הגב
  6. רון קנת הגיב:
    27 במאי 2013 בשעה 04:32

    שאול – מצויין

    מציע שתפרסם סידרת נתונים רב ממדית כטבלה ותזמין אנשים להציג את הנתונים בצורות שונות.

    על בסיס זה ניתן יהיה גם לקיים דיון על מסקנות ומשמעויות.

    דוגמא אפשרית ניתן למצוא בתוצאות סקר שביעות רצון לקוחות שמשמש להמחשת מודלים שונים בספר:
    http://eu.wiley.com/WileyCDA/WileyTitle/productCd-0470971282.html

    את הנתונים של סקר לקוחות חברת ABC ניתן למצוא ב:
    http://eu.wiley.com/WileyCDA/WileyTitle/productCd-0470971282,descCd-DOWNLOAD.html

    הגב
  7. הדב הגיב:
    27 במאי 2013 בשעה 23:21

    רון
    אני חושב שיש בתשובתך התמקדות יתר בסטטיסטיקה שלדעתי היא כמעט לא הסוגייה כאן, ואולי ההסתכלות דרך הפריזמה הסטטיסטית היא שורש הבעיה גם בראמ”ה.

    כמו שניסח את זה קמפבל (Campbell’s law)
    האדם יתנהג לפי איך שמודדים אותו, ויכוון להשתפר במדד ולאו דווקא במה שהוא מודד.
    זו קביעה סוציולוגית, שמכתיבה פשרות מדידה
    (מדידה מורכבת, מדגמית וכו’)
    שראמ”ה לא היו מוכנים לקבל.
    בלר דווקא נותנת קרדיט לאמיתה הזו – כמעט בכל מצגת שלה,
    אבל ההשפעה לא מצליחה לעבור את גבולות השקופית הבודדה.

    הגב
  8. רון קנת הגיב:
    31 במאי 2013 בשעה 22:03

    ההתחסות שלי היא להפקת תובנות מנתונים שנאספו בעמל רב.

    המשמעות שאתה מציע לסטטיסטיקה היא מאוד צרה ולא משקפת את מה שכתבתי.

    מצד שני נכון שהרבה אנשים מעדיפים להתייחס למציאות באופן כללי ולא לעובדות שמשתקפות בנתונים.

    הגב
  9. ערן אורון הגיב:
    1 ביולי 2014 בשעה 19:42

    תודה על פוסט מעניין כרגיל.
    המתודולוגיה של הכתיבה, איננה ברורה. מהי התועלת שאותה הפוסט בוחן, כאשר הוא מתמודד עם השאלה האם יש לפרסם את ציוני המיצ”ב או לא?
    ברשותך, אחדד את הנקודה, כי עשית זאת היטב בשורות האחרונות. כל העניין סובב סביב שאלה עקרונית, שאיננה סטטיסטית ולא מדעית, אלא היא שאלה אידיאולוגית מובהקת:
    “השאלה היא רק האם יש לפרסם את התוצאות לציבור או לא, וכאן בהחלט צריך להעדיף את העקרון הדמוקרטי של שקיפות הממשלה לציבור על פני דעתה של בלר וראמ”ה.”
    ובכן, לדעתי הלא-אובייקטיבית, “שקיפות הממשלה לציבור” היא סיסמה שעשויה להכיל בתוכה יותר מדי השקפות מנוגדות, במילים אחרות היא איננה אומרת הרבה. זה מצד אחד, מצד שני על ההשקפה הזו ביססת מסקנה די גורפת.
    עכשיו בהרחבה:
    מדוע “שקיפות הממשלה לציבור” היא סיסמה ולא תוכן קוהרנטי: נניח שפרצה שריפה באולם. רק לממשלה ידוע על פרוץ השריפה. האם על הממשלה להודיע בבת אחת לכל הנוכחים כי פרצה שריפה באולם, ובכך ליצור אולי בהלה שתגרום ליציאה לא מסודרת, לא יעילה ואולי אפילו חלילה לרמיסת בני אדם בדרך אל הדלת? או, לחילופין, על הממשלה לעשות כל מה שניתן כדי להציל כמה שיותר אנשים מנזקים אפשריים, ככל שהדבר אפשרי, באמצעים הטובים ביותר העומדים ברשותה לפי העניין?
    אני לא מתאפק ומודיע, שאם מישהו יקרא לי “בולשביק” אני אראה לו שהוא מתייחס לדברים לפי הסיסמה שהוא מלביש עליהם, ולא לפי תוכנם הממשי. כאן אני בעצם פוגע בהזדמנות שאולי יש לי, לחכות להרמה ואז להנחית. אבל יש לי עוד תחמושת, יהיה בסדר.
    הלאה. אני רואה בעייתיות בהצבה של שתי אפשרויות, או איך אתה מסדר את הברירה, כאשר צריך לקבל החלטה. כאן, בפשטות, מתבצעת מניפולציה על הצגת הדברים כאילו הם מושכל ראשון בעוד שלמעשה מבחינה עניינית הם עומדים על כרעי תרנגולת.
    אתה כותב מצד אחד על זכות לדעת, ומצד שני על דעתם של אנשים מסויימים. באיפוק רב אוכל רק לומר שהצבה זו איננה הוגנת כלל ועיקר. מהו תוכן דעתם של אותם אנשים ואיך הוא נשפט? מה התוקף הפנימי והחיצוני של דעתם, כלומר מהו הנזק שעלול להיגרם לדעתם, ואיך נשפוט את דעתם זו? מה, לא על זה הדיון? באמת לא? מה, הדיון נערך רק על מה שלדעתך הוא ברור מאליו?
    מצד שני, מהי ההשלכה האפשרית של מימוש הזכות (שעליה – אני מזכיר – החלטת בלי לערוך דיון, אלא הנחת אותה מניה-וביה כתשתית שעליה אתה מבסס החלטה) בעולם הממשי?
    לגבי ההבדל בין זכויות לבין מימושן: אילוסטרציה נוספת.
    יש לי זכות להוציא מהבנקומט כל יממה, סכום בן חמשת אלפים שקלים. בעולם הממשי, אינני יכול לממש את זכותי לבצע זאת, בכל אופן לא כל יום. בעולם הממשי קיים לעיתים הבדל של שמים וארץ בין זכות לבין מימושה בכל רגע נתון. ההחלטה על מימוש הזכויות, עכשיו אני שם בצד את האילוסטרציה, החלטה זו היא לעיתים די קרובות החלטה שלטונית. השלטון הוא מי שאנחנו מפקידים בידו חלק מחירותנו כדי שנוכל לנהל את חיינו בלי שזכויותיו של אחד יפגעו בזכויותיו של אחר. זה עד כדי כך פשוט, ואני מאוכזב עמוקות מכך שבלוג אינטליגנטי כל כך, נופל על נקודה כל כך פשוטה.
    ואני בכלל לא הוכחתי שצריך להיות אחרת. אין לי מסקנה הפוכה, בוודאי אם לא נימקתי אותה. אני רק מפקפק בארגומנטציה.

    הגב
  10. ערן אורון הגיב:
    1 ביולי 2014 בשעה 20:14

    סליחה שאני מטריל: אמיר ויינשטוק, ממייסדי “מדלן” – שיש לה אינטרס מובהק בפרסום ממצאי המיצ”ב – הביע אכזבה מהקפאת מבחני המיצ”ב החיצוניים שחלה השנה. הוא טוען כי:
    “לא היה שום היגיון ציבורי בביטול המיצ”ב החיצוני רק משום שבית המשפט הורה למשרד החינוך לחשוף בפני ציבור ההורים את מדדי האלימות וההישגים בבתי הספר. החלטת משרד החינוך להשאיר את המבחן הציבורי על כנו תאפשר להורים להמשיך ולהעמיק את מעורבותם במערכת החינוך. כך גם יתאפשר דיון ציבורי, מבוסס נתונים, על בעיות היסוד של מערכת החינוך, כמו הפערים והאלימות”.
    עד כאן דבריו, אני מציין בעניין שאתר “מדלן” מגלה חשיבות רבה כל כך לטיפול בבעיות מערכת החינוך, זה אתר שעוסק בהערכת שווי נדלן וכנראה יש לו תחושת שליחות. בכל זאת, אני מסב את תשומת לב הבלוג לכך שדווקא מי שרצה בפרסום המבחנים, רוצה גם שהם ימשיכו להתקיים. זה כמובן לא מוכיח כלום. אבל זה מעניין.
    תודה וסליחה על ההטרחה

    הגב

כתיבת תגובה לבטל

האימייל לא יוצג באתר. שדות החובה מסומנים *

אתר זה עושה שימוש באקיזמט למניעת הודעות זבל. לחצו כאן כדי ללמוד איך נתוני התגובה שלכם מעובדים.

  • תכנים נוספים בנסיכת המדעים
  • ערוץ היוטיוב של נסיכת המדעים 
  • נסיכת המדעים בפייסבוק
  • חפירות על סטטיסטיקה
  • תכנים מומלצים ברשת בנושאי סטטיסטיקה ו- Data Science
  • Privacy policy
  • מה אומרת הסטטיסטיקה
  • כלכלה וחברה
  • בריאות
  • ביוסטטיסטיקה
  • האנשים שמאחורי הסטטיסטיקה
  • נשים בסטטיסטיקה
  • סטטיסטיקה רעה
  • אותי זה מצחיק
  • בנימה אישית

Copyright © 2025 נסיכת המדעים.

Powered by PressBook WordPress theme

This website uses cookies to improve your experience. We'll assume you're ok with this, but you can opt-out if you wish.Accept Read More
Privacy & Cookies Policy

Privacy Overview

This website uses cookies to improve your experience while you navigate through the website. Out of these, the cookies that are categorized as necessary are stored on your browser as they are essential for the working of basic functionalities of the website. We also use third-party cookies that help us analyze and understand how you use this website. These cookies will be stored in your browser only with your consent. You also have the option to opt-out of these cookies. But opting out of some of these cookies may affect your browsing experience.
Necessary
Always Enabled
Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.
Non-necessary
Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.
SAVE & ACCEPT