חיפוש באתר

קישורים

עמודים

קטגוריות

boxplot – האהבה שהכזיבה

אהבה שנמשכת שנים רבות עד שלפתע מתגלה משהו שלא שמתם לב אליו קודם. מכירים? הנה סיפור אישי: הכרתי אותה כאשר הייתי בשנה ב באוניברסיטה, וזו הייתה אהבה ממבט ראשון: ה-boxplot, או כפי שהיא נקראת בעברית, דיאגרמת הקופסה. כל כך נאה, כל כך אלגנטית, כל כך אינטליגנטית.

הקופסה הירוקה מציגה את החציון ואת שני הרבעונים – התחתון והעליון: . ה-“שפמים” מראים את הנתון המינימלי והנתון המקסימלי, או, כמו בדוגמה הזו, את הגבול שמעליו תצפיות נחשבות לחריגות.

בדוגמה הספציפית הזו, המציגה את הגילאים של חלק מנוסעי הטיטניק, הגיל המינימלי הוא קצת יותר מאפס (תינוק בן 5 חודשים). הרבעון התחתון הוא בערך 20, החציון הוא בערך 28 והרבעון העליון הוא בערך 38. המשמעות היא כי רבע מהנוסעים הם בגילאי 0 עד עד 20, רבע בגילאי 20 עד 28, רבע בגילאי 28 עד 38, והשאר בגילאי 38 ומעלה. כמו כן ניתן לראות כי הגילאים של נוסעים שגילם גבוה מ-65 נחשבים כגילאים חריגים ביחס לגילאים שאר הנוסעים.

בפוסט שפירסם בבלוג הוויזואליזציה נייטינגייל, ניק דספרטס (Nick Desbarats) מסביר למה הוא הפסיק להשתמש ב-boxplot, והוא צודק.

ראשית, דספרטס מספר כי מניסיונו, רוב האנשים בסדנאות שהוא מעביר מתקשים להבין את ה-boxplot, בוודאי בהשוואה לסוגים אחרים של וויזואליזציה. גם כאשר אנשים מבינים את העקרונות של הדיאגרמה, הם עדיין נזקקים ל-“התעמלות קוגניטיבית”, כדבריו, כדי לפרש נכונה את האינפורמציה המוצגת, ונוטים לפרשנות לא נכונה, שוב בהשוואה לאלטרנטיבות ויזואליזציה אחרות. וכאן אני יכול להעיד גם על ניסיוני מהעבר המאוד לא רחוק: בבחינה בקורס המבוא לסטטיסטיקה שלימדתי לא מזמן, היו שתי שאלות על דיאגרמת קופסה שחשבתי כי הן “שאלות מתנה”. למרבה הצער, שיעור הטעויות בשאלות האלה היה גבוה בהשוואה לשאלות אחרות.

דספרטס מביא 3 נימוקים נגד השימוש ב-boxplot, ואסקור אותם כאן בקצרה. הנימוק הראשון הוא של-boxplot אין הגיון וויזואלי. לקופסה יש שטח/נפח בניגוד לשפמים, ולכן היא נתפשת כמייצגת יותר נתונים. אולם, כל חלק של ה-boxplot (שני חצאי קופסה ושני שפמים) מייצג בדיוק את אותה כמות נתונים – כל אחד מהם מייצג רבע מכלל הנתונים (פרט לחריגים). שנית, שני חלקי הקופסה נתפשים ויזואלית כחלק אחד, כלומר ההתרשמות היא כי הנתונים מתחלקים לשלוש קבוצות ולא לארבע. שלישית, אנשים נוטים לקשר אורך עם כמות, ושוב, ה-boxplot מתעלם מכך (בדוגמה שלי, השפם הימני ארוך יותר מאורך הקופסה, בעוד שהוא מייצג חצי מכמות הנותנים שמייצגת הקופסה).

הנימוק השני הוא כי ה-boxplot דורש מהקהל להבין מושגים אבסטרקטיים יחסית, חציון ורבעונים, כאשר לא נדרש צורך אמיתי בכך. בדרך כלל, אם לא מדובר בקהל של סטטיסטיקאים המיומנים בקריאת boxplots, יש צורך להסביר את מבנה ה-boxplot ואת המושגים שהיא מייצגת לפני שדנים במשמעות של הנתונים עצמם. ואין צורך בכך כי יש אלטרנטיבות טובות יותר להצגת נתונים בהם החציון ושאר האחוזונים נתפשים באופן אינטואיטיבי.

הנימוק השלישי, אולי החשוב ביותר, הוא הטענה כי לעיתים קרובות ה-boxplot מציג את ההתפלגות של הנתונים באופן לא נכון, ואף ייתכן כי הboxplots של שתי התפלגויות שונות לגמרי יהיו זהות. בפוסט יש מספר דוגמאות לכך.

אז זהו. אני כנראה אפסיק להשתמש ב-boxplot אלא אם אחשוב שזה ממש הכרחי. למי שמלמד מבוא לסטטיסטיקה, אני ממליץ להפסיק ללמד את ה- boxplot, אם אתם עושים זאת.

  • התוכן של הפוסט הזה הופיע לראשונה בניוזלטר של נסיכת המדעים. הרשמו ותקבלו עדכון חודשי על כל מה שקורה עכשיו בסטטיסטיקה: http://www.sci-princess.info/updates

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

ויזואליזציה של נתונים קטגוריים

פוסט זה עוסק בתחום שאני אוהב במיוחד: משתנים קטגוריים.

תזכורת: יש ארבעה סולמות מדידה, ומשתנים קטגוריים הם משתנים שנמדדים בשני סולמות המדידה התחתונים (אך לא נחותים).

הסולם הנמוך ביותר הוא סולם שמי/נומינלי, בו לערכים המספריים של הנתונים אין כל משמעות מספרית פרט לזיהוי המשתנה. דוגמה אופיינית היא מספרי החולצות של שחקני קבוצת ספורט. בעזרת המספר אנו יכולים לזהות את השחקן, אך השחקן שלובש את חולצה מספר 11 אינו בהכרח שחקן יותר טוב מהשחקן שלובש את חולצה מספר 10.

שלב אחד מעל הסולם השמי נמצא הסולם הסודר/אורדינלי. כאן יש לערכי המספריים משמעות מוגבלת: הערכים מבטאים סדר בין הנתונים, אך לא הפרשים או יחסים. משתנים כאלה מופעים בכל מיני שאלונים, אך לא רק שם. אם אתם נשאלים עד כמה אתם מסכימים עם משפט כלשהו, התשבות האפשריות הן: לא מסכים בכלל, לא מסכים, אין דעה, מסכים ומסכים בהחלט, התשובות נמדדות בסולם אורדינלי. ניתן לקודד את התשובות במספרים 1 עד 5 למשל, אך מי שמסכים ותשובתו מקודדת ב-4, אינו מסכים עם הטענה כפליים מזה שאינו מסכים עם הטענה ותשובתו מקודדת ב-2, אם כי למרבה הצער יש לא מעט אנשים שחושבים כך. (יש עוד הרבה בעיות בפרשנות של נתונים מהסולם הזה, אבל אני אעצור כאן).

לדעתי זהו תחום מרתק, ועבודת הדוקטורט שלי הייתה קשורה לתחום זה. כאן אי אפשר לחשב ממוצעים, סטיות תקן וכולי. צריך כלים אחרים, וצורת חשיבה אחרת. אחד הפרוייקטים שלקחתי על עצמי הוא ליצור קבוצת ערכים בויקיפדיה העברית שתעסוק במשתנים כאלה. אני מרשה לעצמי להפנות גם לפוסט נוסף שכתבתי על המריבה ההיסטורית בין קרל פירסון ותלמידו אדני יול שסבבה סביב השאלה כיצד לבדוק הם יש קשר בין שני משתנים קטגוריים.

בבלוג הוויזואליזציה נייטינגייל הופיע לא מזמן פוסט העוסק בהצגה ויזואלית של נתונים קטגוריים. מה שמוזר הוא שבפוסט לא הוזכרה דיאגרמת הפרחים המפורסמת של פלורנס נייטינגייל שמציגה שלושה משתנים קטגוריים שונים. הפוסט מתמקד בארבעה סוגי ויזואליזציה של משתנים קטגוריים (יש עוד), ואני מודה שאת אחד מהם לא הכרתי קודם, אם כי ניתן לראות בסוג דיאגרמה אחרת שהוצגה בפוסט כהכללה שלו. אני לא אכנס כאן לפרטים, אבל ממליץ לכם להיכנס, וגם אם לא תקראו את כל הפוסט,  אני ממליץ לכם לצפות בדוגמאות היסטוריות של דיאגרמות sankey ו-sunburst מהמאה ה-19.

  • התוכן של הפוסט הזה הופיע בניוזלטר של נסיכת המדעים. הרשמו ותקבלו עדכון חודשי על כל מה שקורה עכשיו בסטטיסטיקה: http://www.sci-princess.info/updates

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

משחקי הכנסת

אני מניח שכולכם מודעים למצב הפוליטי הנוכחי, שבו הגוש המעוניין להקים ממשלה שבראשה לא יעמוד בנימין נתניהו מורכב ממספר לא קטן של מפלגות בגודל בינוני עד נמוך. במצב הזה, מספר אנים טוענים כי עליהם לקבל את המנדט להרכבת הממשלה ולעמוד בראשה, וביניהם יאיר לפיד (יש עתיד, 17 חברי כנסת), בני גנץ (כחול לבן, 8 חברי כנסת) ונפתלי בנט (ימינה, 7 חברי כנסת).

אני לא הולך לנהל כאן דיון פוליטי, דעותיי הפוליטיות ידועות. הפוסט הזה נכתב כי מישהו הזכיר לי היום בטוויטר את הפוסט משחקי המשילות שכתבתי לפני כשבע שנים, ועסק במושג “ערך שאפלי”, המחשב את כוחן היחסי של המפלגות בהרכבת קואליציות אפשריות. לא אחזור כאן על כל ההסבר, אבל אתן דוגמה קיצונית שתבהיר את המצב: נניח שבכנסת מיוצגות 3 מפלגות. לשתיים מהן יש 59 ח”כים כל אחת, ולשלישית שני ח”כים. במצב הזה כל שתי מפלגות יכולות להקים קואליציה ולהשאיר את השלישית באופוזיציה, ולכן ערך השאפלי של כל מפלגה הוא שליש.

אבל יש כאן טוויסט: ערך שאפלי הוא סימטרי ואינו מבדיל בין ימין לשמאל. נניח ששתי המפלגות הגדולות הו מפלגת ימין ומפלגת שמאל, ואינן יכולות להגיע להסכמה על קואליציה ביניהן. המפלגה הקטנה היא מפלגת מרכז, ויכולה להצטרף לכל אחת משתי המפלגות האחרות להקמת קואליציה. במילים אחרות: היא לשון המאזניים. זה נותן לה יתרון על שתי המפלגות האחרות, ולכן היא תובעת לעצמה את תפקיד ראש הממשלה. מה עושים?

על פניו, התביעה מוצדקת, לפחות באופן תיאורטי – לתורת המשחקים יש גם מושגי פתרון אחרים שיתנו לה את הבכורה. באופן מעשי? כבר היו דברים מעולם.

אז הנה: בכנסת התיאורטית שלנו הוקמה קואליציית ימין-מרכז או שמאל-מרכז לפי טעמכם, ובראשה הממשלה עומד מנהיג מפלגת המרכז. איך ממשיכים מכאן? אפשרות אחת היא להקים ממשלה פריטטית, כמו ממשלת נתניהו-גנץ. למרבה הצער התברר שזה מתכון לצרות, גם בתוך הממשלה וגם בכנסת. המפלגה הקטנה ככל הנראה לא תצליח למצות את כל ערך השאפלי שלה, כי, מה לעשות, ערך שאפלי מתייחס לנקודה ספציפית בזמן, ואילו המדינה צריכה להמשיך להתנהל בהובלת הממשלה והכנסת גם לאחר הקמת הקואליציה.

עד כאן הדיון הפילוסופי, ועכשיו אשחק קצת במספרים, באדיבות מחשבון ערך השאפלי של דניס ליץ’ מאוניברסיטת וורוויק. אבל לפני שנתחיל, עלי להזהיר אתכם כי אם אתם מצפים לתובנות חדשות על המצב הפוליטי, אל תעצרו את נשימתכם. מה שתראו כאן זה רק משחקים במספרים שימחישו את יתרונות והחסרונות של ערך שאפלי כמדד להערכת כח פוליטי.

הנה ערכי שאפלי של כל אחת ממפלגות הכנסת:

מפלגהחברי כנסתערך שאפליכח נומינלי
הליכוד3030.2%25.0%
יש עתיד1714.0%14.2%
ש”ס96.6%7.5%
כחול לבן86.3%6.7%
ימינה75.4%5.8%
העבודה75.4%5.8%
יהדות התורה75.4%5.8%
ישראל ביתנו75.4%5.8%
הציונות הדתית64.5%5.0%
הרשימה המשותפת64.5%5.0%
תקווה חדשה64.5%5.0%
מרצ64.5%5.0%
רע”מ43.5%3.3%

אפשר לראות כאן כל מיני דברים מעניינים. למשל מספר חברי הכנסת של הליכוד, 30, הוא 25% מסך חברי הכנסת, אך ערך השאפלי של הליכוד גבוה יותר וערכו כ-30%. ערך השאפלי של יש עתיד שווה בערך לכוחה הנומינלי בכנסת, שהוא כ-14%. לכל שאר המפלגות ערך שאפלי נמוך יותר מהכוח הנומינלי.

כל זה קורה לפני שמתחילות להיווצר קואליציות. כרגע, למיטב ידיעתי יש לנו שתי קואליציות: גוש אחד הוא גוש הימין שכולל את הליכוד, ש”ס, יהדות התורה והציונות הדתית, בסך הכל 52 חברי כנסת.

הקואליציה השניה היא “גוש השינוי”, שלא ברור מהו. הגוש הזה כולל את יש עתיד, ישראל ביתנו, העבודה, מרץ, תקווה חדשה, וביום טוב גם את כחול לבן, ומונה 43 או 51 חברי כנסת. מצבה של הרשימה המשותפת לא ברור. ברור לי שהיא תתנגד לממשלה בראשות גוש הימין, אבל האם היא תוזמן להצטרף לממשלה בהובלת גוש השינוי? האם היא תתמוך גם אם לא תצורף? האם היא תימנע בהצבעה? לצורך הדיון בלבד אני אצרף את כחול לבן ואת הרשימה המשותפת לגוש השינוי, שימנה לכן 57 חברי כנסת.

ועשיו נותרנו עם ימינה ורע”ם, ששומרות את הקלפים צמודים לחזה. כל זה מוביל אותנו לכנסת עם ארבעה גושים/סיעות, והנה טבלת ערכי השאפלי שלהם:

גוש/מפלגהחברי כנסתערך שאפליכח נומינלי
שינוי5750.0%47.5%
ימין5216.7%43.3%
ימינה716.7%5.8%
רע”ם416.7%3.3%

כמובן שקואליציה מוקמת בסופו של דבר לפי מספר חברי הכנסת ולא לפי ערכי שאפלי, ולכן השאלה הגדולה היא האם גוש השינוי יצליח לנצל את ערך השאפלי המוסף שלו (2.5%) כדי לצרף אליו את רע”ם או את ימינה ולהקים ממשלה[1] ? הוא יוכל לעשות את זה אם הגוש יפעל כגוש.

אבל מה קורה כשבגוש השינוי אין הסכמה? כרגע הנושא המרכזי הוא המלצה לנשיא לגבי המועמד לקבלת המנדט. למיטב ידיעתי[2] חלק מתכוונים להמליץ על יאיר לפיד בפני הנשיא, גנץ חושב שהוא האיש הראוי, ולא ברור מה חושבים בתקווה חדשה וברשימה המשותפת. ולכן, במשחק האחרון לפוסט הזה אפצל את הגוש, ונראה מה קורה:

גוש/מפלגהחברי כנסתערך שאפליכח נומינלי
ימין5250.0%43.3%
שינוי מצומצם3713.3%30.8%
כחול לבן810.0%6.7%
ימינה76.7%5.8%
הרשימה המשותפת66.7%5.0%
תקווה חדשה66.7%5.0%
רע”מ46.7%3.3%

התוצאה הלא מפתיעה: כאשר כחול לבן ותקווה חדשה עדיין אינן מוכנות להמליץ לנשיא להטיל את המנדט על יאיר לפיד, הן מחזקות את כוחן היחסי, אבל המחיר הוא חיזוק משמעותי של גוש הימין. יותר מכך, אם הן לא ימליצו להטיל את המנדט על יאיר לפיד, הרי שעל פניו (או לפחות על פי ערך שאפלי) האדם בעל הסיכוי הטוב ביותר להקים ממשלה הוא מנהיג גוש הימין.

האם כל זה טוב או לא? אני מניח שכל אחד יסיק מסקנות אחרות בהתאם לדעותיו הפוליטיות. לכן אני מבקש מכולם לא לקיים את הדיון הפוליטי כאן.


הערות
  1. וזאת בהנחה שאנשי ימין בגוש השינוי יסכימו לשיתוך הרשימה המשותפת ורע”ם בקואליציה בצורה כזו או אחרת []
  2. לא שמעתי חדשות מאז הבוקר []

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

סקירה על סקרים – הקלטת מפגש הזום

בעקבות ההתפתחויות הפוליטיות, נושא מפגש הזום האחרון של נסיכת המדעים היה “סקירה על סקרים”, ובו דנתי במשמעות של טעות הדגימה, הצגתי הטיות ומניפולציות אפשריות, וייעצתי מה כדאי לבדוק כאשר קוראים סקר.

ניתן לצפות בהקלטת המפגש בערוץ היוטיוב של נסיכת המדעים. למעבר ישיר להקלטה לחצו כאן. צפיה נעימה!

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

סטטיסטיקה בבית המשפט – הקלטת מפגש הזום

אשה חפה מפשע הורשעה ברצח, רוצחת מורשעת זוכתה בערעור, אדם הורשע ברצח ללא ראיות הקושרות אותו ישירות למעשה – הכל בגלל טעויות בסטטיסטיקה.

נושא מפגש הזום האחרון של נסיכת המדעים היה “מעבר לספק סביר – סטטיסטיקה בבית המשפט”. ניתן לצפות בהקלטת המפגש בערוץ היוטיוב של נסיכת המדעים. השקפים של המצגת זמינים בעמוד המצגות.

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו