נסיכת המדעים

פייסבוק, כידוע, מהווה נדבך מרכזי בפוליטיקה החדשה שהפציעה במקומותינו. מדי כמה ימים הארץ סוערת בעקבות פוסט כזה או אחר של שר האוצר יאיר לפיד, וגם שר החינוך שי פירון זכה לכמה דקות תהילה מפוקפקת בעקבות טעות משעשעת (אך נטולת חשיבות אמיתית) בסטטוס שפירסם. הסטטוסים של שרת הבריאות יעל גרמן, לעומת זאת, עוברים עד כה מתחת לרדר הציבורי. זה גם מה שקרה לסטטוס שלה מתאריך 2.4.13, שעסק בהבדלי תוחלת החיים בין גברים ונשים. הוא לא זכה להתייחסות מחוץ לרשתות החברתיות, למרות 367 לייקים, 22 שיתופים ו-96 תגובות, נכון לרגע כתיבת שורות אלה.

כדי להבין למה נזעקתי לכתוב רשימה על הפוסט הזה תיאלצו לקרוא עד הסוף (או לדלג לסוף, אם כי אני לא ממליץ על כך). אני רוצה להתייחס קודם לפוסט עצמו, בו נאמרו הדברים הבאים:

מה הפוסט של גרמן מכיל? נתונים, פרשנות לנתונים, מקור מידע, וציון מטרה לפעולה.

נתחיל בנתונים: "תוחלת החיים של גברים בישראל (לשנת 2010), היא במקום השני בעולם, בעוד שתוחלת החיים של נשים בישראל היא במקום שמיני בעולם".

לפי נתוני הלשכה המרכזית לסטטיסטיקה, תוחלת החיים של גברים בישראל (מרגע לידתם) היא 79.0 שנים, והנתון המקביל לנשים הוא 82.8 שנים (הקישורים – לקבצי pdf). ב-2011 כבר עלו הנתונים ל-80.0 ו-83.6, בהתאמה).

איך הנתונים האלה מתייחסים לנתונים במדינות אחרות? על השאלה הזו מעט יותר קשה לענות. מקור ראשוני לחיפוש הוא ויקיפדיה. הערך על תוחלת חיים ויקיפדיה הוביל אותי לשני מקורות: המחלקה לכלכלה ועניינים חברתיים של האו"ם, וכן ה-CIA שלא סומך על האו"ם ומפרסם נתונים משלו. חברי  דובי הפנה אותי בטוויטר למקור שלישי, אתר בשם World Life Expectany .

הנה כל הנתונים מרוכזים בטבלה

הלמ"ס לא מפרסמת דירוג, אלא השוואה לנתוני ה-OECD (קישור לקובץ pdf) ומספר מדינות נבחרות נוספות.

ובכן, הנתונים של גרמן לא ממש מדוייקים, אבל גם לא רחוקים כל כך מהאמת. הבה לא נהיה קטנוניים בנושא. נעבור לפרשנות של הנתונים.

אפשר ללמוד מטבלה זו הרבה דברים, אבל המסר החשוב לצורך הדיון הוא שהקשר בין הדירוג העולמי ובין המצב הבריאותי כפי שהוא מתבטא בתוחלת החיים רופף ביותר. באיזה מדינה מעדיפה גרמן לחיות: בישראל של ה-CIA, בה תוחלת החיים לנשים היא 83.2 אבל מדורגת במקום ה-21 בעולם? או בישראל שבה תוחלת החיים לנשים נמוכה יותר ועומדת על 82.8 שנים, אבל מדורגת במקום "יוקרתי יותר", נניח מקום שמיני?

מה עוד אפשר ללמוד על ההבדל בין רמת הטיפול הרפואי לגברים ולנשים מהנתונים האלה? ראשית, ניתן להצביע על העובדה שתוחלת החיים של נשים בישראל, לא משנה על איזה מארבעת המקורות מסתמכים, גבוהה מתוחלת החיים של הגברים בכל מדינה אחרת בעולם, פרט לנסיכות מונקו (המדינה השניה בדירוג תוחלת החיים לגברים של ה-CIA היא המושבה הפורטוגזית/סינית מקאו, שם תוחלת החיים לגברים היא 81.5 שנים).

מעניין יותר להתבונן בהפרשים בין תוחלות החיים, לגברים ונשים, בין ישראל ובין המדינות שמדורגות מעליה. אם מתעלמים מהמדינות הזערוריות כמו אנדורה, סן מרינו, מונקו ודומותיהן מגלים כי בסך הכל ההפרשים דומים. בישראל יש לנשים יתרון של 3-4 שנים בתוחלת החיים על פני הגברים, ומצב דומה יש בשוויץ (כ-5 שנים), אוסטרליה (כ-4 שנים), איטליה (כ-5 שנים), שוודיה (כ-3 שנים) וקנדה (כ-4 שנים). יוצאת הדופן היא יפן, המדינה הגדולה ביותר בצמרת דירוג תוחלות החיים, עם יתרון של 7 שנים לנשים על פני הגברים. מכיוון שבאופן כללי תוחלת החיים של נשים גבוה יותר מזו של גברים (רק במספר מדינות אפריקניות לגברים יש תוחלת חיים גבוהה יותר), ניתן להסיק כי אין הבדלים משמעותיים ברמת הטיפול הרפואי לגברים ונשים בישראל. מעניין לציין כי יש מדינות בהן תוחלת החיים של נשים גבוהה באופן יוצא דופן לעומת הגברים, למשל: רוסיה (74 לנשים, 61.6 לגברים) או עירק (71.7 לנשים, 63.4 לגברים). אני מקווה ששרת הבריאות לא תשאף להגיע למצב כזה גם במדינתנו.

אם רוצה גברת גרמן, חברת מרץ עד לא מזמן, חומר למחשבה המבוסס על תוחלת חיים, אולי עדיף שתעיין בלוח תוחלת חיים לפי מין, דת וקבוצת אוכלוסייה (קישור לקובץ pdf). שם תגלה כי תוחלת החיים של גברים יהודים בישראל היא 80.7 שנים, ושל גברים ערבים רק 76.5. תוחלת החיים של נשים יהודיות היא 83.9, של נשים ערביות רק 80.9. הייתי שמח לו הלמ"ס פירסמה גם נתוני תוחלת חיים בישראל לפי חלוקה גיאוגרפית, כפי שהיא מפרסמת מדדים בריאותיים אחרים (לידות חי, פטירות ופטירות תינוקות, לפי מחוז ונפה, קבוצת אוכלוסייה ודת – קישור לקובץ pdf). אולי גרמן תוכל להשיג אותם וללמוד מהם משהו. רצוי גם שתתייעץ עם הסטטיסטיקאים המצויינים שעובדים במשרדה לגבי פרשנות הנתונים.

נעבור לנושא הבא: מהו מקור המידע של גרמן בקשר לנתונים הנ"ל? גרמן מציינת אותו: "דנה ויינברג כתבה לי מכתב גלוי בנושא". מיהי דנה ויינברג? ובכן, דנה ויינברג היא מייסדת ומנכ"לית עמותת "נשים לגופן". המכתב הגלוי שלה לשרת הבריאות החדשה פורסם באתר סלונה (תודה לחברתי שרון שהפנתה אותי אליו). אין בו התייחסות לנושא הבדלי דירוג תוחלת החיים, אך אני חייב לציין כי בהרצאה ששמעתי לפני כשנה מפי פעילה אחרת בעמותה זו, טל תמיר, הטיעון הזה הועלה גם הועלה. דנה ויינברג כן מביאה במכתבה, ללא כל הפניות למקורות, מבחר של נתונים סטטיסטיים אחרים, וטענה כי "שיעורי התחלואה והתמותה של נשים בישראל גבוהים ביחס לנשים במדינות המערב". אני מצטט טיעון זה כיוון שהוא עומד בסתירה גמורה לנתוני תוחלת החיים שהבאתי כאן. לגבי הטיעונים האחרים של ווינברג, כל שאני יכול לומר הוא שיש לבדוק אותם היטב ולראות האם יש להם ביסוס. לאחר שפירטה את כל טענותיה, מביאה ווינברג בפני השרה מספר המלצות שיישומן יביא לקידום בריאותן של נשים ונערות. קראתי את ההמלצות, אני ממליץ גם לכם לקרוא אותן בעיון. אני מסכים עם כל המלצה והמלצה, וסבור כי רוב הקוראים יסכימו כי אלה המלצות חשובות שיש ליישם, כיוון שיישומן יביא לשיפור במצב הבריאותי של כלל האוכלוסיה, נשים וגברים. אז למה, דנה, למה להביא נתונים סטטיסטיים תמוהים ולתת להם פרשנות שגויה? למה לשקר בעזרת סטטיסטיקה כשבכלל אין צורך בכך?

הרשימה תסתיים בהבעת דיעה אישית/פוליטית: מדוע נזעקתי לכתוב רשימה על כל הדברים האלה באיחור של כמעט שבועיים? גרמן כתבה בסוף הפוסט שלה כי תפעל לשפר את הבריאות של הנשים בארץ. אני לא מתנגד לכך באופן עקרוני, אם כי לא ברור כלל האם אכן הטיפול בבריאות הנשים בארץ אכן לקוי לעומת הטיפול בבריאות הגברים. אבל גרמן ראתה נתונים לא ברורים עם פרשנות מטעה, החליטה, ותפעל. האם מדובר במקרה חד פעמי או בתופעה? ביום חמישי אחר הצהריים פורסמו שתי ידיעות שדיווחו על פעולות של שרת הבריאות. באחת דווח כי שרת בריאות החליטה להפסיק את הפלרת מי השתיה, בניגוד לדעת אנשי מקצוע במשרדה. בשניה דווח כי החליטה להקים צוות חשיבה שיבחן דרכים לחיזוק הרפואה הציבורית – כולל אפשרות של הפעלת שר"פ (שירותי רפואה פרטית) בבתי חולים ציבוריים. סביר למדי שועדה שהשרה ממנה ומבקשת ממנה לבחון אפשרות של הפעלת שר"פ תמליץ על הפעלת שר"פ. לא ברור לי על סמך מה קיבלה גרמן את ההחלטות האלו. אני לא מטיל ספק בזכותה לקבל החלטות אלה מתוקף תפקידה, וכן, זכותה גם לקבל את ההחלטות מתוך האידיאולוגיה בה היא תומכת. בעניין ההפלרה, לא ברור לי איזה אידיאולוגיה מנחה אותה בנושא שלכל היותר שנוי במחלוקת מדעית, אם כי, ככל הידוע לי, יש רוב בקהילה המדעית לתומכי ההפלרה. אני תוהה מי הזין את השרה (עוד בהיותה ראש עירית הרצליה מטעם מרצ) בנתונים אודות הפלרת מי השתיה, מה היו הנתונים האלה ועד כמה הם היו מבוססים. וכן, אני גם מקווה שאותו פוסט בפייסבוק לא משקף את תהליך קבלת ההחלטות שלה השרה.

רק שנהיה בריאים.

היום הוא היום הגדול – היום האחרון לפני הבחירות בו מותר לפרסם תוצאות סקרים. אתמול בלילה (בשעה שאחרי חצות) עלה הסקר המסכם של עיתון הארץ לאתר. לכתבה צורפה דיאגרמת עוגה לפיה גוש השמאל זוכה ב-57% מהמנדטים/קולות, ומפסיד בבחירות. מבולבלים?

בשעה שבע בבוקר הטעות כבר תוקנה.

תודה לאיתי אשר ששלח לי את צילום המסך.

נפלא, פשוט נפלא. ותודה לרון קנת שהעביר לי את זה.

לחצו על התמונה לצפיה בגודל מלא.

כשראיתי את הסריקה של הגרף הזה שמישהו העלה לפייסבוק, לא האמנתי שזה אמיתי. אז גלשתי לאתר של העיתון הנפוץ "ישראל היום" ומצאתי את זה במהדורה המודפסת של יום שישי, 25 בנובמבר 2011. החבר'ה מישראל היום עשו סקר, בנושא הגרעין האירני. שאלו שאלה, 41.3% ענו כן, 48.6% ענו לא. מחנות הכן והלא שווים בערך, אם כי יש הבדל סטטיסטי מובהק לטובת עוני ה-"לא". אבל הגרף מראה כי מספר המשיבם "כן" גדול פי 3 ממספר המשיבים "לא".

אני לא יודע מה האינטרס של העיתון להציג כאילו הרוב השיבו "כן", ועוד רוב כל כך גדול. לעיתון יש אג'נדה פוליטית, זה ברור, וזה בסדר. אבל אני מתקשה להאמין שעורכי העיתון סבורים שקהל הקוראים שלהם כה טיפש. אני מקווה שביום ראשון תצא התנצלות כלשהי ותסביר שזו הייתה טעות של הגרפיקאי, או הש.ג. או מי שזה לא יהיה. באמת.

הערה: זהו צילום מסך מאתר ישראל היום. גודל התמונה שונה כדי שיתאים לתבנית הבלוג. כמו כן, העתקתי את הלוגו של העיתון והתאריך מפינת העמוד בו הופיע הגרף והדבקתי אותו מעל הגרף.

שלא תבינו אותי לא נכון. אני אוהב עוגות, מאוד. עוגות של שוקולד, גבינה, פירות, אבל לא עוגות של נתונים.
הבעיה היא שדיאגרמות עוגה (pie charts) מאוד פופולריות. לעיתים נדמה כי מצגת או דו"ח ללא דיאגרמת עוגה אחת לפחות הינם פגומים. נדמה כי כל טיעוני הנגד אינם תקפים כאשר מוצגת דיאגרמת עוגה.

ובכל זאת, אני טוען כי דיאגרמת עוגה, למרות ההיסטוריה הארוכה והמכובדת שלה, אינה דרך טובה להציג נתונים.
הרעיון מאחורי דיאגרמת עוגה הוא להראות כיצד אוכלוסיה מסויימת מתפלגת למרכיביה. נניח כי אנו מתעניינים באהדת האוכלוסיה לקבוצות כדורגל, ומתברר כי במדגם של 90 איש 40 אוהדים את קבוצת הפועל תל-אביב, 30 אוהדים את מכבי חיפה, והשאר (20) אוהדים את מכבי תל-אביב. ניתן להציג מידע זה כעוגה, שמחולקת לשלוש פרוסות/גזרות, כשגודלה היחסי של כל פרוסה שווה לשכיחות היחסית המתאימה. אוהדי הפועל יקבלו פרוסה בגודל ארבע תשיעיות העוגה, אוהדי מכבי חיפה יקבלו שליש, ואוהדי מכבי תל-אביב יקבלו את מה שנשאר – שתי תשיעיות.
התוצאה תיראה כך:

יפה, נכון?
שימו לב כי השכיחות היחסית מבוטאת בדיאגרמה על ידי שלושה מאפיינים גאומטריים: שטח הפרוסה, שהוא המאפיין העיקרי הנתפס על ידי העין, אורך הקשת של הפרוסה, וגודל הזוית של הגיזרה.
וכאן הבעיה הגדולה של דיאגרמות העוגה. העין האנושית, או יותר נכון, המוח האנושי, אינם תופסים כראוי גדלים כאלה. התבוננו בחלק הירוק והחלק האדום. זוית הגזרה האדומה היא 160 מעלות וזוית הגזרה הצהובה הירוקה היא 120 מעלות. האם אתם רואים הבדל בין שתי הזוויות? המצב נעשה מסובך יותר אם יש יותר משלושה ערכים. הנה למשל הדוגמא הבאה, הלקוחה מדף הערך על דיאגרמות עוגה בויקיפדיה:

שלוש העוגות נראות מאוד דומות, אבל אם תבחנו אותן בעיון, תראו שיש ביניהן הבדלים. הפרוסה השחורה גדולה יותר בעוגה A, למשל. אבל באיזה עוגה הפרוסה הירוקה גדולה יותר? האם הפרוסה הכחולה שווה בגודלה לפרוסה האדומה? מהי הפרוסה הגדולה ביותר בעוגה B?
אפשר כמובן לשבת ולפענח אט אט את כל ההבדלים. אבל האם לא עדיף להשתמש בתצוגה ברורה יותר? (לחצו על הלינק כדי לראות תצוגה ברורה יותר של נתונים אלה).

תכנת אקסל ודומותיה מציעות עוד שכלולים לדיאגרמת העוגה – העוגה התלת מימדית פופולרית מאוד. הנה תצוגת נתוני האוהדים בעוגה תלת מימדית:

הפרוסה הצהובה נראית לפתע קטנה יותר, כיוון שהעין תופסת את הדפנות הקדמיות של הפרוסות האחרות כחלק משטחן. הנה דוגמא קיצונית יותר, שמצאתי באינטרנט (לא זוכר היכן):

החלק הכהה בדיאגרמה הימנית זהה בגודלו לחלק הכהה בדיאגרמה השמאלית, אבל הוא נראה הרבה יותר גדול.
הנה דוגמא נוספת, הפעם אמיתית, שממחישה את הבעייתיות.

דיאגרמה זו מציגה את הסיבות להפסקת הפיתוח של תרופות פוטנציאליות בבריטניה. פיתוחן של 40% מהמולקולות הופסק עקב בעיות פרמקוקינטיות, ופיתוחן של 29% מהמולקולות הופסק עקב חוסר יעילות טיפולית. נראה כאילו לשתי הסיבות יש משקל דומה, ואלי אפילו משקל הפרמקוקינטיקה קטן יותר. זאת כיוון שהפרוסה הצהובה נמצאת בקדמת התמונה ולכן נראית גדולה יותר.
עד כמה ההטעיה חמורה? ניתן למדוד את השטח בתמונה שתופסת כל פרוסה על ידי ספירת פיקסלים (עשיתי זאת בעזרת תכנית קטנה שכתב עבורי ידידי שי אלקין). מתברר כי השטח הצהוב תופס כ-50% משטח הדיאגרמה, השטח האדום תופש 32% בלבד מהשטח הכולל של הדיאגרמה. המסר שהעבירה הדיאגרמה שונה לחלוטין מזה שמעבירים הנתונים המספריים. למרה הצער, דיאגרמה זו הוצגה בפתיחת הרצאה על חשיבות המחקר הפרמקוקינטי.

למרות שדיאגרמת העוגה מאוד משכנעת, הרי שברוב המקרים אינה מצליחה להציג את הנתונים בצורה ראויה, בדרך כלל מקשה על תפיסת מהירה של משמעותם, ולעיתים אף עלולה להעביר מסר שגוי. קיימות דרכים טובות יותר להציג נתונים באופן גרפי. העדיפו אותן על פני העוגה. עוגה – רק בבית קפה!

ראשית, ברצוני להודות לכל מי שטרח והגיע להרצאה שנתתי בחיפה בתחילת השבוע. מקווה שכולם נהנו. אני מאוד נהניתי.

ציינתי כי חלק ניכר מהדוגמאות שסקרתי בהרצאה כבר הופיעו כאן בבלוג בעבר. להלן מראי מקום לנושאים שסקרתי.

• על ספרו של דארל האף, How to lie with statistics כתבתי כאן לא מזמן.

• על ספרו של צארלס זייף, Proofiness, יש לי רשימה בתכנון. בינתיים קחו לינק לגוגל בוקס.
• והנה גם לינק לספר The numbers game, ולפודקסט More or Less שממנו צמח הספר.
• על נתונים מופרכים/מופרחים/מומצאים/בלתי ניתנים לוידוא: מירב ארלוזורוב והנתונים שהביאה על שכר המורים, והמסע שלי בחיפוש אחר הנתונים הנכונים; דיון בשאלה הרת הגורל כמה מכוניות יש לסטודנטים; אלה רק שלוש דוגמאות שהבאתי במשך שש וחצי השנים בהן אני כותב את הבלוג.
• לינק לרשימה על סקר הבחירות שחזה את נצחונו של לנדון על רוזוולט ב-1936.
• על הזינוק של מעריב בסקר TGI קראו בבלוג העולם ב-64 משבצות.
• על המנהל והפועלים, ועל שלי יחימוביץ שנפלה בפח הזה
• גם על רגרסיה לממוצע אני מקווה לכתוב יום רשימה, בינתיים תסתפקו במה שלויקיפדיה יש מה להגיד בנושא
• כתבתי רבות על גרפים גמישים: שטרסלר,  משרד האוצר,  הצגה בעייתית של נתוני הוצאה על בריאות בכלכליסט, ויש עוד
• את הדוגמא על השוואת תפוחים ותפוזים לקחתי מהבלוג "אקלקטיקה אהובתי" שכותב אבנר קשטן.
• על הבעייתיות באקסטרפולציה כתבתי כאשר הצגתי את שיטת הריבועים הפחותים
• דיון על עקומת לאפר – התיאוריה והמציאות
• הרשימה על מתאם וסיבתיות הייתה הרשימה הראשונה שכתבתי בנסיכת המדעים, ביוני 2004. על המתאם בין צבע המכוניות והסיכון לתאונות דרכים כתבתי לפני כשנתיים.
• הרשימה  מחקר האוצר על "שכר המינימום ונזקיו" – קריאה ביקורתית היא אחת הרשימות שאני הכי גאה בהן. היא גררה שלוש רשימות המשך בהן התנהל דיון עם קוראיי בנושא.
• על מה שנראה כאפליית נשים בקבלה לאוניברסיטת ברקלי כתבתי ברשימה על האפקט הידוע בסטטיסטיקה בשם"פרדוקס סימפסון".
• פול התמנון – פלא על טבעי או קוריוז סטטיסטי? זה לא שונה ממה שקרה בלוטו הבולגרי. גם לא מפתיע.
• תאורה לא מגבירה סיכון לסרטן – קראו בבלוג של טל גלילי מדוע.
• את ההרצאה סיימתי בציטוט של פלורנס נייטינגייל – שהייתה סטטיסטיקאית דגולה.

ב-1954 יצא לאור ספרון בן 142 עמודים לא גדולים, עם הרבה ציורים, שהפך לרב מכר עולמי. למעשה, זהו ספר הסטטיסטיקה הנמכר ביותר בכל הזמנים. כותרתו: How to lie with Statistics"".

מחבר הספר, דארל האף, לא היה כלל סטטיסטיקאי. הוא היה עיתונאי בהכשרתו, ובשיא הקריירה העיתונאית שלו היה עורך המגזין "Better Homes and Gardens". עם זאת, חוסר ההשכלה הסטטיסטית של האף לא מנעה מהספר להפוך לטקסט קלאסי. כאשר סטטיסטיקאי אומר לכם על תרגיל הטעיה סטטיסטי כלשהו כי זה "תרגיל מהספר", הוא מתכוון לספר הזה.

את הספר הזה פגשתי לראשונה כאשר הייתי סטודנט צעיר לסטטיסטיקה בירושלים. העותק שבספריה היה ישן וצהבהב. כבר אז היה מדובר בטקסט בן 30 ומשהו שנים. אולם אז, וגם היום, הטקסט רלוונטי. קראתי אותו בהנאה רבה, ושילבתי דוגמאות שלקחתי ממנו בקורסים שלימדתי במשך השנים. ספר זה גם מהווה עד היום השראה לבלוג שאני כותב. למעשה, אני יכול לומר כי לספר זה הייתה השפעה רבה להתפתחותי כסטטיסטיקאי וכספקן, ובזכותו, בין היתר, פיתחתי את המיומנות לקרוא טקסטים בצורה ביקורתית ולנסות לגלות אם ואיך מנסים לעבוד עלי. כמובן, למי שקרא את הספר הזה זה הרבה יותר קל.

למרות ההתקדמות הרבה בתחום הסטטיסטיקה בשנים שעברו מאז יציאתו לאור, תחום ההונאה בעזרת סטטיסטיקה לא התפתח באותו קצב. רוב ההונאות נעשות בעזרת אותן טכניקות המתוארות בספר.

להלן סקירה קצרה מאוד של תכני הספר, או טכניקות עבודה בעיניים שתוארו בו: מדגמים מוטים, מדדים תיאוריים לא מתאימים (זוכרים את המנהל והפועלים?), הסתרה של פרטים משמעותיים (למשל: התוצאה מתבססת על סקר שנערך בקרב 12 איש)  הבלטה של תוצאות חסרות משמעות, עיוות של גרפים, אינטרפרטציה לא נכונה או מטעה של התוצאות, וכמובן, הסקת סיבתיות בעקבות מתאם.

בעזרת שילוב כל השיטות הללו מתקבלת "סטטיסטיפולציה", והאף דן בשאלה המתבקשת" האם סטטיסטיפולציה היא תוצאה של הטעיה מכוונת או פשוט תוצאה של חוסר ידע והבנה? לדעת האף, ברוב המקרים סטטיסטיפולציות הינן מכוונות, ומטרתן להטעות ביודעין.

הפרק האחרון בספר מסביר כיצד ניתן לנסות ולהתמודד עם הסטטיסטיפולציות האלה, ודן בנושאים המכוסים היום בכל קורס או ספר העוסק בחשיבה ביקורתית. ניתן לסכם את הגישה של האף בחמש שאלות שכל אחד חייב לשאול כאשר מוצג בפניו מידע כלשהו:

• מי אמר את זה?
• איך הוא יודע?
• מה חסר?
• האם מישהו שינה את הנושא?
• האם כל זה הגיוני?

בעקבות הצלחת הספר כתב האף עוד שישה ספרים שעוסקים במה שמכונה היום "אוריינות כמותית" ("quantitative literacy"), הידוע שבהם הוא "How to take a chance", אך הם הצליחו פחות מאחיהם הגדול.

כשאר מלאו 50 שנה ליציאת How to lie with Statistics לאור, הקדיש לו כתב העת Statistical Science גליון מיוחד. במאמר הסוקר את הספר ומחברו (קישור לקובץ pdf), מפרט ג'יי מייקל סטיל מאוניברסיטת פנסילבניה את הסיבות להצלחתו רבת השנים.

הסיבה הראשית להצלחה היא הכותרת הפרובוקטיבית שלו. סטטיסטיקאים לא ממש אוהבים אותה, אבל מה לעשות, אנשים משקרים בעזרת סטטיסטיקה על בסיס קבוע (אם כי יש גם טכניקות אחרות להפצת שקרים, כמו שימוש בעברית או אנגלית, למשל). אילו היה הספר נקרא "מבוא לסטטיסטיקה" (והוא אכן מבוא לסטטיסטיקה), כמה עותקים היו נמכרים?

האיורים שבספר (וכמובן המאייר, אירווינג גייס) השביחו אותו מאוד. הקלישאה "תמונה אחת שווה אלף מלים" מוצדקת מתמיד על ידי הספר הזה. גם מי שלא אוהב לקרוא יוכל להבין בכף את המסרים שבספר, פשוט על ידי הסתכלות בתמונות.

הסגנון הקליל והרענן שבו כתוב הספר בודאי לא הזיק. היום, ספרי הדרכה כמו "Idiot guide to…" ו-"ABC for Dummies" נפוצים למדי, אך ב-1954 זה היה חידוש כביר. האף הוכיח כי ניתן לכתוב על נושא רציני ומאתגר כסטטיסטיקה בשפה שווה לכל נפש.

אבל למרות הכותרת, האיורים והשפה הקלילה, הספר לא היה שורד זמן כה רב כטקסט קלאסי אלמלא התוכן המצוין שהוא מכיל (שכבר סקרתי למעלה). אני מאמין שבשנת 2054 הספר הזה עדיין יהיה ראוי לגליון מיוחד של Statistical Science, לציון 100 שנה ליציאתו לאור.

במשחק השביעי והמכריע בסדרת גמר אליפות הכדורסל הארצית, התמודדה קבוצת ספרינגפילד בולס מול יריבתה המושבעת, קבוצת יוטה סופרגז. כצפוי, המשחק הוכרע על פי היכולות האישיות של כוכבי שתי הקבוצות: בארט מספרינגפילד ויוחנן מיוטה. במחצית הראשונה היו לבארט 40% אחוזי קליעה מהשדה, בעוד שיוחנן צלף ב- 50% מנסיונות הקליעה שלו.  במחצית השניה צפינו בהתעלות אישית של שני הכוכבים. בארט הדהים והכפיל את אחוז הקליעה שלו ל-80%, אך יוחנן שוב התעלה עליו, והשיג הישג בלתי יאמן של 90% קליעה. את סל הנצחון לזכות ספרינגפילד קלע בארט עם שריקת הסיום. הוא גם נבחר לשחקן המצטיין של המשחק המותח והשקול, לאחר שסיים אותו עם 67% קליעה, בעוד שאחוזי הקליעה של יוחנן במשחק היו בסופו של דבר נמוכים יותר: 63% בלבד.

לא, אין כאן טעות חישוב וגם לא טעות בסטטיסטיקה. למרות שיוחנן היה טוב יותר מבארט בכל אחת ממחציות המשחק, הרי בסיכום הכולל של המשחק בארט היה טוב יותר מיוחנן. זו תופעה סטטיסטית הידועה בשם "פרדוקס סימפסון".

הקוראים מוזמנים לעצור כאן, ולנסות למצוא מספרים ש-"יסתדרו" עם הדוגמא המלאכותית בה פתחתי. (המספרים שלי יובאו בהמשך הרשימה).

אולי הדוגמא המפורסמת ביותר לפרדוקס סימפסון היא פרשת ההפליה על רקע מגדרי בקבלה ללימודים מתקדמים באוניברסיטת ברקלי. בשנת 1973, נדהמו ראשי האוניברסיטה לגלות כי 44% מהגברים שנרשמו ללימודים מתקדמים (תואר שני ושלישי) באוניברסיטה התקבלו ללימודים, אך רק 35% מהנשים התקבלו. ראשי האוניברסיטה, שחששו מתביעה, הזעיקו לעזרה את הסטטיסטיקאי פיטר ביקל, וביקשו ממנו לבחון את נתוני הקבלה. ביקל ועמיתיו האמל ואו'קונל, פרסמו את ממצאיהם כעבור שנתיים בכתב העת היוקרתי Science. אביא כאן ניתוח של נתונים חלקיים אך מייצגים של נתוני הקבלה, כפי שהופיעו בספר הקלאסי של פרידמן ועמיתיו – Statistics.

לצורך הדגמת העקרון, נתרכז בששת החוגים הגדולים ביותר באוניברסיטה, אליהם נרשמו קצת יותר משליש מהמועמדים והמועמדות (באוניברסיטת ברקלי יש למעלה ממאה חוגים שהציעו תכניות ללימודים מתקדמים). נתוני ההרשמה והקבלה לחוגים אלה נתונים בטבלה הבאה:

התמונה הכללית המוצגת כאן דומה לתמונה שהתגלתה בנתונים המלאים: 45% מהגברים התקבלו ללימודים, רק 30% מהנשים. אבל שימו לב: ברוב החוגים אחוזי הקבלה של גברים ונשים דומים זה לזה, עם הבדלים של אחוזים בודדים לכאן או לכאן. רק בחוג A נראה שיש (אולי) אפליה על רקע מגדרי: לחוג זה התקבלו 82% מהנשים, אבל רק 62% מהגברים. הנשים משחקות כאן את תפקידו של יוחנן, הגברים את בארט. איך זה קרה?

שימו לב כי לחוגים A ו-B קל להתקבל – כשני שליש מהנרשמים מתקבלים. יותר ממחצית הנרשמים הגברים ביקשו להתקבל לחוגים אלה. לחוגים C עד F הרבה יותר קשה להתקבל. יותר מ-90% מהנרשמות ביקשו להתקבל לחוגים אלה. אופס.

תופעות כאלה אינן נדירות כלל וכלל, ויש שפע של דוגמאות נוספות (ראו למשל בערך של ויקיפדיה על הנושא). הוול סטריט ג'ורנל, למשל, העלה את השאלה הבאה: האם נתוני האבטלה במשבר הכלכלי הנוכחי גרועים יותר מאלה של המשבר של תחילת שנות ה-80 של המאה הקודמת? נראה שלא, או לפחות עדיין לא: בנובמבר 1982 עמד אחוז המובטלים בארה"ב על 10.8%, בעוד שבאוקטובר 2009 היה אחוז המובטלים 10.2%. אבל, בקרב העובדים בעלי תואר אקדמי אחוז האבטלה ב-2009 גבוה מזה של 1982, וכך הדבר גם בקרב בעלי השכלה אקדמית חלקית, בוגרי תיכון, ובעלי השכלה תיכונית חלקית. מה שקורה הוא שכיום יש יותר בעלי השכלה אקדמית, שבקרבם אחוז האבטלה נמוך יחסית לקבוצות האחרות, והרבה פחות בעלי השכלה תיכונית חלקית, שבקרבם תמיד אחוז האבטלה גבוה יותר. אחוז האבטלה הכולל הוא ממוצע משוקלל על פי גודל תת האוכלוסיה, וכאשר משקלם של האקדמאים גבוה יותר, הם מושכים את הממוצע המשוקלל כלפי מטה.

באותו אופן, כאשר יותר נשים נרשמות לחוגים עם אחוזי קבלה נמוכים, הן מושכות את הממוצע המשוקלל של נתוני הקבלה לנשים כלפי מטה, בעוד שהגברים שנרשמו ברובם לחוגים עם תנאי קבלה קלים מושכים את הממוצע המשוקלל של נתוני קבלת הגברים כלפי מעלה.

ואם נחזור לבארט ויוחנן, הנה נתוני הקליעות שלהם:

כל שחקן זרק את הכדור לסל 30 פעם במהלך המשחק, ובסך הכל יוחנן החטיא פעם אחת יותר מבארט. אבל בארט לקח את רוב הזריקות שלו במחצית השניה בה שני השחקנים התעלו, בעוד יוחנן הרבה לזרוק לסל במחצת הראשונה, בה גם הוצגה יכולת טובה, אבל פחות טובה מהיכולת המופלאה של המחצית השניה.

מה שראינו בשתי הדוגמאות היא נוכחות של משתנה מתווך (confounding variable). בדוגמת הכדורסל המשתנה המתווך הוא מחצית המשחק. אני מניח שיתפתח ויכוח האם תואר השחקן המצטיין אכן מגיע לבארט, או שמא יוחנן היה טוב יותר. מי היה נבחר אילו יוטה ניצחה במשחק? האם החלוקה למחציות משנה משהו? מה היה קורה לו היינו מסתכלים על נתוני המשחק לפי רבעים? האם יש טעם להסתכל על נתונים חלקיים של המשחק ולא על המשחק כשלם?

משתנה מתווך הוא משתנה המסביר את מבנה הקשר בין שני משתנים אחרים. דנתי בנושא כבר ברשימה הראשונה שפורסמה אי פעם בבלוג הזה (האם החסידה מביאה ילדים לעולם?). הדוגמא הקלאסית היא הקשר בין מספר הנעליים לידע במתמטיקה: בכל בית ספר תמצאו כי לתלמידים שמספר הנעליים שלהם גדול יותר יש ידע רב יותר במתמטיקה (גילוי נאות: מספר הנעליים שלי הוא 46). מהו המשתנה המתווך בדוגמא זו?

בדוגמת נתוני האבטלה המשתנה המתווך הוא ההשכלה, ובדוגמא של אוניברסיטת ברקלי הדברים לדעתי קצת יותר ברורים. אין טעם, לדעתי, להסתכל על הנתונים הכוללים של האוניברסיטה, ויש לבחון מה המצב בכל חוג בנפרד. החוג (ומדיניות הקבלה שלו) הוא משתנה מתווך בין המגדר ובין אחוז הקבלה הכולל.

בזמנו פרסמתי כאן בבלוג רשימה שעסקה בנושא הממוצע המשוקלל תחת הכותרת "ממוצע משוקלל – איך ולמה" שזכתה לתגובות רבות ועוררה פולמוס עז בתגובות. הטענה שטענתי שם, ואני עדיין עומד מאחוריה, היא כי יש טעם בחישוב ממוצע משוקלל רק אם המשקלות מתאימים, ובמקרה של מיצוע יחסים, המשקל המתאים הוא המשתנה שבמכנה. כך, טענתי, יש למצע מהירויות תוך כדי שקלול בזמני התנועה, יחסי חוב-תוצר יש לשקלל בתוצר, וכן הלאה. שימו לב כי כל המדדים הכוללים שהובאו כאן הם ממוצעים משוקללים נכונים. בדוגמת הכדורסל אחוז הקליעות הכולל של כל שחקן הוא ממוצע משוקלל של אחוזי הקליעות בכל מחצית כשהמשקלות הם מספר הזריקות לסל בכל מחצית. בדוגמא של אוניברסיטת ברקלי, אחוז הקבלה הכולל של הנשים (גברים) הוא ממוצע משוקלל של אחוזי הקבלה של הנשים (גברים) בכל חוג, כשהמשקלות הם מספר הנשים (גברים) שניסו להתקבל לכל חוג. בדקו זאת!

את הרשימה על הממוצע המשוקלל כתבתי כהמשך לרשימה קודמת בנושא "ממוצע פוליטי" שם יצאתי נגד חישוב ממוצע כלשהו באחד ממסמכי משרד האוצר, וטענתי (או יותר נכון, תמכתי בסבר פלוצקר שטען) כי על האוצר היה להשתמש בממוצע משוקלל ולא בממוצע פשוט. אז הנה אשאל את השאלה לפני שתעלה בתגובות. אם הממוצע המשוקלל בברקלי הוא ממוצע משוקלל על פי המשקלות הנכונים, כפי שאני טוען, הרי שברקלי אכן הפלתה נשים לרעה בקבלה לאוניברסיטה. ורק לפני כמה פסקאות נכתב כאן כי אין לדון בממוצע המשוקלל אלא הנתונים הפרטניים???

גם כאן יש לי תשובה, אך היא אינה מתמטית. התשובה שלי היא שיש תמיד לזהות את המשתנה המתווך (אם ישנו כזה) ולהעריך את חשיבותו לטיב הקשר בין המשתנים (ראו את תגובתו המצויינת של דודי קינג לרשימה "ממוצע פוליטי") . סטטיסטיקאי טוב (כמו פיטר ביקל, למשל) יעשה את זה, ולא יסתפק רק בהצבת נתונים בנוסחאות. אין כל ספק שאחוז הקבלה הכולל של נשים באוניברסיטת ברקלי נמוך מזה של הגברים. כל מי שיודע לחשב ממוצע יכול לומר את זה. השאלה החשובה היא האם האחוז הנמוך נובע מאפליה מכוונת או מסיבות אחרות, ולשם כך צריך גם קצת חשיבה סטטיסטית, לא רק חישובים סטטיסטיים.

הנה היא – בחסות חדשות FOX (המקור: FlowingData):

אם פעם חשבתם שאי אפשר לאכול את העוגה ולהשאיר אותה שלמה, באו חכמי פוקס ולימדו אותנו איך אפשר לאכול 193% מהעוגה.

בהזדמנות זו, אני מפנה את הקוראים לפוסט של טל גלילי על ההיסטוריה של תרשימי העוגה ועל חלק מהבעיות שכרוכות בהם.