נסיכת המדעים

מטה-אנליזה היא טכניקה סטטיסטית בה לוקחים תוצאות סופיות ממספר ניסויים/מחקרים, ומסנתזים אותם למסקנה כוללת אחת. לדעתי האישית זוהי טכניקה בעייתית למדי (למרות שבחלק הדיונים על סקרי הבחירות שנערכו כאן הפנו אותי קוראים נלהבים אל אתרים שביצעו מטה-אנליזה לתוצאות הסקרים שנערכו לקראת הבחירות לנשיאות ארה"ב).

היום, כשקראתי את העדכון האחרון של chance news, ראיתי שם הפניה לקריקטורה ישנה מהניו-יורקר שמדגימה את הבעייתיות בנושא:

ומתברר שגם לבדיחה הזו יש מימוש במציאות (בעיירה ניו-קויאמה שבקליפורניה):

(בויקיפדיה אומרים שהשלט הומוריסטי, אני מקווה שזה נכון).

הפקולטה לחינוך של אוניברסיטת חיפה עורכת יום עיון בנושא: "בין אנשים למספרים: אוריינות סטטיסטית במאה ה-21".

האירוע מתקיים לרגל פרסום ספרם של דר' דני בן-צבי ופרופ' ג'ואן גרפילד: "Developing Students' Statistical Reasoning ".

יום העיון יתקיים ביום שני, 23.3.2009 בשעות 16:00 – 19:00באוניברסיטת חיפה. לפני יום העיון תתקים סדנא בת שעה על פיתוח חשיבה סטטיסטית בגיל הצעיר בסביבה עתירת טכנולוגיה.

למעוניינים, תכנית הכנס המלאה נמצאת כאן (קובץ pdf), וניתן להירשם בלינק זה.

היום הייתי בקורס כלשהו מטעם מקום העבודה שלי. כדי להדגים את אחד העקרונות שאנו אמורים ללמוד בקורס, הציע המנחה שנשחק משחק, שהתברר מייד כגירסה של דילמת האסירים.

ההרחבה הראשונה של המשחק מדילמת האסירים הקלאסית הייתה שזה היה משחק לארבעה שחקנים, כאשר כל השחקנים אמורים להכריז בו זמנית על בחירתם באחת משתי הפעולות האפשריות: שיתוף פעולה (מקביל לשתיקה בחקירה בדילמה המקורית) על ידי כך ששמים על השולחן קלף עם האות Y, או בגידה (מקביל להודאה בפשע בדילמה המקורית) על ידי הנחת הקלף עם האות X. התשלומים נבנו כך שאם כל הארבעה בוחרים ב-Y כל שחקן זוכה בנקודה, אם כל הארבעה בוחרים ב-X כל שחקן מפסיד נקודה, ושלושת הצירופים האחרים מזכים את שחקני ה-X בנקודות אותן מפסידים שחקני ה-Y: אם יש שחקן X בודד מול 3 Y הוא זוכה ב-3 נקודות, וכל שחקן Y מפסיד נקודה, במקרה של שני X ושני Y כל שחקן X זוכה בשתי נקודות וכל שחקן Y מפסיד 2 נקודות, ובמקרה של שלושה X כל שחקן X מקבל נקודה, ושחקן ה-Y, הפראייר הבודד במקרה זה, מפסיד 3 נקודות.

ההרחבה השניה הייתה שדובר במשחק איטרטיבי: היינו אמורים לשחק את המשחק 10 פעמים בזו אחר זו. בדרך כלל היה אסור לנו לדבר ביננו בין סיבוב לסיבוב, אבל היו שלוש נקודות התייעצות, לפני הסיבוב החמישי, השביעי והתשיעי.

הרחבה שלישית הייתה סיבובי בונוס: בשלושה מהסיבובים מספר הנקודות הוכפל. באחד מהם פי שלוש, בשני פי חמש, ובסיבוב האחרון מספר הנקודות הוכפל פי 10.

שיחקנו את המשחק וערכנו רישום של המהלכים.

עלי לציין כי היה לי יתרון מסויים על פני שחקנים האחרים, כי אני מכיר את המשחק ואת הניתוח התיאורטי שלו. בחרתי לנקוט באסטרטגיית מידה כנגד מידה. בסיבוב בראשון אותתי ב-Y, היה עוד Y, הפסדתי שתי נקודות. עברתי ל-X וצברתי מספר נקודות, עד שבסיבוב האחרון לפני ההתייעצות הראשונה הגענו לנקודת שיווי המשקל הידועה לשמצה של המשחק – ארבעה איקסים.

בשלב הזה הסברתי לשותפותי למשחק כי אם בכל סיבוב כולנו נשחק Y, כולם יזכו בנקודות, והסכמנו שכך נעשה. כולנו עמדנו בדיבורנו עד סיום המשחק. עלי לציין כי הפיתוי לבגוד בסיבוב האחרון היה גדול מאוד. אם שלוש השחקניות האחרות היו ממשיכות לשחק Y ואני הייתי עובר ל-X הייתי גורף 30 נקודות. אבל אלה היו קולגות מהעבודה, שאני עובד איתן ברמה יומיומית, וגם לא רציתי לאכול את ארוחת הצהריים לבד, אז ויתרתי. זה בסך הכל משחק.

התברר כי בקבוצות האחרות (נערכו שלושה משחקים במקביל) העניינים היו סוערים יותר. בכל אחת משתי הקבוצות האחרות היה שחקן (או שחקנית) ששיחקו Y לאורך כל הדרך. באחת הקבוצות, שחקן ששיחק Y בשלב מוקדם מתוך מטרה לעודד שיתוף פעולה ברוח אסטרטגית "מידה כנגד מידה", דרש בשלב ההתייעצות, כאשר הוצע לאמץ אסטרטגיה של שיתוף פעולה, פיצוי מהקבוצה על שיתוף הפעולה שלו בשלב המוקדם (כלומר שבאחד הסיבובים שיוסכם עליהם מראש כולם ישחקו Y ורק הוא יורשה לשחק X). בקבוצה אחרת הייתה שחקנית שלא עמדה בפיתוי, בגדה בסיבוב האחרון וגרפה את שלושים נקודות הבונוס.בקיצור, היה שמח.

למרות שכולנו משחקים בוריאציות של משחק דילמת האסירים מדי יום: בפקק התנועה, בשירותים של מקום העבודה, בעבודה עצמה, ועוד ועוד, אנחנו לא תמיד מודעים למשמעות של הבחירות שלנו. המשחק הזה יכול ללמד הרבה. אני לא יודע אם זה מומלץ כמשחק חברה של יום שישי בערב. זו יכולה להיות תחילתה של יריבות מופלאה. אבל אני בכל זאת ממליץ לכל אחד לבחון את עצמו ואת התנהגותו מזוית הראיה של דילמת האסיר. האם אתם יותר X או יותר Y?

הנה סיבה מדוע כדאי לעקוב גם אחרי העיתונות המודפסת. ידיעה שהופיע בקצה מוסף הכלכלה של "ידיעות אחרונות" ביום הבחירות נשאה את הכותרת "המודעה התמוהה של חברת שחל" (לחצו על התמונה להצגה בגודל מלא).

הידיעה מספרת של מודעה שפרסמה החברה העוסקת בתחום הטלרפואה, ובה התגאתה החברה כי סיכויי של מנוייה לשרוד לאחר אירוע לב גדול פי 2.2 מהסיכוי של כלל האוכלוסיה. האותיות הקטנות שמודעה שלחו את המעוניינים למחקר המלא באתר האינטרנט של החברה.

כתבת ידיעות אחרונות, יהודית יהב, לא התעצלה ובדקה מה עומד מאחורי הנתון הזה. הנה ממצאיה:

א. מאחורי הפרסום עומד פרופ' אריה רוט, מנהל המחלקה לטיפול מרץ לב בבי"ח איכילוב, אך גם היועץ הרפואי של חברת שחל.

ב. המחקר בדק רק את מנויי חברת שחל, ולא מנויים של חברות מתחרות.

ג. מנויי שחל אינם בהכרח מדגם מייצג של האוכלוסיה – כך אמר לגב' יהב פרופ' מוטי רביד, מנהל בי"ח "מעייני הישועה". רביד הסביר מדוע מנויי חברת שחל שונים באופן מהותי מאלה שאינם מנויים, ולכן ההבדלים בינם ובין שאר האוכלוסיה לא בהכרח נובעים מעצם השירות של חברת שחל, וייתכנו גורמים נוספים המסבירים את ההבדלים.

יהודית יהב גם טרחה והביאה את תגובתו של פרופ' אבינועם רכס, יו"ר ועדת האתיקה של ההסתדרות הרפואית, שאינו רואה כל בעיה אתית בפרסום, וגם את תגובת חברת שחל, שכמובן אינה רואה שום בעיה.

אז קודם כל, באמת כל הכבוד לכתבת יהודית יהב שעשתה היטב את עבודתה.

אני רוצה להוסיף עוד מספר הערות.

מעיון ב"פרטים הנוספים" שבאתר שחל (קובץ pdf), עולה כי כל עורכי המחקר הזה, פרט לאחד, הינם אנשי חברת שחל (אחד מהם הוא עובד של חברת הבת הגרמנית PHTS). האחד יוצא הדופן הוא פרופ' דוד שטיינברג מהמחלקה לסטטיסטיקה של אוניברסיטת תל-אביב, שאין לי ספק בדבר יכולותיו כסטטיסטיקאי, אבל אני חייב להיות שהופתעתי במקצת למצוא את שמו מתנוסס על הפמפלט הזה.

אמנם, אין פסול בכך שחברה מסחרית תתמוך במחקר מדעי המקדם את מטרותיה (גילוי נאות: גם החברה שבה אני עומד תומכת במחקרים כאלה, ואני אף נוטל חלק בחלקם ומעורב בניתוח הסטטיסטי של הנתונים), כפי שאמר פרופ' רכס. אבל רשימת עורכי הפרסום מעידה כי יתכן והגבול האתי נחצה.

פרופ' רכס דיבר גם על המחויבות לאמת המדעית, ומחויבות כזו ההייתה צריכה להוביל להבהרה לגבי ההטיה האפשרית של הנתונים ופרשנותם. אני בטוח לחלוטין כי דברי פרופ' רביד אינם מהווים חידוש והפתעה גדולה עבור מומחי חברת שחל. יתרה מזו – בידם היכולת לבדוק האם עצם המינוי עושה את ההבדל, או שמא באמת מדובר רק במשתנה מתווך (confounding variable). אני מניח שהם יודעים היטב שרק ניסוי מבוקר יכול להוכיח כי המינוי הוא אכן שמגדיל את סיכויי השרידות. אני לא אומר שטענת חברת שחל מופרכת לחלוטין, אבל יש כמה סימני שאלה.

אחד מקוראי שלח לי את הכתבה הבאה שפורסמה ב"ידיעות אחרונות" לפני זמן מה (לחצו על התמונה כדי לראות אותה בגודל מלא). על פי הכתבה, מכוניות שחורות הינן מסוכנות. לפי נתוני חברת "שגריר", נטען שם, "הסיכוי של מכונית שחורה להיות מעורבת בתאונה הוא פי 1.5 משל מכונית לבנה או אדומה". ואכן, מהתבוננות בטבלה נראה כי 2.12% מהמכוניות השחורות היו מעורבות בתאונות, לעומת 1.48% מהמכוניות האדומות ו-1.50% מהמכוניות הלבנות. האם כדאי לזוז הצידה כאשר רואים במראה מכונית שחורה, כמו שמייעץ לנו הכתב? לא בטוח.

קודם כל, ההבדלים בין האחוזים המצוינים עבור המכוניות השחורות והאדומות אינם מובהקים סטטיסטית. ההבדל בין המכוניות השחורות למכוניות הלבנות כן מובהק סטטיסטית, וזאת בגלל המספר הגבוה של המכוניות הלבנות (כ-35,000) לעומת המספר הנמוך יחסית של מכוניות שחורות ב"מדגם" (פחות מ-3000). אבל זה באמת לא משנה. ממילא התוצאה הזו אנקדוטלית, ולא בהכרח מייצגת, כפי שאסביר מייד.

מדוע נצפתה התופעה? יכולים להיות מספר הסברים. הסבר אפשרי אחד ניתן בכתבה על ידי מנכ"ל חברת שגריר. קשה יותר להבחין במכוניות כהות על רקע הכביש, הסביר, וכן הצבע האדון מאפיין מכוניות ספורט ונהגים צעירים. במלים מקצועיות, ייתכן ויש כאן משתנים המתווכים בין צבע המכונית והסיכוי שלה להיות מעורבת בתאונה – סוג המכונית ואופי הנהג. אני חייב לשבח את המנכ"ל הנכבד שסיפק את ההסבר המתבקש, ומיתן בכך את פתיחת הכתבה הסוערת.

ברצוני להוסיף שתי הערות. ראשית, כפי שאולי שמתם לב, הכנסתי את המילה מדגם למרכאות כפולות כאשר התייחסתי לנתונים שפורסמו בפיסקה השניה של רשימה זו. זה לא במקרה. הנתונים אינם נתוני מדגם, אלא נתונים המתייחסים לכלי הרכב של מנויי חברת שגריר. ייתכן כי מנויי החברה שונים באופן מהותי מנהגים שאינם מנויים. למשל, ייתכן כי שרוב המנויים מקבלים את המנוי כתוספת לביטוח המקיף של הרכב, ומצד שני רוב הנהגים שאין להם ביטוח מקיף גם אינם מנויים של שגריר. אם כך הדבר, אזי המסקנות הנגזרות מנתוני שגריר אינן תקפות לכלל אוכלוסיית הנהגים ומכוניותיהם.

הערה שניה: כיצד אפשר באמת לוודא האם לצבע הרכב יש או אין השפעה על הסיכוי להיות מעורב בתאונת דרכים? במלים אחרות – כיצד אפשר לנטרל את השפעת המשתנים המתווכים? הדרך לשעות זאת היא בעזרת ניסוי מבוקר. לוקחים קבוצת נהגים, ומקצים להם באופן מקרי מכוניות בצבעים שונים. לאחר תקופת מה, בודקים את שיעור המעורבות בתאונות הדרכים של כל אחת מקבוצות המכוניות. זה לא מעשי כמובן, כשמדובר במכוניות, אבל זו פרקטיקה מקובלת בהרבה תחומים אחרים – פיתוח תרופות למשל.

ולסיום – לא משנה מה צבע המכונית שלכם. סעו בזהירות!

הבוקר התפרסם ב"הארץ" מאמר מאת פרופ' יואב בנימיני, נשיא האיגוד הישראלי לסטטיסטיקה, שכותרתו "איך לקרוא את הסקרים?".

ארבעה ימים לפני הבחירות, וביום האחרון בו החוק מתיר פרסום פומבי של סקרי בחירות ותוצאותיהם, מפרט בנימיני סיבות אפשריות לשוני הגדול הנצפה כעת בין הסקרים השונים.

סיבה אפשרית אחת, מסביר בנימיני, היא השפעה אפשרית של מי שמממן את הסקר, באמצעות הטיות קטנות כמו בחירת האוכלוסייה המיוצגת בסקר, סדר השאלות, או אפילו השפעה על נוסח השאלה. לכן ממליץ בנימיני להתייחס בחשדנות לסקרים שתוצאותיהם נמסרות על ידי בעלי אינטרסים, כגון דוברי מפלגות.

בנימיני מפרט גם בעיות מתודולוגיות העלולות להטות את התוצאות, כגון סירוב להשתתף בסקר, ושיעור הבלתי מחליטים ("הקולות הצפים" ). ככל שחלקן של שתי קבוצות אלה במדגם גבוה יותר, כך גדלה הבעיה הפוטנציאלית בסקר.

בנימיני לא התייחס, לצערי, לתופעה של נסקרים המשיבים בכוונה תשובות לא נכונות לסוקרים. אני יכול להבין מדוע. בעוד שאת שיעור הבלתי משיבים ואת שיעור הקולות הצפים ניתן למדוד, היכולת לאמוד את שיעור השקרנים שעלו במדגם מוגבלת (אם כי ניתן ככל הנראה לעשות משהו גם בעניין זה, על ידי השוואת תשובת הנסקר לשאלה למי הוא יצביע עם הניבוי שמספקים משתני הרקע שלו).

בסופו של דבר, מסביר בנימיני, כדי להעריך את תוצאותיו של סקר יש לדעת מי מימן אותו, מי ערך אותו ומתי; מי הנשאלים ומה נשאלו; כמה סירבו להשיב, מה טעות הדגימה וכמה מתלבטים עדיין. למרות שלפי דרישות החוק חובה לפרסם נתונים אלה ביחד עם תוצאות הסקר, מצביע שוב בנימיני על הפרת החוק בידי אמצעי התקשורת, ואזלת היד של ועדת הבחירות המרכזית שלא מבהירה מספיק, לדעתו, את החובה למלא את דרישות החוק. אני אחריף את דבריו ואומר כי ועדת הבחירות המרכזית מעלה בתפקידה כאשר נמנעה מאכיפת החוק.

בנימיני מסכם ואומר כי "מן הראוי לנקוט משנה זהירות כאשר נשענים על תוצאות הסקרים כדי להחליט בעבור מי להצביע". דברים אלה נכונים אמנם, אך אני מציע לכם, קוראיי, להחליט למי תתנו את קולכם על פי צו מצפונכם והשקפת עולמכם, ולא להסתמך על סקרי הבחירות המפורסמים בארצנו ככלי תומך החלטות.

בסרטים רבים המתארים  את הווי חייהם של בני נוער מופיעה סצינה בה שני גיבורים מעמידים למבחן את אומץ ליבם, ו/או את טפשותם באמצעות התחרות הבאה: כל אחד מהם נכנס למכוניתו, ושניהם דוהרים במהירות אל עבר התהום, או הקיר, או זה מול זה. הראשון שעוצר, מאט או סוטה מכיוון הנסיעה שלו הוא המפסיד במשחק, בעוד שהמנצח זוכה בכבוד להתרסק עם רכבו לתוך התהום. ככל הידוע הופיע הסצינה הזו לראשונה בסרטו של ג'יימס דין "מרד הנעורים", ושוחזרה בגירסאות שונות בסרטים רבים, בין היתר בשובר הקופות "גריז" בו כיכבו ג'ון טרבולטה ואוליביה ניוטון-ג'ון.

המעוניינים יכולים לקרוא על המשחק הזה, המכונה דילמת השפן או The chicken game בספרו של ויליאם פאונדסטון "דילמת האסיר" או בויקיפדיה (באנגלית). במציאות המשחק לא ממש פופולרי, מסיבות מובנות, אם כי יש מספר דוגמאות קלאסיות, כגון משבר הטילים בקובה והמלחמה הקרה בכלל. אבל מתברר שגירסה של המשחק, הידועה בישראל בשם "תחזיקו אותי", זכתה לאחרונה לפופולריות בלתי צפויה בשוק השחקנים החופשיים של ליגת הבייסבול האמריקנית, ה-MLB.

השחקן הראשי הוא סוכן העל סקוט בוראס, המייצג כמה מהכוכבים הגדולים ביותר בליגה. לפני מספר שבועות, שיחקו בוראס והתופש (catcher) ג'ייסון ואריטק את המשחק מול קבוצת הבוסטון רד-סוקס. ואריטק שיחק בבוסטון את כל הקריירה שלו עד כה, סה"כ 12 עונות מ-1997 עד 2008. בסיום שנת 2008 הסתיים החוזה שלו עם הקבוצה, והוא הפך לשחקן חופשי. בוסטון הייתה מעוניינת כי ואריטק, שהוא גם קפטן הקבוצה, ימשיך לשחק בשורותיה, והציעה לו להכנס להליך בוררות. בהליך הזה כל צד מציע הצעה. השחקן אומר כמה כסף הוא חושב שצריך לשלם לו, הקבוצה אומרת כמה כסף היא מציעה, והבורר חייב לפסוק לטובת אחד משני הצדדים. כלומר, אם הקבוצה מציע לך שכר של מליון דולר, ואתה מבקש שלושה מליון, התוצאה תהיה שתקבל מליון, או שלושה מליון. לבורר אסור לפסוק פשרה לפיה השכר יהיה איזשהו סכום ביניים. יש עוד קאטש קטן: לקבוצה אסור להציע לשחקן שכר נמוך מהשכר שקיבל בעונה הקודמת. כיוון שואריטק הרוויח בשנת 2008 כ-10.4 מליון דולר, המשמעות של הסכמה לבוררות מבחינתו הייתה הבטחת שכר של 10.4 מליון דולר לפחות בשנת 2009. ואריטק, כנראה בעצת סוכנו בוראס, רצה ללכת על גדול. הוא קיווה כי יצליח לקבל בקבוצה אחרת חוזה שמן יותר, למשך כמה שנים. הוא סירב להצעת הבוררות, ופנה לפתוח במשא ומתן עם קבוצות אחרות. אבל הקבוצות האחרות לא עמדו בתור. מתברר כי תופש בן 37 שסיים את עונת 2008 עם סטטיסטיקה בינונית מינוס אינו סחורה מבוקשת בשוק. בסופו של דבר, חתם ואריטק על חוזה לשנתיים עם קבוצתו משכבר הימים, הבוסטון רד-סוקס. חוזה זה מבטיח לו כי במשך השנתיים הבאות ירוויח בסך הכל 8 מליון דולר.

המקרה של ואריטק לא מרתיע לקוח אחר של בוראס, החובט מני רמירז. רמירז הוא סופר-סטאר אמיתי, שבמשך 16 שנותיו בליגה הציג ממוצע חבטות מעולה של 0.316,  והשיג 527 הקפות מלאות (home runs). לאחר שהועבר באמצע העונה שעברה מבוסטון לקבוצת לוס אנג'לס דודג'רס, השיג שם ב-57 משחקים ממוצע חבטות מדהים של 0.396, ולקח את הקבוצה עד לסדרת הגמר של הנשיונל ליג, שם הפסידה הקבוצה לפילדלפיה פיליז, שהמשיכה בדהרתה לזכיה היסטורית בוורלד סרייס. שירותיו של רמירז אינם זולים. בשנת 2008 היה שכרו השנתי כמעט 19 מליון דולר. חוזהו הסתיים כעת, וקבוצת הדודג'רס, שהייתה מרוצה מאוד מביצועיו, הציעה לו חוזה חדש לשנתיים בסכום כולל של 45 מליון דולר – העלאה צנועה של כ-20% לעומת השנה הקודמת.

ורמירז? השחקן בן ה-37  וסוכנו בוראס אפילו לא טרחו להודיע לדודג'רס כי ההצעה המעליבה הזו אינה מקובלת עליהם, ורמירז הצהיר כי יעדיף לפרוש מאשר לשחק תמורת שכר הרעב שהוצע לו. הדודג'רס משכו את הצעתם. לפני מספר ימים חזרו עם הצעה אחרת: חוזה לשנה, 25 מליון דולר. גם הצעה משפילה זו נדחתה מייד. רמירז ממשיך לחכות להצעות טובות יותר, למרות שתור הקבוצות המעוניינות להציע לו חוזה אינו ארוך במיוחד (בלשון המעטה). הוא ממשיך לדהור אל עבר התהום בתקווה שאחת הקבוצות תגיע לשם לפניו. אני ממשיך לעקוב בעניין.

לחצו על התמונה כדי לראות אותה (ואת הפאנצ'ליין, שמופיע בתור כיתובית לתמונה) בגודל מלא באתר xkcd, שם פורסמה היום.

הבדיחה, אגב, עדיין משעשעת אך ישנה. באתר של ה-ASA, האיגוד האמריקני לסטטיסטיקה,ניתן לקנות טי-שרט עם הכיתוב "I'm statistically significant", ולשני בני הגדולים אכן היו חולצות כאלה, שקניתי להם בכנס ה-ASA נערך בבולטימור בקיץ 1999.

בתאריך 29.1.2009 התראיינו שני סוקרים: מינה צמח ממכון דחף ואיציק רוזנבלום ממכון PORI בתכנית תיק תקשורת שהנחה עמנואל רוזן. נושא הראיון (איך לא?): סקרי הבחירות. להלן הראיון (שהועלה  במקור באתר העין השביעית תחת הכותרת "טוטו בחירות"). לאחר שתצפו, תוכלו לקרוא כמה מלים משלי.

 

תיק תקשרות 3-29.1.09 from the7eye on Vimeo.
 

אני נוטה להסכים עם רוזנבלום. הבעיה עם סקרי הבחירות כפי שתוצאותיהם מפורסמות כיום, בחלוקה למנדטים, כוללים בתוכם שני מרכיבי טעות. מרכיב אחד הוא טעות הדגימה המפורסמת, שניתן לשלוט בה בעזרת הקפדה על דגימה מקרית ולהקטינה בעיקר על ידי הגדלת גודל המדגם, וגם על ידי הפעלת שיטות דגימה מורכבות יותר, כדון דגימת שכבות.

אבל יש מרכיב טעות נוסף – שנובעת ממה שמינה צמח מכנה "נוסחת הפיצוח". כשצמח, או כל סוקר אחר, עורכים מדגם, הם נתקלים בתופעה הידועה של "הקולות הצפים" – אותם אנשים שלא החליטו, מתלבטים, או סתם מסרבים לענות. מה עושים איתם? למינה צמח יש נוסחא כלשהי, לפיה היא מסווגת את הקולות הצפים ומנסה לנבא לנחש באופן אינטליגנטי למי יצביעו נסקרים אלה, וזאת בהסתמך על תשובותיהם לשאלות אחרות (משתני רקע). דוגמא פופולרית לפרוצדורת קלאסיפיקציה כזו "מצפן הבחירות" של המכון הישראלי לדמוקרטיה. ענו על שאלות שונות, והאפליקציה תאמר לכם באיזה מפלגה אתם תומכים.

נושא הקלאסיפיקציה הוא מורכב למדי. אפשר להקדיש קריירה שלמה לנושא הזה בלבד. ביישום של שיטת קלאסיפיקציה, כמו ביישום של כל שיטה סטטיסטית אחרת, התוצאות תלויות (לאחר שנבחרה השיטה הספציפית) בהנחות שמניחים, בנתונים לפיהם מתבצעת הקלסיפיקיציה הראשונית, וברמת המרווח לטעויות שמשאירים. טעות – יש תמיד, וניתן לשלוט בה במידה מסויימת, אך הדבר הרבה יותר מסובך משליטה בגודל טעות הדגימה.

לרוע המזל, טעות הקלאסיפיקציה ("הפיצוח" של מינה צמח) מצטרפת אל טעות הדגימה, ואם שני סוקרים משתמשים בשתי שיטות שונות, הם יקבלו תוצאות שונות, כפי שאנו רואים (לצערנו) יום יום.

וכאן עולה בעיה אתית חמורה. תקנון האתיקה לעוסקים בסטטיסטיקה קובע במפורש כי:

מסירת ממצאים סטטיסטיים לציבור תלווה בהסברים הדרושים כדי לאפשר לציבור להעריך נכון את מהימנותם. במחקרי דגימה יפרט סטטיסטיקן את האוכלוסייה, שיטת הדגימה, גודל המדגם, שיעור אי-ההשבה, צורת הראיון וכיו"ב וכן יביא לידיעת הציבור אם מדובר בממצאים ישירים, או בפירוש של ממצאים או התחזיות המבוססות עליהם.

מה שאנחנו רואים ב"תוצאות סקרים" המפורמות בעיתונות זה למעשה תחזיות המבוססות על פירוש של הממצאים. לא נמסרים הנתונים המאפשרים לציבור להעריך את מהימנות הסקרים. בודאי שלא נמסרת הערכה של מידת הטעות ב"נוסחת הפיצוח". האם מינה צמח מוסרת לעיתון את כל הפרטים האלה והם לא מפורסמים? או שמה צמח (ו/או סוקרים אחרים) לא מעבירים כלל את הנתונים האלה? במקרה הראשון זו עבירה אתית על העיתון (וגם עבירה פלילת על פי חוק הבחירות – דרכי תעמולה, שלצערנו אינו נאכף). במקרה השני זו עבירה אתית חמורה של הסוקר/ת. לצערי, אין באפשרותי לדעת מה קורה בפועל.

הפרסום התקופתי של דו"ח העוני בשבוע שעבר נתן למירב ארלוזורוב עוד הזדמנות להביע את דעותיה על גבי העיתון בו היא כותבת, דה-מרקר. ארלוזורוב בחרה שלא לכתוב מאמר דיעה, אלא נקטה בטכניקה אחרת, פרסום שלושה ראיונות עם שני אינטרסנטים במסווה של ידיעה עיתונאית.

ברשימה של היום אדון בידיעה שהקדישה ארלוזורוב לדבריו של הסטטיסטיקן הממשלתי, פרופ' שלמה יצחקי, שאינו סטטיסטיקאי אלא כלכלן. יצחקי אמר לארלוזורוב: "קו העוני הוא קו מטופש, מכיוון שהוא נתון למניפולציות של האוצר ושל משרד הרווחה". ועוד אמר: "חיתוך ההתפלגות של האוכלוסייה בנקודה מסוימת, כדי לקבוע שכל מי שנמצא מתחתיה נחשב לעני, הוא חסר חשיבות". במקום קו שרירותי, מדווחת ארלוזורוב, מציע יצחקי לקבוע קו אחיד; למשל, לקבוע כי שני העשירונים התחתונים של האוכלוסייה ייחשבו לעניים. אבל יצחקי מפגין גם נדיבות: הוא מוכן לחשב את קו העוני ללא תוספת תקציב במקום המוסד לביטוח לאומי. זה דורש יום אחד של עבודה, הוא אומר. הוא לא דורש תקציב, אבל בהחלט מבהיר את המחיר: "אצלי", אומר יצחקי, "קו העוני יהיה סתם עוד נתון סטטיסטי אחד".

עד כאן דברי הסטטיסטיקן הממשלתי.

מה באמת אומר יצחקי? בוא נעבור על הטיעונים אחד לאחד.

"קו העוני הוא קו מטופש, כיוון שהוא נתון למניפולציות". הוא אכן מביא דוגמאות, כגון עדכון או אי-עדכון מדרגות המס. אם לא מעדכנים את המדרגות (דבר שאסור על פי החוק, אז לא ברור לי איך זה קורה), אומר יצחקי, הכנסתם של משלמי המסים יורדת ולכן גם השכר החציוני יורד ועימו קו העוני. לא נכון, מר יצחקי. קודם כל, טבלאות השכר, וגם חישובי קו העוני, נעשים על פי שכר הברוטו, אז מה לחישובי מס ההכנסה ולקו העוני? וגם אם החישוב היה נעשה על פי שכר הנטו ולא על פי שכר הברוטו, הטעון של יצחקי לא ממש מדוייק. ב-2006, למשל, היה השכר החציוני 5246 שח לחודש (קישור לאתר הלמ"ס, קובץ pdf). סף המס באותה שנה, (ההכנסה החודשית המינימלית שבגינה משלמים מס הכנסה) נע בין 4005 שח לגבר שאינו משפחה חד הורית, 4560 שח לאשה ללא ילדים, 5370 שח לאשה נשואה עם ילד אחד, ועד 6178 שח לאשה נשואה עם שני ילדים. במלים אחרות, סף המס קרוב למדי לשכר החציוני. השינויים שחלים בערכים שמעל החציון בגלל "מניפולציות" כביכול במדרגות המס, לא חלים בערכים שמתחת לחציון, והחציון יישאר בערך באותו מקום (לא בדיוק, כי סף המס אינו שווה בדיוק לחציון), ועימו יישאר גם קו העוני השווה למחצית החציון. ה"מניפולציות" שיצחקי תיאר לא משפיעות על קו העוני באופן משמעותי, והסבריו של יצחקי מעידים על חוסר הבנה או ציניות.

האם חיתוך ההתפלגות של האוכלוסיה בנקודה מסוימת, כדי לראות איזה אחוז נמצא מתחת לקו החיתוך ואיזה אחוז מעליו הוא חסר חשיבות? יצחקי לא טורח להסביר מדוע, כי אין לו הסבר. אם זהו נתון כל כך חסר חשיבות, מדוע הוא טורח כל כך להשמיץ אותו? ברור שלנתון יש חשיבות. ראשית, המתודולוגיה של קביעת ערך סף היא מתודולוגיה מדעית מקובלת, במדעי החיים, למשל, אך לא רק שם. את הטיעון העיקרי אומר בדברים שיצחקי עצמו כתב לי לפני כשנתיים: "במידה ויש נושא חשוב לדיווח שיטתי בסטטיסטיקה הרשמית הרי שהוא קיים לאורך זמן ולא בגלל שמישהו כרגע העלה את הנושא לראש שמחתו. כלל זה גם מעוגן בתקנות בינלאומיות המדגישות את הצורך לאי תלות של סטטיסטיקה ממלכתית באירועים פוליטיים". ובמלים פשוטות: חשיבותו של נתון זה נובעת מכך שפרסומו לאורך זמן מאפשרת מעקב אחרי השינויים בחלוקת ההכנסות ואחרי הדינמיקה של האוכלוסיה שבתחתית סולם ההכנסה. אני מסכים שאפשר היה לבחור מדד אחר, אולי בעל עדיפות מתודולוגית כלשהי על המדד הנוכחי. אפשר אולי גם להחליף אותו במדד אחר, אם הדבר ייעשה באופן שיאפשר את המעקב (למשל, תקופת מעבר בה יפורסמו שני המדדים גם יחד)*. אבל להגיד שהמדד לא חשוב – זה חוסר הבנה או ציניות.

טוב, בואו נבחר מדד אחר. מה בקשר להצעת יצחקי כי שני העשירונים התחתונים של האוכלוסייה ייחשבו לעניים? יש כאן כמה בעיות. ראשית, זהו מדד יחסי, כמו המדד הנוכחי שיצחקי ואחרים כל כך מתעבים. שנית, הוא לא ילמד אותנו דבר על שיעור העוני באוכלוסיה, כי שני העשירונים התחתונים מהווים תמיד 20% מהאוכלוסיה. היתרון: לא יהיה גידול בעוני, לפחות לא בשיעור באוכלוסיה, אם כי מספר העניים המוחלט לפי מדד יצחקי ילך ויגדל עם גידול האוכלוסיה. הרי לכם מדד מטופש וחסר חשיבות. האם יצחקי באמת לא מבין מה הוא הציע, או שזו פשוט הצעה צינית שתאפשר לו ולחבריו לטאטא את בעיית העוני אל מתחת לשטיח?

ולסיום, הבה נדון בהצעתו הנדיבה של יצחקי לחשב את קו העוני ללא תוספת תקציב. ביננו, זה לא ייקח יום עבודה, לי זה לקח חמש דקות (למצוא את השכר החציוני בטבלה ולחלק ב-2, כולל הזמן שהוקדש לחיפוש אחרי המחשבון בתוך ארגז הצעצועים של בני הצעיר). ובלמ"ס יש הרבה סטטיסטיקאים מוכשרים. המחיר בו נוקב יצחקי הוא מחיר הרבה יותר גבוה מתוספת תקציב. "אצלי זה יהיה סתם עוד נתון". נתון שייקבר בין טבלאות נתונים אחרים, נתון שננסה לחפש אחריו ונקבל תשובות סתומות מהלמ"ס (כמו הנתון על מספר המורים ושכרם הממוצע, שלא נמצא עד היום). יצחקי מבקש שנרשה לו לקחת את נתוני העוני ולהעלים אותם, ובכך לשבש את הדיון הציבורי בנושא. כאן אני בטוח שיצחקי מבין היטב מה הוא מציע. וזוהי הצעה צינית. נקודה.

* למיטב זכרוני, העיתונאי אריה כספי ז"ל השווה בשעתו מספר מדדי עוני אלטרנטיביים, כולל מדד מוחלט, והגיע למסקנה (הבלתי מפתhעה) כי כל המדדים שבחן מתנהגים באןפן דומה לאורך זמן (כלומר, קיים בינהם מתאם), ולכן לא ממש משנה באיזה מדד משתמשים. אני מקווה למצוא את הציטוט בספר המקבץ את מבחר מאמריו ולהביא ואתו בפניכם.