נסיכת המדעים

הנה סיבה מדוע כדאי לעקוב גם אחרי העיתונות המודפסת. ידיעה שהופיע בקצה מוסף הכלכלה של "ידיעות אחרונות" ביום הבחירות נשאה את הכותרת "המודעה התמוהה של חברת שחל" (לחצו על התמונה להצגה בגודל מלא).

הידיעה מספרת של מודעה שפרסמה החברה העוסקת בתחום הטלרפואה, ובה התגאתה החברה כי סיכויי של מנוייה לשרוד לאחר אירוע לב גדול פי 2.2 מהסיכוי של כלל האוכלוסיה. האותיות הקטנות שמודעה שלחו את המעוניינים למחקר המלא באתר האינטרנט של החברה.

כתבת ידיעות אחרונות, יהודית יהב, לא התעצלה ובדקה מה עומד מאחורי הנתון הזה. הנה ממצאיה:

א. מאחורי הפרסום עומד פרופ' אריה רוט, מנהל המחלקה לטיפול מרץ לב בבי"ח איכילוב, אך גם היועץ הרפואי של חברת שחל.

ב. המחקר בדק רק את מנויי חברת שחל, ולא מנויים של חברות מתחרות.

ג. מנויי שחל אינם בהכרח מדגם מייצג של האוכלוסיה – כך אמר לגב' יהב פרופ' מוטי רביד, מנהל בי"ח "מעייני הישועה". רביד הסביר מדוע מנויי חברת שחל שונים באופן מהותי מאלה שאינם מנויים, ולכן ההבדלים בינם ובין שאר האוכלוסיה לא בהכרח נובעים מעצם השירות של חברת שחל, וייתכנו גורמים נוספים המסבירים את ההבדלים.

יהודית יהב גם טרחה והביאה את תגובתו של פרופ' אבינועם רכס, יו"ר ועדת האתיקה של ההסתדרות הרפואית, שאינו רואה כל בעיה אתית בפרסום, וגם את תגובת חברת שחל, שכמובן אינה רואה שום בעיה.

אז קודם כל, באמת כל הכבוד לכתבת יהודית יהב שעשתה היטב את עבודתה.

אני רוצה להוסיף עוד מספר הערות.

מעיון ב"פרטים הנוספים" שבאתר שחל (קובץ pdf), עולה כי כל עורכי המחקר הזה, פרט לאחד, הינם אנשי חברת שחל (אחד מהם הוא עובד של חברת הבת הגרמנית PHTS). האחד יוצא הדופן הוא פרופ' דוד שטיינברג מהמחלקה לסטטיסטיקה של אוניברסיטת תל-אביב, שאין לי ספק בדבר יכולותיו כסטטיסטיקאי, אבל אני חייב להיות שהופתעתי במקצת למצוא את שמו מתנוסס על הפמפלט הזה.

אמנם, אין פסול בכך שחברה מסחרית תתמוך במחקר מדעי המקדם את מטרותיה (גילוי נאות: גם החברה שבה אני עומד תומכת במחקרים כאלה, ואני אף נוטל חלק בחלקם ומעורב בניתוח הסטטיסטי של הנתונים), כפי שאמר פרופ' רכס. אבל רשימת עורכי הפרסום מעידה כי יתכן והגבול האתי נחצה.

פרופ' רכס דיבר גם על המחויבות לאמת המדעית, ומחויבות כזו ההייתה צריכה להוביל להבהרה לגבי ההטיה האפשרית של הנתונים ופרשנותם. אני בטוח לחלוטין כי דברי פרופ' רביד אינם מהווים חידוש והפתעה גדולה עבור מומחי חברת שחל. יתרה מזו – בידם היכולת לבדוק האם עצם המינוי עושה את ההבדל, או שמא באמת מדובר רק במשתנה מתווך (confounding variable). אני מניח שהם יודעים היטב שרק ניסוי מבוקר יכול להוכיח כי המינוי הוא אכן שמגדיל את סיכויי השרידות. אני לא אומר שטענת חברת שחל מופרכת לחלוטין, אבל יש כמה סימני שאלה.

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

• כשלון הסקרים בחיזוי תוצאת הבחירות המקדימות ב"קדימה": המשך הדיון
• סקר לדוגמא
• על אהבה, טיולים בשדות, ומריחואנה
• מכון שריד – מאמרון על סקרי דעת קהל
• זורקים כסף טוב לפח

הבוקר התפרסם ב"הארץ" מאמר מאת פרופ' יואב בנימיני, נשיא האיגוד הישראלי לסטטיסטיקה, שכותרתו "איך לקרוא את הסקרים?".

ארבעה ימים לפני הבחירות, וביום האחרון בו החוק מתיר פרסום פומבי של סקרי בחירות ותוצאותיהם, מפרט בנימיני סיבות אפשריות לשוני הגדול הנצפה כעת בין הסקרים השונים.

סיבה אפשרית אחת, מסביר בנימיני, היא השפעה אפשרית של מי שמממן את הסקר, באמצעות הטיות קטנות כמו בחירת האוכלוסייה המיוצגת בסקר, סדר השאלות, או אפילו השפעה על נוסח השאלה. לכן ממליץ בנימיני להתייחס בחשדנות לסקרים שתוצאותיהם נמסרות על ידי בעלי אינטרסים, כגון דוברי מפלגות.

בנימיני מפרט גם בעיות מתודולוגיות העלולות להטות את התוצאות, כגון סירוב להשתתף בסקר, ושיעור הבלתי מחליטים ("הקולות הצפים" ). ככל שחלקן של שתי קבוצות אלה במדגם גבוה יותר, כך גדלה הבעיה הפוטנציאלית בסקר.

בנימיני לא התייחס, לצערי, לתופעה של נסקרים המשיבים בכוונה תשובות לא נכונות לסוקרים. אני יכול להבין מדוע. בעוד שאת שיעור הבלתי משיבים ואת שיעור הקולות הצפים ניתן למדוד, היכולת לאמוד את שיעור השקרנים שעלו במדגם מוגבלת (אם כי ניתן ככל הנראה לעשות משהו גם בעניין זה, על ידי השוואת תשובת הנסקר לשאלה למי הוא יצביע עם הניבוי שמספקים משתני הרקע שלו).

בסופו של דבר, מסביר בנימיני, כדי להעריך את תוצאותיו של סקר יש לדעת מי מימן אותו, מי ערך אותו ומתי; מי הנשאלים ומה נשאלו; כמה סירבו להשיב, מה טעות הדגימה וכמה מתלבטים עדיין. למרות שלפי דרישות החוק חובה לפרסם נתונים אלה ביחד עם תוצאות הסקר, מצביע שוב בנימיני על הפרת החוק בידי אמצעי התקשורת, ואזלת היד של ועדת הבחירות המרכזית שלא מבהירה מספיק, לדעתו, את החובה למלא את דרישות החוק. אני אחריף את דבריו ואומר כי ועדת הבחירות המרכזית מעלה בתפקידה כאשר נמנעה מאכיפת החוק.

בנימיני מסכם ואומר כי "מן הראוי לנקוט משנה זהירות כאשר נשענים על תוצאות הסקרים כדי להחליט בעבור מי להצביע". דברים אלה נכונים אמנם, אך אני מציע לכם, קוראיי, להחליט למי תתנו את קולכם על פי צו מצפונכם והשקפת עולמכם, ולא להסתמך על סקרי הבחירות המפורסמים בארצנו ככלי תומך החלטות.

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

• שני סוקרים מדברים
• הערות בעקבות כשלון הסקרים בפריימריס של קדימה
• הרהורים בין כרכור לסינגפור (א)
• Poll smoking
• מי צריך לתבוע את הסוקרים?

בתאריך 29.1.2009 התראיינו שני סוקרים: מינה צמח ממכון דחף ואיציק רוזנבלום ממכון PORI בתכנית תיק תקשורת שהנחה עמנואל רוזן. נושא הראיון (איך לא?): סקרי הבחירות. להלן הראיון (שהועלה  במקור באתר העין השביעית תחת הכותרת "טוטו בחירות"). לאחר שתצפו, תוכלו לקרוא כמה מלים משלי.

 

תיק תקשרות 3-29.1.09 from the7eye on Vimeo.
 

אני נוטה להסכים עם רוזנבלום. הבעיה עם סקרי הבחירות כפי שתוצאותיהם מפורסמות כיום, בחלוקה למנדטים, כוללים בתוכם שני מרכיבי טעות. מרכיב אחד הוא טעות הדגימה המפורסמת, שניתן לשלוט בה בעזרת הקפדה על דגימה מקרית ולהקטינה בעיקר על ידי הגדלת גודל המדגם, וגם על ידי הפעלת שיטות דגימה מורכבות יותר, כדון דגימת שכבות.

אבל יש מרכיב טעות נוסף – שנובעת ממה שמינה צמח מכנה "נוסחת הפיצוח". כשצמח, או כל סוקר אחר, עורכים מדגם, הם נתקלים בתופעה הידועה של "הקולות הצפים" – אותם אנשים שלא החליטו, מתלבטים, או סתם מסרבים לענות. מה עושים איתם? למינה צמח יש נוסחא כלשהי, לפיה היא מסווגת את הקולות הצפים ומנסה לנבא לנחש באופן אינטליגנטי למי יצביעו נסקרים אלה, וזאת בהסתמך על תשובותיהם לשאלות אחרות (משתני רקע). דוגמא פופולרית לפרוצדורת קלאסיפיקציה כזו "מצפן הבחירות" של המכון הישראלי לדמוקרטיה. ענו על שאלות שונות, והאפליקציה תאמר לכם באיזה מפלגה אתם תומכים.

נושא הקלאסיפיקציה הוא מורכב למדי. אפשר להקדיש קריירה שלמה לנושא הזה בלבד. ביישום של שיטת קלאסיפיקציה, כמו ביישום של כל שיטה סטטיסטית אחרת, התוצאות תלויות (לאחר שנבחרה השיטה הספציפית) בהנחות שמניחים, בנתונים לפיהם מתבצעת הקלסיפיקיציה הראשונית, וברמת המרווח לטעויות שמשאירים. טעות – יש תמיד, וניתן לשלוט בה במידה מסויימת, אך הדבר הרבה יותר מסובך משליטה בגודל טעות הדגימה.

לרוע המזל, טעות הקלאסיפיקציה ("הפיצוח" של מינה צמח) מצטרפת אל טעות הדגימה, ואם שני סוקרים משתמשים בשתי שיטות שונות, הם יקבלו תוצאות שונות, כפי שאנו רואים (לצערנו) יום יום.

וכאן עולה בעיה אתית חמורה. תקנון האתיקה לעוסקים בסטטיסטיקה קובע במפורש כי:

מסירת ממצאים סטטיסטיים לציבור תלווה בהסברים הדרושים כדי לאפשר לציבור להעריך נכון את מהימנותם. במחקרי דגימה יפרט סטטיסטיקן את האוכלוסייה, שיטת הדגימה, גודל המדגם, שיעור אי-ההשבה, צורת הראיון וכיו"ב וכן יביא לידיעת הציבור אם מדובר בממצאים ישירים, או בפירוש של ממצאים או התחזיות המבוססות עליהם.

מה שאנחנו רואים ב"תוצאות סקרים" המפורמות בעיתונות זה למעשה תחזיות המבוססות על פירוש של הממצאים. לא נמסרים הנתונים המאפשרים לציבור להעריך את מהימנות הסקרים. בודאי שלא נמסרת הערכה של מידת הטעות ב"נוסחת הפיצוח". האם מינה צמח מוסרת לעיתון את כל הפרטים האלה והם לא מפורסמים? או שמה צמח (ו/או סוקרים אחרים) לא מעבירים כלל את הנתונים האלה? במקרה הראשון זו עבירה אתית על העיתון (וגם עבירה פלילת על פי חוק הבחירות – דרכי תעמולה, שלצערנו אינו נאכף). במקרה השני זו עבירה אתית חמורה של הסוקר/ת. לצערי, אין באפשרותי לדעת מה קורה בפועל.

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

• ביצה או תרנגולת?
• מדריך לצרכן הסקרים
• הסטטיסטיקן הראשי כותב
• סיכום הדיון בנושא הסקרים
• קבוצת דיון ודיווח על סקרי הבחירות

לקראת הבחירות ההולכות וקרבות, הקים האיגוד הישראלי לסטטיסטיקה קבוצת דיון בגוגל שמטרתה לעקוב אחרי הדיווחים בתקשורת אודות סקרי הבחירות.

מסביר יושב ראש האיגוד, פרופ' יואב בנימיני:

(סקרי הבחירות) מזוהים לטוב ולרע עם מקצוע הסטטיסטיקה בעיני הציבור, וחשוב לנו שתוצאותיהם ידווחו נכונה בכלי התקשורת.

ואכן חוק הבחירות מטיל (על אמצעי התקשורת) חובות דיווח מפורטות למדי (אודות סקרי הבחירות), אך אלו אינן מקוימות במלואן. ברצוננו לעשות מאמץ של קהילת הסטטיסטיקאים כולה על מנת לעקוב אחר הדיווחים בכלי התקשורת, ולנסות לטפל בזמן אמיתי במקרים בהם המידע הדרוש אינו ניתן במלואו.

אני שמח על היוזמה. אני מתריע כאן בבלוג מזה זמן רב על הפרות של סעיף 16 בחוק הבחירות-דרכי התעמולה, שדן פרסום סקרי בחירות. לצערי, החוק הפך לאות מתה, והוא אינו נאכף.

אני קורא לאיגוד להרחיב את היוזמה ולעקוב גם אחרי חשדות לכאורה של הפרת כללים אתיים מצד עורכי סקרים. אם יש מקרים כאלו, מן הראוי שהאיגוד יטפל גם בהם.

אני מזמין את קוראי הבלוג לעקוב אחרי הדיונים בקבוצה ואף להצטרף אליה. כתובתה: http://groups.google.com/group/surveys2009?hl=en

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

• הרהורים בין כרכור לסינגפור (ג)
• יום כיפור של הסוקרים?
• הסטטיסטיקן הראשי כותב
• הצביעו למי שתרצו – העיקר שתצביעו
• על סדר היום: נבצרות זמנית, סקרים, מתוצאות המלחמה, פרס איגנובל

אחד הבלוגים שאהבתי לקרוא הוא "משמר הכנסת" (שנמצא כעת בפסק זמן ארוך) שערך דובי קננגיסר. דובי סקר בו בצורה ביקורתית הצעות חוק שהציעו נבחרינו, השיעור העיקרי שלמדתי מבלוג זה הוא שהדבר הראשון שיש לשאול כשבוחנים הצעת חוק הוא האם באמת צריך את החוק הזה, ומייד לאחר מכן יש לשאול האם החוק אכן ישיג את מטרתו.

הסיבה שאני טורח להעלות באוב את "משמר הכנסת" (חוץ מהתקווה שהבלוג יחדש את פעילותו) היא ההנחיה שפרסם אתמול יו"ר ועדת הבחירות, השופט אליעזר ריבלין. אמנם זה לא חוק, אבל החלטה של שופט עליון כמוה כחוק. כבוד השופט ריבלין הורה כי על כלי התקשורת לפרט בסקרי הבחירות גם את שמות המפלגות הערביות, בניגוד למה שנהוג עד כה בכלי התקשורת בעברית המפרסמים את התוצאות של שלוש המפלגות הערביות יחד תחת הסיווג: "מפלגות ערביות". ההנחיה באה בעקבות פנייתו של ח"כ דב חנין מחד"ש, בחור טוב בדרך כלל, אף שאיני מסכים עם כל דעותיו.

בידיעה שפרסם שחר אילן אתמול ב"הארץ", הובא הסברו של חנין כי צירוף שלוש המפלגות לסיווג אחד "מונע מהציבור להבחין ביחסי הכוחות בין הרשימות, ובסיכוייה של כל רשימה לצבור קולות בבחירות, וזאת למרות שקיימת שונות מהותית בין הרשימות".

בואו ננתח את דבריו של חנין. יש שם שלוש טענות. עם הטענה שקיימת שונות מהותית בין הרשימות הנכללות בחבילה של "המפלגות הערביות" אני מסכים לחלוטין. אם לא הייתה שונות כזו, הן היו מתאחדות לרשימה אחת. עם הטענה שהצירוף "מונע מהציבור להבחין ביחסי הכוחות בין הרשימות" אני מסכים באופן חלקי. זה נכון. אם שלוש המפלגות יצברו יחד 10 מנדטים, נניח, על פי סקר כלשהו, לא ניתן לדעת מהתוצאה איך יתחלקו עשרת המנדטים בין שלוש הרשימות. אבל האם חוסר ההבחנה נובע מעצם הצירוף בלבד? שחר אילן מסביר בהמשך שלא כך הדבר: " הסיבה העיקרית לכך שהתקשורת אינה מפרסמת פירוט של המפלגות הערביות, היא הקושי לסקור ציבור זה באמצעות מדגם קטן, והעובדה שכל המפלגות הערביות נמצאות בתחום הטעות הסטטיסטית, לכן כל פרסום של הנתונים אלה יהיה בהכרח בלתי מדוייק". לא יכולתי לכתוב זאת טוב יותר.

על הטענה השלישית, לפיה הצירוף פוגע בסיכוייה של כל רשימה לצבור קולות בבחירות, אני חולק מכל וכל. הסקרים משקפים את המציאות, לא מייצרים אותה. אני לא מעוניין לפתוח מחדש את הויכוח שהתחולל בעקבות דברי תמר הרמן (עם המשך הדיון כאן, ואחר כך כאן, וסיכומו נמצא כאן), אבל אין לי ברירה. מי שרוצה לחשוב שהסקרים משנים את המציאות, בבקשה. מי שרוצה לשכנע אותי, שיביא נתונים. In God we trust. All other, bring data.

לאחר שדנו בטיעוניו של חנין, נעבור לפתרון המוצע. האם באמת הפתרון הוא בהוראה/מעין חקיקה לסוקרים ולכלי התקשורת לשנות את פרקטיקות העבודה שלהם? אם הנזק שבצירוף שלוש המפלגות לקטגוריה אחת עולה בצורה משמעותית על הנזק שגורמת ההוראה (למשל, פגיעה בחופש העיסוק, חופש העיתונות, והתערבות בשיקולים מקצועיים), אז התשובה היא חד משמעית כן. אבל חנין לא הראה כי אכן נגרם נזק כלשהו, הוא רק טען שנגרם נזק. והוא בחר בפתרון הקל – לשכנע שופט לתת הוראה, במעמד צד אחד, מבלי שהוצגו לפניו (ככל הנראה) כל הנימוקים בעד ונגד ופתרון המוצע. אני לא מאשים כאן את חנין, הוא בחר בדרך לגיטימית כדי להשיג את מטרתו. אני סבור שהשופט הנכבד טעה במקרה הזה.

אף אם עברנו את שתי המשוכות הראשונות, כלומר השתכנענו שטענותיו של חנין נכונות כולן (ולדעתי הן לא), ואנחנו סבורים כי החלטת השופט הנכבד נכונה (ולדעתי היא לא), יש שאלה נוספת שעלינו לשאול: האם הנחיית השופט תשיג את מטרתה? גם כאן, התשובה היא ככל הנראה שלילית.

בפני הסוקרים והתקשורת עומדות כרגע שתי אפשרויות. אחת, שהיא לדעתי הפתרון הקל והראוי במקרה זה, היא לשנות את הסיווג "מפלגות ערביות" ל-"מפלגות אחרות". חנין, יהודי במפלגה דו-לאומית לא ייעלב, ובא שלום על ישראל.

אפשרות אחרת היא לפלח את הסיווג של המפלגות "האחרות" למרכיביו, כלומר לפרסם כמה מנדטים צפויים לחד"ש כמה לבל"ד וכמה לרע"מ-תע"ל. יש כמה דרכים לעשות את זה. אפשר לעשות זאת בצורה שרירותית (לחלק איכשהו את ה-10 ל-3-3-4). אפשרות אחרת היא לעשות זאת על פי התוצאות בפועל מהמדגם, וזו אפשרות בעייתית, כיוון שגדלי המדגמים קטנים בדרך כלל, וגודלה של מפלגה בת 3 מנדטים (2.5% מהמושבים בכנסת) קטן מגודל הטעות הסטטיסטית במדגם של 1200 נסקרים (2.8%), ורוב הסקרים מסתפקים בגודל מדגם קטן יותר במחיר של טעות סטטיסטית גדולה יותר (זה נכון, דרך אגב, לכל המפלגות הקטנות). אני מקווה שדרכים אלה לא יינקטו, כיוון שהן יוצרות בעיות אתיות חמורות גם מבחינה עיתונאית וגם מבחינה סטטיסטית.

אפשרות נוספת, היא לערוך מדגם נפרד באוכלוסיה הערבית, או לדאוג שתת-המדגם בשכבה של האוכלוסיה הערבית (משם באים רוב מצביעי שלוש המפלגות הנדונות, ותבניות ההצבעה בקבוצת אוכלוסייה זו שונות מהותית מתבניות ההצבעה באוכלוסיה הלא-ערבית) יהיה מספיק גדול כדי להקטין את הטעות הסטטיסטית לגודל סביר. זה לא יקרה, כי זה יעלה יותר כסף, וכמות האינפורמציה שתתקבל לא מצדיקה את ההשקעה, בניגוד למה שדב חנין חושב.

לסיכום: ח"כ דב חנין העלה טיעונים שנויים במחלוקת בפני שופט מכובד. לאחר השופט האזין לטיעונים אלה (ולא ברור אם הובאו בפניו טיעוני נגד) הוא נתן הוראה בעייתית שפוגעת בזכויות יסוד ובשיקולים מקצועיים באופן שלא ברור האם הוא מידתי, והתוצאה תהיה במקרה הטוב מכבסת מלים, ובמקרה הרע הסתבכות אתית של אנשי המקצוע. היה שווה?

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

• דברי תמר הרמן על הסקרים – המשך הדיון
• שני סוקרים מדברים
• על משמעות המידע שבסקרי הבחירות
• הרהורים בין כרכור לסינגפור (ג)
• חבורות,ליסינג, כדורגל וזכויות יוצרים