חיפוש באתר

קישורים

עמודים

קטגוריות

שני סוקרים מדברים

בתאריך 29.1.2009 התראיינו שני סוקרים: מינה צמח ממכון דחף ואיציק רוזנבלום ממכון PORI בתכנית תיק תקשורת שהנחה עמנואל רוזן. נושא הראיון (איך לא?): סקרי הבחירות. להלן הראיון (שהועלה  במקור באתר העין השביעית תחת הכותרת “טוטו בחירות“). לאחר שתצפו, תוכלו לקרוא כמה מלים משלי.

 

תיק תקשרות 3-29.1.09 from the7eye on Vimeo.
 

אני נוטה להסכים עם רוזנבלום. הבעיה עם סקרי הבחירות כפי שתוצאותיהם מפורסמות כיום, בחלוקה למנדטים, כוללים בתוכם שני מרכיבי טעות. מרכיב אחד הוא טעות הדגימה המפורסמת, שניתן לשלוט בה בעזרת הקפדה על דגימה מקרית ולהקטינה בעיקר על ידי הגדלת גודל המדגם, וגם על ידי הפעלת שיטות דגימה מורכבות יותר, כדון דגימת שכבות.

אבל יש מרכיב טעות נוסף – שנובעת ממה שמינה צמח מכנה “נוסחת הפיצוח”. כשצמח, או כל סוקר אחר, עורכים מדגם, הם נתקלים בתופעה הידועה של “הקולות הצפים” – אותם אנשים שלא החליטו, מתלבטים, או סתם מסרבים לענות. מה עושים איתם? למינה צמח יש נוסחא כלשהי, לפיה היא מסווגת את הקולות הצפים ומנסה לנבא לנחש באופן אינטליגנטי למי יצביעו נסקרים אלה, וזאת בהסתמך על תשובותיהם לשאלות אחרות (משתני רקע). דוגמא פופולרית לפרוצדורת קלאסיפיקציה כזו “מצפן הבחירות” של המכון הישראלי לדמוקרטיה. ענו על שאלות שונות, והאפליקציה תאמר לכם באיזה מפלגה אתם תומכים.

נושא הקלאסיפיקציה הוא מורכב למדי. אפשר להקדיש קריירה שלמה לנושא הזה בלבד. ביישום של שיטת קלאסיפיקציה, כמו ביישום של כל שיטה סטטיסטית אחרת, התוצאות תלויות (לאחר שנבחרה השיטה הספציפית) בהנחות שמניחים, בנתונים לפיהם מתבצעת הקלסיפיקיציה הראשונית, וברמת המרווח לטעויות שמשאירים. טעות – יש תמיד, וניתן לשלוט בה במידה מסויימת, אך הדבר הרבה יותר מסובך משליטה בגודל טעות הדגימה.

לרוע המזל, טעות הקלאסיפיקציה (“הפיצוח” של מינה צמח) מצטרפת אל טעות הדגימה, ואם שני סוקרים משתמשים בשתי שיטות שונות, הם יקבלו תוצאות שונות, כפי שאנו רואים (לצערנו) יום יום.

וכאן עולה בעיה אתית חמורה. תקנון האתיקה לעוסקים בסטטיסטיקה קובע במפורש כי:

מסירת ממצאים סטטיסטיים לציבור תלווה בהסברים הדרושים כדי לאפשר לציבור להעריך נכון את מהימנותם. במחקרי דגימה יפרט סטטיסטיקן את האוכלוסייה, שיטת הדגימה, גודל המדגם, שיעור אי-ההשבה, צורת הראיון וכיו”ב וכן יביא לידיעת הציבור אם מדובר בממצאים ישירים, או בפירוש של ממצאים או התחזיות המבוססות עליהם.

מה שאנחנו רואים ב”תוצאות סקרים” המפורמות בעיתונות זה למעשה תחזיות המבוססות על פירוש של הממצאים. לא נמסרים הנתונים המאפשרים לציבור להעריך את מהימנות הסקרים. בודאי שלא נמסרת הערכה של מידת הטעות ב”נוסחת הפיצוח”. האם מינה צמח מוסרת לעיתון את כל הפרטים האלה והם לא מפורסמים? או שמה צמח (ו/או סוקרים אחרים) לא מעבירים כלל את הנתונים האלה? במקרה הראשון זו עבירה אתית על העיתון (וגם עבירה פלילת על פי חוק הבחירות – דרכי תעמולה, שלצערנו אינו נאכף). במקרה השני זו עבירה אתית חמורה של הסוקר/ת. לצערי, אין באפשרותי לדעת מה קורה בפועל.

6 תגובות ל“שני סוקרים מדברים”

  • תגובה מאת ג’ו
    תאריך 4 בפברואר 2009 18:12

    נושא אחר באותו עניין הוא שאלת הטלפונים הקווים, למיטב ידיעתי הסקרים עדיין נערכים כולם על ידי טלפונים קוויים וזה חייב לגרום לטעות סקירה משמעותית.

  • תגובה מאת גיל
    תאריך 4 בפברואר 2009 18:17

    לדעתי יש כאן שתי בעיות שקשורות אחת לשנייה: אחת, רמה לא אחידה של סקרים, והשנייה שהתקשורת מפרסמת אותם בצורה סנסציונית בצורה חסרת פרופורציות. צריך לפעול בשני מישורים לדעתי: קוד אתי מחמיר לביצוע סקרים שאם לא עומדים בו אסור לפרסם אותו. בנוסף, לפרסם בצורה ברורה את החסרונות של כל סקר ספציפי ואת הנתונים הגולמיים כמו שאיציק הציע. צריך גם לחנך את הציבור שיבין מה זה סקרים ואיך לפרש אותם.

    אגב, בבחירות בארה”ב היו הרבה אתרים שעשו שיקלולים של סקרים שונים והתוצאות בסך הכל היו די מדויקות למה שקרה בפועל.

    • תגובה מאת יוסי לוי
      תאריך 5 בפברואר 2009 11:18

      גיל, אתה צודק, ואני הדגשתי את שתי הנקודות האלה לא פעם בעבר.
      הפתרונות שאתה מציע קיימים: יש קוד אתי מחמיר, אך האימוץ שלו הוא על בסיס וולונטרי. ככל הידוע לי, אף אחד ממכוני הסקרים לא הודיע אל אימוץ הקוד האתי. יש גם חוק שמחייב לפרסם בצורה ברורה את האינפורמציה בדבר עריכת הסקר והשיטת המתודולוגיות, כולל מרווחי הטעות, אך החוק לא נאכף, ואם כך, מה הועילו חכמים בתקנתם?
      הפתרון האמיתי טמון בחינוך, וכמו שאני ואתה מכירים את ארצנו הקטנטונת, הבה נודה כי אין סיכוי שהפתרון הזה ייושם ברצינות.

    • תגובה מאת יוסי לוי
      תאריך 5 בפברואר 2009 11:21

      ועוד תגובה לגיל, הפעם בעניין שקלול הסקרים (meta-analysis): זה יכול עבוד ולשפר את התחזיות ניחושים אינטליגנטיים של הסקרים, אם בסקרים המקוריים עצמם אין הטיות מובנות (ואני מתעלם כאן משיטות הפיצוח למינהן שמכניסות עוד מימד של טעות). לצערי, זה לא המצב בסקרי הבחירות שנערכים בארץ.

  • פינג מאת ללא מורא | בלוגיקה
    תאריך 7 בפברואר 2009 00:08

    […] הגדולות, ולא באמת אכפת להם אי דיוקים בקטנות.  יוסי לוי מסביר זאת היטב: החישוב של המנדטים הוא ניחוש. הסוקרים לא יודעים כמה […]

תגובה