שני סוקרים מדברים

בתאריך 29.1.2009 התראיינו שני סוקרים: מינה צמח ממכון דחף ואיציק רוזנבלום ממכון PORI בתכנית תיק תקשורת שהנחה עמנואל רוזן. נושא הראיון (איך לא?): סקרי הבחירות. להלן הראיון (שהועלה  במקור באתר העין השביעית תחת הכותרת “טוטו בחירות“). לאחר שתצפו, תוכלו לקרוא כמה מלים משלי.

 

תיק תקשרות 3-29.1.09 from the7eye on Vimeo.
 

אני נוטה להסכים עם רוזנבלום. הבעיה עם סקרי הבחירות כפי שתוצאותיהם מפורסמות כיום, בחלוקה למנדטים, כוללים בתוכם שני מרכיבי טעות. מרכיב אחד הוא טעות הדגימה המפורסמת, שניתן לשלוט בה בעזרת הקפדה על דגימה מקרית ולהקטינה בעיקר על ידי הגדלת גודל המדגם, וגם על ידי הפעלת שיטות דגימה מורכבות יותר, כדון דגימת שכבות.

אבל יש מרכיב טעות נוסף – שנובעת ממה שמינה צמח מכנה “נוסחת הפיצוח”. כשצמח, או כל סוקר אחר, עורכים מדגם, הם נתקלים בתופעה הידועה של “הקולות הצפים” – אותם אנשים שלא החליטו, מתלבטים, או סתם מסרבים לענות. מה עושים איתם? למינה צמח יש נוסחא כלשהי, לפיה היא מסווגת את הקולות הצפים ומנסה לנבא לנחש באופן אינטליגנטי למי יצביעו נסקרים אלה, וזאת בהסתמך על תשובותיהם לשאלות אחרות (משתני רקע). דוגמא פופולרית לפרוצדורת קלאסיפיקציה כזו “מצפן הבחירות” של המכון הישראלי לדמוקרטיה. ענו על שאלות שונות, והאפליקציה תאמר לכם באיזה מפלגה אתם תומכים.

נושא הקלאסיפיקציה הוא מורכב למדי. אפשר להקדיש קריירה שלמה לנושא הזה בלבד. ביישום של שיטת קלאסיפיקציה, כמו ביישום של כל שיטה סטטיסטית אחרת, התוצאות תלויות (לאחר שנבחרה השיטה הספציפית) בהנחות שמניחים, בנתונים לפיהם מתבצעת הקלסיפיקיציה הראשונית, וברמת המרווח לטעויות שמשאירים. טעות – יש תמיד, וניתן לשלוט בה במידה מסויימת, אך הדבר הרבה יותר מסובך משליטה בגודל טעות הדגימה.

לרוע המזל, טעות הקלאסיפיקציה (“הפיצוח” של מינה צמח) מצטרפת אל טעות הדגימה, ואם שני סוקרים משתמשים בשתי שיטות שונות, הם יקבלו תוצאות שונות, כפי שאנו רואים (לצערנו) יום יום.

וכאן עולה בעיה אתית חמורה. תקנון האתיקה לעוסקים בסטטיסטיקה קובע במפורש כי:

מסירת ממצאים סטטיסטיים לציבור תלווה בהסברים הדרושים כדי לאפשר לציבור להעריך נכון את מהימנותם. במחקרי דגימה יפרט סטטיסטיקן את האוכלוסייה, שיטת הדגימה, גודל המדגם, שיעור אי-ההשבה, צורת הראיון וכיו”ב וכן יביא לידיעת הציבור אם מדובר בממצאים ישירים, או בפירוש של ממצאים או התחזיות המבוססות עליהם.

מה שאנחנו רואים ב”תוצאות סקרים” המפורמות בעיתונות זה למעשה תחזיות המבוססות על פירוש של הממצאים. לא נמסרים הנתונים המאפשרים לציבור להעריך את מהימנות הסקרים. בודאי שלא נמסרת הערכה של מידת הטעות ב”נוסחת הפיצוח”. האם מינה צמח מוסרת לעיתון את כל הפרטים האלה והם לא מפורסמים? או שמה צמח (ו/או סוקרים אחרים) לא מעבירים כלל את הנתונים האלה? במקרה הראשון זו עבירה אתית על העיתון (וגם עבירה פלילת על פי חוק הבחירות – דרכי תעמולה, שלצערנו אינו נאכף). במקרה השני זו עבירה אתית חמורה של הסוקר/ת. לצערי, אין באפשרותי לדעת מה קורה בפועל.