סקר לדוגמא

הסקר

השבוע קיבלתי לתיבת הדואר שלי חינמון בשם “ישראל שלי” – מוסף מיוחד לציבור הרחב של העיתון “בשבע”. בעמוד הראשון של העלון התנוסס סקר הקובע כי “רוב הציבור מאמין כי גוש הימין בראשותו של נתניהו ישמור על אחדות ירושלים”. ואכן, לפי תוצאות הסקר, 53.5% סומכים על גוש הימין, ו-46.5% סומכים על גוש השמאל.

בשולי הידיעה המלאה, בעמוד 3, נכתב כי “הסקר נערך  על ידי מכון ‘מאגר מוחות’ בניהולו של פרופ’ יצחק כ”ץ, בקרב מדגם אקראי הסתברותי של 505 משיבים, המהווה מדגם מייצג של הציבור הבוגר במדינת ישראל. טעות הדגימה המרבית 4.5% בהתייחסות לאומדנים השונים.”

האם הסקר עומד בדרישות החוק?

על פי תיקון 22 לחוק הבחירות – דרכי תעמולה, יש לדווח יחד עם תוצאות הסקר את הפרטים הבאים: שמו של הגוף שהזמין את הסקר, שמו של הגורם שערך את הסקר, התאריך או התקופה שבה בוצע הסקר, האוכלוסייה שמתוכה נלקח מדגם המשיבים לסקר, מספר האנשים שהתבקשו להשתתף בסקר ומספר האנשים שהשתתפו בו בפועל, מרווח הטעות לגבי הנתונים שהושגו, ואת השאלות שנשאלו בסקר.

ובכן, לא צריך להיות מומחה כדי לראות שמפרסמי הסקר הזה, עיתון עם אג’נדה פוליטית ברורה, לא עמדו בדרישות החוק. אכן דווחו שמו של הגורם שערך את הסקר, וכן “טעות הדגימה המרבית” (שבהמשך אסביר את משמעותה). כן, פורסמה שאלה אחת שנשאלה (לא ברור האם נשאלו שאלות נוספות), אך לא צויין האם זו הייתה שאלה פתוחה, או שאלת “ברירה”, כלומר שאלה עם  מספר תשובות אפשריות מתוכן היה על המשיבים לבחור תשובה אחת.

בחוק יש דרישות נוספות הכוללות דיווח מפורט יותר לועדת הבחירות המרכזית ולמבקר המדיה, וכן יש לדווח למבקר המדינה את הפרטים העסקיים הקשורים בסקר. מי שרוצה, מוזמן לפנות לועדת הבחירות המרכזית כדי לקבל פרטים נוספים.

האם הסקר קביל מבחינה סטטיסטית?

ראשית, יש להדגיש כי הסקר לא נערך של ידי סטטיסטיקאים – מנהלי מכון “מאגר מוחות”, הפרופסורים יצחק כ”ץ וברוך מבורך, הינם מתחום המינהל הציבורי ומדעי המדינה. למרות זאת, נראה לי כי בסך הכל נעשתה עבודה ראויה: גודל המדגם סביר יחסית (ובהמשך אסביר כיצד גודל המדגם קובע את גודל טעות הדגימה), מוצהר כי מדובר במדגם הסתברותי אקראי המהווה מדגם מייצג של הציבור הבוגר (גם ערבים?). אני מניח כי שני הפרופסורים המכובדים לא יסכנו את המוניטין שלהם בעריכת סקר בלתי קביל. למרות זאת, חבל שלא דאגו כי העיתון יפרסם את כל הפרטים הנדרשים כדי שיהיה אפשר להעריך את תקפותו של הסקר.

איזה הטיות יש כאן?

אין לדעת. אבל יש לשאול: אם 50% (בערך) מהאוכלוסיה הבוגרת סומכים על גוש הימין – למה שיעור הקולות שהם צפויים לקבל בבחירות (על פי סקרים אחרים) עומד כל כ-35% בלבד? האם 15% מהציבור סומך על הימין אבל מצביע לשמאל? האם אנשים ענו לסוקרים תשובות אמת? (ראו את רשימתי “להשיב או לא להשיב” העוסקת בתופעה של הטעיה מכוונת הסקרים). האם לשאלה אליה מתייחסת הידיעה קדמו שאלות שהובילו להטיה בתשובות לשאלה המכרעת? האם היה שיעור אי-השבה גבוה במיוחד?  (שיעור ההשבה הוא קריטי – ראו את רשימתי: בחירות 1936 – המנצח שלא היה מ-4.11.2004 ).

מהי מסקנת הסקר?

כדי לדעת זאת יש להבין מה משמעות “טעות הדגימה המרבית”, שדווח כי ערכה 4.5%. המדגם הוא אקראי, ולכן אם נחזור עליו שוב, קרוב לודאי שנקבל תוצאה אחרת. אם ניקח מדגם שלישי, נקבל תוצאה שלישית. במלים אחרות – תוצאת המדגם (במקרה זה: אחוז הסומכים על גוש הימין) היא משתנה מקרי. למשתנה מקרי יש תוחלת השווה לאחוז האמיתי של הסומכים על גוש הימין באוכלוסיה, וגם סטיית תקן, אותה ניתן לחשב אם ידוע האחוז האמיתי של הסומכים על גוש הימין. האחוז האמיתי כמובן לא ידוע (אחרת למה לטרוח לסקור), ולכן אי אפשר לחשב את סטיית התקן במדויק, אבל אפשר להוכיח כי בכל מקרה ערכה לא יעלה חצי מהשורש הריבועי של אחד חלקי שורש המדגם. כאן גודל המדגם הוא 505, השורש של 1 חלקי 505 הוא  0.04449, ולכן סטיית התקן לא תעלה על 0.0222 או 2.3% (מעניין שלגודל האוכלוסייה אין משמעות!).  מאיפה הגיעו ה-4.5%? לפי משפט הגבול המרכזי – 95% מכל התוצאות האפשריות של כל המדגמים האפשריים נמצאים בטווח של פלוס/מינוס שתי סטיות תקן מהערך האמיתי. מסקנה ראשונה – זו לא באמת טעות הדגימה המרבית. מסקנה שניה – לא ניתן להסיק בוודאות כי אחוז הסומכים על גוש הימין אכן גבוה מ-50%.

האם הפרשנות לתוצאת הסקר סבירה?

לדעתי האישית לא. מבחינה סטטיסטית, התוצאה שהתקבלה אינה מובהקת, ולכן אין כאן ידיעה, בודאי לא הידיעה שבכותרת – שסותרת את מה שעולה מהנתונים. השאלה שפורסמה התייחסה לאדם (“על מי אתה סומך…”) והפרשנות מתייחסת ל”גוש”, ולא רק זאת, אלא גוש בראשות נתניהו. ומ”מ ראש הממשלה, אולמרט, סווג כאן כ”שמאל”. הפרשנות היא העיני המתבונן, כמובן, וקוראיי יכולים לחלוק על דעתי ולומר כי הפרשנות קבילה לדעתם. אין לי בעיה שאנשים יחזיקו בדעות שונות משלי – אני רק מקווה ורוצה להאמין שאנשים מקדישים מחשבה

סיכום

• הסקר, למרות שלא נערך על ידי סטטיסטיקאים מקצועיים, נערך ככל הנראה בצורה מקצועית.
• פרסום התוצאות של הסקר לקוי מאוד, ואינו עומד בדרישות החוק.
• תוצאות הסקר אינן מתיישבות עם תוצאות מסקרים אחרים – דבר זה מצביע על הטיה אפשרית בתוצאות.
• למרות זאת, העיתון פרסם את התוצאה בליווי פרשנות מגמתית ומטעה של התוצאות.

פורסם לראשונה באתר “רשימות” בתאריך 24 בפברואר 2006 שם התקבלו 6 תגובות

נועם  בתאריך 2/24/2006 4:45:50 PM

כי יש כאלה המעוניינים בחלוקת ירושלים

אתה שואל, תחת הכותרת “איזה הטיות יש כאן?”:
<
אם 50% (בערך) מהאוכלוסיה הבוגרת סומכים על גוש הימין – למה שיעור הקולות שהם צפויים לקבל בבחירות (על פי סקרים אחרים) עומד כל כ-35% בלבד?
>
תשובתי: יש אנשים המעוניינים בחלוקת ירושלים, ולכן מצביעים לשמאל. אני למשל. זה לא שאני לא משתוקק לחלוקת ירושלים, אבל אני כן רואה אותה כחלק מפתרון. אם הייתי נשאל בסקר זה, הייתי אומר שלדעתי גוש הימין לא יחלק, אבל גוש השמאל כן. אם הייתי נשאל בנוסף למי אצביע, זה היה לשמאל (מרצ או עבודה, טרם החלטתי).
לסיכום: כנראה שכדי לנתח סקרים כראוי צריך להבין גם בסטטיסטיקה וגם בפוליטיקה. אתה כנראה טוב בסטטיסטיקה, אבל לא פרשן פוליטי.

אסי  [אתר]  בתאריך 2/24/2006 7:03:00 PM

תודה

תודה. אולי תהיה מוכן לשקול הוראה מתקנת בביוסטטיסטיקה לרופאים?
נראה לי שכולנו זקוקים לקצת תיקון
אסי

משוטט  בתאריך 2/24/2006 7:04:24 PM

בקשר לכמה דברים

“מוצהר כי מדובר במדגם הסתברותי אקראי המהווה מדגם מייצג של הציבור הבוגר (גם ערבים?).”
בעיתונים אחרים שמפרסמים סקרים בדר”כ נאמר כי המדגם מייצג את “האוכלוסיה היהודית הבוגרת (18 ומעלה)”, ועל אף שלא מצויין מי היא האוכלוסיה הנבדקת במקרה זה, נראה לי שגם כאן מדובר רק ביהודים. מה שככל הנראה מוריד מאחוז האנשים שתומכים בימין. בנוסף צריך לציין שבמגזר הערבי אחוז ההצבעה נמוך מהאחוז באוכלוסיה הכללית, אז ישנו שינוי, אבל קטן.
סתם אנקדוטה: מישהו סיפר/כתב/אמר לי (אולי תגובה לכתבה ב”הארץ” שאתה הפנת אליה) שהתקשרו אליו וכששאלו אותו מי הוא היה רוצה לבחור בתור ממשלת ישראל: עמיר פרץ, בנימין נתניהו או אהוד אולמרט, אז הוא ענה אף אחד מהם. הוא אמר שהוא יעדיף איש עסקים שהצליח לגרום לעסק שלו לצמוח כלכלית ואז הסוקר צחקק וטען שהוא כנראה לא הבין את השאלה…
לפעמים כשנשאלת שאלה סגורה (אמריקאית שכזו) מקבלים תשובה שהיא כלל לא נכונה. נניח אם הייתה שאלה “פתוחה”, אז אנשים היו בוחרים מישהו שלדעתם צריך להבחר ואילו בשאלה רב-ברירתית סגורה, אנשים יסתפקו באיזו ברירת מחדל שהם לא באמת רוצים. דוגמא לשאלה כזו יכולה להיות “האדם הכי יפה” או מוכשר או מכניס איטריות באוזן אחת ומוציא מן השניה הכי טוב. כשעיתונים מפרסמים “האדם היפה בתבל” שכאלו, אני תמיד חושב שאני אישית מכיר אנשים בסביבתי הקרובה שאני חושב שנראים הרבה יותר טוב מחלק גדול מאנשים באותה רשימה.
וליוסי: אתר מצוין! הרשימות שלך פשוט מהנות לקריאה.

אילן  בתאריך 2/25/2006 12:12:26 PM

גם ב”הארץ” וב-ynet מצפצפים על החוק 🙁

עוד יותר גרוע:
http://www.ynet.co.il/articles/0,7340,L-3220525,00.html

יוסי לוי  [אתר]  בתאריך 2/25/2006 1:45:36 PM

תשובה לנועם

לא התיימרתי להיות פרשן פוליטי, ואין ברשימה הזו הבעת דעה פוליטית.
ייתכן כי ההבדל בין 50% התמיכה בימין כאן ל-35% תמיכה בסקרים אחרים מלמד שכוחו של גוש הימין גבוה יותר ממה שמשתקף בסקרים אחרים.
ההתייחסות שלי היא לסקר עצמו, ולסתירה בין תוצאותיו ובין הפרשנות שניתנה להן.

זוריק  בתאריך 2/26/2006 9:46:54 AM

אני תמיד נהנית

יוסי יקר,
לא תמיד אני מגיבה (האמת היא, כמעט ואיני מגיבה כלל)
אבל זה לא אומר שאנחנו לא קוראים (והנה עברתי ללשון רבים)
ולא סתם, ממש ממש נהנים
ואפילו משרבבים פה ושם ציטוטים ממך, בשיחות עם החבר’ה
תענוג
תודה, חיוך, וקריצה
בבניין ציון הנהרסת ננוחם
זוריק