למרות הפער העצום שנפער בין תוצאות הסקרים ותוצאות האמת הפריימריס של מפלגת קדימה, כותרות העיתונים נמנעו הפעם מהקלישאה “יום כיפור של הסוקרים” וקלישאות דומות. למי שלא יודע: שלושה סקרים שונים, שנערכו ביום הבחירות מטעם שלושה ערוצי הטלויזיה המרכזיים, שנערכו על ידי שלושה סוקרים שונים, חזו כולם ניצחון סוחף לציפי לבני על פני שאול מופז. שלשות הסקרים חזו תמיכה של כ-48% ללבני, לעומת 37% תמיכה בשאול מופז, וכ-7% תמיכה לכל אחד משני המועמדים הנוספים, שטרית ודיכטר. תוצאות האמת, לעומת זאת, היו 43% ללבני, 42% למופז, 8.5% לשטרית, 6.5% לדיכטר. התברר כי הסקר הפנימי שערך שאול מופז, שניבא לו 43.7% מהקולות היה קרוב הרבה יותר לאמת.
כבר למחרת התראיינו שלושת הסוקרים, מינה צמח, קמיל פוקס ומנו גבע בתכנית הבוקר של גלי צה”ל וניסו לספק הסברים. דובר שם על הטיה, על אי נכונות לענות לשאלות, על חוסר היכולת “לפצח את ההצבעה” של אלה שסירבו לענות כיצד הצביעו ואף על הטעיה מכוונת של חלק מהנסקרים. אני חושב שרוב התובנות שניתן להפיק מהאירוע הזה נמצאות בטקסטים האלה. גם הקריאה בטוקבקים יכולה ללמד הרבה, בעיקר את מי שמתכוון לערוך סקרים כאלה בעתיד.
אני לא ממש מופתע ממה שקרה כאן. תופעת האנשים המשקרים (בכוונה או שלא בכוונה) לסוקרים אינה חדשה, והיא קיימת כאן עוד משנת 1981, אם לא לפני כן. כבר כתבתי על כך כאן בהרחבה, ולכן אסתפק ברשימת קישורים.
ובכל זאת, הקלישאה של “יום כיפור” דווקא נכונה. הסוקרים צריכים לעשות חשבון נפש (צמח כבר הודיעה שתשקול בעתיד אם לערוך סקרי פריימריס, אבי דגני גם הודיע כי יימנע מכך). אין ספק שיש בעיה במתודולוגיה של עריכת סקרים טלפוניים, לא כל שכן כשבדובר באוכלוסיה מצומצמת ואינטרסנטית כמו מצביעי קדימה. אני לא אומר שזה בלתי אפשרי, ראו את 43.7 האחוזים של שאול מופז. שלושת הסוקרים, פוקס, צמח וגבע נרדמו בשמירה, למרות שככל הנראה היו מודעים לנטיה של הנסקרים לנסות להטות את תוצאות הסקרים. התוצאה העיקרית של הסקרים האלה היא שחיקה ביוקרה המקצועית של שלושת הסוקרים, וחבל.
בניגוד לסוקרים, יש כאלה שלא צריך לעשות חשבון נפש בנושא, ובכל זאת עושים אותו. ח”כ מנחם בן-ששון (מקדימה, אלא מה), שהוא גם פרופסור למשהו אם אני לא טועה, הודיע הבוקר (יום א’) כי יפעל לזרז הליכי חקיקת חוק שיאסור פרסום סקרים שבוע לפני הבחירות המוקדמות. איך זה יפתור את כל הבעיות שגרמו לכשלון הסקרים בליל הבחירות? לבן-ששון הפתרונים. אני מניח שלבן-ששון אין נימוקים סטטיסטיים כלשהם להצדקת הצעת החוק שלו, אך אם יש לו, אשמח לדעת מהם. בעניין זה כבר כתבתי בעבר (בהתייחסותי לדברי פרופ’ ישראל אומן), ואמר זאת שוב במלים בוטות יותר” הריגת השליח וטמינת הראש בחול אינם פתרונות רציניים.
עוד פרופסור שמיהרה לעשות לעצמה כותרות בעקבות ליל הפריימריס של קדימה היא תמר הרמן, פרופסור לסוציולוגיה באוניברסיטה הפתוחה. הסקרים אינם מדע, קבעה חרצה הפרופסור המכובדת, והבעיה העיקרית שלי היא לא איתה, אלא יותר עם אתר הידען שנתן אכסניה לדבריה. התייחסות נרחבת לדבריה של הרמן יבואו ברשימה נפרדת.
פורסם לראשונה באתר “רשימות” בתאריך 21 בספטמבר 2008 שם התקבלו 15 תגובות
הצבנ”ע [אתר] בתאריך 9/21/2008 6:46:05 PM
מה בדיוק הבעיה
עם דבריה של פרופ’ הרמן?
דודי בתאריך 9/21/2008 7:36:01 PM
ההצעה על איסור פרסום סקרים טובה
פולחן הסקר נעשה למפגע אנטי-דמוקרטי. במקרה של קדימה, קרה משהו חמור, כאשר תוצאות (בדיעבד שגויות) של המדגם התפרסמו בזמן שהקלפיות פתוחות, אולי בטעות ואולי בכוונה, והשפיעו על ההצבעה עצמה.
דודי בתאריך 9/21/2008 7:36:35 PM
ההצעה לאסור פרסום סקרים טובה
פולחן הסקר נעשה למפגע אנטי-דמוקרטי. במקרה של קדימה, קרה משהו חמור, כאשר תוצאות (בדיעבד שגויות) של המדגם התפרסמו בזמן שהקלפיות פתוחות, אולי בטעות ואולי בכוונה, והשפיעו על ההצבעה עצמה.
גיל [אתר] בתאריך 9/21/2008 10:33:53 PM
הבעייה היא שזה לא נכון שזה לא מדע
זה פשוט מדע לא מדויק.
גיל [אתר] בתאריך 9/21/2008 10:33:55 PM
הבעייה היא שזה לא נכון שזה לא מדע
זה פשוט מדע לא מדויק.
עמית [אתר] בתאריך 9/22/2008 12:59:48 AM
בנוגע לסקרים טלפוניים
אני חייב לציין שאני אחד מהאנשים שמחרבים סקרים טלפוניים. אמנם לא השתתפתי בהרבה, אבל באלה שכן דאגתי להציג עמדה קיצונית ובלתי סבירה בעליל.
האינטרס שלי ברור: שיפסיקו להתקשר אלי
אני חושב שזה סוג של חוצפה להתקשר לאדם הביתה בשעות הערב מבלי היכרות קודמת או הזמנה.
זה סוג של חדירה לפרטיות, וזה מחליא אותי.
אני עושה ככל יכולתי לבזבז את הזמן לאנשי השיווק הטלפוני, ולענות תשובות בלתי הגיוניות לסוקרים.
והערה קצת יותר רצינית בנוגע לסקרים:
אחת הבעיות עם סקרים, שבעטיין אולי אותו בן ששון מבקש להעביר את הצעת החוק שלו, היא העבודה שסקרים מזמן הפסיקו להיות רק סוג של מדד (מדעי יותר או פחות, מדויק יותר או פחות) בנוגע לדעת הקהל והתנהגותו.
הדקרים התחילו לעצב מציאות במקום לשקף אותה.
זה מאזן מאד עדין, וריבוי הסקרים הפר אותו.
כל התאוריות הסטטיסטיות של סקרים (לפחות אלו שאני מכיר) תקפות תחת הנחה (בד”כ סבירה) שהסקר בוחן סיטואציה מבלי להשפיע עליה. בדינמיקה הפוליטית בארץ זה כבר מזמן אינו המצב – ולכן גם המודלים הסטטיסטיים לא תמיד עובדים.
עומר בתאריך 9/22/2008 8:44:26 AM
בהמשך לדבריו של עמית
סקר לפני בחירות הוא בעצם דגימה של משחק. בדגימה מעין זו יש שתי בעיות:
1. השחקנים יכולים (ולעיתים אף כדאי להם לשקר). על כך בדיוק דיברו הסוקרים.
2. פרסום הסקרים עשוי להשפיע על פעולות השחקנים (ואף להגביר את התמריץ לשקר).
כל עוד לא יבינו הסוקרים כי סקרים באוכלוסיות כמו מתפקדי מפלגה הם למעשה סיטואציה אינראקטיבית (קרי – שייכת לעולם תורת המשחקים) הם לא יוכלו אפילו להתחיל ולהתגבר על הבעיה.
נ.ב. – עמית, פרופ’ בן-ששון מקיים כאן את המלצותיו של פרופ’ ישראל אומן בעניין שהושמעו כבר במאי 2006:
http://www.zeevgalili.com/?p=212
דודי בתאריך 9/22/2008 11:48:53 AM
אילו בעיות?
“איך זה יפתור את כל הבעיות שגרמו לכשלון הסקרים בליל הבחירות?”
הסקר עצמו הוא הבעיה. אין סקר – אין בעיה. שכן הבעיה אינה הטעות עצמה (כפי שאין בעיה עם פרשני ספורט שמנבאים לא נכון את תוצאות המשחק הקרוב), אלא השלכותיה על התוצאות.
בצרפת למשל קיים איסור על קיום (או פרסום) סקרים תקופת-מה לפני הבחירות. והם לא היחידים.
גיל [אתר] בתאריך 9/22/2008 6:16:44 PM
איך בדיוק סקר משפיע על התוצאות?
הרי עובדתית חלק מהבחירות בפועל שונות מהסקרים. וגם אם הוא משפיע, למה זה בהכרח רע?
בבחירות לפריימריס יש בעיות מתודולוגיות רבות אבל זה לא מעיד על המדעיות של הסקרים. סקר בודד אף פעם לא יתן תמונה מלאה ומקיפה ולכן צריך לקחת אותו בזהירות. הבעייה המרכזית היא הצביעות של התקשורת שמצד אחד מעודדת עשייה ודיווח על סקרים ואחר כך נהנית לקטול אותם. בעייה נוספת היא אנשים שלא מבינים איך סקר בנוי, מה בדיוק המשמעות שלו וכו’. חלק מהבעייה נעוץ אצל סוקרים שלא מסבירים טוב את תהליך בניית הסקרים וחלק נעוץ בציבור שזה לא ממש מעניין אותו. צריך אולי לקבוע כללי אתיקה ברורים יותר.
אני מוצא את הדברים של אומן דמגוגיים וחבל מאוד שמישהו עם שיעור קומה כמוהו נגרר לאמירת שטויות כאלו.
עמית [אתר] בתאריך 9/22/2008 8:56:11 PM
גיל:
סקר לא משפיע על התוצאות של עצמו. זה ברור. אבל דעת קהל, תמיכה במועמדים כאלה ואחרים הם דברים דינמיים – לא סטטיים. הם משתנים בהתאם לאירועים. התמיכה באובאמה ירדה כשהכריזו על פיילין כמועמדת לסגן נשיא, עוד לא כל כך ברור איך ישפיע המשבר הכלכלי הנוכחי, אבל סביר מאד שהוא ישפיע.
בקיצור – אירועים ומידע המופיעים בתקשורת משפיעים על דעת הקהל.
סקרים, במיוחד כשעושים אותם 3 פעמים בשבוע גם הם סוג של ארועים כאלה. הסקר של היום ישפיע על התוצאות של הסקר של מחר.
מעולם לא אמרתי אם זה טוב או רע. זה פשוט ככה. תוצאות של סקרים משפיעים על התנהגות של אנשים, ולכן סקרים לפני בחירות עשויים להשפיע בעקיפין על תוצאות הבחירות.
כל המודלים הסטטיסטיים (אלה שאני מכיר) של דגימה וסקירה מתייחסים כמובן להיבט הסטטי של הסקר הבודד, ולא סקר כחלק מדינמיקה של הקהל. היה יותר נחמד להכניס למודל מה תהיה השפעת הסקר על דעת הקהל, ואז לקבוע לא רק איך דוגמים אלא גם מתי ובאיזה קצב, ומה ההשפעה שיש לקצב הסקירה על הסטייה הסטטיסטית.
סקירה תכופה, אני מניח, מתנהגת יותר כמו תהליך סטוכסטי.
וכאמור, זה לא טוב או רע. זה פשוט ככה. להתעלם מזה תהיה טעות.
יש גם עוד בעיה קטנה שבנוגע אליה אני אשמח לשמוע את דעתו של יוסי:
בתכנון סקרים יש שני אלמנטים. הראשון קשור בדגימת האוכלוסיה ובהשלכותיה. השני קשור באיך מביאים את הנתון הנדרש מתוך המדגם.
בפסיכולוגיה שמים דגש על האספקט השני ויש מדדים לאמינות (reliability) של המדדים שנמדדו. כדי שיהיה מדד לאמינות חייבים שיהיו מספר שאלות שונות שמודדות, פחות או יותר, את אותו דבר. לאחר מכן משתמשים גם במדדי האמינות כדי לשקלל תוצאות של מתאמים וממצאים אחרים.
בסקרים של בחירות, למיטב ידיעתי, פשוט שואלים “עבור מי הצבעת” – שאלה אחת ויחידה, ואין מדד לאמינות, ולכן לא ניתן לשקלל את התוצאות. השאלה היא אם יש דרכים אחרות להכניס את “אמינות” המדידה לתוך המשוואה, ולא רק את טעות הדגימה.
גיל [אתר] בתאריך 9/23/2008 1:23:10 AM
לא ממש ברור איך וכמה הוא משפיע
על התוצאות. עובדה, היו הצבעות שונות מאוד ממה שהסקרים ניבאו. גם ההשפעות הפוטנציאליות יכולות להיות בכל הכיוונים וזו לא סיבה בעיניי לא לפרסם סקרים.
עד כמה שידוע לי, רוב הסקרים כוללים שאלות רבות בנוגע לעמדות שונות ולכן כן יש מדידה מסוימת של מהימנות. זה לא מושלם אבל זה מה שאפשרי.
אגב, מדגמי בחירות נוטים להיות הרבה יותר מדויקים מסקרים כי הם נעשים ביום הבחירות עצמו וגם כי לאנשים פחות נעים לנסות לרמות כשהם עושים את זה מול החוקר (למרות שזה גם נעשה בצורה אנונימית).
עוד דבר שצריך לקחת בחשבון בפריימריס זו תופעות של רמאות או קבלני קולות שמאוד קשה לאמוד אותן מראש.
חזי [אתר] בתאריך 9/24/2008 3:55:57 PM
הצעת החוק של בן שושן חסרת כל שחר
הרעיון שצריך להפסיק את הסקרים לפני הבחירות כדי למנוע הטיה של התוצאות הוא חסר כל שחר. לפי ההגיון הזה צריך גם למנוע סיקור חדשותי, או בכלל כל שיחה או מחשבה בנושאים פוליטיים.
דרך אגב, אחוז ניכר מחברי הכנסת הנוכחית כלל לא עמדו לבחירה על ידי חברי המפלגות, אלא הוצנחו לתפקיד על ידי ראשי מפלגותיהם (וזה לא רק בש”ס אלא גם במפלגות חילוניות “דמוקרטיות”). אם ח”כ שושן דואג כל כך לפגיעה בהליך הדמוקרטי, אולי כדאי שיתחיל לטפל בבעיה החמורה הזו ולא בשטויות שאליהן הוא נטפל.
בר בתאריך 9/27/2008 11:06:21 AM
הבעיה הבסיסית היא שאין אחריות
וכיוון שאין לקיחת אחריות אז אפשר לחגוג ולפרסם אין סוף סקרים ואחר כך לעשות מטעמים מזה שהם פיספסו
לתקשורת זה טוב שהסקרים פיספסו כי יש עוד איטם תיקשורתי שמעלה את הרייטינג
לכן בפעם הבאה הם יפנו לאותם סוקרים שלא לקחו אחריות ויפספסו שוב ושוב התקשורת תחגוג כאילו היא לא צד בעניין.
אני [אתר] בתאריך 9/27/2008 11:42:48 PM
סקרים פוליטיים אינם בגדר מדע
פרופ’ תמר הרמן:
“הסקרים שכלי התקשורת עצמם מזמינים ערב פרסום תוצאות בחירות הם הסקרים הכי בעייתיים, כי המדיה אינה מוכנה לקבל את כל ההסתייגויות שכל סוקר מקצועי רוצה להוסיף לסקר.
הם לא יתנו לקמיל פוקס או למינה צמח להתחיל לפרט בעת מתן התוצאות שרמת הביטחון של הסקר היא כזו או כזו, וטעות הדגימה הוא 4.5% ושבנסיבות אלה סקר הוא לא הדרך הכי טובה לנבא מה קורה.
כלי התקשורת רוצים משהו אינסטנט, חד ממדי, חד וחלק בלי שום הסתייגויות מתודולוגיות וגם מהר מאוד ואז זה מה שקורה. כי אחרת אפשר לעשות סקר, וסקר חוזר וליישם טכניקות אחרות כדי לאמת את התוצאות.
הבעיה היא לא עם הטכניקה אלא עם היישום האינסטנטי שלה לצרכים של התקשורת הרעבה. התקשורת ממלא תפקיד מאוד בעייתי. היא גורמת להזנייה של מקצוע.”
מקור:
http://www.hayadan.org.il/wp/p….olling-is-not-science-1909081/
יוסי לוי [אתר] בתאריך 9/28/2008 12:44:17 PM
תודה לכל המגיבים עד כה
קראתי את תגובותיכם בעיון, ואענה לכולכם בקרוב.
מאחל שנה טובה לכולם