סקרי דעת קהל – מי כאן הטיפש?

על הרצאתו של פרופ’ ישראל אומן בכנס האיגוד הישראלי לסטטיסטיקה, 8/5/2006

בכנס האיגוד הישראלי לסטטיסטיקה שנערך בראשית מאי 2006, חתן פרס נובל כלכלה, פרופ’ ישראל אומן, נשא הרצאת אורח שכותרתה הייתה “סקרי דעת קהל – מי כאן הטיפש?”. פרופ’ אומן אמנם התנצל בתחילת דבריו וציין כי הודיע שנושא ההרצאה יהיה “סקרי דעת קהל” בלבד – ואילו את שאלת הסיפא הוסיפו מארגני הכנס (מה שנכון), אולם מייד לאחר מכן פתח בהתקפה חריפה נגד סקרי דעת הקהל בכלל ונגד מכוני הסקרים בפרט.

פרופ’ אומן הביא מספר דוגמאות בעייתיות שנתקל בהן (לא רשמתי את דבריו, ולכן ייתכנו אי-דיוקים בדיווח, אבל אני מבטיח כי רוח הדברים שאמר תישמר).

• במוצאי יום הבחירות האחרון (28 במרץ 2006), האזין פרופ’ אומן ברדיו לאחד מסקרי היציאה (exit polls) וממנו למד כי “קדימה” זוכה ב-32 מושבים בכנסת. בסופו של דבר קיבלה “קדימה” 29 מושבים בלבד.
• בבחירות האישיות לראשות הממשלה שנערכו בשנת 2001, בהן התמודדו ברק ושרון, קבעו סקרי היציאה כי שרון ניצח וזכה ל-59% מהקולות. בסופו של דבר זכה שרון ב-65% מהקולות.
• בבחירות למשרת מושל קונטיקט שנערכו לפני מספר שנים התמודדו 3 מועמדים. המרוץ היה צמוד, והמועמד שזכה בבחירות השיג קצת פחות מ-40% מהקולות. בסקר דעת קהל שנערך כחודשיים אחרי הבחירות, כמעט 70% מהנשאלים אמרו כי הצביעו בבחירות עבור המועמד שניצח.
• דוגמא דומה – בסקר שנערך לאחר בחירות 1999, בהן שיעור ההצבעה היה כ-70%, אמרו 90% מהנסקרים כי הצביעו בבחירות (כך דיווח  פרופ’ קמיל פוקס בהרצאה שבה פרופ’ אומן ישב בקהל).
• בבחירות 1999 היו שלושה מועמדים לראשות הממשלה: ברק, מרדכי ונתניהו. לאחר שסקרי דעת הקהל הראשונים הראו כי התמיכה במרדכי נמוכה יחסית לתמיכה בשני המתמודדים האחרים, הלכה וירדה התמיכה בו בסקרים שבאו לאחר מכן, ולבסוף נאלץ מרדכי לפרוש מהמרוץ, לאחר שהגיע למסקנה כי אין לו סיכוי לנצח בבחירות.
• כמו כן סיפר פרופ’ אומן כי כיהן כחבר בוועדה ממשלתית כלשהי. יושב ראש הועדה החליט לערוך סקר דעת קהל בנושא הקשור לעבודת הוועדה, וערך מכרז בין מספר מכוני סקרים. פרופ’ אומן סיפר כי מספר סוקרים “מכובדים” הופיעו בפני הועדה, ושאלו מהן התוצאות הרצויות לוועדה, כדי שיכינו את שאלות הסקר בהתאם.

לאור כל דוגמאות אלה מגיע פרופ’ אומן למספר תובנות:

• סקרי היציאה, בדוגמאות שהציג ובמקרים נוספים, טעו “לחלוטין” בחיזוי התוצאות, למרות שסקרים אלה אמורים להיות מדויקים במיוחד.
• סקרים טלפוניים אמינים עוד פחות, כיוון שהמשיבים, למרות האנונימיות שבשיחה הטלפונית, מעדיפים לא לומר אמת לסוקר ובמקום זאת להשיב תשובה מכובדת יותר. כך אומרים אנשים שהצביעו בבחירות למועמד שהפסיד כי תמכו במועמד שניצח, כדי לא להצטייר כ-“לוזרים”, ומצהירים כי הצביעו בבחירות למרות שלא עשו כן, כדי לא להודות באזני הסוקר האנונימי כי הם כחסרי אחריות אזרחית.
• בעזרת ניסוח מתאים של שאלות הסקר ניתן להשפיע על תשובות הנסקרים ולהטות את תוצאת הסקר, כך שתשקף לא את דעת הקהל האמיתית, אלא את הדיעה הרצויה לסוקר.
• ישנם סוקרים בעלי רמת אתיקה מקצועית נמוכה, שאכן מוכנים להטות תוצאות של סקרים תוך שימוש בטריקים פסיכולוגיים שונים.
• תוצאות סקרי דעת הקהל, כאשר הן מתפרסמות, משפיעות בתורן על דעת הקהל, ולכן על תוצאות הסקר הבא.
• בפוליטיקה הישראלית, סקרי דעת הקהל תמיד מוטים לאותו כיוון פוליטי (שבמקרה אינו תואם את דעותיו הפוליטיות של פרופ’ אומן עצמו).

עקב תובנות אלה מציע פרופ’ אומן:

• להגביל מאוד את פרסום התוצאות של סקרי דעת קהל בנושאים פוליטיים רגישים, כמו למשל בתקופת בחירות.
• לחייב סוקרים ומכוני דעת קהל ברישוי, כפי שנדרש רשיון מבעלי מקצועות רגישים אחרים, כגון רופאים ועורכי דין.
• לא להסתמך על סקרי דעת קהל בקבלת החלטות.

פרופ’ אומן סיים את דבריו בתשובה לשאלה מי כאן הטיפש. “הטיפש”, אומר פרופ’ אומן, “זה אנחנו”.

לאחר שסיים פרופ’ אומן את דבריו נשאו דברים פרופ’ אפי יער ומר מנו גבע. פרופ’ יער הדגים כיצד הוא משתמש בסקרי דעת קהל לצורך מחקריו על החברה הישראלית. מר מנו גבע, בעל מכון הסקרים שערך את סקר היציאה של ערוץ 1 בבחירות האחרונות, הציג את התוצאות המדויקות של הסקר, ודיבר בקצרה על הקשיים העומדים בפניו של הסוקר.

ברצוני להתייחס כעת לטענותיו והצעותיו של פרופ’ אומן.

הבעיה הראשונה שהעלה פרופ’ אומן היא אינטרפרטציה שגויה של תוצאות הסקרים. בבחירות בהן יש שני מועמדים מתמודדים, תפקיד הסקר הוא לחזות את המנצח בבחירות. האם סקר שחזה כי שרון ינצח את ברק כשהוא זוכה ב-59% מהקולות (במקום 65%) שגוי לחלוטין? ומה כאשר סקר חוזה 30 או אפילו 32 מנדטים לקדימה, כאשר בפועל זכתה קדימה ב-29 מנדטים אך עדיין ניצחה בבחירות  – האם סקר כזה הינו שגוי לחלוטין? האמת היא שסקרי היציאה בבחירות האחרונות היו מדויקים וחזו היטב את תוצאות הבחירות (ראו רשימתי יום כיפור של הסוקרים? מ-29/3/2006). אילו הכריז סקר כלשהו על ניצחון לברק מול שרון, או על 30 מנדטים למרץ וארבעה לקדימה – היה סקר כזה שגוי לחלוטין. האם כל תוצאה פחות מ-100% היא שגויה לחלוטין? האם סטודנט שקיבל ציון של 90 או אולי 95 באיזשהו מבחן, השיג תוצאה שגויה לחלוטין?

פירוש של תוצאות סקרים הוא תמיד סובייקטיבי, ופרופ’ אומן עצמו סובייקטיבי כאשר הכתיר את הדוגמאות שהביא בתואר “שגויות לחלוטין”. אין סקר ללא טעות, אמת. תפקידו של הסוקר/סטטיסטיקאי הוא להגביל את גודל הטעות לגודל נסבל. אם ידוע שהפער בין המועמדים גדול, אז טעות של 6% (59% מול 65%, בדוגמת שרון-ברק) הינה נסבלת לחלוטין, ואין צורך לבזבז משאבים כדי להגיע לרמת דיוק גבוהה יותר. אם הבחירות צמודות, כפי שהיה בבחירות 1996 בהתמודדות בין נתניהו לפרס, אז כל טעות, ולו הקטנה ביותר, עלולה לגרום למסקנה הפוכה למה שקורה בפועל. אם הפרש של כמה מאות קולות קובע איזה מפלגה תזכה במושב נוסף בכנסת (כפי שקרה בבחירות האחרונות בין הליכוד וישראל ביתנו, ובין תע”ל למפלגת העבודה) – שום סקר לא יוכל לחזות את התוצאה.

פרופ’ אומן נקלע לפירוש סובייקטיבי אחר כאשר הוא מתלונן שהסקרים בארץ תמיד מוטים בכיוון פוליטי אחד. אני מבין להרגשתו, אולם מה לעשות ולא כך הדבר (ראו למשל רשימותי: סקר לדוגמא מ-24/2/2006 – הטיה לימין,   וגם העם רוצה לשלם מסים? מ-24/7/2005  – פירוש סובייקטיבי עם הטיה מכוונת בנושא שאינו בהכרח  פוליטי).

פרופ’ אומן צודק, לעומת זאת, כאשר הוא מלין על הנסקרים שאינם משיבים תשובות אמת לסוקרים (הכלכלנים יאמרו כי לנסקרים יש “תמריץ חיובי” להשבת אי-אמת לסוקרים). לתופעה זו יש מספר סיבות. סיבה אחת היא תת-תרבות שקיימת בארץ, לפיה הכשלת סוקרים על ידי מתן תשובות לא נכונות היא מעשה ראוי לשבח. כתבתי על כך בעבר (להשיב או לא להשיב ב-10/2/05). סיבה אחרת ציין פרופ’ אומן – המשיבים מתביישים במעשיהם (תמיכה במפסיד או אי השתתפות בבחירות). אולי צריך פשוט להחליף את העם? לא. אין צורך. יש דרכים מתודולוגיות להתמודדות עם בעיות כאלה (אם כי קשה ליישמן בסקרי יציאה).

בעיה נוספת שפרופ’ אומן ואחרים מצביעים עליה, היא שניתן להבנות הטיה בסקר על ידי ניסוח מתאים של שאלות הסקר. חמורה מכך העובדה שישנם סוקרים המוכנים לנקוט בשיטות כאלה במודע כדי לספק את רצון מזמין הסקר. זוהי אכן בעיה אתית חמורה, ואני מסכים עם פרופ’ אומן שפתרון אפשרי (ואף רצוי) לבעיה הוא הקפדה על רמה מקצועית ואתית נאותה של הסוקרים והסטטיסטיקאים, גם אם הדבר כרוך בחקיקה ורישוי.  פרופ’ גד נתן, שהיה נשיא האיגוד הישראלי לסטטיסטיקה והמדען הראשי של הלשכה המרכזית לסטטיסטיקה, העיר בדיון כי אכן ישנם סוקרים מקצועיים אשר מסרבים לאמץ את תקנון האתיקה של האיגוד ופועלים בניגוד לו. (ראו רשימתי מי צריך לתבוע את הסוקרים? מ-20/2/2006).

אולם, פרופ’ אומן משול כאן לאדם המתגורר בבית זכוכית ומיידה אבנים. פרופ’ אומן זכה בפרס נובל לכלכלה עבור מחקריו בתורת המשחקים, המבוססים בראש ובראשונה על ההנחה כי השחקנים הינם רציונליים, ובמלים אחרות – טריקים פסיכולוגיים לא יגרמו להם לשנות את דעתם. כאן פרופ’ אומן מלין כי המשיבים אינם רציונליים – בעזרת שאלה מתאימה אפשר להוציא מהם את התשובה הנכונה. אולי בכנס הבא צריך להזמין ישראלי אחר שזכה בפרס נובל לכלכלה – פרופ’ דניאל כהנמן – שזכה בפרס בזכות מחקריו (שנערכו בשיתוף עם פרופ’ עמוס טברסקי ז”ל) שהראו כי הנחת הרציונליות אינה סבירה. כפועל יוצא מכך – סקרי דעת קהל אכן משפיעים בתורם על דעת הקהל.

מה אפשר לעשות?

כפי שציינתי, אני מסכים עם בקשתו של פרופ’ אומן לחייב סוקרים ומכוני דעת קהל ברישוי על פי חוק, ולהתנות קבלת הרשיון בהוכחת ידע בסטטיסטיקה ובמתודולוגיה של עריכת סקרים, ובהתחייבות לשמור על אתיקה מקצועית ראויה.

אני מתנגד לקריאתו של פרופ’ אומן להגביל פרסום תוצאות של סקרים, ולו גם בתנאים מסויימים. דבר זה נוגד עקרונות יסודיים של המשטר הדמוקרטי, וביניהם חופש המידע, חופש הדיבור, וחופש העיסוק.

באשר לאי הסתמכות גורפת על תוצאות סקרי דעת קהל בקבלת החלטות – קריאה כזו היא פשוט בלתי רציונלית. מדוע שאדם שמצויה בידיו אינפורמציה אמינה הניתנת לפירוש אובייקטיבי לא ישתמש בה? אדם רציונלי ידע בודאי לזהות אם האינפורמציה אמינה וראויה לשימוש, ואם אינה כזו – יימנע מלהשתמש בה.

אמנם כהנמן וטברסקי הראו כי אנשים נקלעים למצבי כשל בקבלת החלטות, אך הם הראו גם כי כאשר מוצגים בפניהם הכשלים – בני אדם מסוגלים ללמוד ולמנע בכשלים כאלה בעתיד.

לכן הפתרון הוא לא להשליך כלי יקר ערך לכל הרוחות ולקבור את הראש בחול. הפתרון הראוי לטענותיו של פרופ’ אומן טמון בחינוך. יש ללמד את עקרונות הסטטיסטיקה וקבלת ההחלטות בבתי הספר ובאוניברסיטאות באופן מקיף ויסודי. זה לא פתרון קל, ותוצאותיו יורגשו רק בטווח הארוך, אבל זהו הפתרון הרציונלי היחיד שיכול להתמודד עם הבעיות שהציג פרופ’ אומן בהרצאתו.

רשימות נוספות הקשורות לנושא:

• עונת הסקרים בעיצומה – 7/3/2006
• בחירות 1936 – המנצח שלא היה – 4/11/2004
• קשר קלוש למציאות – 27/4/2004
• מכון שריד – מאמרון על סקרי דעת קהל – 25/7/2004

פורסם לראשונה באתר “רשימות” בתאריך 20 במאי 2006  שם התקבלו 8 תגובות

noamt  בתאריך 5/20/2006 1:43:15 PM

תורת המשחקים וסקרים

כפי שציינת, פרופ’ אומן עוסק בתורת המשחקים. לכן קצת מפתיע שהוא לא התייחס לשיקולים אסטרטגיים של הבוחרים – המושפעים מהסקרים.
למשל: אני מצביע שמאל. המפלגה המועדפת עלי, מבחינה אידיאולוגית, היא מרצ. למרות זאת, בבחירות האחרונות הצבעתי לעבודה.
למה?
קודם כל, האינטרס שלי כבוחר הוא פשוט: אני רוצה שמדיניות הממשלה תהיה קרובה ככל האפשר לאידיאולוגיה ולצרכים שלי.
ועכשיו: לפי תחזיות הסקרים, לא היה סיכוי סביר לכך שמרצ תכנס לממשלה (בראשות קדימה), אבל סיכוי גבוה מאוד לכך שהעבודה כן תכנס. במקרה כזה, אני מעדיף לחזק את הכוחות הקרובים יותר לדעתי בממשלה.
אילו הסקרים היו מוטעים לחלוטין, ומפלגת העבודה היתה זוכה בבחירות (מה שהיה אומר ממשלה עם מרצ) – הייתי מצטער על כך שלא הצבעתי למרצ.
אם העבודה לא היתה נכנסת לממשלה של קדימה, אלא יושבת באופוזיציה – שוב הייתי מצטער על כך שלא הצבעתי למרצ.
אילו לא היו סקרים, היה סיכוי גבוה שאצביע למרצ.
אבל בהנתן הסקרים (לאורך זמן), האסטרטגיה של לבחור “עבודה” היתה שולטת.
נועם.
נ.ב. נראה לי שהתגובה הזאת מושפעת מאוד מכך שסיימתי לאחרונה לקרוא את הספר “תורת המשחקים” שיצא לא מזמן בעברית.

אחד  בתאריך 5/20/2006 2:37:43 PM

הערה קטנה

הצגה של השגיאה שבניבוי 65 אחוז מן הקולות במקום 59 אחוז, כאילו היא שגיאה של 6%, מטעה. היה ראוי להציג את השגיאה באופן יחסי (כלומר, 6 חלקי 59), וזוהי כבר שגיאת ניבוי של למעלה מ- 10 אחוזים. לא שזה משנה משהו למהות הכתבה, אך בכל זאת, נראה לי שלא הלכת כאן על ההצגה הטבעית של הטעות.

יוסי לוי  [אתר]  בתאריך 5/20/2006 5:26:31 PM

ללא נושא

מי אמר שיחס יותר טבעי מהפרש? לפי הלמה של ניימן ופירסון – ההפרש הוא המדד הראוי לאמידת השגיאה
http://www.sci-princess.info/archives/12808.asp

עומרון  בתאריך 5/20/2006 5:41:51 PM

הגבלת פרסום תוצאות סקרים

איך הגעת למסקנה כי מדובר בסתירה לעקרונות דמוקרטיים? לידיעתך, בצרפת זה המצב וקשה לטעון כי המשטר אינו דמוקרטי.
לא כל אמירה מעוגנת בחופש הביטוי ולא כל הגבלת התבטאות פוגעת בחופש הביטוי.
ניתן לטעון כי פרסום סקרים בתקופת בחירות (לפחות בשבועות הקרובים לבחירות) פוגעת בחופש הביטוי של המועמדים ופוגעת ביכולת של הבוחרים לגבש עמדה. פרסום הסקרים נותן כוח בידי בעלי ההון ויוצר אשליה של חופש ביטוי המסתירה חופש ביטוי רב יותר לבעלי ממון.
ניתן בהחלט להגביל פרסום סקרים בלי לפגוע בחופש הבחירות. דוגמא אחת – ניתן לקבוע כי סקר ייערך על ידי רשות מוגדרת ויישאלו שאלות מוגדרות. הסקר ישמש את כל המועמדים.

ג’וני דו  [אתר]  בתאריך 5/20/2006 7:58:54 PM

תיקון קטן

שיעור ההצבעה בבחירות 99 היה 78.7%, ולא 70%, כך שהפער בין תשובת הנשאלים בטלפון (90%) לבין המציאות הוא לא עד כדי כך גדול.

יוסי לוי  [אתר]  בתאריך 5/20/2006 8:21:09 PM

לג’וני דו

אני באמת לא זוכר את הפרטים המדוייקים. פרופ’ אומן התייחס לבחירות 2003, וההבדל שציין היה מובהק סטטיסטית, כמו גם ההבדל שאתה ציינת (בסקרים סטנדרטיים יש בדרך כלל 500 נסקרים, וטעות הדגימה היא בסביבות 5%).

טל גלילי  [אתר]  בתאריך 6/25/2006 12:26:29 PM

ראיון עם אומן – על הרצאתו בכנס

שלום יוסי לוי.
נעשה ראיון עם פרופסור אומן, בטור “היגיון בשיגעון” בעיתון “מקור ראשון”. על ידי זאב גלילי (לשם הגילוי הנאות – אבי)
בראיון זה הציג אומן את הדברים שהביא בכנס האגודה הישראלית לסטטיסטיקה.
ברשותך, הראיון מופיע בקישור הבא:
http://www.zeevgalili.com/?p=212
בשם “מעשה ביהודי שרצה לעבור נהר על חבל”
בכבוד רב,
טל גלילי.

יורם בוטניק  [אתר]  בתאריך 10/11/2006 6:44:22 PM

סקרי דעת קהל

ממליץ שתקרא ואולי תגיב על המאמר: דעת קהל אינה קיימת – בספר של פייר בורדייה: שאלות בסוציולוגיה, שתורגם לאחרונה לעברית בהוצאת רסלינג
מחמאות על עבודה מצוינת
יורם בוטניק, רחובות