רשימה זו מכילה מספר תשובות שנשארתי חייב למגיבים לרשימות הקודמות בנושא, וכמה מילות סיכום משלי.
דרומי כתב כי “סקרים הם מתודה שמשתמשת באמצעים מתמטיים לצרכים של מדעי החברה”, והוסיף וכתב: “כשקמיל פוקס מספק לנו תוצאות לפיהן ‘X מנצח’, כשבעצם הכל בתחום טעות הדגימה, הוא מבצע סקר לא מקצועי – ולא משנה בראש כמה ועדות אתיקה הוא עמד. הסוקרים מקריבים את המקצועיות שלהם על מזבח המסחריות”. דרומי הוסיף וכתב בבלוג שלו הסבר נרחב לדבריו, ואתם מוזמנים לקרוא אותם.
בתגובה לדבריו שם הריני להבהיר כי לא יצאתי להגנת סקרי הפריימריז של קדימה, להיפך, הייתי בין הראשונים לטעון כי היה כאן כשלון מקצועי של שלושת הסוקרים. אין גם מחלוקת על כך שדרוש שיתוף פעולה הדוק יותר בין אנשי הסטטיסטיקה ואנשי מדעי החברה, וששיתוף פעולה כזה יכול להביא לפיתוח שיטות מחקר שיביאו תוצאות טובות יותר ואמינות יותר. אני חולק עדיין על דעתו של דרומי לגבי אופן שיתוף הפעולה שהוא מציע בין הסטטיסטיקה למדעי החברה, אבל זהו נושא לדיון אחר, ומאחר ואיני מתמחה בנושאים אלה לא אכנס אליו.
ובכלל מסתבר כי ההסכמה ביני ובין דרומי הרבה יותר רחבה מחילוקי הדעות ביננו. את המשפט הראשון שלו הייתי מנסח באופן הבא: “מדעי החברה משתמשים, בין היתר, במתודה המתמטית/סטטיסטית של הסקרים לצרכיהם”, כי הסקרים נמצאים לא רק בשימוש מדעני החברה (ראו את מאמרו של פרופ’ רון קנת, למשל). אני מסכים שאם סוקר כלשהו מפרסם תוצאות לא מובהקות ולא מציין זאת, הוא עובר עבירה אתית חמורה, וזה נכון, דרך אגב, לא רק לסוקרים אלא לכולם. האם זה היה המקרה בסקרי הפריימריז של קדימה? אני לא בטוח. גם ההכללה כי “הסוקרים מקריבים את המקצועיות שלהם על מזבח המסחריות” מוגזמת לדעתי. יש סוקרים שמקריבים את המקצועיות שלהם על מזבח המקצועיות, כמו שיש אנשים כאלה בכל מקצוע אחר. אז מה? זו לא סיבה לפסול את כולם.
חילוקי הדעות שיש לי עם ירח הם מהותיים הרבה יותר. הטיעון של ירח בנוי כך: הסקרים אמינים ומשמשים כלי למניפולציה. לכן, יש לשקר לסוקרים באופן שיטתי כדי לקעקע את אמינותם. ירח עוטף את דבריו בהילה רומנטית: בעיני עצמו הוא קצין המודיעין, הלוחם, המטעה את האויב, או האזרח שומר החוק, מעין שי דרומי בזעיר אנפין, המונע מהפושעים לבצע את זממם. בעיניו, שקר הוא לגיטימי, אם זה משרת את המטרות הנעלות שלו.
אני לא חוזר בי מדברי על ירח: הוא שקרן, שהודה בכך, פעמיים. המניעים שלו אולי ראויים בעיניו, אך לא בעיני. הוא מוצא לנכון לכופף את כללי ההתנהגות המקובלים בחברה כי זה נוח לו, ובכך הוא לא שונה בעיני ממי שמרשה לעצמו להכנס לצומת אם עברה רק שניה מאז שהאור התחלף לאדום.
ולאחר כל הדברים האלה, ירח עדיין לא הסביר כיצד משמשים הסקרים כלי למניפולציה. אם הם אמינים, והמידע המפורסם הוא נכון, אז ירח אומר בעצם שמידע הוא כלי למניפולציה. בואו ניקח את הלאה: ידיעה עיתונאית יכולה לשמש ככלי למניפולציה. בואו נסגור את כל העיתונים.
אלעד-וו יצא להגנתו של ירח מכיוון אחר: תוצאות של סקר בחירות, למשל, טוען אלעד-וו, עלולים להשפיע על הבוחרים לשנות את הצבעתם. להבנתו, לזה בין השאר התכוון ירח כשהשתמש במילה “מניפולציה”.
הטיעון הזה נשמע רבות, הזכירה אותו גם תמר הרמן, וזה היה גם הבסיס להצעת החוק האומללה של ח”כ בן-ששון. האמת היא שכל דבר משפיע על המציאות, וכן, גם תוצאות של סקרים. השאלה שיש לשאול היא מה מידת השפעתם של תוצאות הסקרים על המציאות, ובעיקר מה מידת ההשפעה שלהם ביחס לדברים אחרים שיכולים להשפיע, כמו, נניח, פליטת פה של בדרן או פיגוע שמתרחש יומיים לפני הבחירות. כשתהיה תשובה אמינה לשאלה הזו, יהיה ראוי לדון בנושא הזה ברצינות.
פרשנות נוספת שנתן אלעד-וו לדבריו של ירח היא שירח טען כי סקרים הם אמצעי בעייתי כי אנשים משקרים. לא הבנתי זאת מדבריו של ירח (להיפך, בתגובה נוספת הוא כתב בפירוש כי הבעיה העיקרית שלו היא הסקרים שנעשים היטב, ונותנים תמונה נכונה של המציאות שהם רוצים לבדוק, אבל משתמשים בתוצאותיהם למטרות פסולות). אם הסקרים אכן לא אמינים, אז הטיעון של ירח הופך למעגלי (אני משאיר את זה כתרגיל לקוראים). בכל מקרה, אם הפרשנות של אלעד נכונה, הרי שכאן הוא מתפרץ לדלת פתוחה. תופעת הנסקרים המשקרים ידועה שנים רבות, וגם לדעתי חלק מהסוקרים נכשלים בהתמודדות איתה (כמו שקרה בפריימריז של קדימה, ככל הנראה).
אני מקווה שבכך עניתי על כל השאלות (פרט לשאלה של נדב על הממוצע, שלא עוסקת בסקרים עצמם אלא בהגדרה של הסטטיסטיקה כמדע, וזה נושא לרשימה אחרת אי שם בעתיד). אני לא משלה את עצמי שכולם השתכנעו, בודאי לא אנשים מסוגו של ירח. מבחינתי הדיון הסתיים, אלא אם מישהו יעלה שאלה מהותית חדשה שלא נדונה עד כה.
פורסם לראשונה באתר “רשימות” בתאריך 16 בנובמבר 2008 שם התקבלו 4 תגובות
אייל בן דוד בתאריך 11/16/2008 11:38:08 PM
גודל הדגימה וכמות הסקרים
אני לא ראיתי שהתייחסו לזה בדיון, אבל לפני פחות משבועיים היה אחד הימים הגדולים של הסוקרים, הבחירות בארה”ב, שהסקרים ניבאו בהם בצורה מאד יעילה את התוצאות.
לדעתי, הסיבה להצלחת סקרים מסוימים וכישלון אחרים קשור יותר בגודל הדגימה וכמות הסקרים (שזה כמובן הולך ביחד).
בבחירות בארה”ב נעשו מאות סקרים, ואתרי האינטרנט שביצעו מטא-אנליזה לסקרים השונים באמצעות מודלים הגיוניים יותר או פחות, העלו בכל מקרה את רמת הדיוק שלהם מאוד.
כאן אנחנו מדברים על מליוני נסקרים (לאורך כל תקופת הבחירות), בשונה כמובן מהסקרים בפריימריז השונים.
אני חושב שהסיבה שהפריימריז בקדימה נהפכו ל”יום כיפור” של הסוקרים, לא קשורה בסטטיסטיקה בכלל.
התחושה היתה שמדובר פה בבחירות לראשות הממשלה, וכשכמה אלפי עסקנים בוחרים ראש ממשלה, בבחירות שתלויות יותר בעסקן של איגוד עובדים זה או אחר מאשר בכל דבר אחר, לא צריך להתפלא שהסקרים מפשלים.
יוסי לוי [אתר] בתאריך 11/17/2008 8:30:00 AM
בעניין גודל המדגם
הגודל קובע – אבל רק עד גבול מסויים.
אם יש הטיה אינהרנטית, כגון נסקרים שמשקרים, או העדפה שיטתית של תת-אוכלוסיה מסויימת (ראה למשל רשימתי “בחירות 1936 – המנצח שלא היה” )
אז מדגם גדול יותר לא יבטל את ההטיה, הוא רק יעצים אותה. אני מניח שדי ברור לך מה הייתה התוצאה של מטה-אנליזה של סקרי הפריימריז של קדימה.
עמית [אתר] בתאריך 11/17/2008 10:19:12 AM
אני עדייו לא הבנתי
מה לא היה בסדר בסקרים של קדימה…
מה זה שהם לא ניבאו את המציאות?
הרי אפילו אם היו עושים את הכל באופן מושלם, ישנה תמיד הסתברות שהמדגם לא יחזה במדוייק את התוצאות על כלל האוכלוסיה.
אם אני לא טועה, אפילו כשאומרים ש”טעות הדגימה היא 3%” לא מתכוונים לומר שבבטחון מלא תוצאות האמת יהיו בטווח של 3% מתוצאות המדגם.
למיטב זכרוני, ואם אני לא מתבלבל, מדובר ברווחי סמך של 95% או משהו כזה.
מה שאומר, שזה לא צריך להפתיע אף אחד אם 1 מתוך 20 סקרים מושלמים יהיה רחוק מאד מהמציאות.
לא כל שכן סקרים לא מושלמים.
וגם אסור לשכוח – שאותם סקרים ניבאו ללבני נצחון, ושהיא אכן ניצחה.
סקר לבן בתאריך 11/17/2008 11:44:36 AM
הטעיית סוקרים
צריך לזכור דבר חשוב: לא כל הסקרים נועדו לפרסום, וגם באלה שכן – לא כל הנתונים מתפרסמים.
בסופו של דבר, סקרים נועדו לאיסוף מידע – מידע שחלקו, לפחות, נשאר נחלתו הבלעדית של מי שמזמין את הסקר. ומידע כזה – אם הוא אמין – הוא כוח.
לכן, כל מי שאינו מעוניין להעניק כוח לגורם שהזמין את הסקר, יעשה כמיטב יכולתו כדי שהמידע שניתן להפיק מתוך הסקר יהיה מועט ובלתי אמין.
לדוגמה: תומכי מופז בפריימריז בקדימה יכולים לשקר בסקרים ולומר שהם תומכים בלבני, וכך אנשי לבני – שיראו שהיתרון שלהם בסקרים גדול מאוד – ייכנסו לשאננות. זה טוב למופז. אני לא יודע אם כך קרה, אבל זה צעד סביר והגיוני. למה להעניק מידע שיכול לשמש את היריב לתועלתו? אם כבר, עדיף למסור מידע מטעה ומבלבל.
כאשר סוקר שואל אותי למי אצביע בבחירות, אני שואל את עצמי איזו תוצאה הייתי רוצה שהסקרים יראו, ועונה בהתאם. אין לי שום סיבה לשרת את האינטרס של מזמין הסקר (לקבל מידע אמין), ואני מעדיף לשרת את האינטרסים שלי.