נסיכת המדעים

הבוקר התפרסם ב"הארץ" מאמר מאת פרופ' יואב בנימיני, נשיא האיגוד הישראלי לסטטיסטיקה, שכותרתו "איך לקרוא את הסקרים?".

ארבעה ימים לפני הבחירות, וביום האחרון בו החוק מתיר פרסום פומבי של סקרי בחירות ותוצאותיהם, מפרט בנימיני סיבות אפשריות לשוני הגדול הנצפה כעת בין הסקרים השונים.

סיבה אפשרית אחת, מסביר בנימיני, היא השפעה אפשרית של מי שמממן את הסקר, באמצעות הטיות קטנות כמו בחירת האוכלוסייה המיוצגת בסקר, סדר השאלות, או אפילו השפעה על נוסח השאלה. לכן ממליץ בנימיני להתייחס בחשדנות לסקרים שתוצאותיהם נמסרות על ידי בעלי אינטרסים, כגון דוברי מפלגות.

בנימיני מפרט גם בעיות מתודולוגיות העלולות להטות את התוצאות, כגון סירוב להשתתף בסקר, ושיעור הבלתי מחליטים ("הקולות הצפים" ). ככל שחלקן של שתי קבוצות אלה במדגם גבוה יותר, כך גדלה הבעיה הפוטנציאלית בסקר.

בנימיני לא התייחס, לצערי, לתופעה של נסקרים המשיבים בכוונה תשובות לא נכונות לסוקרים. אני יכול להבין מדוע. בעוד שאת שיעור הבלתי משיבים ואת שיעור הקולות הצפים ניתן למדוד, היכולת לאמוד את שיעור השקרנים שעלו במדגם מוגבלת (אם כי ניתן ככל הנראה לעשות משהו גם בעניין זה, על ידי השוואת תשובת הנסקר לשאלה למי הוא יצביע עם הניבוי שמספקים משתני הרקע שלו).

בסופו של דבר, מסביר בנימיני, כדי להעריך את תוצאותיו של סקר יש לדעת מי מימן אותו, מי ערך אותו ומתי; מי הנשאלים ומה נשאלו; כמה סירבו להשיב, מה טעות הדגימה וכמה מתלבטים עדיין. למרות שלפי דרישות החוק חובה לפרסם נתונים אלה ביחד עם תוצאות הסקר, מצביע שוב בנימיני על הפרת החוק בידי אמצעי התקשורת, ואזלת היד של ועדת הבחירות המרכזית שלא מבהירה מספיק, לדעתו, את החובה למלא את דרישות החוק. אני אחריף את דבריו ואומר כי ועדת הבחירות המרכזית מעלה בתפקידה כאשר נמנעה מאכיפת החוק.

בנימיני מסכם ואומר כי "מן הראוי לנקוט משנה זהירות כאשר נשענים על תוצאות הסקרים כדי להחליט בעבור מי להצביע". דברים אלה נכונים אמנם, אך אני מציע לכם, קוראיי, להחליט למי תתנו את קולכם על פי צו מצפונכם והשקפת עולמכם, ולא להסתמך על סקרי הבחירות המפורסמים בארצנו ככלי תומך החלטות.

בתאריך 29.1.2009 התראיינו שני סוקרים: מינה צמח ממכון דחף ואיציק רוזנבלום ממכון PORI בתכנית תיק תקשורת שהנחה עמנואל רוזן. נושא הראיון (איך לא?): סקרי הבחירות. להלן הראיון (שהועלה  במקור באתר העין השביעית תחת הכותרת "טוטו בחירות"). לאחר שתצפו, תוכלו לקרוא כמה מלים משלי.

 

תיק תקשרות 3-29.1.09 from the7eye on Vimeo.
 

אני נוטה להסכים עם רוזנבלום. הבעיה עם סקרי הבחירות כפי שתוצאותיהם מפורסמות כיום, בחלוקה למנדטים, כוללים בתוכם שני מרכיבי טעות. מרכיב אחד הוא טעות הדגימה המפורסמת, שניתן לשלוט בה בעזרת הקפדה על דגימה מקרית ולהקטינה בעיקר על ידי הגדלת גודל המדגם, וגם על ידי הפעלת שיטות דגימה מורכבות יותר, כדון דגימת שכבות.

אבל יש מרכיב טעות נוסף – שנובעת ממה שמינה צמח מכנה "נוסחת הפיצוח". כשצמח, או כל סוקר אחר, עורכים מדגם, הם נתקלים בתופעה הידועה של "הקולות הצפים" – אותם אנשים שלא החליטו, מתלבטים, או סתם מסרבים לענות. מה עושים איתם? למינה צמח יש נוסחא כלשהי, לפיה היא מסווגת את הקולות הצפים ומנסה לנבא לנחש באופן אינטליגנטי למי יצביעו נסקרים אלה, וזאת בהסתמך על תשובותיהם לשאלות אחרות (משתני רקע). דוגמא פופולרית לפרוצדורת קלאסיפיקציה כזו "מצפן הבחירות" של המכון הישראלי לדמוקרטיה. ענו על שאלות שונות, והאפליקציה תאמר לכם באיזה מפלגה אתם תומכים.

נושא הקלאסיפיקציה הוא מורכב למדי. אפשר להקדיש קריירה שלמה לנושא הזה בלבד. ביישום של שיטת קלאסיפיקציה, כמו ביישום של כל שיטה סטטיסטית אחרת, התוצאות תלויות (לאחר שנבחרה השיטה הספציפית) בהנחות שמניחים, בנתונים לפיהם מתבצעת הקלסיפיקיציה הראשונית, וברמת המרווח לטעויות שמשאירים. טעות – יש תמיד, וניתן לשלוט בה במידה מסויימת, אך הדבר הרבה יותר מסובך משליטה בגודל טעות הדגימה.

לרוע המזל, טעות הקלאסיפיקציה ("הפיצוח" של מינה צמח) מצטרפת אל טעות הדגימה, ואם שני סוקרים משתמשים בשתי שיטות שונות, הם יקבלו תוצאות שונות, כפי שאנו רואים (לצערנו) יום יום.

וכאן עולה בעיה אתית חמורה. תקנון האתיקה לעוסקים בסטטיסטיקה קובע במפורש כי:

מסירת ממצאים סטטיסטיים לציבור תלווה בהסברים הדרושים כדי לאפשר לציבור להעריך נכון את מהימנותם. במחקרי דגימה יפרט סטטיסטיקן את האוכלוסייה, שיטת הדגימה, גודל המדגם, שיעור אי-ההשבה, צורת הראיון וכיו"ב וכן יביא לידיעת הציבור אם מדובר בממצאים ישירים, או בפירוש של ממצאים או התחזיות המבוססות עליהם.

מה שאנחנו רואים ב"תוצאות סקרים" המפורמות בעיתונות זה למעשה תחזיות המבוססות על פירוש של הממצאים. לא נמסרים הנתונים המאפשרים לציבור להעריך את מהימנות הסקרים. בודאי שלא נמסרת הערכה של מידת הטעות ב"נוסחת הפיצוח". האם מינה צמח מוסרת לעיתון את כל הפרטים האלה והם לא מפורסמים? או שמה צמח (ו/או סוקרים אחרים) לא מעבירים כלל את הנתונים האלה? במקרה הראשון זו עבירה אתית על העיתון (וגם עבירה פלילת על פי חוק הבחירות – דרכי תעמולה, שלצערנו אינו נאכף). במקרה השני זו עבירה אתית חמורה של הסוקר/ת. לצערי, אין באפשרותי לדעת מה קורה בפועל.

לקראת הבחירות ההולכות וקרבות, הקים האיגוד הישראלי לסטטיסטיקה קבוצת דיון בגוגל שמטרתה לעקוב אחרי הדיווחים בתקשורת אודות סקרי הבחירות.

מסביר יושב ראש האיגוד, פרופ' יואב בנימיני:

(סקרי הבחירות) מזוהים לטוב ולרע עם מקצוע הסטטיסטיקה בעיני הציבור, וחשוב לנו שתוצאותיהם ידווחו נכונה בכלי התקשורת.

ואכן חוק הבחירות מטיל (על אמצעי התקשורת) חובות דיווח מפורטות למדי (אודות סקרי הבחירות), אך אלו אינן מקוימות במלואן. ברצוננו לעשות מאמץ של קהילת הסטטיסטיקאים כולה על מנת לעקוב אחר הדיווחים בכלי התקשורת, ולנסות לטפל בזמן אמיתי במקרים בהם המידע הדרוש אינו ניתן במלואו.

אני שמח על היוזמה. אני מתריע כאן בבלוג מזה זמן רב על הפרות של סעיף 16 בחוק הבחירות-דרכי התעמולה, שדן פרסום סקרי בחירות. לצערי, החוק הפך לאות מתה, והוא אינו נאכף.

אני קורא לאיגוד להרחיב את היוזמה ולעקוב גם אחרי חשדות לכאורה של הפרת כללים אתיים מצד עורכי סקרים. אם יש מקרים כאלו, מן הראוי שהאיגוד יטפל גם בהם.

אני מזמין את קוראי הבלוג לעקוב אחרי הדיונים בקבוצה ואף להצטרף אליה. כתובתה: http://groups.google.com/group/surveys2009?hl=en

מחקר שפרסם האתר CareerCast.com מדרג 200 משרות בארה"ב, מהטובה ביותר עד הגרועה ביותר. המחקר מדווח בכתבה בוול סטריט ג'ורנל, שם ניתן לצפות ב-20 המקצועות שבראש הרשימה, ו-20 המקצועות הסוגרים אותה.

מתברר כי הכי טוב להיות מתמטיקאי, אבל גם להיות סטטיסטיקאי זה לא רע בכלל – המקצוע הזה מדורג במקום השלישי. כמי שעבר כמה שנים בארה"ב כסטטיסטיקאי, אני יכול בהחלט להעיד אישית כי התוצאה הזו לא מופרכת.

עוד מקצועות טובים: אקטואר (מקום שני) – שזו בעצם התמחות בסטטיטיקה ליישומי ביטוח, פילוסוף (מקום 12) יותר טוב מרופא (מקום 13) אך פחות טוב מכלכלן (מקום 11), ואסטרונום (מקום 20).

מבט בתחתית הרשימה מלמד שעדיף להיות פועל איסוף זבל (מקום 194) מאשר נהג מונית (מקום 198), להיות אח או אחות לא הרבה יותר טוב (מקום 184).

יש גם לינק לתיאור המתודולוגיה ותיאורי המקצועות, אך טרם הספיקותי לעיין בו.

דובי קננגיסר כתב בבלוג שלו, תחת הכותרת "האם מידע הוא חסר משמעות?" הסבר מפורט על מנגנון לפיו פרסום תוצאות סקרים יכול להשפיע על המציאות (הפוליטית, ובכלל). אני מוכן להסכים עם רוב הטיעונים שלו. אני מסכים כי למידע יש משמעות. אני מסכים כי חשיפה למידע יכולה להשפיע על החלטות של אנשים, ובפרט, חשיפה למידע המתקבל מסקרי בחירות, יכולה להשפיע על החלטות של בוחרים בקשר לאופן הצבעתם בבחירות. אני מסכים לחלוטין (ותמיד טענתי זאת) עם טענתו של דובי כי יש בעיה אתית חמורה ומתמשכת בעצם הצגת המידע שבסקרים כפי שהוא מוצג בישראל, וכי שותפים לבעיה הזו גם אמצעי תקשורת וגם סוקרים. הכל נכון.

אבל יש שתי שאלות גדולות שדובי לא עונה עליהן.

באופן פילוסופי אפשר לטעון שכל דבר משפיע על המציאות, וזה בסך הכל נכון (במובן מסויים). נו, אז מה? אז גם סקרים משפיעים על המציאות (דרך המנגנון שדובי תיאר, ו/או דרך כל מנגנון אחר). אין מחלקות. השאלה החשובה באמת שצריך לשאול היא מה מידת ההשפעה שיש לסקרים על המציאות.

לומר שהסקרים מייצרים מציאות, זה לומר שמידת ההשפעה שלהם היא גבוהה ביותר. על סמך מה אפשר לומר את זה? האם ניתן להעריך מהי מידת ההשפעה של הסקרים על המציאות הפוליטית ביחס למידת ההשפעה שיש להחלטה על פעולה צבאית שראש הממשלה מקבל כמה שבועות לפני הבחירות? ביחס להודעה לעיתונות, יומיים לפני הבחירות, על המצאה גאונית שתשנה את העולם? ביחס לפיגוע שמתרחש יום וחצי לפני מועד הבחירות? אני משוכנע שתסכימו איתי כי כל אחד מהאירועים האלה השפיעו על תוצאות הבחירות שהתרחשו זמן קצר לאחר מכן, יותר מכל סקר, ויותר מכל הסקרים ביחד. ובוא לא נשכח כי הגורם העיקרי המשפיע על המציאות הפוליטית ותוצאות הבחירות הוא התפקוד של הממשלה היוצאת.

לאחר שנצליח לכמת (או לפחות להעריך) את מידת ההשפעה שיש לסקרי הבחירות (ולסקרים בכלל) על המציאות, נוכל לענות של השאלה השניה: כיצד לאזן בין הנזק שהסקרים גורמים ובין התועלת שהם מביאים, אם בכלל יש צורך לעשות זאת.

אם נחליט שיש צורך לעשות משהו בעניין, כבר הצבעתי על הפתרון בעבר, ואצביע עליו שוב.

בטווח הקצר יש לדרוש מעורכי הסקים וממי שמפרסם את תוצאותיהם להקפיד לשמור על אתיקה מקצועית. בנוסף, אפשר וצריך לדרוש מכלי התקשורת לקיים את הוראות תיקון מספר 22 לחוק הבחירות (דרכי תעמולה) הקובע כללים ברורים לאופן פרסום תוצאות סקרי בחירות, ולמידע שעל הסוקר למסור יחד עם תוצאות הסקר. אפשר גם לאכוף את החוק (לתשומת לבו של  הקורא אליעזר ריבלין).

בטווח הארוך, הפתרון הראוי טמון בחינוך. יש ללמד את עקרונות הסטטיסטיקה וקבלת ההחלטות בבתי הספר ובאוניברסיטאות באופן מקיף ויסודי. זה לא פתרון קל, ותוצאותיו יורגשו רק בעוד מספר לא מועט של שנים, אבל זהו הפתרון הרציונלי היחיד

אחד הבלוגים שאהבתי לקרוא הוא "משמר הכנסת" (שנמצא כעת בפסק זמן ארוך) שערך דובי קננגיסר. דובי סקר בו בצורה ביקורתית הצעות חוק שהציעו נבחרינו, השיעור העיקרי שלמדתי מבלוג זה הוא שהדבר הראשון שיש לשאול כשבוחנים הצעת חוק הוא האם באמת צריך את החוק הזה, ומייד לאחר מכן יש לשאול האם החוק אכן ישיג את מטרתו.

הסיבה שאני טורח להעלות באוב את "משמר הכנסת" (חוץ מהתקווה שהבלוג יחדש את פעילותו) היא ההנחיה שפרסם אתמול יו"ר ועדת הבחירות, השופט אליעזר ריבלין. אמנם זה לא חוק, אבל החלטה של שופט עליון כמוה כחוק. כבוד השופט ריבלין הורה כי על כלי התקשורת לפרט בסקרי הבחירות גם את שמות המפלגות הערביות, בניגוד למה שנהוג עד כה בכלי התקשורת בעברית המפרסמים את התוצאות של שלוש המפלגות הערביות יחד תחת הסיווג: "מפלגות ערביות". ההנחיה באה בעקבות פנייתו של ח"כ דב חנין מחד"ש, בחור טוב בדרך כלל, אף שאיני מסכים עם כל דעותיו.

בידיעה שפרסם שחר אילן אתמול ב"הארץ", הובא הסברו של חנין כי צירוף שלוש המפלגות לסיווג אחד "מונע מהציבור להבחין ביחסי הכוחות בין הרשימות, ובסיכוייה של כל רשימה לצבור קולות בבחירות, וזאת למרות שקיימת שונות מהותית בין הרשימות".

בואו ננתח את דבריו של חנין. יש שם שלוש טענות. עם הטענה שקיימת שונות מהותית בין הרשימות הנכללות בחבילה של "המפלגות הערביות" אני מסכים לחלוטין. אם לא הייתה שונות כזו, הן היו מתאחדות לרשימה אחת. עם הטענה שהצירוף "מונע מהציבור להבחין ביחסי הכוחות בין הרשימות" אני מסכים באופן חלקי. זה נכון. אם שלוש המפלגות יצברו יחד 10 מנדטים, נניח, על פי סקר כלשהו, לא ניתן לדעת מהתוצאה איך יתחלקו עשרת המנדטים בין שלוש הרשימות. אבל האם חוסר ההבחנה נובע מעצם הצירוף בלבד? שחר אילן מסביר בהמשך שלא כך הדבר: " הסיבה העיקרית לכך שהתקשורת אינה מפרסמת פירוט של המפלגות הערביות, היא הקושי לסקור ציבור זה באמצעות מדגם קטן, והעובדה שכל המפלגות הערביות נמצאות בתחום הטעות הסטטיסטית, לכן כל פרסום של הנתונים אלה יהיה בהכרח בלתי מדוייק". לא יכולתי לכתוב זאת טוב יותר.

על הטענה השלישית, לפיה הצירוף פוגע בסיכוייה של כל רשימה לצבור קולות בבחירות, אני חולק מכל וכל. הסקרים משקפים את המציאות, לא מייצרים אותה. אני לא מעוניין לפתוח מחדש את הויכוח שהתחולל בעקבות דברי תמר הרמן (עם המשך הדיון כאן, ואחר כך כאן, וסיכומו נמצא כאן), אבל אין לי ברירה. מי שרוצה לחשוב שהסקרים משנים את המציאות, בבקשה. מי שרוצה לשכנע אותי, שיביא נתונים. In God we trust. All other, bring data.

לאחר שדנו בטיעוניו של חנין, נעבור לפתרון המוצע. האם באמת הפתרון הוא בהוראה/מעין חקיקה לסוקרים ולכלי התקשורת לשנות את פרקטיקות העבודה שלהם? אם הנזק שבצירוף שלוש המפלגות לקטגוריה אחת עולה בצורה משמעותית על הנזק שגורמת ההוראה (למשל, פגיעה בחופש העיסוק, חופש העיתונות, והתערבות בשיקולים מקצועיים), אז התשובה היא חד משמעית כן. אבל חנין לא הראה כי אכן נגרם נזק כלשהו, הוא רק טען שנגרם נזק. והוא בחר בפתרון הקל – לשכנע שופט לתת הוראה, במעמד צד אחד, מבלי שהוצגו לפניו (ככל הנראה) כל הנימוקים בעד ונגד ופתרון המוצע. אני לא מאשים כאן את חנין, הוא בחר בדרך לגיטימית כדי להשיג את מטרתו. אני סבור שהשופט הנכבד טעה במקרה הזה.

אף אם עברנו את שתי המשוכות הראשונות, כלומר השתכנענו שטענותיו של חנין נכונות כולן (ולדעתי הן לא), ואנחנו סבורים כי החלטת השופט הנכבד נכונה (ולדעתי היא לא), יש שאלה נוספת שעלינו לשאול: האם הנחיית השופט תשיג את מטרתה? גם כאן, התשובה היא ככל הנראה שלילית.

בפני הסוקרים והתקשורת עומדות כרגע שתי אפשרויות. אחת, שהיא לדעתי הפתרון הקל והראוי במקרה זה, היא לשנות את הסיווג "מפלגות ערביות" ל-"מפלגות אחרות". חנין, יהודי במפלגה דו-לאומית לא ייעלב, ובא שלום על ישראל.

אפשרות אחרת היא לפלח את הסיווג של המפלגות "האחרות" למרכיביו, כלומר לפרסם כמה מנדטים צפויים לחד"ש כמה לבל"ד וכמה לרע"מ-תע"ל. יש כמה דרכים לעשות את זה. אפשר לעשות זאת בצורה שרירותית (לחלק איכשהו את ה-10 ל-3-3-4). אפשרות אחרת היא לעשות זאת על פי התוצאות בפועל מהמדגם, וזו אפשרות בעייתית, כיוון שגדלי המדגמים קטנים בדרך כלל, וגודלה של מפלגה בת 3 מנדטים (2.5% מהמושבים בכנסת) קטן מגודל הטעות הסטטיסטית במדגם של 1200 נסקרים (2.8%), ורוב הסקרים מסתפקים בגודל מדגם קטן יותר במחיר של טעות סטטיסטית גדולה יותר (זה נכון, דרך אגב, לכל המפלגות הקטנות). אני מקווה שדרכים אלה לא יינקטו, כיוון שהן יוצרות בעיות אתיות חמורות גם מבחינה עיתונאית וגם מבחינה סטטיסטית.

אפשרות נוספת, היא לערוך מדגם נפרד באוכלוסיה הערבית, או לדאוג שתת-המדגם בשכבה של האוכלוסיה הערבית (משם באים רוב מצביעי שלוש המפלגות הנדונות, ותבניות ההצבעה בקבוצת אוכלוסייה זו שונות מהותית מתבניות ההצבעה באוכלוסיה הלא-ערבית) יהיה מספיק גדול כדי להקטין את הטעות הסטטיסטית לגודל סביר. זה לא יקרה, כי זה יעלה יותר כסף, וכמות האינפורמציה שתתקבל לא מצדיקה את ההשקעה, בניגוד למה שדב חנין חושב.

לסיכום: ח"כ דב חנין העלה טיעונים שנויים במחלוקת בפני שופט מכובד. לאחר השופט האזין לטיעונים אלה (ולא ברור אם הובאו בפניו טיעוני נגד) הוא נתן הוראה בעייתית שפוגעת בזכויות יסוד ובשיקולים מקצועיים באופן שלא ברור האם הוא מידתי, והתוצאה תהיה במקרה הטוב מכבסת מלים, ובמקרה הרע הסתבכות אתית של אנשי המקצוע. היה שווה?

לקראת הבחירות הקרבות, הנה תזכורת מהבחירות לסנאט והקונגרס של ארה"ב שנערכו בשנת 2006 . דייב גורמן, הפרשן לענייני סטטיסטיקה של התכנית The daily show מנתח את הסקרים שנערכו לקראת בחירות אלו. התובנה העיקרית: עדיף להיות סטטיסטיקאי בשומר העתיקה.

רשימה זו מכילה מספר תשובות שנשארתי חייב למגיבים לרשימות הקודמות בנושא, וכמה מילות סיכום משלי.

דרומי כתב כי "סקרים הם מתודה שמשתמשת באמצעים מתמטיים לצרכים של מדעי החברה", והוסיף וכתב: "כשקמיל פוקס מספק לנו תוצאות לפיהן 'X מנצח', כשבעצם הכל בתחום טעות הדגימה, הוא מבצע סקר לא מקצועי – ולא משנה בראש כמה ועדות אתיקה הוא עמד. הסוקרים מקריבים את המקצועיות שלהם על מזבח המסחריות". דרומי הוסיף וכתב בבלוג שלו הסבר נרחב לדבריו, ואתם מוזמנים לקרוא אותם.

בתגובה לדבריו שם הריני להבהיר כי לא יצאתי להגנת סקרי הפריימריז של קדימה, להיפך, הייתי בין הראשונים לטעון כי היה כאן כשלון מקצועי של שלושת הסוקרים. אין גם מחלוקת על כך שדרוש שיתוף פעולה הדוק יותר בין אנשי הסטטיסטיקה ואנשי מדעי החברה, וששיתוף פעולה כזה יכול להביא לפיתוח שיטות מחקר שיביאו תוצאות טובות יותר ואמינות יותר. אני חולק עדיין על דעתו של דרומי לגבי אופן שיתוף הפעולה שהוא מציע בין הסטטיסטיקה למדעי החברה, אבל זהו נושא לדיון אחר, ומאחר ואיני מתמחה בנושאים אלה לא אכנס אליו.

ובכלל מסתבר כי ההסכמה ביני ובין דרומי הרבה יותר רחבה מחילוקי הדעות ביננו. את המשפט הראשון שלו הייתי מנסח באופן הבא: "מדעי החברה משתמשים, בין היתר, במתודה המתמטית/סטטיסטית של הסקרים לצרכיהם", כי הסקרים נמצאים לא רק בשימוש מדעני החברה (ראו את מאמרו של פרופ' רון קנת, למשל). אני מסכים שאם סוקר כלשהו מפרסם תוצאות לא מובהקות ולא מציין זאת, הוא עובר עבירה אתית חמורה, וזה נכון, דרך אגב, לא רק לסוקרים אלא לכולם. האם זה היה המקרה בסקרי הפריימריז של קדימה? אני לא בטוח. גם ההכללה כי "הסוקרים מקריבים את המקצועיות שלהם על מזבח המסחריות" מוגזמת לדעתי. יש סוקרים שמקריבים את המקצועיות שלהם על מזבח המקצועיות, כמו שיש אנשים כאלה בכל מקצוע אחר. אז מה? זו לא סיבה לפסול את כולם.

חילוקי הדעות שיש לי עם ירח הם מהותיים הרבה יותר. הטיעון של ירח בנוי כך: הסקרים אמינים ומשמשים כלי למניפולציה. לכן, יש לשקר לסוקרים באופן שיטתי כדי לקעקע את אמינותם. ירח עוטף את דבריו בהילה רומנטית: בעיני עצמו הוא קצין המודיעין, הלוחם, המטעה את האויב, או האזרח שומר החוק, מעין שי דרומי בזעיר אנפין, המונע מהפושעים לבצע את זממם. בעיניו, שקר הוא לגיטימי, אם זה משרת את המטרות הנעלות שלו.

אני לא חוזר בי מדברי על ירח: הוא שקרן, שהודה בכך, פעמיים. המניעים שלו אולי ראויים בעיניו, אך לא בעיני. הוא מוצא לנכון לכופף את כללי ההתנהגות המקובלים בחברה כי זה נוח לו, ובכך הוא לא שונה בעיני ממי שמרשה לעצמו להכנס לצומת אם עברה רק שניה מאז שהאור התחלף לאדום.

ולאחר כל הדברים האלה, ירח עדיין לא הסביר כיצד משמשים הסקרים כלי למניפולציה. אם הם אמינים, והמידע המפורסם הוא נכון, אז ירח אומר בעצם שמידע הוא כלי למניפולציה. בואו ניקח את הלאה: ידיעה עיתונאית יכולה לשמש ככלי למניפולציה. בואו נסגור את כל העיתונים.

אלעד-וו יצא להגנתו של ירח מכיוון אחר: תוצאות של סקר בחירות, למשל, טוען אלעד-וו, עלולים להשפיע על הבוחרים לשנות את הצבעתם. להבנתו, לזה בין השאר התכוון ירח כשהשתמש במילה "מניפולציה".

הטיעון הזה נשמע רבות, הזכירה אותו גם תמר הרמן, וזה היה גם הבסיס להצעת החוק האומללה של ח"כ בן-ששון. האמת היא שכל דבר משפיע על המציאות, וכן, גם תוצאות של סקרים. השאלה שיש לשאול היא מה מידת השפעתם של תוצאות הסקרים על המציאות, ובעיקר מה מידת ההשפעה שלהם ביחס לדברים אחרים שיכולים להשפיע, כמו, נניח, פליטת פה של בדרן או פיגוע שמתרחש יומיים לפני הבחירות. כשתהיה תשובה אמינה לשאלה הזו, יהיה ראוי לדון בנושא הזה ברצינות.

פרשנות נוספת שנתן אלעד-וו לדבריו של ירח היא שירח טען כי סקרים הם אמצעי בעייתי כי אנשים משקרים. לא הבנתי זאת מדבריו של ירח (להיפך, בתגובה נוספת הוא כתב בפירוש כי הבעיה העיקרית שלו היא הסקרים שנעשים היטב, ונותנים תמונה נכונה של המציאות שהם רוצים לבדוק, אבל משתמשים בתוצאותיהם למטרות פסולות). אם הסקרים אכן לא אמינים, אז הטיעון של ירח הופך למעגלי (אני משאיר את זה כתרגיל לקוראים). בכל מקרה, אם הפרשנות של אלעד נכונה, הרי שכאן הוא מתפרץ לדלת פתוחה. תופעת הנסקרים המשקרים ידועה שנים רבות, וגם לדעתי חלק מהסוקרים נכשלים בהתמודדות איתה (כמו שקרה בפריימריז של קדימה, ככל הנראה).

אני מקווה שבכך עניתי על כל השאלות (פרט לשאלה של נדב על הממוצע, שלא עוסקת בסקרים עצמם אלא בהגדרה של הסטטיסטיקה כמדע, וזה נושא לרשימה אחרת אי שם בעתיד). אני לא משלה את עצמי שכולם השתכנעו, בודאי לא אנשים מסוגו של ירח. מבחינתי הדיון הסתיים, אלא אם מישהו יעלה שאלה מהותית חדשה שלא נדונה עד כה.

פורסם לראשונה באתר "רשימות" בתאריך 16 בנובמבר 2008  שם התקבלו 4 תגובות

אייל בן דוד  בתאריך 11/16/2008 11:38:08 PM

גודל הדגימה וכמות הסקרים

אני לא ראיתי שהתייחסו לזה בדיון, אבל לפני פחות משבועיים היה אחד הימים הגדולים של הסוקרים, הבחירות בארה"ב, שהסקרים ניבאו בהם בצורה מאד יעילה את התוצאות.
לדעתי, הסיבה להצלחת סקרים מסוימים וכישלון אחרים קשור יותר בגודל הדגימה וכמות הסקרים (שזה כמובן הולך ביחד).
בבחירות בארה"ב נעשו מאות סקרים, ואתרי האינטרנט שביצעו מטא-אנליזה לסקרים השונים באמצעות מודלים הגיוניים יותר או פחות, העלו בכל מקרה את רמת הדיוק שלהם מאוד.
כאן אנחנו מדברים על מליוני נסקרים (לאורך כל תקופת הבחירות), בשונה כמובן מהסקרים בפריימריז השונים.
אני חושב שהסיבה שהפריימריז בקדימה נהפכו ל"יום כיפור" של הסוקרים, לא קשורה בסטטיסטיקה בכלל.
התחושה היתה שמדובר פה בבחירות לראשות הממשלה, וכשכמה אלפי עסקנים בוחרים ראש ממשלה, בבחירות שתלויות יותר בעסקן של איגוד עובדים זה או אחר מאשר בכל דבר אחר, לא צריך להתפלא שהסקרים מפשלים.

יוסי לוי  [אתר]  בתאריך 11/17/2008 8:30:00 AM

בעניין גודל המדגם

הגודל קובע – אבל רק עד גבול מסויים.
אם יש הטיה אינהרנטית, כגון נסקרים שמשקרים, או העדפה שיטתית של תת-אוכלוסיה מסויימת (ראה למשל רשימתי "בחירות 1936 – המנצח שלא היה" )
אז מדגם גדול יותר לא יבטל את ההטיה, הוא רק יעצים אותה. אני מניח שדי ברור לך מה הייתה התוצאה של מטה-אנליזה של סקרי הפריימריז של קדימה.

עמית  [אתר]  בתאריך 11/17/2008 10:19:12 AM

אני עדייו לא הבנתי

מה לא היה בסדר בסקרים של קדימה…
מה זה שהם לא ניבאו את המציאות?
הרי אפילו אם היו עושים את הכל באופן מושלם, ישנה תמיד הסתברות שהמדגם לא יחזה במדוייק את התוצאות על כלל האוכלוסיה.
אם אני לא טועה, אפילו כשאומרים ש"טעות הדגימה היא 3%" לא מתכוונים לומר שבבטחון מלא תוצאות האמת יהיו בטווח של 3% מתוצאות המדגם.
למיטב זכרוני, ואם אני לא מתבלבל, מדובר ברווחי סמך של 95% או משהו כזה.
מה שאומר, שזה לא צריך להפתיע אף אחד אם 1 מתוך 20 סקרים מושלמים יהיה רחוק מאד מהמציאות.
לא כל שכן סקרים לא מושלמים.
וגם אסור לשכוח – שאותם סקרים ניבאו ללבני נצחון, ושהיא אכן ניצחה.

סקר לבן  בתאריך 11/17/2008 11:44:36 AM

הטעיית סוקרים

צריך לזכור דבר חשוב: לא כל הסקרים נועדו לפרסום, וגם באלה שכן – לא כל הנתונים מתפרסמים.
בסופו של דבר, סקרים נועדו לאיסוף מידע – מידע שחלקו, לפחות, נשאר נחלתו הבלעדית של מי שמזמין את הסקר. ומידע כזה – אם הוא אמין – הוא כוח.
לכן, כל מי שאינו מעוניין להעניק כוח לגורם שהזמין את הסקר, יעשה כמיטב יכולתו כדי שהמידע שניתן להפיק מתוך הסקר יהיה מועט ובלתי אמין.
לדוגמה: תומכי מופז בפריימריז בקדימה יכולים לשקר בסקרים ולומר שהם תומכים בלבני, וכך אנשי לבני – שיראו שהיתרון שלהם בסקרים גדול מאוד – ייכנסו לשאננות. זה טוב למופז. אני לא יודע אם כך קרה, אבל זה צעד סביר והגיוני. למה להעניק מידע שיכול לשמש את היריב לתועלתו? אם כבר, עדיף למסור מידע מטעה ומבלבל.
כאשר סוקר שואל אותי למי אצביע בבחירות, אני שואל את עצמי איזו תוצאה הייתי רוצה שהסקרים יראו, ועונה בהתאם. אין לי שום סיבה לשרת את האינטרס של מזמין הסקר (לקבל מידע אמין), ואני מעדיף לשרת את האינטרסים שלי.

הקדמה

בקישורים ברשימה ההערות בעקבות כשלון הסקרים בפריימריס של קדימה, כללתי גם את הרשימה על דבריו פרופ' ישראל אומן בנושא הסקרים. הדברים הנ"ל נאמרו, כזכור, בכנס האיגוד הישראלי לסטטיסטיקה שנערך במאי 2006 (סקרי דעת קהל – מי כאן הטיפש?). לאחר שדברים אלה עלו שוב לדיון, פנה אלי ידידי פרופ' רון קנת והציע לפרסם את התגובה שכתב לדבריו של פרופ' אומן, והופיעה בזמנה באתר הישן של האיגוד הישראלי לסטטיסטיקה. אני נענה להצעתו בשמחה. פרופ' קנת הוא יו"ר ומנכ"ל חברת הייעוץ KPA ומרצה באוניברסיטת טורינו, איטליה ובמרכז לחקר סיכונים, אוניברסיטת ניו יורק, ארה"ב. הדברים נכתבו במקור בשפה האנגלית, ותורגמו על ידי.

סקרים: הזדמנויות ואתגרים

תגובה להרצאתו של פרופ' ישראל אומן בכנס האיגוד הישראלי לסטטיסטיקה ב 8.05.2008

מאת פרופ' רון קנת

חלק משמעותי מהכנסותיה של חברת KPA נובע מעריכת סקרים. פרופ' אומן התייחס בהערותיו לסקרים באופן גורף ומכליל, אולם הסקרים שאנו עורכים עבור לקוחותינו שונים מהסקרים אליהם התייחס פרופ' אומן. בתגובה לדבריו של פרופ' אומן על הסקרים, מן ההכרח להגדיר היטב את המונחים בהם אנו משתמשים, ולהבדיל בין סקרי דעת קהל, סקרי יציאה מקלפי, סקרי בחירות, סקרים בהם האוכלוסיה מוגדרת ונתונה (closed list surveys), סקרי דגימה, סקרי עובדים, סקרי משקי בית, סקרים מבוססי פאנל, וכן הלאה.

ההגדרות והתכונות של כלי איסוף נתונים אלה נחקרו בהרחבה, ופורסמו בספרות המקצועית ([1]) . הסוקר מנו גבע, שהשתתף בדיון שנערך לאחר דבריו של פרופ' אומן, הקפיד להבחין בין הסוגים השונים של הסקרים, והתייחס בדבריו רק לנושאים הקשורים בתכנון וניתוח של סקרי יציאה מקלפי (סקרים הנערכים בקרב מצביעים מייד לאחר שהצביעו הצבעת אמת, עם יציאתם מהקלפי).

ארגונים (ציבוריים ועסקיים) נעזרים בסקרים כדי לתמוך בתהליכי קבלת החלטות. חברות נעזרות בסקרים כדי להחליט איזה מוצרים לפתח, לדעת אלו שירותים זקוקים לשיפור, ללמוד מה מצפים הלקוחות מהמוצרים והשירותים המסופקים להם, להבין מה משפיע על נאמנות הלקוחות וכך להגדיל את הסיכוי לשמרם, ועוד. האמדנים המתקבלים מסקרים אלה תומכים בהחלטות עסקיות רבות, ותוקפם מתבטא, בסופו של דבר, בדו"חות הכספיים ([2], [3]).

לסקרים תפקיד חשוב גם  באסטרטגיות ניהוליות כוללות, כגון גישת ה-six-sigma. בהקשר זה נערכים ניתוחי מגמה והשפעה של מדדים כגון שביעות רצון לקוחות או מדדי שירות שונים הנאספים לאורך זמן. "מדד השלום", שפרופ' אפי יער הציג בדיון שנערך לאחר דבריו של פרופ' אומן,משתמש בגישות דומות. באמצעות ניתוחים כאלה ניתן לבסס ולהוכיח גורמי סיבה ותוצאה. הסקרים משקפים את ההחלטות הניהוליות, וכשבעיות מופיעות או נפתרות, נתוני הסקרים מראים זאת ([5]). טענתו של פרופ' אומן, לפיה סקרים מספקים מידע בלתי אמין, אינה מבוססת, לפחות במקרים אלה.

הטכנולוגיה יצרה אתגרים חדשים עבור סקרי הדגימה. כיצד מנתחים סקרים שתוצאותיהם נאספות באינטרנט? או על ידי הודעות SMS? לסקרים כאלה יש מאפיינים מיוחדים, העלולים להשפיע על שיעורי השתתפות ולגרום הטיה פוטנציאלית בתוצאות. לדוגמא, הטלפונים הסלולריים הופכים בהדרגה לתחליף יחיד לטלפון הקווי. עקב כך, דגימה מקרית מספר הטלפונים הישן והטוב כבר אינה יעילה כפי שהייתה בעבר. יותר מכך: משתמשי הטלפון הסלולרי נמצאים במגוון רחב של תנאים סביבתיים, ועקב כך עלולה להיווצר הטיה בדפוסי התגובה שמימדיה עדיין אינם ידועים. פיתוח מתודולוגיות סטטיסטיות לטיפול בבעיות אלו נמצא בשלביו הראשוניים ([4]).
בתכנון שאלונים, ניתן להיעזר רבות במדעי הקוגניציה בכל הנוגע לניסוח השאלות, השמתן בקונטקסט הנכון, וקביעת טווח התשובות האפשריות ([6],[7]). לשם כך, יש צורך בשיתוף פעולה בין תחומי בו סטטיסטיקאים ואנשי המדעים הקוגניטיביים ולעודד מחקר משותף. כך יוכלו לעלות רעיונות חדשים, שיביאו ליצירת שיטות דגימה חדשות.

לסיום, גישות לא סטנדרטיות (כגון Structural Equation Models, Decision Trees, Partial Order Maps and Rasch models ) לניתוח סקרי שביעות רצון של לקוחות מיושמות כעת ויישומן מביא לגילוי תובנות חדשות ואתגרים מתודולוגיים חדשים (, [9][8]).

מטרת כל הדברים שנאמרו עד כה הייתה לאזן במידת מה את דברי הביקורת של פרופ' אומן בנושא הסקרים. ככל הנראה הוא כיוון את דבריו לסקרי דעת הקהל, אך נוצר הרושם כאילו דבריו התייחסו לסקרים בכללותם. מתודולוגית הסקרים מתפתחת ומתאימה את עצמה להזדמנויות והאתגרים החדשים, ומספקת אותות חזקים יותר ומידע נרחב יותר למקבלי ההחלטות. לכן דבריו הגורפים של פרופ' אומן  בגנות הסקרים אינם מסתייעים. עם זאת, עלינו להודות לפרופ' אומן על כך שדבריו דירבנו דיון ענייני בצורך לבסס סטנדרטים מקצועיים שיהוו בסיס לעריכת כל סוג של סקר. האיגוד הישראלי לסטטיסטיקה הוא אכן מסגרת ראויה לדיון כזה,  ואני מקווה כי הדיון יניב תוצרים מועילים.

רשימת ספרות

[1] R. Kenett, "Customer Surveys: Why and How" (in Hebrew) in Surveys: Some Good, Some Less edited by S. Bar-Lev and C. Fuchs, Hakibbutz Hameuchad Publishing House Ltd. And Haifa University press, 1998.

[2] R. Kenett, "Issues in Customer Satisfaction Surveys", DEINDE 2002, Torino, Italy, February 2002.

[3] R. Kenett and R. Fainstein, "Customer Retention: The Key to Success in Unstable Economic Times" (in Hebrew) in Researchers Speak: Market Research and its application in the Israeli Market edited by O. Kaplan, Globes Business Publishing, 2003.

[4] R. Kenett, O. Kaplan and Y. Raanan, "Statistical properties of internet based market research surveys", European Network for Business and Industrial Statistics (ENBIS) Third Annual Conference on Business and Industrial Statistics, Barcelona, Spain, August 2003.

[5] R. Kenett, "The Integrated Model, Customer Satisfaction Surveys and Six Sigma", The First International Six Sigma Conference, CAMT, Wroclaw, Poland, January 2004.

[6] R. Kenett, "On the Planning and Design of Sample Surveys", European Network for Business and Industrial Statistics (ENBIS) Fourth Annual Conference on Business and Industrial Statistics, Copenhagen, Denmark, September 2004.

[7] R. Kenett, "On the Planning and Design of Sample Surveys", Journal of Applied Statistics. Vol. 33, No. 4, 405-415, May 2006.

[8] Non standard analysis of customer satisfaction surveys, University of Torino and University of Milan, Italy, www.economia.unimi.it/projects/CSProject%20 ,  to appear as a special issue in Quality Technology and Quantitative Management, 2009.

[9] R. Kenett and S. Salini, “New Frontiers in Survey Data Analysis”, Quality Progress, to appear in 2009.

פורסם לראשונה באתר "רשימות" בתאריך 7 בנובמבר 2008