נסיכת המדעים

האם אתמול (28 במרץ 2006, הבחירות לכנסת ה-17)  התרחש יום כיפור של הסוקרים? אני לא בטוח.

מבט ראשוני מראה כי:

• 3 סקרי היציאה של 3 ערוצי הטלוויזיה הראו תוצאות דומות. לצערי לא הצלחתי למצוא עדיין את הנתונים על גודלי המדגם ושיטות הדגימה – אבל כיוון שסביר להניח כי אלה היו 3 מדגמים שונים – הרי שהסוקרים עשו ככל הנראה את עבודתם כהלכה. הבדלים של 2-3 מנדטים נכללים בדרך כלל בטעות הדגימה, שהיא כ-3% במדגם של 1200 איש. זכרו כי מושב בכנסת שקול לפחות מאחוז מסך הקולות.
• התוצאות הכמעט סופיות דומות למדי לתוצאות הסקרים בהתחשב בטעויות הדגימה.
• בניגוד לטענתו של ידידי חנן כהן – 3 סקרי היציאה הראו בהחלט את ההישג המפתיע של הגימלאים. נכון שהסקרים שפורסמו לפני שבוע לא חזו הישג כזה – אבל האם מדובר בקרוב ל-100,000 איש שהסתירו את כוונת הצבעתם מהסוקרים לאורך חודשים – או בהצבעת מחאה אימפולסיבית של הרגע האחרון? איני יודע את התשובה לבטח, אבל הנה רמז: 7 המנדטים של הגימלאים הם בדיוק ההפרש בין 35 המנדטים שחזו הסקרים לקדימה לפני שבוע ובין ה-28 שקיבלה בסופו של דבר.

פורסם לראשונה באתר "רשימות" בתאריך 29 במרץ 2006 09:29 במדור לסקר יש רגליים שם התקבלו 4 תגובות

דרומי  [אתר]  בתאריך 3/29/2006 10:41:34 AM

צדקו סטטיסטית, טעו מהותית

מבחינה סטטיסטית, הסקרים לא טעו באופן מחריד.
מבחינה מהותית, הסקרים הוכיחו, שוב, את הבעיתיות שלהם בתור כלי דיווח וכלי עבודה פוליטי. רוב מי שהלך היום לקלפי, הלך בידיעה שקדימה היא מפלגה גדולה וחזקה שתשלוט ללא עוררין – בגלל הסקרים. זה השפיע על ההצבעה של אנשים – בעד ונגד קדימה. בפועל, זה ממש לא המצב.
השאלה היא לא האם צריך שיפור מתודולוגי בסקרים כך שישקפו טוב יותר את התשובה של הישראלים לשאלה "אם הבחירות היו נערכות היום, כיצד היית מצביע?"
השאלה היא האם התשובה הזו רלוונטית, או לפחות – האם הרלוונטיות שלה היא כזו שמצדיקה את ההסתמכות האדירה על סקרים במערכת הבחירות הזו, הסתמכות שהחליפה, לפחות לטעמי, דיון ענייני במצעי המפלגות ובכוונותיהם.

יובל  [אתר]  בתאריך 3/29/2006 4:01:01 PM

עיצבו – לא שיקפו !!!

הגימלאי קם על יוצרו
רבות דובר על מגבלות הסקרים ביכולתם לחזות את תוצאות האמת. מספר מקרים בפוליטיקה הישראלית הר או בצורה ברורה ביותר כי האפשרות של מכוני המחקר לנבא את תוצאות האמת אפילו המידה ק רובה הינה מוגבלת במקרה הטוב, שלא לומר בלתי אפשרית.
כך היה בהתמודדות של עמי ר פרץ מול שמעון פרס על ראשות מפלגת העבודה. כך היה בבחירות לכנסת ולראשות הממשלה ב -1996. וכל גם היה עם מפלגת הגימלאים.
אתמול אמרה מינה צמח באיזושהי נימה מתנצ לת כי אלמלי הסקרים שנתנו למפלגת הגימלאים את אותם שתי מנדטים קריטיים שהיו נחוצים לה על מנת לעבור את אחוז החסימה, ספק אם הייתה המפלגה מקבלת את מספר המנדטים הגבוה שקיבלה.
אמרתה הנכונה של מינה צמח מוכיחה את מה שעומד מאחורי תעשיית הסקרים במ שך זמן רב. הסקרים אינם עוד כלי ניבוי אמיתי המציג את המציאות כפי שהיא אלא כלי בעל כוח רב ויכולת לעצב את המציאות !
כבר בשנות ה70' פרסמה אליזבט נואלה-נוימן את מאמרה "ספירלת השתיקה". מאמר זה גורס כי אמצעי התקשורת מסוגלים להשפיע על דעת הקהל ע"י כך שהיא קובעת מהוא ה"קונצנזוס". ניומן מראה במחקרה כי אנשים תמים יעדיפו להיו ת בדעת הרוב כיוון שנטוע בהם הפחד הבסיסי מלהיות במצב של בדידות רעיונית, מלהיות בד עת מיעוט. התקשורת מראה לציבור קונצנזוס "מזויף" אשר בו יש לדעה שהיא חפצה בייקרו ר וב אשר אינו קיים במציאות. האדם הפשוט, אשר חושש להישארות בדעת המיעוט מתחיל להביע דעות התואמות את מה שראה בסקרים ובחדשות מאמץ אותה גם בכדי לצאת מאותה בדידות רעיונ ית וגם כיוון שהתקשורת נוטה לתאר את המגמה כאופנה חדשה הסוחפת אחריה את ההמונים – ו מי לא רוצה להרגיש שייך ? מי לא רוצה לקפוץ על הרכבת ?
אמצעי התקשורת לא רק יו צרים את האקלים הציבורי המחולל את אפקט הספירלה; בדיעבד הם עצמם מושפעים ממנו, וכך האפקט הולך וגובר: הסיקור המוגזם של דעת המיעוט הופך אותה לדומיננטית יותר ויותר ומ שתיק עוד יותר את החולקים עליה ; או אז היא מסוקרת עוד יותר וחוזר חלילה. התהליך כו לו משול אפוא לספירלה, לסליל של מעגלי שתיקה ההולכים ומתרחבים.
עיתונאים רבים מגדילים ומוסיפים לתופעה על ידי ביטול של דעות אשר עלולות היו להיות אלטרנטיבה לאות ה דעה עיקרית. עיתונאי/פרשן יכול, בתמימות או שלא, לקבוע בפני קוראיו כי דעה או דרך מסוימת אינה אפשרית מבחינה פוליטית ובכך לגדוע אותה באיבה עוד לפני שניתנה לאותה ד רך הזדמנות להוכיח את עצמה במבחן אמיתי מול הציבור עצמו.
אינני חסיד גדול של תורות הקונספירציה למיניהן אך אין להטיל ספק בכוחה של התקשורת ככלל והסקרים בפרט להטות את כף מאזניים לכאן או לכאן ע"י יצירת תמונה שאינה תואמת את המציאות.
הסקרים הפכו אם כן לכלי בידיהם של יועצי תקשורת וספינרים אשר משתמשים בהם בכדיי להראות כי לדעה שהם מקדמים יש רוב בציבור, או לחילופין, שהיא מתחילה לצבור תאוצה.
כמעט כל פוליטיקאי המפגר במרוץ אחר יריבו נוטה לפרסם סקרים מטעם אשר יראו כי הוא מצמצם את הפער. הפוליטיקאי המוביל לעומת זאת – יפרסם סקרים מטעמו שיראו כי הפער יציב והסיכוי לסגור אותו הינו אפסי. מצביעים רבים הצהירו לאחר הבחירות הקודמות כי לו היו יודעים כי מפלגת עלה ירוק כל כך קרובה לעבור את אחוז החסימה, הם היו מצביעים בשבילה. תארו לעצמכם מה היה קורה אם סמכות מקצועית בדמותה של מינה צמח הייתה צופה כי "עלה ירוק" יעברו את אחוז החסימה . . .
מפלגת הירוקים לדוגמא ניסתה לעשות את מה שעשו הסוקרים עבור מפלגת הגימלאים – הפרסומים שלהם התמקדו בעצם היותם מעל אחוז החסימה כמעט באותה מידה שהתמקדו במצע הסביבתי שלהם.
האזרח הפשוט כמעט חסר אונים מול השפעתם של הסקרים כיוון שזהו למעשה מקור המידע היחידי שלו. האפשרות היחידה שלו היא לקבל את הנתונים במידה מסוימת של ספקנות אך הדבר אינו מאפשר לו לקבל תמונה נכונה יותר של המפה הפוליטית.
השפעתם של הסקרים וחוסר היכולת של האזרח לעמוד מולן הביאו לכך שבמדינות רבות באירופה ישנה הגבלה של פרסומם של סקרים תקופה מסוימת לפני יום ההצבעה. במדינות כדוגמת צרפת, ספרד, שוויץ ועוד חל איסור לפרסם סקרים בין 4 ימים לשבוע לפני הבחירות ! מדינות דמוקרטיות אלו העמידו את טוהר הבחירות לפני עיקרון זכות הציבור לדעת תוך מודעות להשפעתם של הסקרים על הציבור.
מינה צמח ומקרה הגימלאים אם כן, מראה בצורה הברורה ביותר את ההבדל בין יכולת ליכולת הניבוי העיצוב של הסקרים:
הסוקרים חצי תרצו חצי התרברבו כי לולא הם היו נותנים לגימלאים את שני המנדטים שהעלו אותם מעל לאחוז החסימה הם לא היו סוחפים אחריהם כמות כה גדולה של אנשים.
אם זאת אף מכון לא היה קרוב אפילו לנבא את כמות המנדטים שקיבלה הרשימה, ובכך בעצם, לא הצליחו הסקרים לנבא את תוצאות התהליך שהם עצמם התחילו ו"עודדו".
www.omedia.co.il

חגי הלמן  בתאריך 4/1/2006 8:46:19 PM

האמנם?

יובל, לא שמת לב שדווקא "מפלגת הקונצנזוס" נפגעה פגיעה אנושה מהסקרים שניבאו לה ניצחון מוחץ? זה קצת סותר את רעיון "ספירלת השתיקה" על הקונפורמיות של הבוחרים.
בכל מקרה, אני אכן חושב שיש בעייתיות בצורת החשיבה של "אני אצביע כך וכך, מתוך הנחה שהשאר יצביעו כך וכך". הצבעות ספקולטיביות יוצרות מצב שבו תוצאות הבחירות לא בהכרח משקפות את הכנסת שהציבור היה רוצה לראות. זה נשמע לי רעיון מוצלח מאוד למנוע פרסום סקרים במהלך מערכת הבחירות.

יובל  בתאריך 4/3/2006 1:46:02 PM

אמנם !

כמו שהסקרים מעלים כך הם גם מורידים !
ההידרדרות של קדימה רק הואצה ע"י הסקרים.
כשאתה כותב כנגד הצבעה מושפעת מקונפורמיזם אתה כותב כאילו המניעים הם מודעים בעוד שלתת-מודע משקל עצום בקבלת החלטות מסוג זה.
כפי שבטח גם חכלת להבין מהמאמר גם אני מתנגד לפרסום סקרים בימים שלפני הבחירות.
www.omedia.co.il

עונת הסקרים בעיצומה, וכיוון שכך, נראה שאיאלץ להמשיך ולעסוק בנושא הזה למרות שיש לי נושאים הרבה יותר מעניינים (אך פחות אקטואליים) לכתוב עליהם.

הנושא הראשון על הפרק הוא דואל שקיבלתי מאחד מקוראי, ג'רמי חלימי. וכך כותב לי ג'רמי, בהתייחסו לרשימה "סקר לדוגמא":

ליוסי שלום,

על רשימתך האחרונה: קראתי שפרסמת אותה ללא כל קשר פוליטי. בכנות, האם היית מפרסם אותה אם היה מדובר בסקר הנוטה לטובת השמאל ?

אכן, שאלה ראויה שזכתה מייד לתשובה המתבקשת: בודאי.

ובכל זאת, למרות שעברו כשבועיים מאז – ברצוני להבהיר. בלוג הזה מיועד לספק מבט מתמטי/סטטיסטי ביקורתי על העולם, ועל אחת כמה וכמה מבט ביקורתי על נושאים הקשורים בסטטיסטיקה ובממתמטיקה. יותר מכך, אני מתיימר לקוות שקוראי יוכלו לרכוש בעזרת הרשימות שלי כלים ביקורתיים בעזרתם יוכלו להיות צרכנים טובים יותר של אינפורמציה בכלל ואינפורמציה סטטיסטית בפרט.

הסקר שנותח ברשימה אליה התייחס ג'רמי פשוט הגיע לתיבת הדואר הביתית שלי. זה היה סקר "טוב" בכך שהוא אפשר לי להמחיש נושאים בעייתיים רבים.  אני לא עוסק בקריאה שיטתית של כל הסקרים שמתפרסמים, זמני מוגבל. גם אין טעם שאכתוב רשימה לניתוח כל סקר שמופיע – גם משרה מלאה לא תספיק לכך.

אני סבור שקורא אינטליגנטי יכול לנסות לנתח באופן דומה סקרים אחרים על פי הקווים המנחים שברשימתי. ואם יש ספקות – אז תמיד אפשר לפנות אלי בשאלות.

ולנושא הבא:

שוקי גלילי פרסם היום לינק לסקר שקבע כי "רוב הציבור סבור שהתקשורת אוהדת את קדימה". אני לא מתכוון לדון בכל הסקר הזה, אלא רק בשני נושאים, הקשורים שניהם בפסקה האחרונה של הכתבה.

מהי טעות הדגימה?

כפי שהסברתי כבר, "טעות הדגימה המרבית" (שאינה מרבית, אלא מאפשרת רווח-סמך/רמת בטחון של 95%) נקבעת על ידי גודל המדגם, N, ושווה לפעמיים סטיית התקן של המדגם. סטיית התקן, מצידה, אינה גבוהה מ חצי מהשורש הריבועי של אחד חלקי שורש המדגם, ולכן נוכל לחשב ולמצוא כי "טעות הדגימה" כאן היא בערך 4.5%  כמו בסקר של "מאגר מוחות", ולא 1%, כמצויין כאן. ניתן גם לעשות את החישוב ההפוך, ולהראות כי המדגם הדרוש כדי להבטיח טעות דגימה של 1% ברמת-סמך של 95% הינו בגודל של 10000 (כן, עשרת אלפים). אשמח לדעת כיצד ד"ר יורם פרי הגיע לטעות דגימה של 1%.

הנושא האחרון שיידון ברשימה זו הוא תיאוריית האדם השלישי.

"9.5% מאמינים כי התקשורת תשפיע מאוד על הצבעתם של אחרים, אך רק 2.5% ציינו זאת לגבי עצמם", נכתב בידיעה.

מה המשמעות של הנתון הזה?

קשה לדעת, כיוון שחסר נתון. לא נמסר איזה אחוז מהמשיבים סבור כי התקשורת משפיעה מאוד גם על הצבעתם שלהם וגם על הצבעתם של אחרים.

הבה נראה: 9.5% מ-509 הם 48 איש (בערך). 2.5% מ-509 הם 13 איש בערך. מה יכול להיות ערכו של הנתון החסר? ובכן,  בנתונים הקיימים האחוז הזה יכול לנוע בין 0 ל-2.5% (יהיה לכם קל יותר לברר מדוע אם תחשבו במספרים מוחלטים ולא באחוזים – מספר האנשים במדגם הסבורים כי התקשורת משפיעה מאוד גם על הצבעתם שלהם וגם על הצבעתם של אחרים לא יכול להיות יותר מ-13!).

התשובה לקיומו או אי קיומו של אפקט "אדם שלישי" תלויה בערכו של הנתון הזה. אם ערכו נמוך (בסביבות 0) – אז אין אפקט, ואם ערכו גבוה (בסביבות 13, או 2.5% ) אז יש אפקט – כך מגלה לנו מבחן פישר (למעוניינים: הסבר על מבחן פישר באתר mathworld). נקודת האיזון בין קיומו של האפקט ואי קיומו היא בערך 4. האפקט התיאורטי אכן מעניין, אך מהתוצאות שפורסמו לא ניתן לדעת האם הוא אכן קיים.

פורסם לראשונה באתר "רשימות" בתאריך 7 במרץ 2006 18:55 במדור לסקר יש רגליים שם התקבלו 5 תגובות

אבי  בתאריך 3/8/2006 7:12:22 AM

מדגם טלפוני

האם בעצם עריכת המדגם בטלפון אין טעות ביצוג ? לכמה מבני ה 18 עד ה 25 יש טלפון שמופיע במדריך ביחס למספרם באוכלסיה ולכוח ההצבעה וההשפעה שלהם ? איך נתון זה משוקלל, אם בכלל ?

יוסי לוי  [אתר]  בתאריך 3/8/2006 7:57:16 AM

תשובה לאבי

שאלה מצויינת.
כיום לא דוגמים מספרי טלפונים מהמדריך, אלא באמצעים ממוחשבים.
חפש בגוגל את הביטוי
"computer-assisted telephone interviewing"
או פשוט CATI ותמצא יותר פרטים.
אני מצידי רושם לי לרשום על כך רשימה בעתיד.

אבי  בתאריך 3/8/2006 6:06:56 PM

תודה

ממתין לרשימה העתידית מאחר ולדעתי עדיין, ולא חשוב מה האמצעי, הרי שלרוב בני ה 18 עד ה 25 והגיל עולה כל הזמן – אין טלפון רשום. מנסיון שלי, בדקתי בסביבתי הקרובה -מ 10 בני ה 18 עד ה 30 ששאלתי – רק אחד ניתן לאתר טלפונית

יוסי לוי  [אתר]  בתאריך 3/8/2006 9:52:39 PM

עוד תשובה לאבי

בעניין המשקל של קבוצת אוכלוסיה מסויימת במדגם – הוא לא חייב להיות זהה למשקל באוכלוסיה, אפשר אח"כ לערוך שקלולים מתאימים.

מיתר  בתאריך 3/14/2006 11:23:38 AM

תגובה ליוסי

האם השקלולים לא מורידים את האמינות (מגדילים את טעות הדגימה)

הסקר

השבוע קיבלתי לתיבת הדואר שלי חינמון בשם "ישראל שלי" – מוסף מיוחד לציבור הרחב של העיתון "בשבע". בעמוד הראשון של העלון התנוסס סקר הקובע כי "רוב הציבור מאמין כי גוש הימין בראשותו של נתניהו ישמור על אחדות ירושלים". ואכן, לפי תוצאות הסקר, 53.5% סומכים על גוש הימין, ו-46.5% סומכים על גוש השמאל.

בשולי הידיעה המלאה, בעמוד 3, נכתב כי "הסקר נערך  על ידי מכון 'מאגר מוחות' בניהולו של פרופ' יצחק כ"ץ, בקרב מדגם אקראי הסתברותי של 505 משיבים, המהווה מדגם מייצג של הציבור הבוגר במדינת ישראל. טעות הדגימה המרבית 4.5% בהתייחסות לאומדנים השונים."

האם הסקר עומד בדרישות החוק?

על פי תיקון 22 לחוק הבחירות – דרכי תעמולה, יש לדווח יחד עם תוצאות הסקר את הפרטים הבאים: שמו של הגוף שהזמין את הסקר, שמו של הגורם שערך את הסקר, התאריך או התקופה שבה בוצע הסקר, האוכלוסייה שמתוכה נלקח מדגם המשיבים לסקר, מספר האנשים שהתבקשו להשתתף בסקר ומספר האנשים שהשתתפו בו בפועל, מרווח הטעות לגבי הנתונים שהושגו, ואת השאלות שנשאלו בסקר.

ובכן, לא צריך להיות מומחה כדי לראות שמפרסמי הסקר הזה, עיתון עם אג'נדה פוליטית ברורה, לא עמדו בדרישות החוק. אכן דווחו שמו של הגורם שערך את הסקר, וכן "טעות הדגימה המרבית" (שבהמשך אסביר את משמעותה). כן, פורסמה שאלה אחת שנשאלה (לא ברור האם נשאלו שאלות נוספות), אך לא צויין האם זו הייתה שאלה פתוחה, או שאלת "ברירה", כלומר שאלה עם  מספר תשובות אפשריות מתוכן היה על המשיבים לבחור תשובה אחת.

בחוק יש דרישות נוספות הכוללות דיווח מפורט יותר לועדת הבחירות המרכזית ולמבקר המדיה, וכן יש לדווח למבקר המדינה את הפרטים העסקיים הקשורים בסקר. מי שרוצה, מוזמן לפנות לועדת הבחירות המרכזית כדי לקבל פרטים נוספים.

האם הסקר קביל מבחינה סטטיסטית?

ראשית, יש להדגיש כי הסקר לא נערך של ידי סטטיסטיקאים – מנהלי מכון "מאגר מוחות", הפרופסורים יצחק כ"ץ וברוך מבורך, הינם מתחום המינהל הציבורי ומדעי המדינה. למרות זאת, נראה לי כי בסך הכל נעשתה עבודה ראויה: גודל המדגם סביר יחסית (ובהמשך אסביר כיצד גודל המדגם קובע את גודל טעות הדגימה), מוצהר כי מדובר במדגם הסתברותי אקראי המהווה מדגם מייצג של הציבור הבוגר (גם ערבים?). אני מניח כי שני הפרופסורים המכובדים לא יסכנו את המוניטין שלהם בעריכת סקר בלתי קביל. למרות זאת, חבל שלא דאגו כי העיתון יפרסם את כל הפרטים הנדרשים כדי שיהיה אפשר להעריך את תקפותו של הסקר.

איזה הטיות יש כאן?

אין לדעת. אבל יש לשאול: אם 50% (בערך) מהאוכלוסיה הבוגרת סומכים על גוש הימין – למה שיעור הקולות שהם צפויים לקבל בבחירות (על פי סקרים אחרים) עומד כל כ-35% בלבד? האם 15% מהציבור סומך על הימין אבל מצביע לשמאל? האם אנשים ענו לסוקרים תשובות אמת? (ראו את רשימתי "להשיב או לא להשיב" העוסקת בתופעה של הטעיה מכוונת הסקרים). האם לשאלה אליה מתייחסת הידיעה קדמו שאלות שהובילו להטיה בתשובות לשאלה המכרעת? האם היה שיעור אי-השבה גבוה במיוחד?  (שיעור ההשבה הוא קריטי – ראו את רשימתי: בחירות 1936 – המנצח שלא היה מ-4.11.2004 ).

מהי מסקנת הסקר?

כדי לדעת זאת יש להבין מה משמעות "טעות הדגימה המרבית", שדווח כי ערכה 4.5%. המדגם הוא אקראי, ולכן אם נחזור עליו שוב, קרוב לודאי שנקבל תוצאה אחרת. אם ניקח מדגם שלישי, נקבל תוצאה שלישית. במלים אחרות – תוצאת המדגם (במקרה זה: אחוז הסומכים על גוש הימין) היא משתנה מקרי. למשתנה מקרי יש תוחלת השווה לאחוז האמיתי של הסומכים על גוש הימין באוכלוסיה, וגם סטיית תקן, אותה ניתן לחשב אם ידוע האחוז האמיתי של הסומכים על גוש הימין. האחוז האמיתי כמובן לא ידוע (אחרת למה לטרוח לסקור), ולכן אי אפשר לחשב את סטיית התקן במדויק, אבל אפשר להוכיח כי בכל מקרה ערכה לא יעלה חצי מהשורש הריבועי של אחד חלקי שורש המדגם. כאן גודל המדגם הוא 505, השורש של 1 חלקי 505 הוא  0.04449, ולכן סטיית התקן לא תעלה על 0.0222 או 2.3% (מעניין שלגודל האוכלוסייה אין משמעות!).  מאיפה הגיעו ה-4.5%? לפי משפט הגבול המרכזי – 95% מכל התוצאות האפשריות של כל המדגמים האפשריים נמצאים בטווח של פלוס/מינוס שתי סטיות תקן מהערך האמיתי. מסקנה ראשונה – זו לא באמת טעות הדגימה המרבית. מסקנה שניה – לא ניתן להסיק בוודאות כי אחוז הסומכים על גוש הימין אכן גבוה מ-50%.

האם הפרשנות לתוצאת הסקר סבירה?

לדעתי האישית לא. מבחינה סטטיסטית, התוצאה שהתקבלה אינה מובהקת, ולכן אין כאן ידיעה, בודאי לא הידיעה שבכותרת – שסותרת את מה שעולה מהנתונים. השאלה שפורסמה התייחסה לאדם ("על מי אתה סומך…") והפרשנות מתייחסת ל"גוש", ולא רק זאת, אלא גוש בראשות נתניהו. ומ"מ ראש הממשלה, אולמרט, סווג כאן כ"שמאל". הפרשנות היא העיני המתבונן, כמובן, וקוראיי יכולים לחלוק על דעתי ולומר כי הפרשנות קבילה לדעתם. אין לי בעיה שאנשים יחזיקו בדעות שונות משלי – אני רק מקווה ורוצה להאמין שאנשים מקדישים מחשבה

סיכום

• הסקר, למרות שלא נערך על ידי סטטיסטיקאים מקצועיים, נערך ככל הנראה בצורה מקצועית.
• פרסום התוצאות של הסקר לקוי מאוד, ואינו עומד בדרישות החוק.
• תוצאות הסקר אינן מתיישבות עם תוצאות מסקרים אחרים – דבר זה מצביע על הטיה אפשרית בתוצאות.
• למרות זאת, העיתון פרסם את התוצאה בליווי פרשנות מגמתית ומטעה של התוצאות.

פורסם לראשונה באתר "רשימות" בתאריך 24 בפברואר 2006 שם התקבלו 6 תגובות

נועם  בתאריך 2/24/2006 4:45:50 PM

כי יש כאלה המעוניינים בחלוקת ירושלים

אתה שואל, תחת הכותרת "איזה הטיות יש כאן?":
<
אם 50% (בערך) מהאוכלוסיה הבוגרת סומכים על גוש הימין – למה שיעור הקולות שהם צפויים לקבל בבחירות (על פי סקרים אחרים) עומד כל כ-35% בלבד?
>
תשובתי: יש אנשים המעוניינים בחלוקת ירושלים, ולכן מצביעים לשמאל. אני למשל. זה לא שאני לא משתוקק לחלוקת ירושלים, אבל אני כן רואה אותה כחלק מפתרון. אם הייתי נשאל בסקר זה, הייתי אומר שלדעתי גוש הימין לא יחלק, אבל גוש השמאל כן. אם הייתי נשאל בנוסף למי אצביע, זה היה לשמאל (מרצ או עבודה, טרם החלטתי).
לסיכום: כנראה שכדי לנתח סקרים כראוי צריך להבין גם בסטטיסטיקה וגם בפוליטיקה. אתה כנראה טוב בסטטיסטיקה, אבל לא פרשן פוליטי.

אסי  [אתר]  בתאריך 2/24/2006 7:03:00 PM

תודה

תודה. אולי תהיה מוכן לשקול הוראה מתקנת בביוסטטיסטיקה לרופאים?
נראה לי שכולנו זקוקים לקצת תיקון
אסי

משוטט  בתאריך 2/24/2006 7:04:24 PM

בקשר לכמה דברים

"מוצהר כי מדובר במדגם הסתברותי אקראי המהווה מדגם מייצג של הציבור הבוגר (גם ערבים?)."
בעיתונים אחרים שמפרסמים סקרים בדר"כ נאמר כי המדגם מייצג את "האוכלוסיה היהודית הבוגרת (18 ומעלה)", ועל אף שלא מצויין מי היא האוכלוסיה הנבדקת במקרה זה, נראה לי שגם כאן מדובר רק ביהודים. מה שככל הנראה מוריד מאחוז האנשים שתומכים בימין. בנוסף צריך לציין שבמגזר הערבי אחוז ההצבעה נמוך מהאחוז באוכלוסיה הכללית, אז ישנו שינוי, אבל קטן.
סתם אנקדוטה: מישהו סיפר/כתב/אמר לי (אולי תגובה לכתבה ב"הארץ" שאתה הפנת אליה) שהתקשרו אליו וכששאלו אותו מי הוא היה רוצה לבחור בתור ממשלת ישראל: עמיר פרץ, בנימין נתניהו או אהוד אולמרט, אז הוא ענה אף אחד מהם. הוא אמר שהוא יעדיף איש עסקים שהצליח לגרום לעסק שלו לצמוח כלכלית ואז הסוקר צחקק וטען שהוא כנראה לא הבין את השאלה…
לפעמים כשנשאלת שאלה סגורה (אמריקאית שכזו) מקבלים תשובה שהיא כלל לא נכונה. נניח אם הייתה שאלה "פתוחה", אז אנשים היו בוחרים מישהו שלדעתם צריך להבחר ואילו בשאלה רב-ברירתית סגורה, אנשים יסתפקו באיזו ברירת מחדל שהם לא באמת רוצים. דוגמא לשאלה כזו יכולה להיות "האדם הכי יפה" או מוכשר או מכניס איטריות באוזן אחת ומוציא מן השניה הכי טוב. כשעיתונים מפרסמים "האדם היפה בתבל" שכאלו, אני תמיד חושב שאני אישית מכיר אנשים בסביבתי הקרובה שאני חושב שנראים הרבה יותר טוב מחלק גדול מאנשים באותה רשימה.
וליוסי: אתר מצוין! הרשימות שלך פשוט מהנות לקריאה.

אילן  בתאריך 2/25/2006 12:12:26 PM

גם ב"הארץ" וב-ynet מצפצפים על החוק 🙁

עוד יותר גרוע:
http://www.ynet.co.il/articles/0,7340,L-3220525,00.html

יוסי לוי  [אתר]  בתאריך 2/25/2006 1:45:36 PM

תשובה לנועם

לא התיימרתי להיות פרשן פוליטי, ואין ברשימה הזו הבעת דעה פוליטית.
ייתכן כי ההבדל בין 50% התמיכה בימין כאן ל-35% תמיכה בסקרים אחרים מלמד שכוחו של גוש הימין גבוה יותר ממה שמשתקף בסקרים אחרים.
ההתייחסות שלי היא לסקר עצמו, ולסתירה בין תוצאותיו ובין הפרשנות שניתנה להן.

זוריק  בתאריך 2/26/2006 9:46:54 AM

אני תמיד נהנית

יוסי יקר,
לא תמיד אני מגיבה (האמת היא, כמעט ואיני מגיבה כלל)
אבל זה לא אומר שאנחנו לא קוראים (והנה עברתי ללשון רבים)
ולא סתם, ממש ממש נהנים
ואפילו משרבבים פה ושם ציטוטים ממך, בשיחות עם החבר'ה
תענוג
תודה, חיוך, וקריצה
בבניין ציון הנהרסת ננוחם
זוריק

פרופ'  דן כספי פרסם בשבוע שעבר מאמר ב-Ynet בעקבות תחקיר ערוץ 10 על מכוני הסקרים. כספי, שביקש כנראה לייצר מאמר פרובוקטיבי, נתן לו את הכותרת "מי יתבע את הסוקרים?".  כספי אמנם נסחף קצת במסקנותיו, אך מעלה גם מספר נקודות חשובות.

ראשית, אבהיר כי לא ראיתי את התחקיר, ולכן איני יכול להתייחס לתחקיר ישירות. האינפורמציה היחידה שיש לי אודות התחקיר היא ממאמרו של כספי עצמו. למיטב הבנתי, התחקיר חשף ליקויים בתהליכי איסוף המידע והפיקוח על המראיינים האוספים אותו. המראיינים "אינם מקצועיים", היו מקרים שבו מראיינים זייפו תשובות לשאלונים כדי להשלים את מכסת השאלונים הדרושה, וכן היו ראיונות חוזרים עם אותם מרואיינים. לצורך הדיון, אני מניח שכל ההאשמות שהועלו בתחקיר וכספי תיאר במאמרו הינן נכונות.

אולם, חלק ממסקנותיו של כספי מרחיקות לכת. התחקיר, טוען כספי, "מעורר סימני שאלה כבדים על איכות השלטון בארץ". איזה סימני שאלה בדיוק? מה לאיכות השלטון ולסקר לקוי? כספי מסביר: "הסקר הפך לא מכבר לאחד המכשירים המרכזיים בזירה הפוליטית. על פי ממצאיו, פוליטיקאים ותועמלנים גוזרים גורלות אישיים… ואף החלטות הרות גורל". ובכן – האם הבעיה היא בסקר, או במי שמשתמש בו? למי עלינו לבוא בטענות? ובכן – עלינו לבוא בטענות לפוליטיקאים שגוזרים גורלות על פי תוצאות הסקרים, ולעצמנו – כי אנו, ציבור הבוחרים, בחרנו בפוליטיקאים אלה.

אולם כספי מעלה גם עניין חשוב – והוא העניין האתי. כספי טוען, וכנראה בצדק מסויים, כי האתיקה המקצועית אינה נר לרגליהם של חלק ממכוני הסקרים. שיקולים עסקיים אכן עלולים להביא לקיצוץ בהוצאות, גם אם מדובר בפיקוח חסר על תהליך איסוף הנתונים ובפגיעה במהימנותם. תחקרי ערוץ 10 מצביע על כשלים אלה. כספי מספר כי נעשה בעבר נסיון לגבש תקנון אתיקה שיהיה מוסכם על כל מכוני הסקרים, אך לא הושגה הסכמה והנסיון נגנז.
אני יכול להוסיף לכך כי לפני כ-12 שנה ניסה האיגוד הישראלי לסטטיסטיקה, שנשיאו אז היה פרופ' גד נתן מהמחלקה לסטטיסטיקה באוניברסיטה העברית, לגבש תקנון אתיקה לסטטיסטיקאים. האיגוד קרא לסטטיסטיקאים ולמכוני המחקר במגזר העסקי להודיע על אימוץ התקנון והתחייבות לפעול לפיו, אולם היוזמה הזו גוועה בסופו של דבר. הכללים אכן נמצאים באתר האיגוד הישראלי לסטטיסטיקה, אולם לא ברור מי אכן אימץ כללים אלה. חיפוש באינטרנט אחרי צירוף המלים "אתיקה" ו-"סטטיסטיקה" מוביל בסופו שלח דבר אל כללי האתיקה של הלשכה המרכזית לסטטיסטיקה, שאכן מבוססים על אותם כללים שנוסחו ע"י האיגוד הישראלי לסטטיסטיקה באמצע שנות התשעים.

אני מצטרף לדעתו של כספי, וקורא לאיגוד הישראלי לסטטיסטיקה לחדש את היוזמה הזו. האם הנושא צריך להיות מעוגן בחוק – כפי שדורש כספי? ייתכן, אך התשובה לכך אינה חד משמעית, וחורגת מתחום הדיון הנוכחי. אציין רק שאין טעם בחקיקת חוק אם החוק לא ייאכף.

כספי מצביע על חוק אחד שאינו נאכף – תיקון מספר 22 לחוק הבחירות (דרכי תעמולה) קובע כללים ברורים לאופן פרסום תוצאות סקרי בחירות, ולמידע שעל הסוקר למסור יחד עם תוצאות הסקר. מעיון בסקרים שונים המפורסמים באמצעי התקשורת, המידע הנמסר הינו בדרך כלל חלקי בלבד, ולא עונה על דרישות החוק. ובכל זאת, לא ידוע לי על מקרה יחיד בו אכפו חוק זה.

ובכל זאת, דברי הסיכום של כספי מוגזמים. הוא מדבר על "נזקי הסקרים האם כספי ידבר על "נזקי הרפואה" באופן גורף בגלל רופאים בלתי מקצועיים?  הסקרים עצמם אינם גורמים נזק. הנזק נגרם על ידי סקרים בלתי מקצועיים, ועל ידי מי שמשתמש בתוצאותיהם לצורך קבלת החלטות. בניגוד למה שכספי טוען, יש מודעות ציבורית לכשלים הנובעים מפרקטיקה סטטיסטית לקויה. אני סבור כי יש לחדד את המודעות הזו, על ידי קידום נושא תקנון האתיקה לסטטיסטיקאים, ויידוע הציבור על הגופים המקצועיים שהתחייבו לאמץ אותו.

ומי צריך לתבוע את הסוקרים? מובן מאליו – הלקוחות שלהם, אם הם סוברים כי ספקי השירות התרשלו.

פורסם לראשונה באתר "רשימות" בתאריך 20 בפברואר 2006 שם התקבלו 2 תגובות

שקדיה  [אתר]  בתאריך 2/20/2006 9:46:55 AM

חוסר מקצועיות אינה תמימות

מכוני סקרים נבחנים במהיימנות הסקרים והמחקרים שהם מנפיקים. מאחר ולסקרים יש השפעה על דעת הקהל (בעיקר בזמן בחירות, ובעיקר על הקול הצף), המשמעות היא שסקר "משופץ" אינו תמים, אלא מגמתי. מטרתו להשפיע על הבוחרים באופן שיקרי.

אורן  [אתר]  בתאריך 2/20/2006 10:59:18 AM

מה שאני לא מבין

זה איך כוחות השוק לא מעיפים את הסוקרים הביתה. כאשר סקר נעשה בצורה רשלנית/לא אתית אזי התוצאות מדברות בעד עצמן וצרכן הסקרים כלומר העיתן, הציבור או מזמין הסקר יכול לבחון את תוצאות הסקר אל מול תוצאות האמת.
איך זה שסוקרים שנכשלים בחיזוי פעם אחר פעם ממשיכים לשווק את מרכולתם ויש לא מעט קונים. לכאורה היו צריכים להישאר בשוק רק אותם סוקרים רציניים שמגדירים נכון את מרחב הדגימה ובונים את שיטת הדגימה בהתאם.
זו פשוט חידה ואולי כדאי להזמין סקר בנידון.

במאמר שפרסם אתמול ב"הארץ", מגיב פרופ' שלמה יצחקי, ראש הלשכה המרכזית לסטטיסטיקה, להתקפות על אמינות נתוני דו"ח העוני, שהושמעו על ידי כתבים כלכליים שונים. להלן עיקרי דבריו:

כותב יצחקי, בהתייחסו לטענות הפרשנים כי התרשמותם האישית אינה עולה בקנה אחד עם הנתונים הסטטיסטיים: "האינטואיציה של אדם ומראה עיניו משמשים מדריך גרוע, שהרי בדרך כלל אדם נפגש עם הדומים לו ובחברה מגוונת מעטים הם האנשים שנפגשים בצורה מאוזנת עם כל שכבות החברה."

יצחקי גם מצביע על הצביעות של הכתבים, המאמצים רק את הנתונים הנוחים להם: "נתון שנכנס ללמ"ס משמש בסטטיסטיקות שונות, כך שאי קבלת נתוני העוני כנכונים צריכה לחייב גם באי קבלת נתוני הצמיחה של המשק כנכונים. שניהם מתבססים על אותם מקורות".

יצחקי עונה גם ישירות לטענות שהפריח נחמיה שטרסלר במאמריו. לגבי הטענה כי הנסקרים משקרים באופן קבוע, עונה יצחקי את המובן מאליו: "אין זה הוגן להטיל דופי באוכלוסייה המדווחת ללמ"ס כאשר אין שום ממצא המוכיח שאינה מדווחת נכונה.". וגבי הטענה כי "הסוקרים מקבלים את דברי הנסקרים כתורה מסיני בלי בדיקה ואימות", מבהיר יצחקי כי הנתונים עוברים ביקורת ושיפוט והשוואה למקורות אחרים, ושלבים אלה נעשים בלמ"ס בסדרת תהליכים מובנים ומבוקרים המפורטים בפרסומי הלמ"ס.

כאשר הסטטיסטיקן הראשי אמר בעבר דברים שלא היו מקובלים על דעתי (שגם הם היו קשורים, אגב, לנתוני ההכנסות והעוני), לא היססתי למתוח עליו ביקורת באתר זה. אני שמח לכן להביע את תמיכתי המלאה בתשובות הנחרצות שהשיב פרופ' יצחקי לביקורת המופרכת שהושמע לאחרונה על ידי אנשים כשטרסלר, וימן ואלמוג, שעולות בקנה אחד עם הדברים שכתבתי כאן לאחרונה ("בעיית העוני? איזה בעיה?" -  22/1/2006, "דו"ח העוני – הרהורים בעקבות ההרהורים" 28/1/2006).

פורסם לראשונה באתר "רשימות" בתאריך 8 בפברואר 2006שם התקבלה תגובה אחת

מרק ק.  בתאריך 2/8/2006 9:08:45 AM

המביא דבר בשם אומרו בלי לסלפו …

יש להבחין בין טיב נתונים להגדרות. הגדרת העוני אינה בתחום האחריות של הלמ"ס אלא של המוסד לביטוח לאומי. עם זאת, כדי להבהיר את דעתי על נתוני העוני ואת הסתייגותי משיטת מדידתו העליתי את הנושא בצורה הפרובוקטיווית ביותר שעלתה על דעתי, בעת הצגת השנתון הסטטיסטי לעיתונאים הכלכליים. אמרתי שם, שכל שנה אני מתפלל שמספר העניים הנמדד יגדל, שהרי שהמקרה הסביר שבו מספר העניים אמור לקטון באופן שיטתי הוא אם תהיה חס וחלילה ירידה גדולה מהארץ. זאת, כי גידול במספר העניים, בשיטת המדידה הנהוגה על ידי המוסד לביטוח לאומי, נובע בעיקר מגידול האוכלוסייה, דבר שאנו מברכים עליו. "הארץ" לא טרח לפרסם ניתוח זה. על כן התפלאתי לראות שטל מאשים את הלמ"ס כי היא "נאלמת דום כי היא ספקית הנתונים המפוקפקים".
נתוני העוני אינם סובלים מאי אמינות. קיימות בעיות הקשורות להגדרת העוני, ובעיה עוד יותר מהותית – האם הנתונים המתפרסמים הם הנתונים הרלוונטיים למדיניות הטיפול בבעיית העוני.

לפני שבוע חזרתי מהועידה השנתית לסטטיסטיקה יישומית ע"ש דמינג, הנערכת מדי שנה בשבוע הראשון של דצמבר. למרבה האירוניה, מיקום הועידה הוא במלון טרופיקנה שבאטלנטיק סיטי, עיר ההימורים שבדרום מדינת ניו-ג'רזי, שבו נמצא גם הקזינו הגדול ביותר בעיר. הועידה הייתה מוצלחת ביותר, ורכשתי בה ידע רב שיועיל לי בעבודתי בתעשיית פיתוח התרופות. יתר על כן, מבחינה חינוכית, הביקור בקזינו היה מעניין ביותר – זו הייתה הפעם הראשונה שביקרתי במקום כזה, ותמיד מעניין לראות איך אפשר לעשות כסף גדול תוך כדי שימוש בסטטיסטיקה.

מלבד שיטוט בבתי קזינו והאזנה להרצאות על סטטיסטיקה יישומית, אין עוד הרבה מה לעשות באטלנטיק סיטי, שהיא עיר מכוערת ומשעממת בעיני. בכל העיר אין אפילו חנות ספרים נורמלית אחת, ולכן ערב אחד, לאחר סיום תכנית הכנס היומית, נסעתי אל חנות הספרים הקרובה ביותר, סניף של רשת Border's שנמצא כ-20 מייל ממערב למרכז העיר. חזרתי כשבאמתחתי שני ספרים מדוברים. הספר הראשון הוא Freakonomics, או בעברית: "חלחלה". כותרת המשנה אומרת: "כלכלן נודד מביט אל הצד האפל של כל דבר". הספר שנכתב ע"י פרופ' סטיב לויט מאוניברסיטת שיקגו  והעיתונאי סטיבן דאבנר מהניו-יורק טיימס, אכן עוסק בנושאים "אפלים" כגון הכלכלה של סחר הסמים והונאות בבחינות ותחרויות סומו. לויט נעזר רבות בסטטיסטיקה כדי להגיע למסקנותיו, אך גם נכשל לפעמים בכשלים סטטיסטיים. אקדיש לספר רשימה בעתיד הלא רחוק. בינתיים, אתם מוזמנים לעיין באתר הספר, בו כותב לויט בלוג משלו, ומביא קישורים לטור שלו בטיימס.

הספר השני אותו רכשתי הוא Moneyball, מאת מייקל לואיס. כותרת המשנה של הספר היא "אמנות הנצחון במשחק לא הוגן". הספר מתאר שנה בחייו של בילי בין, מנהל קבוצת הבייסבול המקצוענית אוקלנד אייס. בעזרת תקציב מהקטנים בליגה (כ-40 מליון דולר "בלבד"), הצליח בין להעמיד על המגרש קבוצת בייסבול שהתמודדה בהצלחה עם קבוצות בעלות תקציב גדול בהרבה (תקציב הניו-יורק יאנקיס בשנה שעבר היה מעל 200 מליון דולר). איך בין עושה זאת? על ידי שימוש יעיל ביותר בנתונים סטטיסטיים, שאיפשרו לו לאתר שחקנים זולים בעלי פוטנציאל גבוה. גם לספר זה אקדיש רשימה בעתיד (לאחר שאקרא אותו, כמובן).

ועתה לסקרת. מדובר כמובן בקדחת הסקרים שמפעפעת כל השנה, אך מתגברת עם התקרבות הבחירות. במילה "סָקֶרֶת" נתקלתי השבוע פעמיים. פרופ' גבי וימן כותב על כך במאמר חריף בהארץ, בו הוא מאשים את התקשורת ועורכי הסקרים בחוסר אתיקה מקצועית והתעלמות מדרישות החוק. חלק מטענותיו של פרופ' וימן מוצדקות, אם כי לדעתי האשמותיו גורפות מדי ועושות הכללות מסוכנות. בנוסף, מתעלם פרופ וימן מבעיות נוספות שיש בתחום הסקרים בישראל ובפרט. הקדשתי כאן  מספר רשימות שסקרו את הבעייתיות שבסקרי דעת הקהל הנערכים בקרב הציבור (להשיב או לא להשיב, בחירות 1936 – המנצח שלא היה, הרהורים בין כרכור לסינגפור (א) ) ואני ממליץ שוב לכולכם לקרוא שוב את המדריך לצרכן הסקרים שהופיע ב"סלייט" לפני כשנה  ואת המאמר על סקרי דעת קהל שהופיע באתר של מכון שריד.

מי שמודע בהחלט לכל ההטיות האפשריות בסקרי דעת קהל הם אנשיו של משה פייגלין, המתמודד בפריימריז על ראשות הליכוד. בעדכון השבועי שבאתרו מתאריך 1.12.2005, מביאים אנשיו של פייגלין את תוצאות אחד מהסקרים שנערכו לקראת הפריימריז האלה, ומצביעים על הבעיות האפשריות שיכולות להביא להטיה בתוצאות הסקרים  – אי יציבות במערכת הפוליטית ובדעת הקהל, אי התאמה אפשרית בין אוכלוסית המדגם והאוכלוסיה בפועל, וטעויות דגימה אפשריות שגודלן לא תמיד ידוע.

פורסם לראשונה באתר "רשימות" בתאריך 17 בדצמבר 2005שם התקבלו 3 תגובות

עזי  בתאריך 12/17/2005 4:19:06 PM

*ה*בעיה עם הסקרים

יוסי, בנוסף לבעיות שמנית או הזכרת — הבעיה המרכזית, לדעתי, שעצם פרסום תוצאות הסקרים — בין מדוייקים אם לאו, מוטים או בלתי-מוטים — משפיע בצורה מהותית, בעיקרון, על התנהגות אנשים בנוגע לנושא הסקר. מה שמסבך עוד יותר את העניין הוא שאין אנו יודעים *מהי* ההשפעה (גודלה וכיוונה), ויתכן ואף אין בעצם כלל לגבי זה…
תוצאות סקר בחירות, למשל, אפילו אם הסקר נעשה על מדגם גדול ומייצג היטב את אוכלוסיית המטרה, יכול להשפיע על בוחרים שלא ללכת להצביע (שכן התוצאות ידועות מראש, כביכול…), או לשנות את דעתם לכיוון הרוב (ע"מ להיות נורמטיבי), או דווקא להיפך מכיוון הרוב (כדי להיות נונקונפורמיסט או "סתם" מיוחד), או כל מיני השפעות אחרות…
וזוהי אמנם אחת המטרות בפרסום תוצאות סקרים — לא רק לתת אומדן למי שעומד לבחירה בקשר לכוחו ולפלחי אוהדיו/מתנגדיו, אלא להשפיע באמצעות פרסום זה על האנשים באורח מניפולטיבי ויזום בכיוון זה או אחר… כלומר, אם נשתמש באנאלוגיה רפואית, ההסקר אינו מהווה בהכרח מכשיר לאיבחון אלא כחלק מהטיפול…
הבעייתיות בכך נעוצה הן בפן האתי, כמובן, אך לא פחות גם בפן הענייני לכשעצמו, שכן ניבוי השפעת המניפולציה יכול להביא לנזק דווקא (כמו שגם רופא היה טוען לגבי המצב הרפואי האנאלוגי).

יובל  בתאריך 12/18/2005 11:18:24 PM

חלחלה

תרגום מקסים של השם. הצעה שלי לתרגום כותרת המשנה:
כלכלן ארחי-פרחי מביט אל הצד האפל של כל דבר
אגב, באחד המאמרים בבלוג מתואר סטיבן לויט כמי שהצליח מאד ככלכלן למרות (או בגלל) חולשתו המתמטית יחסית לסטודנטים שלמדו איתו.

מאיר  בתאריך 12/22/2005 2:13:59 PM

אני מסכים עם עזי

לדעתי הסקר הכי משפיע הוא הסקר הראשון שנעשה לאחר מקרה שקורה. לדוגמא הסקר שניבא למפלגת "קדימה" 40 מנדטים מיד לאחר הקמתה הוא הסקר שישפיע הכי הרבה. מדוע? כי אנשים באותו זמן התלבטו לגבי בחירתם והנה מופיע סקר שקובע ש"קדימה" תקבל 40 מנדטים. אותם אנשים ינהרו מיד אחרי המפלגה שהרי היא תהפוך להיות הרוב והם יהפכו להיות אנשים משפיעים ומקובלים חברתית. גורם נוסף של אותם סקרים הוא פגיעה במפלגות קטנות – מפלגות קטנות שקיבלו באותם סקרים 3-4 מנדטים עלולות לא לעבור את אחוז החסימה מפני שאנשים יעדיפו להמר על סוס מנצח ולא ירצו להצביע למפלגה שמקומה בכנסת לא מובטח.
כאמור אלו הן השערות אך אשמח לשמוע תגובות על כך.

בפורום  תרבות עברית בתפוז מתנהל דיון תחת הכותרת "אני בסטטיסטיקה". סיכום קצר: חברי הפורום מתפארים ומתגאים בסירובם לשתף פעולה ולענות לסוקרים, ואף מספרים כיצד הם מכשילים את הסוקרים בכוונה תחילה. להלן כמה ציטוטים:

• לא רוצה לתת עוד מידע לאח הגדול
• זה כיף לא לענות על חלק מהשאלות, סתם ככה… מאז ומתמיד אני עונה רק על שלוש עד ארבע שאלות מכל שאלון, למה? ככה. זה מצחיק אותי, זה משעשע אותי לחשוב אם כתוצאה מכך נזרק השאלון שלי, איך הדיוק ממלאים במקומי את השאלות החסרות ועוד ועוד
• אני אומר להם על ההתחלה שהתשובה שלי לכל השאלות היא "כן". ושיעבירו לאח הגדול מ'כפת לי?

והאמת – הדיון כאן הוא לא באמת על סטטיסטיקה, אלא על התרבות שלנו.

בשנת 1981 עלה ממדגם הבחירות שערך חנוך סמית עבור הטלויזיה הישראלית (אז היה רק ערוץ אחד) כי מפלגת העבודה ניצחה בבחירות. הנדגמים התבקשו להצביע בקלפי המדגם בדיוק כפי שהצביעו דקות אחדות קודם לכן בקלפי האמת.

שעות אחדות לאחר פרסום תוצאות המדגם, התברר כי תוצאות האמת בקלפיות ששותפו במדגם שונות באופן משמעותי מהתוצאות של קלפיות המדגם. כלומר – אנשים אשר הצביעו לליכוד בבבחירות, הצביעו בקלפי המדגם למפלגת העבודה. במלים אחרות: הם שיקרו לסוקרים. מה הם השיגו בכך? הם "דפקו" את הטלויזיה ואת חנוך סמית – שייצגו בעינהם את הממסד. הם גם הצליחו לגרום לשמעון פרס עוד מפח נפש אחד – שנאלץ לספוג את הפסדו בבחירות לאחר שכבר הוכרז כראש הממשלה הבא. כמו שנאמר – אין שמחה כמו שמחה לאיד.

יש הבדל גדול בין אנשים שאינם מעוניינים לשתף פעולה עם סוקרים, יהיו סיבותיהם אשר יהיו, ובין אלה המנסים להטעות בכוונה תחילה את עורכי הסקרים. אי שיתוף פעולה פאסיבי הוא אכן בעיה שעלולה לגרום להטיות חמורות בתוצאות המדגם (המקרה המפורסם ביותר הוא כנראה סקר הבחירות לנשיאות ארה"ב ב-1936 בהן התמודדו רוזוולט ולנדון). לא נעים, אך אין ברירה, ויש דרכים להתמודדות עם בעיה זו.

בבחירות האחרונות, לכנסת ה-16, שנערכו ב-2003, נתקלו מספר סוקרים, ובינהם פרופ' קמיל פוקס, בתופעה המוזרה הבאה: מספר האנשים שהצהירו כי בבחירות הקודמות (אלה של שנת 1999) הצביעו לליכוד, גדול באופן משמעותי מהצפוי. על פי ההצהרות, הליכוד היה אמור לזכות בבחירות 1999 בכ-30 מושבים בכנסת, בעוד שבפועל הוא זכה ל-19 מושבים בלבד. כלומר: הנסקרים של 2003 לא אמרו אמת, במודע או שלא במודע, לגבי אופן הצבעתם בבחירות של שנת 1999.

פרופ' פוקס, מבכירי הסטטיסטיקאים בארץ, פיתח שיטה סטטיסטית שהצליחה לתקן את ההטיה שנגרמה עקב דיווחים לא נכונים אלה, והצליח לחזות את תוצאות הבחירות של 2003.

נסיונות להטיה מכוונת  של תוצאות הסקר הם אופרה אחרת לגמרי. מטעי הסוקרים מתנהגים כטרולים באינטרנט: הם מנסים לגרום נזק לשם ההנאה שבדבר. דבר כזה עלול לגרום לפגיעה באנשים (גם אם מדובר "רק" במפח נפש שמעון פרס), ואף לנזקים כלכליים ונזקים אחרים שעלולים להגרם עקב החלטות המתבססות על אינפורמציה מוטעית. הטיעון שיקפוץ מייד: "אז שלא יסתמכו על סקרים" אינו קביל. הממשלה מקבלת החלטות רבות על סמך אינפורמציה הנאספת על ידי הלשכה המרכזית לסטטיסטיקה – והחלטות מוטעות עלולות לגרום נזק לכל אחד מאיתנו. גם גופים פרטיים ראויים ליחס מכובד. אני לא חושב שמישהו מהמגיבים המכובדים בפורום, שצוטטו למעלה, היו מעלים בדעתם להכשיל אדם עיוור המגשש את דרכו ברחוב, בטיעון "שלא יסמוך על האנשים".

פורסם לראשונה באתר "רשימות" בתאריך 10 בפברואר  שם התקבלו 7 תגובות

אתגר  בתאריך 2/10/2005 11:26:00 PM

איזה שיטות טובות מומלצות

בשאלונים כדי למנוע תופעות כאלו, או לפחות לזהות אותן?

אודי  בתאריך 2/11/2005 5:16:59 PM

הזכות להרוס סטטיסטיקה

האדם המודרני מוצף בשאלות סקרים. אני חושב שפועל פה גם מנגנון טבעי דומה לזה שגורם לעובדים (במודע או שלא במודע) לחבל בציוד המשרדי (כ10% מאובדן הציוד מבחינה סטטיסטית הוא תוצאה של וונדליזם פנימי). כאשר מגיע מכון מחקר לשאול אותי על הרגלי הצריכה שלי, סביר להניח שמידע זה ישמש את הפרסומת הבאה, אנו בעצם עוזרים לבנות פרופיל נפשי של החברה לפני המותגים, מכיוון שאפשר להתייחס אל רוב הפרסום המודרני כדיסאינפורמציה, אני חשוב שזה תוצאה של דואליות בתהליך, אנחנו פשוט מחזירים בכלי היחיד שיש לנו.

יוכי  [אתר]  בתאריך 2/12/2005 10:28:40 AM

במלחמה

גם סטטיסטיקה היא עניין של פוליטיקה.ובמלחמה (פוליטית) כמו במלחמה: כל החטאים כשרים, גם חטא ההטעייה. מכיוון שתוצאות הסקרים משמשים כלי להשגת מטרות פוליטיות (כדי לקבוע מי יהיה "המועמד", למשל, או לקבוע אסטרטגית פעולה וכיו"ב) – אז הנסקרים עושים בו שימוש דומה, אבל הפוך.
גרימת נזק לשם נזק היא כבר סיפור אחר, כמו שאודי הגדיר: וונדליזם פנימי.

אלון  בתאריך 2/19/2005 7:20:14 PM

הדור הבא?

גם בבחירות האחרונות לנשיאות בארצות הברית
הראה אותה הטייה. קרי אמור היה לקחת בקלות.. כבר שכחתם? יתכן ששיטות הסקירה הקיימות פושטות את הרגל. מה דעת המומחים?

דובי קננגיסר  [אתר]  בתאריך 5/24/2007 7:47:09 PM

פסססט! לא היו בחירות ב-2000

היו בחירות או ב-99', או ב-2001 (לראשות הממשלה בלבד).

יוסי לוי  [אתר]  בתאריך 5/25/2007 9:05:01 AM

לדובי

תודה, תוקן.

פרנקלין ד. רוזוולט - הנשיא המכהן, מתמודד על כהונה שניה

בשנת 1936 פרנקלין ד. רוזוולט סיים את כהונתו הראשונה כנשיא ארצות הברית, והעמיד עצמו לבחירה לכהונה שניה. מולו התמודד אלפרד מ. לנדון, מושל קנזס, נציג המפלגה הרפובליקנית. 

לקראת הבחירות ערך המגזין Literary Digest סקר שנועד לחזות את תוצאות הבחירות. ה-Digest ערך סקרי בחירות בקביעות החל מבחירות 1916, ותמיד הצליח לחזות את תוצאות הבחירות בדיוק רב. תוצאות הסקר של 1936 , שהתבסס על 2.4 מליון משיבים, חזו כי לנדון יזכה ב-56% מכלל הקולות, ובתפקיד הנשיא הבא של ארצות הברית.

אלפרד לנדון - המועמד המוביל בסקרים

המציאות הייתה שונה, כידוע. רוזוולט זכה ב-62% מהקולות וגרף את האלקטורים של 46 מדינות, ובינהן גם קנזס, מדינתו של לנדון. לנדון הסתפק ב-8 אלקטורים בלבד. מה קרה? מדוע סקר הבחירות הגדול ביותר שנערך אי פעם הניב תוצאה כה שגויה? כדי להבין זאת, עלינו לדעת כיצד נדגמו המשיבים.

ובכן, המגזין שלח שאלונים לבתיהם של 10 מליון מצביעים פוטנציאליים, וביקש מהם לשלוח בדואר חוזר את אופן הצבעתם. 7.6 מליון מהנמענים לא טרחו לענות. שיעור התגובה לסקר היה 24% בלבד. המשיבים נבדלים מהלא משיבים בכך שהשיבו לסקר, כמובן, אך הנסיון שהצטבר מאז הראה כי הבדל זה משקף הבדלים נוספים. האם אותם 2.4 מליון משיבים מייצגים את 10 מליון המצביעים אליהם נשלח שאלון הסקר? ככל הנראה לא.

אחד מ-10 מליון השאלונים שנשלחו בסקר הבחירות שערך ה-Literary Digest ב-1936

בעיה נוספת, חמורה יותר, נבעה מרשימת הנמענים. כיצד תשיגו שמות וכתובות של 10 מליון איש? ה-Digest השתמש בספרי הטלפונים וברשימות של חברי מועדונים. ב-1936 היו בארצות הברית 12 מליון טלפונים, ו-9 מליון מובטלים. אפשר להניח כי רשימת המובטלים הייתה שונה למדי מרשימת בעלי הטלפונים, וכי דעתם של בעלי הטלפונים וחברי המועדונים בענייני כלכלה שונה מדעת המובטלים. הסקר של המגזין דגם באופן שיטתי מצביעים שמצבם הכלכלי היה טוב, ולכן לא בהכרח תמכו במדיניותו של הכלכלית של רוזוולט.

שיטת הסקירה של ה- Literary Digest שפעלה היטב במשך 5 מערכות בחירות, כשלה בפעם השישית. כל עוד מערכות הבחירות לא נסבו על עניינים כלכליים, ההטיה במדגם לטובת העשירים לא גרמה לעיוות התוצאות – שכן בעניינים של מדיניות חוץ אין בהכרח הבדלי דיעות משמעותיים בין עניים לעשירים. כאשר נושא הבחירות היה כלכלי, הסקר חזה היטב את אופן הצבעתם של העשירים, אך לא לקח בחשבון את דעתם של העניים והמובטלים שהכריעו את הבחירות ההן.

ה-Literary Digest פשט את הרגל וחדל לצאת לאור זמן קצר לאחר בחירות 1936, וגם שיטת הדגימה שלו חלפה מן העולם. על עולם הסקרים השתלט ג'ורג' גאלופ, שבעזרת מדגם של 50000 איש בלבד חזה את נצחונו של רוזוולט, ובמדגם נוסף של 3000 איש בלבד חזה גם את הטעות של ה-Digest. שיטת הדגימה החדישה שפיתח גאלופ תשלוט בעולם הסקרים עד 1948.

פורסם לראשונה באתר "רשימות" בתאריך 4 בנובמבר 2004 שם התקבלו 3 תגובות

במגזין slate הופיע (כבר לפני שבוע, למען האמת) מדריך לצרכן הסקרים – הסוקר בפירוט את כל הגורמים העלולים לעוות את תוצאותיו של סקר בחירות.

פורסם לראשונה באתר "רשימות" בתאריך 4 בנובמבר 2004

אתמול הייתה תכנית הסיום של הסדרה.

חיים הכט טען לאורך כל שאפשר לשנות את המציאות בישראל, ואתמול בחר להביא כדוגמא את כביש חוצה ישראל. בין היתר טען כי הטענה שלו מוכחת על ידי "המדגם הגדול ביותר שנערך בארץ … מיליון ורבע נבדקים… במדגם כזה אין טעות סטטיסטית" (הציטוטים הם מזיכרוני וייתכן שאינם מדוייקים).

בהמשך הוא הסביר למה התכוון: המיליון ורבע הם מיליון ורבע נסיעות שבוצעו בכביש 6 מאז פתיחתו, 95% מהנוסעים בכביש שילמו את אגרת הנסיעה.

מה קורה כאן?

ראשית, הכט מתייחס לאוכלוסיה אחת, שהפרטים בה הם נסיעות, ומסיק ממנה לגבי אוכלוסיה אחרת – אוכלוסיית אזרחי ישראל.

ואם הוא מעוניין בנהגים שביצעו את הנסיעות הרי שמספר הנהגים קטן בוודאות ממספר הנסיעות בכביש. אז יש כאן מדגם עם חזרות. אבל זו בעיה שהסטטיסטיקה יודעת להתמודד עימה.

אבל הבעיה העיקרית היא שקבוצת הנהגים שהשתמשו בכביש חוצה ישראל אינה מהווה מדגם אקראי של קבוצת הנהגים הישראלים – שהרי רובם ככולם בחרו במודע לנסוע בכביש שהנסיעה בו כרוכה בתשלום. אני סבור שקבוצה זו אינה מייצגת את קבוצת הנהגים בישראל, ואם הכט חושב אחרת, עליו להסביר מדוע. הכט נופל במלכודת הגודל – בדגימה הגודל הוא לא הגורם היחידי שקובע. במדגם מוֱּטה, גודל מדגם גדול רק יעצים את הטעות המובנה בהטייה של המדגם.

השורה התחתונה – הטענה כי במדגם כזה אין טעות סטטיסטית היא בלתי נכונה ומטעה. נזק רב לא נגרם אמנם, שכן הכט לא טרח להסיק כל מסקנה סטטיסטית מהנתון שהציג – הוא בסך הכל הראה שמערכת אכיפה משוכללת ומשומנת, משולבת בעונשים דרקוניים  אכן תביא לציות לחוק (או יותר נכון, ל-95% ציות), וסביר להניח שזה יעבוד גם אם השיטה תורחב לתחומים ואוכלוסיות אחרות. בשביל זה באמת לא צריך סטטיסטיקה.

פורסם לראשונה באתר "רשימות" בתאריך 9 באוגוסט 2004 00:00 במדור מה אומרת הסטטיסטיקה שם התקבלו 2 תגובות