חיפוש באתר

קישורים

עמודים

קטגוריות

ארכיב עבור תגית סקרים

סטטיסטיקה רעה: מדגם לא מייצג

הסטטיסטיקה מבוססת על מדגמים. מדגם לא מייצג מוביל בדרך כלל להטיה בנתונים הנאספים ולמסקנות שאינן תקפות.

לרוב אין זה מעשי לאסוף את כל הנתונים הדרושים למחקר מסויים[1], ולכן יש להסתפק במדגם – כלומר בנתונים חלקיים. המדגם צריך לאפשר הסקה לגבי כלל הנתונים. אם המדגם אכן מאפשר זאת, המדגם הוא מייצג. מדגם לא מייצג, ברוב המקרים, לא מאפשר הסקה אמינה.

במקום לתת הסברים טכניים, אציג כאן מספר דוגמאות. רובן עוסקות בסקרים, אך הבעיות עלולות לצוץ בכל מיני יישומים אחרים (למשל דגימה של מוצרים מפס הייצור לצורך בקרת איכות, או ביצוע AB testing בקרב משתמשים, למשל עלי ידי הכללה של משתמשים חדשים בלבד).

נתחיל בסקרי בחירות. שתי דוגמאות מפורסמות הן סקרי הבחירות לנשיאות ארצות הברית ב-1936 (רוזוולט נגד לנדון) וב-1948 (טרומן נגד דיואי) .

ב-1936 ערך העיתון Literary Digest סקר שהקיף 2.4 מיליון משתתפים. זהו הסקר הגדול ביותר שנערך אי פעם. למעשה נשלחו 10 מיליון שאלונים, אך רק רבע מהנמענים השיבו. הסקר חזה ניצחון מוחץ ללנדון, אך רוזוולט הוא זה שנבחר. התברר שהמדגם לא היה מייצג. במדגם היו שתי בעיות. השאלונים נשלחו לאנשים שהופיעו ברשימות של חברי מועדונים ו/או בספרי טלפונים. ב-1936, רוב מוחלט של האנשים האלה היו עשירים. הסקר דגם אנשים עשירים באופן שיטתי. אנשים עשירים תמכו בלנדון. העניים, שהיו רבים יותר מן העשירים, תמכו ברוזוולט. בעיה נוספת בסקר הייתה שכשלושה רבעים מהאנשים אליהם נשלחו השאלונים לא השיבו. האנשים שלא השיבו שונים מאלה שהשיבו (הם הרי לא השיבו). ייתכן מאוד כי הם נבדלו מהמשיבים גם בהעדפותיהם הפוליטיות.

יש לציין כי סקרים קודמים שהעיתון ערך בשיטה זו חזו את המנצחים בבחירות, למרות שהמדגמים לא היו מייצגים[2]. זה קרה מכיוון שהנושאים המרכזיים בבחירות קודמות היו מדיניים ולא כלכליים, ובנושאים אלה אין הבדלים מהותיים בין עניים ועשירים.

מסקנה חשובה מהסקר של 1936: מדגם גדול לא עוזר להתגבר על הטיה באיסוף הנתונים. להיפך – הוא מעצים את ההטיה.

עם זאת, היה מי שחזה היטב את התוצאות ששל הבחירות האלה – ג'ורג' גאלופ, והוא עשה זו בעזרת מדגם של 50,000 נסקרים בלבד. גאלופ השתמש בשיטת דגימה שנקראת Quota Sampling. הסוקרים שלו יצאו לשטח וראיינו בעלי זכות בחירה. כך נמנע חלק גדול מבעיית חוסר ההשבה. כמו כן, הסוקרים קיבלו הוראות מדוייקות איך לדגום את המרואיינים. למשל, סוקר שנשלח לראיין 13 איש, הונחה לראיין 7 גברים ו-6 נשים. את 7 הגברים היה עליו לבחור כך ש-3 מהם יהיו מתחת לגיל 40 ו-4 מעל גיל 40, וכולי. כך קיבל גאלופ מדגם שייצג את אוכלוסיית הבוחרים בכל הפרמטרים שלפיהם נבנתה תכנית הדגימה: מין, גיל ופרמטרים נוספים. השיטה הזו עבדה יפה עד 1948. ב-1948 חזה גאלופ, על פי השיטה הזו, כי בבחירות לנשיאות המועמד הרפובליקני, דיואי, יביס את המועמד הדמוקרטי, טרומן. טרומן ניצח. מה קרה פה? הוראות הדגימה לא כללו פילוח לפי העדפה מפלגתית – הרי זה מה שהסקר ניסה לחזות. התברר כי לסוקרים היה הרבה יותר נוח לדגום רפובליקאים (בלי שיהיו מודעים לכך, כמובן). הסקר היה מוטה לטובת הרפובליקאים.

מה קרה בבחירות 2016, בהן הסקרים והמודלים חזו כי הילארי קלינטון תנצח את טראמפ בבחירות לנשיאות?[3] התשובה עדיין לא ברורה. החיזוי נעשה על פי מודלים ששקללו מספר רב של סקרי בחירות, מעין מטה-אנליזה. המודלים האלה פותחו לקראת בחירות 2012, וחזו בדייקנות את נצחונו של אובמה על רומני. הם כשלו ב-2016. יש ויכוח בין המומחים האם המודל היה מוטה כבר ב-2012, וחזה את ניצחון אובמה למרות ההטיה, או שמא המודל נפל קורבן להטיה ספציפית ב-2016.

ראינו קודם בעיה בסקר שנגרמה, בין השאר, כיוון שרוב הנסקרים הפוטנציאליים לא השיבו לשאלות הסקר. יכולה להיות גם בעיה הפוכה – אנשים שנלהבים להשיב לסקר. כך, למשל, קרה לבעלת הטור אן לנדרס, ששאלה את קוראיה שהינם הורים לילדים שאלה פשוטה: "לו הייתם חיים שוב את חייכם, האם שוב הייתם מביאים ילדים לעולם?" (קישור לקובץ pdf). היא קיבלה כ-10000 תגובות לסקר. 70% אמרו שלא. בסקר דומה שנערך על ידי המגזין Good Housekeeping, מספר חודשים לאחר מכן, שיעור משיבי ה-"לא" היה 95%. אני חושב שכאן ברור שהמדגם לא מייצג. סביר להניח שציבור הקוראים אינו מייצג את כל האוכלוסייה (מדובר בטור במדור שמיועד לנשים, ובמגזין לנשים). כמו כן, המשיבים לסקר לא נדגמו מתוך האוכלוסייה הכללית. הם בחרו להשיב לסקר. ייתכן מאוד כי בעלי הדיעה הקיצונית, משיבי ה-"לא", היו נלהבים יותר להשיב לסקר.

דוגמה היסטורית נוספת – מחקריו של אלפרד קינזי על מיניות האדם. אני חושב שאין חולק על כך שקינזי היה פורץ דרך במחקר תחום שנחשב בזמנו לטאבו. גם ממצאיו האיכותניים עדיין נחשבים כמשמעותיים, גם כאשר עברו יותר מ-60 שנה מאז פירסם את הדו"ח שלו על מיניות האדם. עם זאת, שיטות המחקר שלו היו שנויות במחלוקת, בלשון המעטה. אני אתייחס כאן רק למחקר הכמותי שביצע. קינזי הכיר בקיומה של הומוסקסואליות, גם אצל גברים וגם אצל נשים, ואף הבחין כי מדובר ברצף, ובנה סולם בן 7 דרגות, כך שרמת הנטייה המינית של כל אדם מבוטאת על ידי דרגה בסולם, שעדיין נמצא בשימוש. שאלה מעניינת, עד עצם היום הזה, היא איזה אחוז מהאוכלוסייה נמצא בכל שלב של הסולם? הנמצאים בשתי הדרגות של הסולם נחשבים כהומוסקסואלים (או לסביות). קינזי הגיע למסקנה כי  13% מהנשים ו-7% מהגברים נמצאים בדרגות האלה.[4] אולם המדגם של קינזי לא היה מייצג, ככל הנראה במודע. היה בו ייצוג יתר לאסירים ולזונות ממין זכר. גם העובדה כי רוב הנסקרים (והנסקרות) שלו היו מתנדבים הפחיתה מרמת הייצוג של הסקרים שלו. עקב כך, ממצאיו הכמותיים שנויים במחלוקת.

הדוגמה האחרונה שאביא היא מהמחקר שפירסם משרד האוצר בשנת 2004 על מה שכינה "שכר המינימום ונזקיו". החלק הכמותי/אקונומטרי של המחקר עסק בנתונים מתקופה של 11 שנים, מ-1993 ל-2003, וזאת למרות ששכר המינימום הונהג בישראל בראשית שנות ה-70. ה-"מדגם" שלהם לא מייצג, וזה נעשה במודע. החוקרים[5] הסבירו כי "תקופת המדגם נבחרה כך שלא תכלול את השינויים המבניים הגדולים שהתרחשו בתחילת שנות ה-90". במילים אחרת, הם התעלמו במכוון מתקופה של כ-20 שנה בהן היה נהוג שכר מינימום, ומהתובנות שעשויות לעלות מהנתונים הכלכליים של התקופה ההיא. אפשר לחשוב על הרבה סיבות נוספות לבחירה שלהם, מלבד הסיבה שהם סיפקו. לא אכנס כאן לספקולציות. כמו כן, עדיין לא ניתן לקבוע בבירור האם הם צדקו במסקנותיהם. שכר המינימום כמעט ולא השתנה באופן ריאלי בין 2004 ל-2014. עם זאת, מאז 2014 חלה עליה ריאלית משמעותית בשכר המינימום, והאסונות שנחזו בדו"ח (שהיו אמורים להיות מיידיים) עדיין לא אירעו.

אז איך עורכים מדגם לא מייצג?

נסביר תחילה איך עורכים מדגם מייצג, כפי שמלמדים בקורס הבסיסי בדגימה בשנה ג' של לימודי הסטטיסטיקה. קודם כל צריכים לערוך רשימה של כל המועמדים להיכלל במדגם. זוהי מסגרת הדגימה. כעת אפשר לבחור את שיטת הדגימה.

הבסיס לכל השיטות היא דגימה הסתברותית – לכל פרט באוכלוסייה נקבעת ההסתברות כי ייכלל במדגם.

הדרך הפשוטה ביותר היא לערוך מדגם מקרי פשוט – לכל הפרטים יש את אותה ההסתברות להיכלל במדגם. כדי לקבוע מי יידגם, מכניסים לתוך כובע גדול פתקים, כשלכל פרט באוכלוסייה יש פתק עליו כתוב השם (או מזהה אחר) הפרט. מערבבים היטב את כל הפתקים, ומוציאים מהכובע מספר פתקים על פי גודל המדגם הדרוש. אפשר, כמובן, לבצע את התהליך הזה באופן ממוחשב.

יש וריאציות יותר מתקדמות. אם האוכלוסייה מתחלקת למספר שכבות אשר שונות זו מזו באופן מהותי (למשל דתיים וחילוניים), אפשר לבצע מדגם נפרד בתוך כל שכבה ולאחר מכן לשקלל את התוצאות. אם לעומת זאת, האוכלוסייה מורכבת מאשכולות אשר לא שונים זה מזה באופן מהותי (דוגמה היפותטית: אוכלוסיית הקיבוצים), אפשר לדגום רק מספר אשכולות (קיבוצים) מתוך רשימת הקיבוצים, ובעזרת מודל מתמטי לא מורכב להסיק ממדגם זה על האוכלוסייה כולה.

אבל יש גם דרכים לקבל מדגם לא מייצג. ציינתי חלק מהן בדוגמאות שהבאתי. אציין כמה מהשיטות הפופולריות.

המקרה הנפוץ הוא להשתמש במסגרת דגימה השונה באופן מהותי מהאוכלוסייה הנחקרת. זה עשוי לקרות בטעות, כפי שקרה בסקר הבחירות בארה"ב ב-1936, או במודע, כפי שנעשה במחקר המדובר של משרד האוצר. מסגרת דגימה לא ראויה עלולה לגרום לייצוג יתר של חלק מהאוכלוסייה, וייצוג חסר של חלקים אחרים. ייתכן גם כי יידגמו פרטים שאינם נכללים באוכלוסייה (למשל, נער בן 16 העונה לסוקר טלפוני לשאלה בעד מי יצביע בבחירות הקרובות).

גם כאשר בונים היטב את מסגרת הדגימה, המדגם שמתקבל עשוי להיות מוטה ובלתי מייצג עקב שיעורי השתתפות נמוכים של הנדגמים במדגם עצמו.

מדגם נוחות, בו החוקר בוחר את המדגם באופן הנוח לו (למשל, חוקר באוניברסיטה שבמחקר שלו משתתפים הסטודנטים שלו) הוא מתכון כמעט בטוח למדגם לא מייצג.

שליחת שאלונים לכל מי שאפשר (כמו בבחירות 1936 בארצות הברית) גורמת בדרך כלל גם היא לחוסר ייצוג. לפרטים שונים באוכלוסייה יש הסתברויות שונות להכללות במדגם, אולם איש אינו יודע מה ההסתברויות האלה, ולכן אין אפשרות סבירה לסיכום התוצאות.

מדגם המבוסס על מתנדבים יביא גם הוא לחוסר ייצוג, כפי שלמדנו מהמקרה של אן לנדרס. אנשים המעוניינים להיות חלק מהמדגם (נניח, מוכנים להשיב לסקר כלשהו) שונים באופן מהותי מאלה שאינם מעוניינים. זו בעיה די שכיחה בטכניקה של הפצת שאלונים באינטרנט, למשל.

המתודולוגיה של הפצת שאלונים (כיום בעיקר דרך האינטרנט) כאשר מצורפת אליהם הבקשה "אנא שתפו עם חבריכם" ידועה בשם "מדגם כדור השלג". מספר ראשוני קטן של נדגמים מפיצים את השאלון בקרב חבריהם, ואלה בתורם מפיצים את השאלון הלאה. התוצאה: הנדגמים יהיו כולם שייכים לרשת חברתית מסויימת, שקרוב לוודאי תהיה שונה באופן מהותי מכלל האוכלוסייה ולא תייצג אותה.

לסיכום – יש להחליט על הדרך בה ייאספו הנתונים שישמשו לאחר מכן כבסיס לניתוח סטטיסטי בכובד ראש, וזאת כדי להמנע מהכשלים והבעיות שנימנו כאן. מדגם לא מייצג יוביל כמעט תמיד לתוצאות לא תקפות.

 


רשימות נוספות בסדרה:


הערות
  1. למשל נתוני השכר של כל אזרחי מדינת ישראל []
  2. גם אז הם דגמו יותר עשירים באופן שיטתי []
  3. טראמפ ניצח, לידיעת מי שהדחיק []
  4. הנתון הידוע, הטוען כי שיעור ההומוסקסואלים ו/או לסביות באוכלוסייה הוא 10%, הגיע מחישוב הממוצע של 7 ו-13 []
  5. שלא היו מספיק אמיצים כדי לחתום על המחקר בשמם []

מהו גודל המדגם המתאים?

אוכלוסיית ישראל גדולה בערך פי 2 מאוכלוסיית ניו זילנד. כדי לאמוד את מספר התומכים בראש הממשלה בישראל (עם טעות דגימה של כ-3%, וברמת סמך של כ-80%) דרוש מדגם מייצג בגודל של כ-500 איש[1].  מה צריך להיות גודלו של מדגם מייצג בסקר דומה בניו זילנד?

שאלתי את השאלה הזו בסקר שערכתי בטוויטר, ולשמחתי הרבה רוב העונים ענו את התשובה הנכונה: גם בניו זילנד צריך סקר בגודל 500. ברשימה הזו אסביר מדוע זה נכון, וגם מדוע זה לא בהכרח נכון.

סיפור מהעבר: אי שם בתחילת שנות ה-90 לימדתי כמה קורסים של סטטיסטיקה לכלכלנים. שאלתי שאלה דומה לזו באחד המבחנים נתתי. חלק מהסטודנטים טענו כי השאלה לא הייתה הוגנת. אני טענתי שכן, ומייד אסביר מדוע.

השאלה הזו נועדה לבדוק ישירות האם הסטודנט מבין כיצד מחושב גודל המדגם. לכאורה אין בעיה. יש נוסחה (לפחות למקרה הספציפי הזה), מציבים בנוסחה את כל הפרטים הדרושים, ומחשבים. לראיה, בשאלה אחרת התבקשו הנבחנים לחשב גודל מדגם, רוב הסטודנטים ענו נכון על השאלה, ואיש לא טען שהשאלה לא הוגנת.

אבל יש בעיה. יש הבדל בין לדעת לחשב את גודל המדגם ובין להבין כיצד גודל המדגם מחושב. לדעתי ולמיטב זכרוני עמדתי בהרצאות על ההבדל בין שני הדברים, וציינתי כי גודל המדגם לא תלוי בגודל האוכלוסייה, אבל כנראה לא הדגשתי את זה מספיק בקורס הספציפי המדובר. בהמשך הקריירה שלי הקפדתי יותר להדגיש את המשמעות של הנוסחה, ולא רק את השימוש בה (בתקווה שזה עניין מישהו).

בואו ניכנס לפרטים. אנחנו נדבר כאן רק על המקרה הפשוט ביותר, בו רוצים לאמוד פרופורציה באוכלוסייה, כגון שיעור התומכים בראש הממשלה, אחוז הגברים שגובהם מעל 180 ס"מ, או אחוז התומכים בלגליזציה של סמים קלים. העקרונות שאציג נכונים גם למקרים מורכבים יותר.

הדרך הכי קלה (לפחות למרצה שעומד מול סטודנט זועם) להסביר למה צריך את אותו גודל מדגם בישראל ובניו זילנד היא לשלוח אותו לנוסחה, או למחשבון חישוב גודל מדגם שניתן למצוא בקלות באינטרנט. יש כל מיני נתונים שאתם צריכים להציב בנוסחה או להזין למחשבון. גודל האוכלוסייה לא נדרש. סוף הסיפור.

אבל בואו ננסה להבין באופן אינטואיטיבי מה קורה פה. התשובות האפשריות בסקר שערכתי היו 500 – התשובה הנכונה, 250 – תשובה שנועדה לתפוס את אלה שההיגיון שלהם אמר שאם האוכלוסייה קטנה פי 2 אז גם המדגם צריך להיות קטן פי 2. ל-350 הגעתי על ידי חלוקה של 500 בשורש של 2.

מה היה קורה אם התשובה 250 הייתה נכונה? כלומר, מה היה קורה אם גודל המדגם היה פרופורציוני לגודל האוכלוסייה? אז בניו זילנד, עם 4 מיליון תושבים בערך "צריך" מדגם של 250. בארצות הברית, שבה כ-330 מיליון תושבים, צריך מדגם בגודל 20625 (נשמע הגיוני, לא?), בסלובניה שבה כ-2 מיליון תושבים אפשר להסתפק במדגם בגודל 125, באיסלנד שבה 350 אלף תושבים יספיק מדגם של 22 איש, ובקיבוץ אייל, שבו יש לפי ויקיפדיה 485 תושבים, צריך מדגם בגודל 0.03 איש. מה? משהו לא מסתדר פה. מקווה שהתחלתם לחשוד כבר באיסלנד.

מצד שני, יש בעיה אחרת שעולה כאן. איך נוכל לדגום 500 איש בקיבוץ אייל, כאשר אין שם בכלל 500 איש?

התשובה היא שצריך לקרוא את האותיות הקטנות. הנוסחה שמלמדים בקורס מבוא לסטטיסטיקה מניחה שהאוכלוסייה ממנה דוגמים היא אינסופית, או לפחות גדולה מאוד[2] . מה קורה כשהאוכלוסייה לא גדולה? בשביל לדעת את זה צריך להגיע לשנה ג בלימודי הסטטיסטיקה, אז לומדים את הקורס הבסיסי בדגימה. שם דנים בנושא של דגימה מאוכלוסייה סופית. הנוסחה לגודל המדגם במקרה זה כן כוללת בתוכה את גודל האוכלוסייה. נכון שאנחנו תמיד מתייחסים לאוכלוסייה סופית (גם בסין יש מספר סופי של תושבים), אך כאשר מדובר באוכלוסייה גדולה יחסית שתי הנוסחאות נותנות תוצאה דומה. במקרה של ישראל, ניו זילנד, ארצות הברית וסלובניה תתקבל אותה תוצאה גם אם משתמשים בנוסחה לאוכלוסייה אינסופית וגם כאשר משתמשים בנוסחה לאוכלוסייה סופית שלוקחת בחשבון את גודל האוכלוסייה. ההבדל זניח. באיסלנד כבד יש הבדל – אפשר להקטין שם את גודל המדגם ב-1. למעשה אם גודל האוכלוסייה הוא 10000 ומעלה הבדל בין התוצאות של שתי הנוסחאות הוא פחות מאחוז. בקיבוץ אייל כבר חייבים להשתמש בחישוב עבור אוכלוסייה סופית. שם גודל המדגם הדרוש הוא 236.


הערות
  1. המספר המדוייק הוא 457 []
  2. אם תכנסו לקישור לדף בו נמצאת נוסחת גודל המדגם שנתתי קודם, תראו שכותרת הדף היא Estimating a Proportion for a Large Population , וזה כתוב באותיות גדולות []

מהי טעות הדגימה?

הקדמה – מדגמים וטעויות

רשימה זו נכתבת שבוע לפני הבחירות לכנסת, אירוע המניב כמות גדולה למדי של סקרי דעת קהל. עם זאת, סקרי דעת קהל ומחקרים סטטיסטיים אחרים נפוצים למדי בכל ימות השנה. ברוב הסקרים המתפרסמים בעיתונות יש מידע כלשהו על "טעות הדגימה", או "טעות הדגימה המירבית". כך למשל, בסקר שבוצע על ידי חברת דיאלוג בפיקוח פרופסור קמיל פוקס ופורסם באתר עיתון "הארץ" נאמר כי "שיעור הטעות המקרית לכל שאלה בנפרד היא 3.9%". בסקר אחר שנערך על ידי מכון דחף בניהולה של ד"ר מינה צמח ופורסם באתר Ynet  נמסר כי "טעות הדגימה: בין 0.8  מנדטים למפלגה עם שני מנדטים לבין 3 מנדטים לערך למפלגה עם 33 מנדטים". מכאן שעל פי סקר מכון דחף, טעות הדגימה נעה בין 9 ל-40 אחוזים. סקר דחף, אגב התבסס על מדגם של 1000 משיבים, בעוד שסקר מכון דיאלוג הסתמך על מדגם קטן יותר של 666 נבדקים.

מבולבלים? אנסה לעשות קצת סדר בדברים.

ראשית, אזכיר לכם מהו מדגם. אנו מעוניינים לדעת תכונה מסויימת של אוכלוסיה מסויימת, כמו למשל, שיעור האזרחים המתכוונים להצביע עבור מפלגה מסויימת בבחירות הקרובות. אפשר כמובן, לפנות לכל אחד מהאזרחים בעלי זכות ההצבעה ולשאול אותם, אבל זו דרך בלתי יעילה (בלשון המעטה). אפשרות אחרת היא לבחור קבוצה חלקית של האוכלוסיה, ולשאול את חברי הקבוצה הזו לגבי כוונת הצבעתם בבחירות. הקבוצה הזו נקראת "מדגם". לאחר שיש בידינו את הנתונים מהמדגם, אנו מנסים להסיק מהפרט (קבוצת המדגם) אל הכלל (כלל האוכלוסיה). שלב זה הוא שלב ההסקה הסטטיסטית, וזו למעשה כל התורה הסטטיסטית על רגל אחת.

הבעיה במדגם היא שיכולות לקרות טעויות, ועקב כך, הנתונים שאספנו במדגם לא משקפים את התכונות האמיתיות של האוכלוסיה. כל הטעויות האלה נכללות תחת המטריה של "טעות הדגימה". למעוניינים בהגדרה מדויקת: טעות הדגימה היא אי הדיוק באמידה של פרמטר באוכלוסיה הנגרמת עקב מדידתו בקבוצה חלקית בלבד של האוכלוסיה.

ניתן לחלק את כל הטעויות האפשריות לשני סוגים: טעויות שיטתיות וטעויות מקריות. טעות הדגימה היא סך שני סוגי הטעויות – השיטתיות והמקריות.

טעויות שיטתיות

טעויות שיטתיות הן טעויות הנובעות מתכנון וביצוע לקוי של הדגימה. הן מביאות לכך שנתוני המדגם שונים באופן אינהרנטי מנתוני האוכלוסיה, או, במלים יותר עממיות: המדגם אינו מייצג את האוכלוסיה. הנה מספר דוגמאות מפורסמות של טעויות שיטתיות בסקרי בחירות:

  • בבחירות לנשיאות ארצות הברית ב-1936, חזה סקר ה-Literary Digest ניצחון למועמד הרפובליקני לנדון שהתמודד מול הנשיא המכהן רוזוולט. שאלון הסקר נשלח בדואר אל בעלי טלפונים וחברי מועדונים, כלומר תת אוכלוסיה של אנשים אמידים בזמן משבר כלכלי קשה. בעוד שהאמידים נטו לתמוך בלנדון, מעוטי היכולת, שהיו רוב גדול בקרב הבוחרים, תמכו ברוזוולט. הסקר דגם באופן שיטתי יותר תומכי לנדון מתומכי רוזוולט.  בעיה נוספת בסקר זה הייתה השיעור הגבוה של נסקרים שלא השיבו לשאלון הסקר – 76%. בניסיון שהצטבר מאז התברר כי יש הבדלים משמעותיים בין המשיבים לשאלות הסוקרים ובין אלה שבוחרים לא להשתתף במדגם.
  • בבחירות לנשיאות ארצות הברית ב-1948, חזו כל הסקרים ניצחון למועמד הרפובליקני דיואי שהתמודד מול הנשיא המכהן טרומן. חלק מהסקרים היו טלפוניים, בתקופה בה מכשיר הטלפון עדיין לא היה נפוץ כבימינו. בעלי מכשיר טלפון היו באופן טבעי אמידים יותר מאלה שאין ברשותם מכשיר, וגם תומכים ברפובליקנים. בסקרים אחרים, שהתבצעו על ידי מראיינים בשטח, המראיינים יכלו לבחור את הנסקרים כרצונם, ומטבע הדברים פנו לחפש אותם באזורים "נוחים" – שכונות טובות, יותר עשירים, יותר רפובליקנים. בעיה נוספת הייתה שרוב הסקרים נערכו כחודשיים לפני הבחירות עצמן, כיוון שהיה מקובל לחשוב כי רוב הבוחרים מחליטים למי יצביעו כבר בספטמבר. כך לא לקחו הסקרים בחשבון את המומנטום של טרומן בחודש האחרון לפני הבחירות.
  • לעיתים הנסקרים אינם כנים בתשובותיהם.
    • בשיחה עם אלכס אנסקי[1] סיפר יוסי שריד על סקר בחירות שביצע "מומחה גדול מחברה בעל מוניטין בסקרי דעת קהל" עבור המערך במערכת הבחירות לכנסת השביעית ב-1969. הסקר חזה כי המערך יזכה ב-72 מנדטים. שריד הסביר את טעותו של הסוקר: "הוא לא ידע שבארץ אנשים שמצביעים בשביל האופוזיציה לא אומרים זאת בגלוי, ובמקום זאת מסמנים 'לא יודע'". מסיבות השמורות עימם (ואני לא שופט אותם), העדיפו תומכי האופוזיציה לא לענות בכנות לחלק משאלות הסקר.
    • בבחירות 1981, חזה מדגם הטלוויזיה הישראלית ניצחון למערך בראשותו של שמעון פרס. המדגם, שנערך על ידי חנוך סמית, נערך בשיטת "סקר יציאה": המדגם היה מדגם של קלפיות, וביציאה של כל קלפי הוצבה קלפי על ידי צוות הסקר, וכל אדם שהצביע התבקש להצביע שוב בקלפי הסקר בדיוק כפי שהצביע דקות אחדות קודם לכן בקלפי האמיתית. כאמור, על פי התוצאות מקלפיות הסקר נחזה ניצחון למערך. כשעתיים לאחר סגירת הקלפיות, כאשר התקבלו תוצאות האמת מהקלפיות שנדגמו, התגלו פערים משמעותיים בין ההצבעה האמיתית וההצבעה בקלפיות הסקר. ככל הנראה, מצביעים רבים שבחרו בליכוד, הצביעו בקלפיות הסקר עבור המערך. סמית תיקן את תחזיתו על סמך תוצאות האמת מקלפיות המדגם, שהראו כי הליכוד ניצח בבחירות, כפי שהתברר לאחר ספירת כל הקולות.
  • כיום רוב מוחלט של הסקרים נערכים באופן טלפוני, כאשר הסוקרים מתקשרים לטלפון קווי ומבקשים מהעונה שמעבר לקו לענות לשאלון. בשנים האחרונות גדלה תפוצתו של הטלפון הסלולרי, וכיום יש חלק גדול באוכלוסיה שאין ברשותו טלפון נייח אלא רק טלפון סלולרי. חלק זה אינו נכלל ברוב מדגמי הסקרים, נכון לכתיבת שורות אלה. ברור לחלוטין כי יש הבדלים משמעותיים בין בעלי טלפון נייח ובין אלה המשתמשים בטלפון סלולרי בלבד. האם הבדלים אלה משתקפים גם באופן ההצבעה שלהם? איש אינו יודע, עדיין.

טעויות שיטתיות קשות ביותר לגילוי, ובדרך כלל מתגלות, אם הן מתגלות, רק לאחר מעשה. לרוע המזל, לא ניתן להתגבר עליהן באמצעות הגדלת גודל המדגם. הסקר של ה-Literary Digest מ-1936 היה סקר הבחירות הגדול ביותר שנערך אי פעם – 2.4 מליון איש השיבו לסקר, ובכל זאת הסקר כשל לחזות את המנצח בבחירות. כאשר יש טעות שיטתית, מדגם גדול יותר רק מעצים את הטעות, ואינו מכפר עליה. כמו כן, למרבה הצער, אין דרך לחשב מראש את ההשפעה הכמותית של טעות שיטתית על תוצאת המדגם.

מדגמים הסתברותיים וטעויות מקריות

כתוצאה מכישלונות סקרי הבחירות של 1948 בארה"ב, עברו בהדרגה הסוקרים להסתמך על מדגמים הסתברותיים. במדגמים כאלה, המדגם נבחר באופן מקרי מתוך האוכלוסיה, אולם הסטטיסטיקאי הסוקר יודע מה ההסתברות של כל פרט באוכלוסיה להיכלל במדגם. מדגמים הסתברותיים מאפשרים להתגבר על חלק גדול של הטעויות השיטתיות הנפוצות. בנוסף לכך, מדגם הסתברותי מאפשר לחשב את גודלה של הטעות המקרית.

מהי טעות מקרית? אם סוקר בוחר באופן מקרי 1000 איש מתוך אוכלוסיית בעלי זכות הבחירה, יש הסתברות מסויימת כי כל אותם 1000 נדגמים יהיו תומכי מפלגה קטנה בעלת כמה אלפי תומכים בלבד בכל הארץ. במקרה כזה הסוקר יחזה כי מפלגת "העתיד המופלא", למשל, תזכה ב-120 מושבים בכנסת, בעוד שבפועל היא לא תעבור את אחוז החסימה. זה מאורע מביך, אך ההסתברות להתרחשותו של מאורע כזה קטנה ביותר. אפשר לחשב את ההסתברות, כי ההסתברות של כל אדם להיכלל בסקר ידועה. כיוון שכך, אפשר לחשב מדד סטטיסטי שיכמת את שיעורה של הטעות המקרית. כך יכול פרופסור פוקס לדווח כי שיעורה של הטעות המקרית בסקר שלו היא 3.9%. הבעיה בדיווח זה: מה משמעותו של המספר הזה? בסקר שאליו קישרתי למעלה מדווח כי מפלגות קדימה ועוצמה לישראל עוברות את אחוז החסימה וזוכות לשני מנדטים כל אחת. האם ייתכן כי אחת מהן תזכה ב-2.078 מנדטים (2 מנדטים ועוד 3.9% מ-2)? האם הכוונה היא שלפי הסקר קדימה זוכה אולי ב-2.1% מהקולות, אך יתכן שתזכה במינוס 1.8 אחוזים (2.1 פחות 3.9)?

הערכת גודל הטעות המקרית בעזרת רווח סמך

בסקר בחירות טיפוסי, נשאל כל נדגם לאיזה מפלגה הינו מתכוון להצביע בבחירות. אם ניקח את הסקר של פרופסור פוקס כדוגמא, בו השתתפו 666 איש, ייתכן כי 183 מתוכם הצהירו כי בכוונתם להצביע עבור מפלגת הליכוד ביתנו[2]. אם מחלקים 183 ב-666 ומכפילים במאה מקבלים 27.5, כלומר אמדן לשיעור התומכים במפלגה זו הוא 27.5% שאמורים להעניק למפלגה 33 מושבים בכנסת[3]. כאמור, יש טעות מקרית. במדגם היו יכולים לעלות 182 תומכי הליכוד ביתנו, או 184, או 663, או כל מספר אחר בין 0 ל-666. דרך סטטיסטית מקובלת לכמת את גודל הטעות, או במלים אחרות, לציין את מידת אי הודאות של האומדן לערך האמיתי, היא לבנות עבורו רווח סמך. במלים פשוטות אך לא מדויקות, רווח סמך עבור השיעור האמיתי של תומכי הליכוד ביתנו באוכלוסיה הוא קטע המחושב מתוך תוצאות המדגם (גבול עליון וגבול תחתון) באופן שהסיכוי "לתפוס" את השיעור האמיתי בתוך הקטע הוא קבוע. נשמע מסובך, אך לסטטיסטיקאים יש כלי חזק מאוד לחישוב רווחי סמך: משפט הגבול המרכזי. אדלג על הפרטים הטכניים, ואמר רק כי רווח סמך מקורב לשיעור התומכים באוכלוסיה, ברמת סמך של 95%, הוא שיעור התומכים במדגם, פלוס מינוס אחד חלקי שורש גודל המדגם. כל זאת, כאשר מתקיימים התנאים של המשפט.

בדוגמא שלנו, שיעור התומכים בליכוד ביתנו במדגם הוא 0.275 או 27.5%. גודל המדגם הוא 666, ולכן אחד חלקי שורש 666 הוא 0.0387 או 3.9%. קמיל פוקס יודע מה הוא עושה. הדיווח בעיתון/אתר בעייתי. כאשר מדווחים כי שיעור הטעות המקרית הוא 3.9%, הכוונה היא לומר כי המרווח שבין 23.6% לבין 31.4% מכיל בתוכו "תופס" את שיעור התמיכה האמיתי בליכוד ביתנו בהסתברות של כ-95%, אם תנאי משפט הגבול המרכזי מתקיימים[4].

הבעיה היא שתנאי המשפט לא תמיד מתקיימים. תנאי יסודי במשפט הוא שמדובר במדגם מספיק גדול. כמה זה "מספיק גדול"? התשובה היא: תלוי.[5].

אומר רק שהקירוב הנורמלי הולך ונחלש ככל שמתרחקים ממרכז ההתפלגות לקצוות. באותו סקר שפורסם באתר "הארץ" דווח גם כי מפלגת "ארץ חדשה" זוכה ב-0.7% ורחוקה מאחוז החסימה. מה זה אומר? גודל המדגם היה כזכור 666, ולכן רק 4 או 5 מהנשאלים אמרו כי יצביעו עבור ארץ חדשה. משפט הגבול המרכזי לא תקף במקרה הזה, ו-0.7 פלוס/מינוס 3.9 אינו רווח סמך לשיעור האמיתי של התומכים בארץ חדשה. שימו לב כי לו זה היה רווח הסמך, לא היה ניתן להסיק כי המפלגה אינה עוברת את אחוז החסימה[6].

דוגמא יותר קיצונית היא שיעור התמיכה במפלגות קטנות יותר. איש מבין 666 הנשאלים לא אמר כי יצביע בעד מפלגת "חיים בכבוד". האם פירוש הדבר כי בבחירות תקבל מפלגה זו אפס קולות (פלוס/מינוס 3.9%)? אני מרשה לעצמי לא לענות לשאלה רטורית זו.

מה עושים כאשר משפט הגבול המרכזי אינו תקף? משתמשים בשיטות אחרות שאינן מסתמכות על המשפט. חישבתי את רווחי הסמך לשיעור התמיכה במפלגת "ארץ חדשה" על פי מספר שיטות שאינן מסתמכות על משפט הגבול המרכזי בהנחה ש-5 מבין 666 הנשאלים אכן אמרו כי יצביעו עבורה. בכל שיטות החישוב, הגבול העליון של רווח הסמך אינו עולה על 1.8%. הדיווח שוב נכון: על פי תוצאות הסקר, מפלגה זו אינה עוברת את אחוז החסימה. יש רק לזכור כי הנתון של "טעות דגימה בגובה 3.9%" אינו מתייחס למקרים בהם מספר התומכים בסקר קטן מדי.


הערות
  1. 1. מכירת הליכוד – אלכס אנסקי, עמוד 167, הוצאת זמורה ביתן מודן, 1978 []
  2. 2. לא הצלחתי למצוא את הנתונים, ולכן אני נותן את המספר הזה כדוגמא []
  3. 3. אני מתעלם מפלפולי חוק בדר עופר לצורך העניין []
  4. 4. יש להבהיר כי כי אין פירוש הדבר כי שיעור התמיכה בליכוד ביתנו נמצא בין 23.6% לבין 31.4% בהסתברות 95%. ראו גם את תגובתו של עמית גל לרשימה זו. []
  5. 5. למעוניינים: לינק לערך ויקיפדיה על הקירוב הנורמלי להתפלגות הבינומית, שנותן תשובה מפורטת יותר וטכנית []
  6. 5. כי 0.7 ועוד 3.9 שווים ל-4.8 והגבול העליון גבוה מאחוז החסימה שהוא 2% []

ספקנים בפאב – ערב הרצאות מיוחד לכבוד יום הסטטיסטיקה הבינלאומי

"ספקנים בפאב" הם מפגשים המיועדים לכל מי שמתעניין במדע, היסטוריה, פילוסופיה ובחינה רציונלית של המציאות. המפגשים מתקיימים בפאבים או במקומות אחרים שמאפשרים אווירה חברית ובלתי פורמלית, וכוללים בדרך כלל הרצאה  ודיון. "ספקנים בפאב" נערך לראשונה בלונדון בשנת 1999, וכיום קיימות עשרות קבוצות ברחבי העולם. במסגרת הקהילה הספקנית בישראל קיימות ארבע קבוצות של ספקנים בפאב, בחיפה, תל-אביב, באר שבע וירושלים.

ב-20 באוקטובר צויין ברחבי העולם יום הסטטיסטיקה הבינלאומי. לציון(מאוחר) של האירוע ייערך בתאריך 14.11.2011 ערב הרצאות מיוחד במסגרת "ספקנים בפאב" בתל-אביב בשיתוף פעולה עם האיגוד הישראלי לסטטיסטיקה (ששת קוראיי יודעים בודאי על הקשרים ההדוקים שיש לי גם עם הקהילה הספקנית וגם עם איגוד הסטטיסטיקה).

הערב יכלול חמש הרצאות קצרות (15 דקות כל אחת) שיסקרו את נושא הסטטיסטיקה מכיוונים שונים.

האירוע יתקיים בתאריך 14.11.2011 בפאב "גורדו", בחוף גורדון בטיילת תל אביב. ההתכנסות היא בשעה 8 בערב, וההרצאות יחלו בשעה 8.30. דמי הכניסה הם 10 ש"ח, ומיועדים לכיסוי הוצאות הפקת האירוע.

 

המרצים, (באופן מפתיע, לא כולם סטטיסטיקאים) וכותרות ההרצאות הם:

  • טל גלילי – כיצד חוקרים עכברים שחוקרים את סביבתם
  • יוסי לוי – כדור הכסף
  • דובי קננגיסר – מחשב, מחשב שעל הקיר
  • רון קנת – 42
  • אבנר שחר קשתן – שקרים יפים

אני מניח כי מי שקרא עד כאן כבר הבין שגם אני נמנה עם המרצים 🙂

אשמח לראותם!

שמירה על פרטיות בסקרים

סקרים הם כלי מתודולוגי חשוב ורב עצמה, בעיקר במדעי החברה. באמצעות דגימה נכונה של חלק קטן מהאוכלוסיה, ניתן לאסוף מידע על אודות האוכלוסיה כולה, ומאוחר יותר ניתן לתרגם את המידע הזה לידע ולמדיניות.

כל זה נפלא, אולם סקרים אינם כלי מושלם. הם חשופים להטיות רבות ולטעות סטטיסטית. כתבתי בבלוג רבות על אספקטים שונים של נושא הסקרים ולא אחזור ואפרט כאן את כל הדברים האלה. אתרכז רק בהטיה ספציפית אחת, ובפתרון שיש לסטטיסטיקה כדי להתגבר עליו.

אחת ההטיות הבעייתיות ביותר בסקרים היא חוסר הנכונות של הנסקרים שעלו במדגם להשיב לשאלות הסוקר. יש סיבות רבות לחוסר הנכונות הזו, ותאמינו או לא, אני בהחלט חושב שחלק מהסיבות הינן מוצדקות.

אחת הסיבות היותר מוצדקות לחוסר נכונות להשיב לשאלת סקר היא חשש הנסקר לפרטיותו. האם הייתם מוכנים לענות לסוקר, מכובד ככל שיהיה, לשאלות בדבר העדפותיכם המיניות? מה בקשר לשאלה המבקשת מכם לגלות אם עברתם על חוק כלשהו (גנבתם, השתמשתם בסם אסור, עברתם ברמזור אדום, העלמתם הכנסות)? או שאלה העוסקת במוסר האישי שלכם (האם בגדתם בבן/בת זוגכם? האם השתמשתם בשירותיה של זונה? האם רימיתם במבחן?)?

לא. אני לא חושב שהייתי שמח לענות לשאלות כאלה. עם זאת, המידע לגבי שיעור תופעות כאלה ואחרות באוכלוסיה חשוב מאוד. לכן, אין זה מפתיע שפותחו שיטות המאפשרות לנסקרים להגן על פרטיותם, ועדיין לענות בכנות וללא חשש לחשיפה לשאלות כאלה.

אחת השיטות היעילות הנפוצות היא שיטת "התשובה הרנדומלית" (Randomized Response). הרעיון בשיטה: לנסקר מוצגות שתי שאלות, והא בוחר אחת מהן באופן מקרי.שהנסקר משיב תשובת אמת לשאלה שעלתה בגורל, אבל הסוקר אינו יודע לאיזה שאלה שייכת התשובה שקיבל. עדיין, ניתן להפיק משקלול כל התשובות מידע יקר ערך.

זה נשמע מסובך, אבל מיד אציג שתי דוגמאות שיבהירו את הרעיון.

נניח שאני מעוניין לדעת מהו שיעור הנהגים המחטטים באף בעת המתנה ברמזור (מידע קריטי שעשוי למנוע תאונות דרכים רבות). אם אשאל את השאלה בצורה ישירה, סביר להניח כי התוצאה שתקבל תהיה נמוכה בהרבה מהשיעור האמיתי.

לכן אתכנן את הסקר כך שהתשובה של הנסקרים תהיה רנדומלית.

אבקש מכל נסקר להטיל מטבע. אם תוצאת ההטלה היא עץ, על הנסקר יהיה להשיב על שאלה סתמית: "האם יש לך אף?". ברור כי התשובה לשאלה זו תמיד חיובית. אם, לעומת זאת, תוצאת ההטלה תהיה פלי, אבקש מהנהג שעלה במדגם לענות האם הוא נוהג לחטט באפו בעת המתנה ברמזור, וכאן יש שתי תשובות אפשריות: "כן" או "לא".

לנדגם אין חשש לענות לי תשובה אמיתית.  גם אם יענה "כן", איני יכול לדעת אם הוא ענה לי "כן, יש לי אף" או "כן, אני מחטט באף". פרטיותו לא נפגעת. ואם ענה "לא", הרי שהצהיר כי אינו מחטט באף, וגם זו הצהרת אמת, שאינו חושש להצהיר.

נניח שבמדגם שלי היו 1000 נהגים, וקיבלתי 700 תשובות "כן" ו-300 תשובות "לא". כיוון שהסיכוי לקבלת עץ בהטלת מטבע הוא 50%, הרי שמתוך 1000 הנדגמים, כ-500 קיבלו עץ, והשיבו כי אכן יש להם אף. 200 תשובות "כן" אחרות הן של נהגים שהודו כי הם אכן חטטנים, ו-300 הצהירו כי אינם חטטנים. מכאן ש-200 מתוך 500 נדגמים השיבו בחיוב לשאלה השניה רבת המשמעות, ומסקנתי תהיה כי שיעור הנהגים המחטטים באף הוא 40%. כל זאת, כמובן, בהנחה כי היה שיתוף פעולה מלא מצד הנסקרים.

הדוגמא פשטנית אך מבהירה את העקרון. יש כאן, כמובן, גם שתי טעויות סטטיסטיות. האחת נובעת מהדגימה הראשונית של 1000 הנהגים מתוך האוכלוסיה הכללית; השניה נובעת מהטלת המטבע, שקובעת את תת-המדגם של הנהגים שמשיבים לשאלה השניה. בטעויות סטטיסטיות, בניגוד להטיות שיטתיות, ניתן לשלוט על ידי קביעה מתאימה של גודל המדגם, ובכך להבטיח את שולי הטעות ("הפלוס/מינוס" המפורסם) הרצויים.

לטכניקה שהוצגה יש שני חסרונות: קודם כל, חצי מהמדגם מתבזבז על תשובה לשאלה סתמית. שנית, לגבי חלק מהנדגמים (אלה שהשיבו "לא") ניתן לדעת על איזה שאלה ענו. הנדגמים יודעים זאת, וזה עדיין עלול ליצור הטיה במדגם.

על החסרון השני ניתן להתגבר על ידי הצגה של שאלה סתמית עם שתי תשובות אפשריות, כמו "האם צבע העיניים שלך הוא כחול?" או "האם ספרת הביקורת של ממספר ת.ז. שלך היא זוגית?". אבל אם כך, מדוע לא להחליף את השאלה הסתמית הראשונה בשאלה משמעותית, כך שעדיין לא יהיה ניתן לדעת לאיזה שאלה ענה הנדגם?

הדבר אפשרי בהחלט.

נציג לנסקרים שתי שאלות:

שאלה 1: האם הנך נוהג לעשות משהו איום ונורא?

שאלה 2: האם אינך נוהג לעשות משהו איום ונורא?

תשובה חיובית מנדגם מסויים לא תיתן לנו כל אינפורמציה, כי איננו יודעים לאיזה שאלה ענה! אבל אנחנו יכולים לדעת באיזה הסתברות ענה לשאלה הראשונה ובאיזה הסתברות ענה לשאלה השניה, ובעזרת מידע זה לדעת את שיעור הנוהגים לעשות מעשה איום ונורא.

נבקש מכל נדגם להטיל מטבע פעמיים. אם שתי התוצאות יהיו עץ, נבקש ממנו לענות לשאלה הראשונה. אם לפחות אחת ההטלות תהיה פלי, נבקש מהנדגם לענות על השאלה השניה. (מסיבות טכניות ההסתברויות חייבות להיות שונות. רנדומיזציה של 50:50 לא תעבוד. המתמטיקה לא מסובכת, אבל אני נמנע מהדיון הטכני).

ועכשיו לטריק: בואו נניח שגודל המדגם הוא 1000 איש, ושאחוז אלה שנוהגים לעשות משהו איום ונורא  באוכלוסיה (ובמדגם המייצג) הוא 30%. מתוך 1000 איש, 250 (בתוחלת, כלומר, באופן תיאורטי) יקבלו עץ בשתי הטלות המטבע. כיוון ש-30% מהם נוהגים לעשות משהו איום ונורא, נקבל 0.3×250=75 תשובות "כן" מהקבוצה הזו. שאר 750 הנדגמים יענו "כן" אם אינם נוהגים לעשות משהו איום ונורא. שיעורם הוא 70%, ולכן מבין אלה שהטילו מטבע ולא קיבלו פעמיים עץ נקבל  0.7×750=525  תשובות "כן". בסך הכל נקבל לכן 75+525=600 תשובות "כן".

את התרגיל הזה אפשר לעשות גם מהסוף להתחלה, ולהסיק כי אם התקבלו 600 תשובות "כן", אז שיעור האנשים הנוהגים לעשות משהו איום ונורא הוא 30%.

באופן כללי יותר (וכאן אעבור לנוסחאות, אז תרגישו חופשי לדלג): אם נסמן את גודל המדגם ב-N, את שיעור אלה שנוהגים לעשות משהו איום ונורא באות P, ואת מספר תשובות ה-"כן" באות Y, אזי

Y/N=0.25xP + 0.75x(1-P)

ומכיוון שערכם של Y ושל N ידוע לנו, ניתן לפתור את המשוואה ולמצוא את P.