חיפוש באתר

קישורים

עמודים

קטגוריות

ארכיב עבור 'מה אומרת הסטטיסטיקה'

איך נדע האם המכוניות האוטונומיות בטיחותיות

התאונה הקטלנית של אובר

העולם גועש בימים האחרונים בעקבות תאונת הדרכים הקטלנית בה היה מעורב רכב אוטונומי של חברת אובר. התאונה הציתה ויכוחים שונים והעלתה נושאים ישנים לדיון מחודש. מתנהל למשל ויכוח בשאלה מי אשם בתאונה. התשובה, כמובן, תלויה במי שעונה לשאלה (אני לא מביע את דעתי בנושא הזה, ומבקש מכל מי שרוצה להביע את דעתו, שלא יעשה את זה בתגובות לפוסט הזה. זה לא המקום). הרשת התמלאה בשמועות על כך שנושא בטיחות המכוניות האוטונומיות אינו בעדיפות עליונה אצל חברת אובר. כמו כן ניצתו מחדש דיונים בתחום האתיקה שאמורה להדריך (אולי) את מתכנני המכוניות האוטונומיות. כך למשל, דפנה מאור, במאמר בעיתון דה-מרקר, שואלת שאלות חשובות במאמר עם הכותרת הפרובוקטיבית "האם תסכימו להידרס על ידי רובוט?" אמיתי זיו ענה לה שאם יידרס, אז הוא מעדיף להידרס על ידי מכונית אוטונומית (לא ברור לי למה זה משנה לו). אתם מוזמנים לקרוא את המאמרים האלה ומאמרים אחרים ולנהל דיונים ביניכם (אם כי, אני שוב מבקש להימנע מלנהל את הדיון הזה כאן בבלוג).

עוד כתבה מעניינת בדה-מרקר נשאה את הכותרת "אחת החולשות העיקריות של מכוניות אוטונומיות היא זיהוי הולכי רגל". הכותרת היא ציטוט של דברים שאמר אחד המרואיינים בכתבה, דני עצמון (שהינו בעל חברה המפתחת סימולטורים שנועדו לאמן ולשפר את היכולת של מערכות אוטונומיות ברכבים).

עצמון אמר דברים מעניינים נוספים. אני מצטט:

מכון ראנד האמריקאי ביצע בדיקה סטטיסטית שבאמצעותה קבע "רף נהיגה אנושי". "הם לקחו את על ההרוגים בתאונות בארה"ב ב-2015 וחילקו במספר המיילים שנסעו – וגילו שיש 1.1 הרוגים על כל 100 מיליון מיילים של נסיעה. זה הוגדר הרף האנושי – הביצועים של האדם די טובים… המכון חישב ומצא שכדי שמערכות אוטונומיות יגיעו לאותם ביצועים כמו של בני אדם בביטחון של 95%, עליהן לנסוע 11 מיליארד מייל. "בשנה שעברה כל החברות שעוסקות בתחום הזה בארה"ב נסעו ביחד בערך 4 מיליון מייל.

אז בואו נדבר על הסטטיסטיקה.

הסטטיסטיקה של תאונות הדרכים

אני חושב שכולכם תסכימו שככל שנוסעים יותר, יש יותר אינפורמציה על הסיכון לתאונות. אני למשל, לא הייתי מעורב באף תאונת דרכים עם נפגעים בשנתיים האחרונות. מצד שני, אני בקושי נוהג שתי נסיעות קצרות בעיר בכל שבוע[1] שמסתכמות אולי ב-15 קילומטר, שהם קצת פחות מ-800 קילומטר בשנה. ככל שנוסעים יותר, הסיכון להיות מעורב בתאונת דרכים גדל. נכון שהסיכון שונה מנהג לנהג, יש נהגים יותר זהירים ויש כאלה שפחות, אבל העיקרון ברור. לכן יש הגיון בחישוב של מכון ראנד שלוקח את מספר ההרוגים ביחס לכמות הנסועה. מייד אסביר את העקרונות של החישוב, ואציג כמה חישובים משל עצמי.

לפני שאתחיל בחישובים, אציג כמה נתונים שפירסמה הלשכה המרכזית לסטטיסטיקה. בשנת 2015 היו בישראל 12122 תאונות עם נפגעים, מתוכן 292 תאונות קטלניות, 1558 תאונות עם פצועים קשה, ו-10272 תאונות עם נפגעים בדרגת פציעה בינונית או קלה. בתאונות האלה נהרגו 322 איש, 1796 איש נפצעו קשה, ו-20046 איש נפצעו בינוני או קל. ומכאן שהיו תאונות קטלניות בהן היה יותר מהרוג אחד, והוא הדין לגבי הנפגעים האחרים. לכן אתייחס בהמשך למספר התאונות ולא למספר הנפגעים.

האם המספרים האלה גבוהים או נמוכים? תלוי איך מסתכלים על הנתונים. אל תטעו. לדעתי כל תאונה היא טרגדיה. עם זאת, לפעמים צריך להסתכל על המספרים עצמם, וזאת כדי שיהיה אפשר לקבל החלטות מושכלות. כמו שדני עצמון הסביר, צריך להסתכל גם על הנסועה – שהיא סך כל הנסיעות שנסעו כלי הרכב במדינה.[2]. לפי נתוני הלשכה המרכזית לסטטיסטיקה, הנסועה בישראל בשנת 2015 הייתה 54,820 מיליון ק"מ, כלומר כמעט 55 מיליארד ק"מ. מכאן אפשר לחשב כי על כל מיליון ק"מ של נסועה היו בשנת 2015 היו בישראל 0.00533 תאונות קטלניות. זה נראה כמו מספר יותר קטן, אבל זה רק עניין של קנה מידה. באותו אופן ניתן לחשב כי בישראל היו 0.02842 תאונות דרכים עם פצועים קשה (אך ללא הרוגים) לכל מיליון ק"מ, ו-0.18737 תאונות שבהן היו פצועים בינוני או קל (אך לא פצועים קשה ולא הרוגים). בסך הכל היו בישראל 0.22295 תאונות עם נפגעים לכל מיליון ק"מ של נסועה.

הסטטיסטיקאים מכנים את המספרים המתארים את מספר התאונות למיליון ק"מ בשם "קצב התאונות" (או rate באנגלית). זה מדד כללי המתאר את מספר האירועים ליחידת מדידה (בדרך כלל זמן, אך כפי שראיתם, יש גם יחידות מדידה אחרות). דוגמא נוספת[3] לנתונים כאלה יכולה להיות המספר הממוצע של גידולים ממאירים חדשים המתגלים במשך חודש. לפני נתוני הלמ"ס, בשנת 2013 היו בישראל בסך הכל 13546 גברים אצלם התגלו גידולים ממאירים חדשים. זה אומר שקצב הופעת הגידולים החדשים היה בקירוב 1128.8 בחודש.

איך להעריך את רמת הבטיחות של המכוניות האוטונומיות?

עכשיו, כאשר הבנו את הנתונים האלה ומשמעותם, אנחנו יודעים איך להעריך את הבטיחות של המכוניות האוטונומיות. צריך לחשב מהו קצב התאונות שלהן, ולהשוות אותו לקצב של המכוניות ה-"רגילות".

כאן אנחנו נתקלים בבעיה הראשונה: אין נתונים. אנחנו יודעים כי הנסועה הנוכחית של המכוניות האוטונומיות היא בערך 4 מיליון מייל, אבל לא יודעים כמה תאונות היו. לכן אנחנו גם לא יודעים האם מספר ההרוגים עד כה (1) הוא גבוה או לא. מה שאנחנו כן יכולים להגיד במידה רבה של בטחון הוא שגודל המדגם קטן מדי. לפי גודל המדגם הנוכחי האומדן שלנו לקצב התאונות הקטלניות של המכוניות האוטונומיות הוא 0.15385 למיליון ק"מ, כמעט פי 29 מהנתון המקביל של ישראל בשנת 2015. עם זאת, יש לסייג את הדברים ולומר כי האומדן הזה מאוד לא מדוייק, שוב, בגלל גודל המדגם הקטן.  רווח הסמך לקצב, ברמת סמך של 95%, הוא 0.0053 עד 0.5535. זה אומר שייתכן מאוד שקצב התאונות הקטלניות של המכוניות האוטונומיות דומה לקצב של ישראל. שוב, ככל שיצטברו יותר נתונים, האומדן יהיה מדוייק יותר, ובהחלט יכול להיות שב-4 מיליון המייל הבאים לא תהיה אף תאונה קטלנית, ואז אומדן הקצב יקטן ב-50%.

רבים טוענים כי המכוניות האוטונומיות הינן בטוחות יותר ממכוניות רגילות, ואני נוטה להסכים איתם באופן חלקי (אם כי, כמו תמיד, אלוהים מצוי בפרטים הקטנים – ראו שוב את מאמרה של דפנה מאור). אך טענות צריך לגבות בנתונים, וכאמור, אין לנו מספיק נתונים. לכן השאלה שצריך לשאול היא: כמה נתונים צריך כדי שנוכל לומר משהו אינטליגנטי ומגובה בנתונים על הבטיחות של המכוניות האוטונומיות?

כפי שכבר הבנתם, הסטטיסטיקאים של מכון ראנד כבר ערכו חישוב כזה. אני מודה שאני לא כל כך מבין את הנתון של 11 מיליארד מייל שדני עצמון ציטט, ואני מניח שחלק מהדברים "אבדו בתרגום". בכל מקרה, אני מתכוון להציג כאן את העיקרון שלפיו עורכים את החישובים, ולהציג את התוצאות של החישובים שלי.

מודל להתרחשות תאונות דרכים

קוראיי הוותיקים כבר יודעים: כדי לבצע את החישובים הסטטיסטיים יש צורך במודל הסתברותי. להזכירכם, מודל הוא תיאור של המציאות, שייתכן שאינו מדוייק לגמרי, אבל הוא מספיק טוב כדי לתת תשובה אמינה לשאלה שלנו. כל מודל מתבסס על הנחות. הנחות שונות יובילו למודלים שונים ולתשובות שונות.

המודל שאציג לקצב תאונות הדרכים מתבסס על הנחה יחידה: הפיזור של התאונות לאורך השנה הוא אחיד. במילים אחרות, אין תקופות בשנה שיותר מועדות לתאונות מאשר תקופות אחרות. אפשר כמובן להניח הנחות אחרות, שיגדירו מודלים יותר מסובכים. אני אגביל את עצמי למודל הפשוט, כיוון שהמטרה העיקרית שלי היא להסביר את העקרונות הסטטיסטיים. עם זאת, אני לא חושב שמודל מסובך יותר ייתן תוצאות שונות באופן משמעותי, וזאת לאור הניסיון שצברתי במשך השנים בניתוח נתונים דומים.

מההנחה שלי אפשר, עם קצת מתמטיקה, להסיק כי מספר התאונות בשנה הוא משתנה מקרי פואסוני. שוב קוראיי הוותיקים אולי זוכרים שהמודל הזה וההתפלגות הנובעת ממנו הוזכרו כבר בבלוג. זה המודל בו השתמשו הבריטים כדי לבדוק מה הייתה רמת הדיוק של הטילים שהמטירו עליהם הגרמנים בזמן הבליץ על לונדון. למשתנה מקרי שהתפלגותו היא התפלגות פואסון יש פרמטר אחד בלבד – פרמטר הקצב. בישראל של 2015 קצב התאונות הקטלניות היה כזכור 0.00533 למיליון קילומטר. השאלה המעניינת היא: כמה מיליוני ק"מ צריכות המכוניות האוטונומיות לנסוע כדי לנוכל לומר על סמך הנתונים כי קצב התאונות שלהם נמוך מקצב התאונות הקטלניות של ישראל באופן משמעותי?  עם קצת מתמטיקה לא מסובכת במיוחד אפשר לפתח נוסחה שנותנת את התשובה. הנה היא, לא להיבהל, תיכף אסביר הכל, ומי שלא מעוניין בהסברים יכול לדלג הלאה, אל המספרים שחישבתי.

חישוב גודל המדגם בהתפלגות פואסון

 

 

 

 

ההסברים: למבדה-אפס (האות שדומה לאות העברית גימל) מייצגת את קצב הבסיס שאליו אנחנו  רוצים להשוות את הקצב מהמדגם. בדוגמא שלנו קצב הבסיס הוא הקצב של תאונות הדרכים הקטלניות בישראל, כלומר 0.00533 תאונות למיליון קילומטר. האות דלתא (שדומה לאות למד בעברית) מייצגת את ההבדל המשמעותי בין קצב התאונות במדגם (כלומר קצב התאונות של המכוניות האוטונומיות) ובין קצב הבסיס. לדוגמא, אם אנחנו חושבים שהבדל משמעותי יהיה ירידה של 10% בקצב התאונות, הרי שאנו מצפים שקצב התאונות של המכוניות האוטונומיות יהיה 0.004797 (90% מ-0.00533), ולכן ההפרש דלתא שווה ל–.000533. שימו לב שההפרש הוא שלילי. אלפא וביתא הן רמת המובהקות והעוצמה, אני אשתמש בערכים של 5% -90% בהתאמה, והאות Z מסמלת ערכים של ההתפלגות הנורמלית, והם שווים ל-1.645 עבור רמת המובהקות ו- -1.282עבור העוצמה. התוצאה שמתקבלת על ידי החישוב, n, היא גודל המדגם הדרוש, שהוא במקרה שלנו, מספר מיליוני הקילומטרים שהמכוניות האוטונומיות צריכות לנסוע.

מה גודל המדגם הדרוש להערכת הבטיחות?

אם נציב את כל המספרים בנוסחה נקבל כי כדי שנוכל לזהות ירידה מובהקת של 10% בקצב התאונות הקטלניות, נצטרך לראות מה קורה אחרי שהמכוניות האוטונומיות ייסעו 9215 מיליון ק"מ, שהם בערך 6 מיליארד מייל. זה אמנם מספר קטן יותר מהמספר שצוטט בכתבה[4], אבל זה עדיין מספר מטורף. (אני נותן כאן קישור לקובץ אקסל שבעזרתו ביצעתי את החישובים. אתם מוזמנים לבדוק עוד תרחישים).

אחת הסיבות שקיבלנו מספר כל כך מטורף היא שהגדרנו ירידה מאוד קטנה כמשמעותית – רק 10%. יש הטוענים כי כשהמכוניות האוטונומיות ייכנסו לשימוש מסחרי קצב התאונות (או מספר התאונות, שזה בעצם אותו דבר), ירד בצורה הרבה יותר משמעותית. אם זה נכון, גודל המדגם יהיה הרבה יותר קטן. על פי אותה הנוסחה, כדי לזהות באופן מובהק ירידה של 50% בקצב תאונות הדרכים הקטלניות, יש צורך בגודל מדגם של כ-471 מיליון מייל, וכדי לזהות ירידה משמעותית של 90% במספר תאונות הדרכים הקטלניות באופן מובהק יש צורך בגודל מדגם של קצת פחות מ-220 מיליון מייל.

החדשות הטובות הן שכדי לזהות ירידה מובהקת של 90% בקצב הכולל של תאונות דרכים עם נפגעים יש צורך בגודל מדגם של קצת יותר מ-5 מיליון מייל, ואנחנו כמעט שם. מצד שני, יש המון חברות שעורכות המון ניסויים, ולא סביר שיוקם מאגר נתונים בו יקובצו הנתונים של כל החברות, שהרי כל חברה רוצה לשמור את הנתונים שלה בסוד מהמתחרות. אז אנחנו לא באמת מתקרבים ליעד של 5 מיליון מייל.

עוד חדשות טובות: הנסועה השנתית בארצות הברית היא קצת יותר מ-3 טריליון מייל, כלומר 3000 מיליארד מייל (או 3 מיליון מיליוני מייל), כך שאם באורח פלא כל המכוניות בארצות הברית יהפכו להיות אוטונומיות, נדע את כל התשובות תוך יום בערך. זה לא יקרה כמובן. אפשר להמשיך ללהטט בחישובים שייקחו בחשבון את קצב חדירת המכוניות האוטונומיות לשימוש, אבל אני אעצור כאן.

מתי נדע האם המכוניות האוטונומיות בטיחותיות?

המסקנה שלי היא שייתכן שנדע יחסית בקרוב (אם תהיה התערבות רגולטורית) האם המעבר למכוניות אוטונומיות יביא לירידה מאוד גדולה (90%) במספר תאונות הדרכים עם נפגעים. אם הירידה קטנה יותר, נצטרך לחכות זמן רב יותר. בקשר לתאונות דרכים יותר חמורות, כאלה עם פצועים קשה או תאונות קטלניות, יעבור עוד המון זמן עד שנדע משהו. מה שיקרה בפועל הוא שמכוניות אוטונומיות ייכנסו לשימוש בלי שיהיה לנו מושג ירוק על רמת הבטיחות שלהן.


הערות
  1. פעם אחת לקניות, ופעם אחת כדי להסיע את הילד לחוג []
  2. לדוגמא, אם 10 מכוניות נסעו מתל אביב לחיפה, מרחק של 100 ק"מ, אז הנסועה הכוללת שלהן הייתה 10×100 כלומר 1000 ק"מ []
  3. תסלחו על על הדוגמאות המדכאות []
  4. אני לא יודע מה היו ההנחות שלהם ומה הם חישבו בדיוק []

הערות על חישוב מדד השכירות של הלשכה המרכזית לסטטיסטיקה

ביום שני השבוע, 29.1.208, התפרסמה בגלובס כתבה שדיווחה על טעות מהותית בחישוב מדד השכירות של הלשכה המרכזית לסטטיסטיקה, עליה דיווחה המייעצת שהקימה הממשלה לבחינת מדדי המחירים בשוק הנדל"ן.

הפעם אתחיל מהסיכום

  • הועדה התייחסה בצורה עניינית לנושא אמידת שכר הדירה. אין המלצה לתקן את המדדים לאחור, ואין המלצה לשנות את מתודולוגיית הדגימה. 
  • בניגוד למה שנאמר בכתבה, הועדה לא מתחה ביקורת על המתודולוגיה של הלמ"ס, אלא המליצה על שיפור בעניין ממוקד יחיד במתודולוגיה.
  • הפער שדווח בכתבה אינו בין נתוני הועדה ונתוני הלמ"ס, אלא בין נתוני הלמ"ס ונתונים של ד"ר רז-דרור, שאיני מזלזל בכישוריו.עם זאת, לא ברור מהי המתודולוגיה בה ד"ר רז-דרור השתמש כדי לאמוד את גובה שכר הדירה. כמו כן, נתוניו ככל הנראה פחות מדוייקים עקב מדגם קטן יחסית.
  • הפער בין הנתונים של הלמ"ס והנתונים של ד"ר רז-דרור נמוך ממה שדווח בכתבה. הפער שעלול לנבוע בין ערכו של מדד המחירים לצרכן כפי שדווח ובין ערכו התיאורטי, בהנחה שהנתונים של רז-דרור נכונים ומדוייקים, הוא זניח ולא מדווח בכתבה.
  • הקביעה של דרור מרמור כי הטעות של הלמ"ס היא "חלמאית" הינה לחלוטין חסרת בסיס. הפרשנות של מעמירם ברקת על "תיבת הפנדורה" שתיפתח מבוססת על המידע המטעה בכתבה של דרור מרמור, ויש להתייחס אליה בהתאם. ההתנפלות של סטלה קורין-ליבר על המועצה הציבורית לסטטיסטיקה (שאני מכיר אישית את רוב החברים בה) מתבססת אף היא על הקביעות הלא מדוייקות של מרמור, ואינה מביאה שום טענה עניינית. איתן כבל מיהר לגזור קופון פוליטי (לפחות הוא סייג את דבריו והתנה אותם בכך שמרמור צודק בדברים שכתב – הוא לא).

מה בדיוק קרה?

הנה ציטוטים מהכתבה:

"מדד שכר הדירה של הלמ"ס, המהווה 5.7% ממדד המחירים לצרכן (האינפלציה), כלל במשך השנים טעות מובנית וכמעט חלמאית, שהטתה בפועל את המחירים בשוק השכירות באחוזים ניכרים כלפי מטה. תיקון הטעות לאחור יעלה בדיעבד גם את מדד המחירים לצרכן, וישנה את חישובי האינפלציה בשנים האחרונות… מאז 2008 נוצר פער של כ-25% בין שני סוגי המדידה. לפי החישובים החדשים, מאז 2008 עלה מדד שכר הדירה בכ-65%, לעומת עלייה כוללת של 40% לפי מדד שכר הדירה הישן, תוספת שמגלמת יותר מאחוז אינפלציה בעשור האחרון"

הכתבה ממשיכה:

"לכל מי שמכיר את שוק הדיור ברור כי דווקא חילופי שוכרים מהווים לא פעם הזדמנות להקפצת המחירים – ללא שום ביטוי לכך במדד. לפי הדוח, בדיקה שנערכה בעבר בלמ"ס העלתה ששוכרים שהחליפו דירות שילמו בממוצע 6.6% יותר משוכרים שנשארו בדירותיהם"

הכתב דרור מרמור מביא ציטוטים מדו"ח הועדה המייעצת:

"בשוק המצוי במגמה של עליית מחירים, צפויה הטיה כלפי מטה במדד שכר הדירה, הואיל וחלק מהדיירים עוברים לדירה אחרת בשל דרישה לדמי שכירות גבוהים יותר. ..לחילופין, בשוק המצוי במגמת ירידת מחירים, ההטיה עשויה להתרחש כלפי מעלה, שכן המשכיר עשוי להוריד את שכר הדירה בעת התחלפות דיירים כדי להימנע ממצב שבו הדירה נותרת ריקה"

עוד ממשיך הכתב ומסביר:

"מאז 1999 מדד מחירי הדירות (מכירה) אינו חלק ממדד המחירים לצרכן, ובמקומו מחושב השינוי במחירי שכר הדירה. בלמ"ס מדגישים כי ההטיה המוטעית לא השפיעה על כל מרכיב הדיור בשכירות, התופס נתח משמעותי של כ-24% בתוך מדד המחירים לצרכן, אלא רק על אותם 5% מהמדד שבוצעו באמצעות החישוב המוטה (החישוב המשלים מתבסס על מחירים ממוצעים)"

לכתבה עצמה נלוו גם טורי פרשנות ותגובות שעסקו באפוקליפסה של טעות החישוב שדווחה. עמירם ברקת כותב על העדכון שפותח תיבת פנדורה. סטלה קורין ליבר כותבת על המחדל של מדד הלמ"ס: בכירים שבבכירים לא עשו את עבודתם. ח"כ איתן כבל הכריז כי לחשיפה על טעות הלמ"ס יש השפעה דרמטית, וקרא לכנס את כל גורמי המקצוע בתחום הדיור כדי להבין את חישוב הנתונים השגוי של הלמ"ס.

בכתבה של גלובס הובאה תגובתו של דורון סייג, מרכז הוועדה מטעם הלמ"ס:

"הלמ"ס החלה בבדיקות לאמידה מדויקת וטובה יותר של ההטיה. לדברי סייג, "הפער שנמצא על ידי רז דרור, בשיעור של 25%, לא חושב על ידי הלמ"ס ואנחנו מבצעים כעת בדיקה טובה יותר. כרגע מדובר בבדיקה ראשונית, אבל לנו נראה שהפער שיימצא בסוף בין המדד שהוצג למדד החדש יהיה נמוך יותר".

ב-Ynet, מובאת תגובה נרחבת יותר מטעם הלמ"ס[1]:

"(אנשי המקצוע) מודעים לאי הדיוק בחישוב של מדד שכר הדירה הנכלל במדד המחירים לצרכן, והסבירו זאת בקשיי איסוף נתונים אודות שוכרים חדשים, אך עם זאת טענו כי מדובר בהשפעה מינורית: מבדיקות שונות שביצענו עולה שהשפעת שכר הדירה של שוכרים חדשים על מדד המחירים לצרכן זניחה. מסקנה זאת מוסברת בין השאר בכך שמדובר על 5.7% ממדד המחירים לצרכן וקבוצת השוכרים החדשים מהווה על סמך בדיקות ראשוניות שערכנו לא יותר מאשר 20% מתוך אוכלוסיית השוכרים"

כמו כן הסבירו כי בניגוד לנטען בפרסומים השונים, הודיעו על בדיקת הנתונים לאחור ולא על תיקונם לאחור.

עם זאת, בלמ"ס לא פסלו כי יוחלט לתקן את המדד בהמשך ואמרו: "עם סיום תוצאות הבדיקות וטיוב הנתונים לגבי שוכרים חדשים, ובהתייעצות עם הוועדה הציבורית המייעצת בנושאי בינוי, דיור ונדל"ן נחליט על המשך הטיפול".

Ynet מיידעים את קוראיהם גם על תגובת בנק ישראל, שם טוענים כי ההשפעה אינה משמעותית:

"בנק ישראל עומד בקשר רציף עם גורמי המקצוע בלמ"ס. בדיקות ראשוניות שנערכו בבנק ישראל מראות שהשפעת ההבדל במדידה על האינפלציה במדד המחירים לצרכן קטנה, ובוודאי שלא הייתה מביאה לשינוי במדיניות המוניטרית".

בואו נעשה סדר במספרים

בואו נדבר על הפער בין שתי ההערכות. לפי הלמ"ס, שכר הדירה עלה בין 2008 ל-2015 ב-40%, ולפי חישובי הועדה המייעצת  שהם לצעשה חישוביו של ד"ר רז-דרור, העלייה הייתה בגובה 65%.

במילים אחרות, אם שכר הדירה לדירה ממוצעת ב-2008 היה 1000 ₪, הרי שלפי הלמ"ס שכר הדירה ב-2015 היה 1400 ₪ ולפי הועדה הוא היה 1650 ₪. מה הפער? ההפרש בין 1650 ב-1400 הוא 250. נחלק את ההפרש הזה ב-1400 ונכפיל ב-100[2] ונקבל כי התוצאה היא קצת פחות מ-18%, ולא 25%. הפער פחות גדול ממה שנאמר בכתבה,

נמשיך. מדובר בפער הכולל שנפתח לאורך 8 שנים. מהו הפער הממוצע בשנה? זה חישוב קצת יותר טריקי: הפער הממוצע הוא השורש השמיני של 1.18. החישוב מראה כי הפער הממוצע בשנה הוא קצת פחות מ-1.8% בשנה[3]. כמו כן, חישוב דומה יראה כי לפי אומדני הועדה, העלייה הממוצעת בשכר הדירה לאורך 8 השנים האלה הוא כ-6.5%, ופי הלמ"ס העלייה הממוצעת בשנה היא כ-4.3%.

מה ההשפעה של זה על המדד? לפי מחשבון מדד המחירים של הלמ"ס, מ-2008 עד 2015 עלה מדד המחירים לצרכן בקצת יותר מ-16%. זו עליה ממוצעת של 1.7% בשנה כלומר, אם מחיר סל המצרכים שלפיהם מחושב המדד היה 1000 ₪ בתחילת שנה ממוצעת, מחירו בסוף השנה היה 1017 ₪.

שכר הדירה מהווה 5.7% מסל המצרכים[4]. נעגל את זה ל-6%. פירוש הדבר הוא שאם ערך סל המצרכים היה בתחילת השנה 1000 ₪, שכר הדירה היה 60 ₪, וערכו של שאר הסל היה 940 ₪.

לפי הלמ"ס, שכר הדירה עלה במשך השנה בכ-3.8%, ולכן בסוף השנה הוא היה כ-62 ₪. מכאן שערכו של שאר הסל בסוף השנה היה 955 ₪.

לפי הועדה המייעצת, שכר הדירה בשנה ממוצעת עלה ב-6.5%. נעגל את זה ל-7%. כלומר אם עלות הסל בתחילת השנה הייתה 1000 ₪, הרי ששכר הדירה היה, כפי שחישבנו, שכר הדירה בתחילת השנה היה, כפי שחישבנו, 60 ₪. אם הוא עלה ב-7% במשך השנה, הרי שבסופה הוא היה כ-64 ₪. שווי שאר המצרכים בסוף השנה היה 955 ₪, ולכן השווי הכולל של הסל היה 1019 ₪. אם הועדה צודקת, האינפלציה השנתית הממוצעת הייתה 1.9%, ולא 1.7%.

אני לא כלכלן, ולכן לא יודע עד כמה ההבדל הזה משמעותי. התחושה שלי היא שלא מדובר בקטסטרופה.

איך אומדים את העלייה בשכר הדירה?

אקדים ואומר כי אני לא מתמחה בדגימה. הידע שלי בתחום מוגבל למה שלמדתי בלימודי התואר הראשון, פלוס קצת ידע נוסף שרכשתי בעזרת לימוד עצמי.

אבל הנה תיאור בסיסי של התהליך. כדי לדגום, צריך להגדיר קודם כל את מסגרת הדגימה, שהיא בעצם האוכלוסייה שבה אנו מתעניינים. במקרה שלנו, אנחנו רוצים לאמוד את שכר הדירה הממוצע, ולכן יש לנו שתי מסגרות דגימה אפשריות.

אפשרות אחת היא לערוך רשימה של כל הדירות המושכרות, ואז ניקח מדגם של דירות מושכרות ונברר מה שכר הדירה עבור כל דירה שנכללת במדגם.

אפשרות שניה היא לערוך רשימה של כל משקי הבית ששוכרים דירות, לקחת מדגם מתוך משקי הבית האלה, ולברר מה שכר הדירה שהם משלמים.

יש שתי דרכים עיקריות לביצוע המדגמים. ניתן לבצע מדגם בחתך רוחבי (cross sectional), כלומר לקחת כל חודש מדגם חדש, או באופן אורכי (longitudinal), כלומר לקחת מדגם ולעקוב אחריו לאורך זמן.

לכל שיטה יש יתרונות וחסרונות, שלא אפרט כאן[5].

אני מציע שכעת תפסיקו את הקריאה לדקה או שתיים, ותחשבו מה אתם הייתם עושים אם הייתם מתבקשים לבצע את המדגם: האם הייתם דוגמים דירות או שוכרים? האם הייתם לוקחים כל חודש מדגם חדש, או שהייתם לוקחים מדגם ועוקבים אחריו לאורך זמן? אולי תחשבו על דרך אחרת?

מסתבר שהדברים לא כל כך פשוטים. קשה מאוד, אולי בלתי אפשרי, לערוך רשימה של כל הדירות המושכרות. קשה מאוד, אולי בלתי אפשרי, לערוך רשימה של כל משקי הבית המתגוררים בדירות שכורות. בלמ"ס בחרו בדרך ביניים. למעוניינים, הנה לינק למסמך המתאר את מתודולוגיית חישוב סעיף הדיור במדד המחירים לצרכן (קישור לקובץ pdf). אפשר להתווכח על מתודולוגיית הדגימה, אך רצוי מאוד להבין את הנושא לפני שמחווים דיעה.

מה אומר דו"ח הועדה המייעצת?

אמנם בגלובס לא טרחו לתת הפניה אל הדו"ח אבל חיפוש מהיר בגוגל מצא אותו (קישור לקובץ pdf).

כדאי קודם כל לעיין בעמוד 2 בו תמצאו את רשימת חברי הועדה. בוועדה יש 35 חברים, שהם נציגים ממגוון רחב של מוסדות ממשלתיים ואחרים, כולל בנק ישראל, משרד האוצר, משרד הבינוי והשיכון, המועצה הלאומית לכלכלה, משרד המשפטים, וכן, גם 9 נציגים של הלשכה המרכזית לסטטיסטיקה. גילוי נאות: אני מכיר אישית שלושה חברים בוועדה.

ההתייחסות של הועדה לנושא מדד שכר הדירה נמצאת בעמודים 37-39. הנתון של עליית המחירים ב-65% אינו כתוב במפורש בדו"ח והוא ככל הנראה נגזר מהגרף שבעמוד 37. לדעתי הגרף מראה שינוי הקרוב יותר ל-60% מאשר ל-65%, (ראו הצגה מוגדלת של הגרף בדה-מרקר) אבל בואו נניח לזה. בעיה יותר גדולה בגרף, לדעתי, היא שהוא לא מציג סטייות תקן או רווחי סמך לאומדנים, לא עבור הנתונים של רז-דרור ולא עבור נתוני הלמ"ס.[6]

בשולי הגרף מצויין כי מקור הגרף במסמך של ד"ר עופר רז-דרור מ-2017. לא הצלחתי לאתר את המסמך המקורי. בדה-מרקר מציינים כי המדגם של רז-דרור קטן יחסית, מה שאומר כי סטיית התקן שלו (טעות הדגימה) יותר גדולה. לא הצלחתי למצוא מה הייתה שיטת הדגימה של ד"ר רז-דרור.

המלצות הועדה בנושא הן לשפר את המעקב אחר דירות בשכירות בעת תחלופת שוכר, וכן לפרסם מדדים לשכר-דירה ואת שכר הדירה הממוצע בפילוח לפי מחוזות וערים גדולות. בניגוד למה שדווח בגלובס, אין המלצה לתקן את המדדים לאחור, ואין המלצה לשנות את מתודולוגיית הדגימה.

משפט מסכם אחרון: תמיד כדאי לקרוא בביקורתיות כתבות, דו"חות, כל דבר בעצם. תהיו ספקנים.

 


הערות
  1. לא מצאתי בגלובס []
  2. חישובי אחוזים של בי"ס יסודי []
  3. ידע בחישובי אחוזים של בית ספר יאפשר לכם לבדוק את התוצאה. תתחילו מ-100, תוסיפו לו 1.8%. לתוצאה שקיבלתם תוסיפו שוב 1.8%, וכך הלאה, 8 פעמים []
  4. לפי הנתון בכתבה בגלובס []
  5. בין היתר, כיוון שאני לא מומחה בתחום []
  6. אכתוב על עניין זה בהרחבה בקרוב []

סטטיסטיקה רעה: לא לתכנן

"לקרוא לסטטיסטיקאי לאחר שהניסוי התבצע זה כמו לבקש ממנו לבצע ניתוח שלאחר המוות. לכל היותר הוא יוכל לומר מה הייתה סיבת המוות" – רונלד פישר.

כשמדברים בסטטיסטיקה על תכנון, מדברים בדרך כלל על תכנון ניסויים.[1] קשה להביא דוגמאות למקרים של כשלים בתכנון ניסויים, כי הכשלים בדרך כלל מובילים לכישלון, וכישלונות בדרך כלל נזרקים לפח האשפה. הכישלונות עלולים להיות צורבים. זה לא נעים לראות ניסוי קליני שנכשל (אם כי במקרים כאלה יש בדרך כלל סיבות רבות לכישלון, מעבר לבעייתיות אפשרית בתכנון הסטטיסטי). כשל וכישלון בניסוי במעבדה עלול להוביל להחמצה של תגלית חשובה, או להשקעה מיותרת. מתכנון לקוי של ניסויים עלולים לנבוע תהליכי ייצור לא אופטימליים, וגם החלטות שיווקיות לא נכונות. יכולות להיות גם השלכות בטיחותיות (רכב אוטונומי, מישהו?) או השלכות על בריאות הציבור.

לא אדון כאן בכל התורה המורכבת של תכנון ניסויים. כדי לראות את קצה קצהו של הקרחון יש צורך בקורס שלם. אתם מוזמנים לעיין במצגת שלי שעוסקת בנושא תכנון הניסויים בזעיר אנפין, בעיקר מנקודת המבט של התעשייה הפרמצבטית.

בגדול, התהליך של תכנון ניסוי כולל מספר רב של שלבים, וביניהם: החלטה על מטרת הניסוי, החלטה אלו פרטים יהוו את אוכלוסיית הניסוי (חיות? ואם כן, איזה חיה? בני אדם? תרביות תאים? ריאקציות כימיות? גולשים באתר? תצלומים שיש לזהות בהם תבניות, כגון האם רואים בתצלום חתול?), לקבוע מה יהיו משתני הניסוי, לבדוק האם יש אפשרות ליחסי גומלין בין משתני הניסוי, להחליט איזו תגובה או תגובות ימדדו, להחליט איזו אינפורמציה לאסוף מעבר למשתני הניסוי ומשתני התגובה (למשל משתני בסיס, או משתנים מתערבים (confounding) פוטנציאליים שעשויים להשפיע גם על המשתנה התלוי – התגובה, וגם על משתני הניסוי), להחליט איך לאסוף את האינפורמציה, לקבוע את דרך הבקרה של הניסוי, להחליט האם תהיה סמיות, לקבוע היכן ומתי ייערך הניסוי ומי יבצע אותו, לקבוע את גודל המדגם, להחליט האם לבצע רנדומיזציה, ואם כן איך, לצפות תרחישים אפשריים למהלך הניסוי ולהחליט מראש כיצד להתמודד איתם, לתכנן את הניסוי כך שיאפשר הסקת מסקנות כלליות (external validity), להחליט על השיטות הסטטיסטיות שבעזרתן ינותחו הנתונים של הניסוי[2], ועוד הרבה החלטות אחרות.

בכל אחת מההחלטות שצריך לקבל בתהליך התכנון יש פוטנציאל לכשל או לכשלים, ותאמינו לי, ראיתי את כולם. אתמקד כאן רק במספר כשלים עיקריים.

כשל הגדול מכולם הוא, כמובן, להתחיל את הניסוי לפני שיש תשובות ברורות לכל השאלות האלה, ולפני שהתקבלו כל ההחלטות.[3] גם אם התקבלו כל ההחלטות הרלוונטיות, יש לפרט אותן בפרוטוקול הניסוי, אותו יש לכתוב, שוב, לפני תחילת הניסוי. הפרוטוקול הוא חלק מהתכנון.

הכשל העיקרי השני הוא גודל מדגם לא מתאים. גודל מדגם אמור להיקבע על ידי לקיחה בחשבון של מספר גורמים: ההסתברויות הרצויות לטעויות (False Positive  ו-False Negative), איזה גודל אפקט ייחשב למשמעותי, ומה רמת אי הודאות הצפויה, כלומר השונות של הנתונים שייאספו. כמו כן, יש לקחת בחשבון כמובן את השיטה בה ייערך הניסוי[4]. מניסיוני, הבעיה העיקרית היא בהערכת השונות. לחוקרים לא תהיה בעיה להגיד מה ההסתברויות לטעות המקובלות עליהם[5], ולאחר לחץ פיזי מתון גם יאמרו לך מה לדעתם ייחשב לאפקט משמעותי. לגבי הערכת השונות יש אכן בעיה שהסטטיסטיקאי צריך להתמודד איתה. לעיתים השונות נקבעת על ידי הפרמטר[6]. במקרים אחרים יש לערוך מחקר בפרסומים אודות ניסויים דומים בספרות המדעית. האפשרות הטובה ביותר היא להשתמש בנתונים של ניסויים דומים קודמים שביצע אותו החוקר.

בקביעת גודל המדגם (ולא רק שם) יש לשקול גם שיקולים אתיים. למשל, ניסוי בחיות (וגם בבני אדם, בעצם) ייחשב ללא אתי אם גודל המדגם קטן מדי ולכן בעל עצמה סטטיסטית נמוכה – חייהן של החיות יוקרבו לשווא. יש דרכים סטטיסטיות להקטין את מספר החיות בהן ישתמשו בניסוי, וסטטיסטיקאי טוב יוכל להמליץ עליהן.

הכשל העיקרי השלישי הוא התעלמות מאינטראקציות – כלומר התעלמות מיחסי הגומלין בין המשתנים השונים. זהו כשל נפוץ ביותר, וראיתי אותו מתרחש במספר רב של יישומים.

הנה דוגמא (מלאכותית) פשוטה אך ארוכה.

שיטת המחקר העוברת בין הדורות של החוקרים המדעיים היא OFAT, כלומר One Factor At a Time. בכל קובעים את ערכם של כל המשתנים העשויים להשפיע על התוצאה פרט למשתנה אחד, שאת ערכו משנים. מה לא בסדר?

מהנדס כימיה רוצה לכוונן שני גורמים המשפיעים על התפוקה של תהליך כלשהו: משך הזמן של הריאקציה, שיכול לנוע בין 60 ל-180 דקות, והטמפרטורה בה היא מתבצעת, שיכולה לנוע בין 21 ל-25 מעלות. הוא עורך סדרה של 5 ריאקציות בהן הטמפרטורה קבועה על 22.5 מעלות, ובודק את ההשפעה של משכי זמן שונים על התהליך. הוא מגיע למסקנה כי התפוקה הגבוהה ביותר, כ-75 גרם, מתקבלת כאשר משך זמן הריאקציה היה 130 דקות.

 

עכשיו המהנדס שלנו עורך סדרה שניה של עוד 5 ריאקציות, בהן משך זמן הריאקציה קבוע ל-130 דקות, ובודק את התפוקה בטמפרטורות שונות. תוצאת הניסויים: התפוקה הגבוהה ביותר, גם כאן כ-75 גרם, כאשר הטמפרטורה היא 22.5 מעלות.

 

המסקנה של המהנדס: תהליך הייצור האופטימלי הינו כאשר טמפרטורת הריאקציה היא 22.5 מעלות ומשך הזמן של הריאקציה הוא 130 דקות, והתפוקה המקסימלית היא כ-75 גרם. האם המסקנה נכונה? ייתכן מאוד שלא, כיוון שסביר מאוד להניח כי יש יחסי גומלין בין המשתנים.

בדוגמא שלנו המצב הוא כפי שהגרף הבא מראה. התפוקה תהיה מקסימלית כאשר הטמפרטורה היא 25.5 מעלות, ומשך הזמן הוא כ-70 דקות. התפוקה בתנאים האלה תהיה כ-91 גרם, שיפור של למעלה מ-20%.

 

אילו נועץ המהנדס בסטטיסטיקאי טוב, הוא היה מציע לו לערוך סדרה של ארבע ריאקציות, בהם ישתנו גם הטמפרטורה וגם משך הזמן של הריאקציה. הריאקציה הראשונה, למשל, תהיה בטמפרטורה של 22 מעלות ומשך הזמן יהיה 120 דקות, הריאקציה השנייה תהיה גם היא בטמפרטורה של 22 מעלות אך עם משך זמן של 150 דקות, וכן הלאה. תכנון כזה יראה, בתנאי הדוגמא, כי הורדת משך הזמן ביחד עם העלאת הטמפרטורה מגדילה את התפוקה.

 

שימו לב גם כי התהליך של המהנדס היה בזבזני: הוא ביצע 10 ריאקציות והגיע לתוצאה פחות טובה ממה שיכול היה לעשות בארבע ריאקציות בלבד. את התכנון שהציע הסטטיסטיקאי ניתן להכליל למספר רב יותר של משתנים[7]

כשל נוסף ובעייתי מאוד, הוא שינוי תנאי הניסוי במהלכו, וכן, זה קורה הרבה פעמים. אמנם אפשר לשנות את תנאי הניסוי בתנאים מסויימים, אך יש להגדיר מראש בפרוטוקול הניסוי באלו מצבים אפשר לשנות את תנאי הניסוי, איזה שינוי יבוצע (אם יבוצע), ומהם הקריטריונים לפיהם ייקבע האם יש לבצע את השינוי. כמובן שיש לקחת בחשבון את ההשלכות של שינוי כזה על שאר הפרמטרים של הניסוי.

לסיכום, תכנון ניסוי הוא דבר מסובך, ויש להיעזר באנשי מקצוע במהלך התכנון (סטטיסטיקאי, ובדרך כלל גם אנשי מקצוע נוספים). תכנון לקוי יוביל במקרה הטוב לבזבוז משאבים, ובדרך כלל לתוצאות חמורות בהרבה.

 


רשימות נוספות בסדרה:


הערות
  1. תכנון איסוף הנתונים ותכנון הניתוח הסטטיסטי הם חלק מתהליך תכנון הניסוי. []
  2. בהנחה שלא מתכננים לבצע p-hacking, כמובן []
  3. זה קורה באמת. ראו את הרשימה שלי על הסטטיסטיקה בתעשייה. []
  4. כגון: שתי קבוצות מקבילות, תכנון של לפני-אחרי, וכדומה []
  5. אפס, כמובן []
  6. לדוגמא, אם מדברים על תדירות של אירועים בתהליך פואסון, אז השונות נגזרת ישירות מהתדירות המשוערת []
  7. אני תכננתי פעם ניסוי עם 8 משתנים, כאשר לכל משתנה יש שתי רמות אפשריות, סה"כ 256 אפשרויות, אם אכן מנסים את כל האפשרויות. יש דרכים לצמצם את מספר האפשרויות, אם מוכנים לוותר על חלק מהאינפורמציה, כמו למשל אינטראקציות מסדר גבוה []

סטטיסטיקה רעה: מדגם לא מייצג

הסטטיסטיקה מבוססת על מדגמים. מדגם לא מייצג מוביל בדרך כלל להטיה בנתונים הנאספים ולמסקנות שאינן תקפות.

לרוב אין זה מעשי לאסוף את כל הנתונים הדרושים למחקר מסויים[1], ולכן יש להסתפק במדגם – כלומר בנתונים חלקיים. המדגם צריך לאפשר הסקה לגבי כלל הנתונים. אם המדגם אכן מאפשר זאת, המדגם הוא מייצג. מדגם לא מייצג, ברוב המקרים, לא מאפשר הסקה אמינה.

במקום לתת הסברים טכניים, אציג כאן מספר דוגמאות. רובן עוסקות בסקרים, אך הבעיות עלולות לצוץ בכל מיני יישומים אחרים (למשל דגימה של מוצרים מפס הייצור לצורך בקרת איכות, או ביצוע AB testing בקרב משתמשים, למשל עלי ידי הכללה של משתמשים חדשים בלבד).

נתחיל בסקרי בחירות. שתי דוגמאות מפורסמות הן סקרי הבחירות לנשיאות ארצות הברית ב-1936 (רוזוולט נגד לנדון) וב-1948 (טרומן נגד דיואי) .

ב-1936 ערך העיתון Literary Digest סקר שהקיף 2.4 מיליון משתתפים. זהו הסקר הגדול ביותר שנערך אי פעם. למעשה נשלחו 10 מיליון שאלונים, אך רק רבע מהנמענים השיבו. הסקר חזה ניצחון מוחץ ללנדון, אך רוזוולט הוא זה שנבחר. התברר שהמדגם לא היה מייצג. במדגם היו שתי בעיות. השאלונים נשלחו לאנשים שהופיעו ברשימות של חברי מועדונים ו/או בספרי טלפונים. ב-1936, רוב מוחלט של האנשים האלה היו עשירים. הסקר דגם אנשים עשירים באופן שיטתי. אנשים עשירים תמכו בלנדון. העניים, שהיו רבים יותר מן העשירים, תמכו ברוזוולט. בעיה נוספת בסקר הייתה שכשלושה רבעים מהאנשים אליהם נשלחו השאלונים לא השיבו. האנשים שלא השיבו שונים מאלה שהשיבו (הם הרי לא השיבו). ייתכן מאוד כי הם נבדלו מהמשיבים גם בהעדפותיהם הפוליטיות.

יש לציין כי סקרים קודמים שהעיתון ערך בשיטה זו חזו את המנצחים בבחירות, למרות שהמדגמים לא היו מייצגים[2]. זה קרה מכיוון שהנושאים המרכזיים בבחירות קודמות היו מדיניים ולא כלכליים, ובנושאים אלה אין הבדלים מהותיים בין עניים ועשירים.

מסקנה חשובה מהסקר של 1936: מדגם גדול לא עוזר להתגבר על הטיה באיסוף הנתונים. להיפך – הוא מעצים את ההטיה.

עם זאת, היה מי שחזה היטב את התוצאות ששל הבחירות האלה – ג'ורג' גאלופ, והוא עשה זו בעזרת מדגם של 50,000 נסקרים בלבד. גאלופ השתמש בשיטת דגימה שנקראת Quota Sampling. הסוקרים שלו יצאו לשטח וראיינו בעלי זכות בחירה. כך נמנע חלק גדול מבעיית חוסר ההשבה. כמו כן, הסוקרים קיבלו הוראות מדוייקות איך לדגום את המרואיינים. למשל, סוקר שנשלח לראיין 13 איש, הונחה לראיין 7 גברים ו-6 נשים. את 7 הגברים היה עליו לבחור כך ש-3 מהם יהיו מתחת לגיל 40 ו-4 מעל גיל 40, וכולי. כך קיבל גאלופ מדגם שייצג את אוכלוסיית הבוחרים בכל הפרמטרים שלפיהם נבנתה תכנית הדגימה: מין, גיל ופרמטרים נוספים. השיטה הזו עבדה יפה עד 1948. ב-1948 חזה גאלופ, על פי השיטה הזו, כי בבחירות לנשיאות המועמד הרפובליקני, דיואי, יביס את המועמד הדמוקרטי, טרומן. טרומן ניצח. מה קרה פה? הוראות הדגימה לא כללו פילוח לפי העדפה מפלגתית – הרי זה מה שהסקר ניסה לחזות. התברר כי לסוקרים היה הרבה יותר נוח לדגום רפובליקאים (בלי שיהיו מודעים לכך, כמובן). הסקר היה מוטה לטובת הרפובליקאים.

מה קרה בבחירות 2016, בהן הסקרים והמודלים חזו כי הילארי קלינטון תנצח את טראמפ בבחירות לנשיאות?[3] התשובה עדיין לא ברורה. החיזוי נעשה על פי מודלים ששקללו מספר רב של סקרי בחירות, מעין מטה-אנליזה. המודלים האלה פותחו לקראת בחירות 2012, וחזו בדייקנות את נצחונו של אובמה על רומני. הם כשלו ב-2016. יש ויכוח בין המומחים האם המודל היה מוטה כבר ב-2012, וחזה את ניצחון אובמה למרות ההטיה, או שמא המודל נפל קורבן להטיה ספציפית ב-2016.

ראינו קודם בעיה בסקר שנגרמה, בין השאר, כיוון שרוב הנסקרים הפוטנציאליים לא השיבו לשאלות הסקר. יכולה להיות גם בעיה הפוכה – אנשים שנלהבים להשיב לסקר. כך, למשל, קרה לבעלת הטור אן לנדרס, ששאלה את קוראיה שהינם הורים לילדים שאלה פשוטה: "לו הייתם חיים שוב את חייכם, האם שוב הייתם מביאים ילדים לעולם?" (קישור לקובץ pdf). היא קיבלה כ-10000 תגובות לסקר. 70% אמרו שלא. בסקר דומה שנערך על ידי המגזין Good Housekeeping, מספר חודשים לאחר מכן, שיעור משיבי ה-"לא" היה 95%. אני חושב שכאן ברור שהמדגם לא מייצג. סביר להניח שציבור הקוראים אינו מייצג את כל האוכלוסייה (מדובר בטור במדור שמיועד לנשים, ובמגזין לנשים). כמו כן, המשיבים לסקר לא נדגמו מתוך האוכלוסייה הכללית. הם בחרו להשיב לסקר. ייתכן מאוד כי בעלי הדיעה הקיצונית, משיבי ה-"לא", היו נלהבים יותר להשיב לסקר.

דוגמה היסטורית נוספת – מחקריו של אלפרד קינזי על מיניות האדם. אני חושב שאין חולק על כך שקינזי היה פורץ דרך במחקר תחום שנחשב בזמנו לטאבו. גם ממצאיו האיכותניים עדיין נחשבים כמשמעותיים, גם כאשר עברו יותר מ-60 שנה מאז פירסם את הדו"ח שלו על מיניות האדם. עם זאת, שיטות המחקר שלו היו שנויות במחלוקת, בלשון המעטה. אני אתייחס כאן רק למחקר הכמותי שביצע. קינזי הכיר בקיומה של הומוסקסואליות, גם אצל גברים וגם אצל נשים, ואף הבחין כי מדובר ברצף, ובנה סולם בן 7 דרגות, כך שרמת הנטייה המינית של כל אדם מבוטאת על ידי דרגה בסולם, שעדיין נמצא בשימוש. שאלה מעניינת, עד עצם היום הזה, היא איזה אחוז מהאוכלוסייה נמצא בכל שלב של הסולם? הנמצאים בשתי הדרגות של הסולם נחשבים כהומוסקסואלים (או לסביות). קינזי הגיע למסקנה כי  13% מהנשים ו-7% מהגברים נמצאים בדרגות האלה.[4] אולם המדגם של קינזי לא היה מייצג, ככל הנראה במודע. היה בו ייצוג יתר לאסירים ולזונות ממין זכר. גם העובדה כי רוב הנסקרים (והנסקרות) שלו היו מתנדבים הפחיתה מרמת הייצוג של הסקרים שלו. עקב כך, ממצאיו הכמותיים שנויים במחלוקת.

הדוגמה האחרונה שאביא היא מהמחקר שפירסם משרד האוצר בשנת 2004 על מה שכינה "שכר המינימום ונזקיו". החלק הכמותי/אקונומטרי של המחקר עסק בנתונים מתקופה של 11 שנים, מ-1993 ל-2003, וזאת למרות ששכר המינימום הונהג בישראל בראשית שנות ה-70. ה-"מדגם" שלהם לא מייצג, וזה נעשה במודע. החוקרים[5] הסבירו כי "תקופת המדגם נבחרה כך שלא תכלול את השינויים המבניים הגדולים שהתרחשו בתחילת שנות ה-90". במילים אחרת, הם התעלמו במכוון מתקופה של כ-20 שנה בהן היה נהוג שכר מינימום, ומהתובנות שעשויות לעלות מהנתונים הכלכליים של התקופה ההיא. אפשר לחשוב על הרבה סיבות נוספות לבחירה שלהם, מלבד הסיבה שהם סיפקו. לא אכנס כאן לספקולציות. כמו כן, עדיין לא ניתן לקבוע בבירור האם הם צדקו במסקנותיהם. שכר המינימום כמעט ולא השתנה באופן ריאלי בין 2004 ל-2014. עם זאת, מאז 2014 חלה עליה ריאלית משמעותית בשכר המינימום, והאסונות שנחזו בדו"ח (שהיו אמורים להיות מיידיים) עדיין לא אירעו.

אז איך עורכים מדגם לא מייצג?

נסביר תחילה איך עורכים מדגם מייצג, כפי שמלמדים בקורס הבסיסי בדגימה בשנה ג' של לימודי הסטטיסטיקה. קודם כל צריכים לערוך רשימה של כל המועמדים להיכלל במדגם. זוהי מסגרת הדגימה. כעת אפשר לבחור את שיטת הדגימה.

הבסיס לכל השיטות היא דגימה הסתברותית – לכל פרט באוכלוסייה נקבעת ההסתברות כי ייכלל במדגם.

הדרך הפשוטה ביותר היא לערוך מדגם מקרי פשוט – לכל הפרטים יש את אותה ההסתברות להיכלל במדגם. כדי לקבוע מי יידגם, מכניסים לתוך כובע גדול פתקים, כשלכל פרט באוכלוסייה יש פתק עליו כתוב השם (או מזהה אחר) הפרט. מערבבים היטב את כל הפתקים, ומוציאים מהכובע מספר פתקים על פי גודל המדגם הדרוש. אפשר, כמובן, לבצע את התהליך הזה באופן ממוחשב.

יש וריאציות יותר מתקדמות. אם האוכלוסייה מתחלקת למספר שכבות אשר שונות זו מזו באופן מהותי (למשל דתיים וחילוניים), אפשר לבצע מדגם נפרד בתוך כל שכבה ולאחר מכן לשקלל את התוצאות. אם לעומת זאת, האוכלוסייה מורכבת מאשכולות אשר לא שונים זה מזה באופן מהותי (דוגמה היפותטית: אוכלוסיית הקיבוצים), אפשר לדגום רק מספר אשכולות (קיבוצים) מתוך רשימת הקיבוצים, ובעזרת מודל מתמטי לא מורכב להסיק ממדגם זה על האוכלוסייה כולה.

אבל יש גם דרכים לקבל מדגם לא מייצג. ציינתי חלק מהן בדוגמאות שהבאתי. אציין כמה מהשיטות הפופולריות.

המקרה הנפוץ הוא להשתמש במסגרת דגימה השונה באופן מהותי מהאוכלוסייה הנחקרת. זה עשוי לקרות בטעות, כפי שקרה בסקר הבחירות בארה"ב ב-1936, או במודע, כפי שנעשה במחקר המדובר של משרד האוצר. מסגרת דגימה לא ראויה עלולה לגרום לייצוג יתר של חלק מהאוכלוסייה, וייצוג חסר של חלקים אחרים. ייתכן גם כי יידגמו פרטים שאינם נכללים באוכלוסייה (למשל, נער בן 16 העונה לסוקר טלפוני לשאלה בעד מי יצביע בבחירות הקרובות).

גם כאשר בונים היטב את מסגרת הדגימה, המדגם שמתקבל עשוי להיות מוטה ובלתי מייצג עקב שיעורי השתתפות נמוכים של הנדגמים במדגם עצמו.

מדגם נוחות, בו החוקר בוחר את המדגם באופן הנוח לו (למשל, חוקר באוניברסיטה שבמחקר שלו משתתפים הסטודנטים שלו) הוא מתכון כמעט בטוח למדגם לא מייצג.

שליחת שאלונים לכל מי שאפשר (כמו בבחירות 1936 בארצות הברית) גורמת בדרך כלל גם היא לחוסר ייצוג. לפרטים שונים באוכלוסייה יש הסתברויות שונות להכללות במדגם, אולם איש אינו יודע מה ההסתברויות האלה, ולכן אין אפשרות סבירה לסיכום התוצאות.

מדגם המבוסס על מתנדבים יביא גם הוא לחוסר ייצוג, כפי שלמדנו מהמקרה של אן לנדרס. אנשים המעוניינים להיות חלק מהמדגם (נניח, מוכנים להשיב לסקר כלשהו) שונים באופן מהותי מאלה שאינם מעוניינים. זו בעיה די שכיחה בטכניקה של הפצת שאלונים באינטרנט, למשל.

המתודולוגיה של הפצת שאלונים (כיום בעיקר דרך האינטרנט) כאשר מצורפת אליהם הבקשה "אנא שתפו עם חבריכם" ידועה בשם "מדגם כדור השלג". מספר ראשוני קטן של נדגמים מפיצים את השאלון בקרב חבריהם, ואלה בתורם מפיצים את השאלון הלאה. התוצאה: הנדגמים יהיו כולם שייכים לרשת חברתית מסויימת, שקרוב לוודאי תהיה שונה באופן מהותי מכלל האוכלוסייה ולא תייצג אותה.

לסיכום – יש להחליט על הדרך בה ייאספו הנתונים שישמשו לאחר מכן כבסיס לניתוח סטטיסטי בכובד ראש, וזאת כדי להמנע מהכשלים והבעיות שנימנו כאן. מדגם לא מייצג יוביל כמעט תמיד לתוצאות לא תקפות.

 


רשימות נוספות בסדרה:


הערות
  1. למשל נתוני השכר של כל אזרחי מדינת ישראל []
  2. גם אז הם דגמו יותר עשירים באופן שיטתי []
  3. טראמפ ניצח, לידיעת מי שהדחיק []
  4. הנתון הידוע, הטוען כי שיעור ההומוסקסואלים ו/או לסביות באוכלוסייה הוא 10%, הגיע מחישוב הממוצע של 7 ו-13 []
  5. שלא היו מספיק אמיצים כדי לחתום על המחקר בשמם []

סטטיסטיקה רעה: לקבל את השערת האפס

בתהליך הסטטיסטי של בדיקת השערות מוצבות זו מול זו שתי השערות. ההשערה הבסיסית, המכונה השערת האפס, מתארת את הידע הקיים (ידע מדעי או אחר), ומולה ניצבת השערה אלטרנטיבית, המייצגת תיאוריה חדשה. כדי להוכיח כי התיאוריה החדשה נכונה, על החוקר להציג ראיות מובהקות ומשמעותיות שיביאו לדחיית השערת האפס לטובת ההשערה האלטרנטיבית.

מה קורה אם אין ראיות מובהקות? האם ניתן להסיק מכך שהשערת האפס נכונה? ממש לא. הטענה כי השערת האפס נכונה רק בגלל שלא הצלחנו להפריך אותה היא כשל לוגי הידוע בשם "אד איגנורנטיאם" – טיעון מן הבורות. וכפי שאמר קארל סאגאן: "Absence of evidence is not evidence of absence"[1] . כאשר אין עדויות לטובת התיאוריה החדשה, עדיין אי אפשר לראות בכך עדות לנכונות התיאוריה הישנה.

 

 

 

 

 

מה צריך לעשות כדי להראות כי השערת האפס נכונה? יש להחליף בין ההשערות. הפרוצדורה הזו נפוצה בתעשייה פרמצבטית. כדי להראות כי תרופה נתונה שקולה לתרופה אחרת (במובן שמוגדר מראש, כמו אפקט קליני, או במקרים של תרופה גנרית, פרמטרים פרמקוקינטיים), יש לערוך ניסוי bioequivalence – שקילות ביולוגית. השערת האפס מניחה כי התרופות שונות זו מזו, ומטרת הניסוי היא, כמו תמיד, להביא עדויות סטטיסטיות נגד השערת האפס, ואם השערת האפס נדחית ניתן לקבל את הקביעה כי שתי התרופות שקולות.

למרות שתוצאות לא מובהקות בדרך כלל לא מתפרסמות, עדיין תוכלו למצוא את הכשל הזה במקומות רבים, ומישהו אפילו טען כי הדבר לגיטימי[2]. חיפוש בגוגל אחרי הביטוי "There was no difference"  באתר https://www.ncbi.nlm.nih.gov  מצא כ-1000 מאמרים שהתפרסמו החל מ-2010 ועד סוף 2017 שהכילו בתוכם את הביטוי הזה, וברבים מהם צורף לטענה p-value, שערכו כמובן גדול מ-5%. אין לדעת מתי החוקרים מרימים ידיים כאשר לא הצליחו לדחות את השערת האפס, ומסיקים כי היא נכונה. השאלה החשובה היא אם הם מושכים את הכתפיים מכיוון שממילא הם לא מייחסים לכך משמעות, או קופצים למסקנות על סמך ההנחה המוטעית כי כישלונם לדחות את השערת האפס מבטא עובדה בעלת משמעות.

כישלון לדחות את השערת האפס יכול לנבוע מגורמים רבים: תכנון לא נכון של הניסוי, עצמה סטטיסטית נמוכה, או אפקט קטן ובלתי משמעותי. קשה בדרך כלל לדעת מהי הסיבה. עם זאת, אפשר (ולא קשה) לתכנן ניסוי בצורה טובה, ובעל עצמה מספקת כדי לדחות את השערת (או השערות) האפס שהינן בעלות חשיבות.

לסיכום: כישלון לדחות את השערת האפס לא מוכיח כי היא נכונה. אנחנו אמנם ממשיכים להאמין כי היא נכונה, כיוון שהיא מייצגת את הידע הקיים, אבל יש כמובן הבדל גדול בין הוכחה לאמונה.


רשימות נוספות בסדרה:


הערות
  1. אני לא מצליח לתרגם אמירה קולעת זו לעברית בצורה מניה את הדעת []
  2. קישור למאמר משנת 1995 []