נסיכת המדעים

כבר הסברתי כאן באריכות מהו ה-p-value, ומה הוא לא. לא אחזור כאן על כל הפרשנויות המוטעות למשמעותו של ה-p-value, אך אציין את המובן מאליו – פרשנות לא נכונה של ה-p-value והתרכזות בלעדית בשאלה האם תוצאה היא מובהקת או לא, מהווה סטטיסטיקה רעה שעלולה להביא לתוצאות חמורות.

האיגוד האמריקני לסטטיסטיקה (ASA) פירסם בראשית 2016 הצהרה בדבר המובהקות הסטטיסטית ו-p-values , (( קישור לקובץ pdf )) ובה מפורטים שישה עקרונות שישפרו את הביצוע והפרשנות של מחקרים כמותיים. ASA מציינים כי ה-p-value אמנם מספק הערכה עד כמה הנתונים אינם עולים בקנה אחד עם מודל סטטיסטי ספציפי, אך אינו מודד את ההסתברות כי השערת האפס נכונה ((אין דבר כזה)) או את ההסתברות כי התוצאות התקבלו במקרה. ASA מבהירים כי אין להסיק מסקנות מדעיות, או לקבל החלטות עסקיות או החלטות בדבר מדיניות על סמך ה-p-value בלבד. ה-p-value  לכשעצמו אינו מדד טוב של ראיות (evidence) בעד או נגד השערה או מודל. וכמובן, מובהקות סטטיסטית אינה מעידה או מודדת את גודלו של האפקט הנצפה או חשיבותו.

הבאתי כאן בעבר מספר דוגמאות היפותטיות ואמיתיות בדבר פרשנות לקויה של p-values, והתעלמות מהמשמעות של האפקט הנצפה או חשיבותו. חברת תרופות עלולה להיאחז בתוצאה מובהקת של ניסוי קליני כדי להחליט על המשך הפיתוח של תרופה חסרת תועלת ולבזבז מאות מיליוני דולרים. חוקרים מכובדים פרסמו תוצאות מובהקות של מודל רגרסיה שהריצו, בלי להתייחס לכך שאין משמעות מעשית לתוצאות וגרוע מכך, לא שמו לב כי אחת התוצאות היא אבסורדית. חוקרים אחרים הגיעו למסקנה המובהקת כי במשפחות שבהן שלושה בנים, ההסתברות שהילד הרביעי יהיה גם הוא בן גבוהה יותר. המשמעות של התוצאה היא שכל שנתיים נולד בן אחד יותר ממה שהיה "צריך" להיות אילו ההסתברות לבן רביעי לא הייתה שונה, כלומר ההבדל בין ההסתברות התיאורטית וההסתברות הנצפית ללידת בן רביעי לא היה משמעותי.

אבל הבעיה היא ככל הנראה רחבה יותר וקיימת במחקרים בתחומים רבים.

ב-1996, החוקרים מקלוסקי וזיליאק בדקו 182 מחקרים שהתפרסמו בכתב העת American Economic Review בשנות ה-80 של המאה העשרים והשתמשו ברגרסיה ככלי ניתוח סטטיסטי. הם מצאו כי 70% מהמחקרים לא הבדילו בין מובהקות סטטיסטית למשמעות כלכלית. השניים מציינים גם כי ספרי הלימוד בכלכלה לא דנים בהבדל בין תוצאה מובהקת לתוצאה משמעותית. ((המצב בספרי הלימוד בסטטיסטיקה אינו טוב יותר, לצערי))  הם חזרו על המחקר כעבור עשר שנים, ומצאו כי לא חל שיפור. מתוך 137 מחקרים שפורסמו בשנות ה-90, 82% לא הבחינו בין מובהקות סטטיסטית ומשמעות כלכלית. מאחר ולכלכלנים יש השפעה רבה על החלטות בדבר מדיניות ציבורית, לסטטיסטיקה רעה כזו יש השפעה ישירה על כל אחד מאיתנו.

גם בתחום כלכלת הבריאות יש בעיה. הבלוגר סם ווטסון, אחד הכותבים בבלוג העוסק בכלכלת בריאות, סקר ((אמנם באופן לא שיטתי)) את גיליון מאי 2017 של כתב העת Health Economics. בתשעת המאמרים שהופיעו בגיליון, הוא מצא שמונה מקרים בהם השתמשו ב-p-value באופן בלעדי כדי לקבוע האם קיים אפקט. וכאשר מיישמים סטטיסטיקה רעה לקביעת מדיניות ציבורית בתחום הבריאות, יש לכך השפעה על חיי אדם.

לסיכום: ה-p-value הוא כלי יעיל לבדיקת מובהקות סטטיסטית, כאשר שיטת ניתוח הנתונים ורמת המובהקות של הניתוח נקבעות מראש. עם זאת, ה-p-value אינו מדד טוב לטיבם של הנתונים (ראיות), לגודלו של האפקט הנצפה, משמועות או חשיבותו.

נסיים בדבריו של רון וסרשטיין: “The p-value was never intended to be a substitute for scientific reasoning" – ה-p-value מעולם לא נועד להיות תחליף לחשיבה מדעית.

רשימות נוספות בסדרה:

• סטטיסטיקה – שבעת החטאים
• סטטיסטיקה רעה: אי אבחנה בין מתאם לסיבתיות
• סטטיסטיקה רעה: לקבל את השערת האפס
• סטטיסטיקה רעה: p-Hacking
• סטטיסטיקה רעה: מדגם לא מייצג
• סטטיסטיקה רעה: לא לתכנן
• סטטיסטיקה רעה: לא לתת מדד לאי ודאות

יש הרבה דרכים לעשות סטטיסטיקה רעה, אבל גם סטטיסטיקה רעה אפשר לעשות באופן רע יותר. אני לא חושב שמישהו מת כתוצאה מדיאגרמת עוגה תלת מימדית, אבל סטטיסטיקה רעה באמת עשויה להיות הרת אסון. קבלו את שבעת החטאים של הסטטיסטיקה. ((לא בסדר מסויים)) כל קישור יוביל אתכם לסקירה מורחבת על הנושא.

• פרשנות לא נכונה של ה-p-value ואי הבחנה בין תוצאות מובהקות לתוצאות משמעותיות
• אי אבחנה בין מתאם לסיבתיות
• לקבל את השערת האפס
• p-hacking
• מדגם לא מייצג
• לא לתכנן
• לא לתת מדד לאי ודאות

בשבועות הקרובים אפרסם כאן סקירות מפורטות של כל אחד מהחטאים, ומה אפשר ורצוי לעשות כדי להמנע מהם ((רשימה זו תתעדכן בקישורים מתאימים))

לפני כשבועיים הבאתי כאן דוגמה לסטטיסטיקה רעה, בה מרצה בקורס Data Science הדגימה כיצד מחשבים בפייתון מקדם מתאם. היא השתמשה בקובץ שהכיל נתונים על סרטים, וחישבה את מקדם המתאם בין המספר הסידורי של הסרט בבסיס הנתונים ובין הרייטינג הממוצע שלו. (( הרייטינג הממוצע הוא בעצמו יצור בעייתי מבחינה סטטיסטית, ואקדיש לו רשימה אחרת ))

לי ברור כי זו סטטיסטיקה רעה, אך היו כאלה שלא הסכימו איתי. לכן אסביר מה בדיוק הבעיה כאן, ואתייחס לטענות התומכות בחישוב של הגברת הנחמדה (( היא באמת נחמדה, בלי ציניות ))

כדי להבין מה קרה פה, צריך לחזור ליסודות – סולמות מדידה. כתבתי בעבר סקירה נרחבת בנושא. יישנם ארבעה סולמות מדידה, שניים מהם מכונים סולמות כמותיים, ושניים הם סולמות איכותיים. סולמות כמותיים, מטבעם, מודדים כמויות.

אני חושב שלא קשה להשתכנע כי המספר הסידורי של סרט בבסיס הנתונים אינו משתנה כמותי. סרט מספר 4800 בדטהבייס אינו פי שניים (( פי שניים מה בדיוק? )) מסרט מספר 2400. ההבדל (( איזה הבדל בדיוק? )) בין סרט מספר 2 לסרט מספר 4 אינו שווה להבדל בין סרט מספר 2400 לסרט מספר 2402. האם מישהו יכול לטעון אחרת, ולנמק את טענתו? אני חושב שלא. (( ובכל זאת לא אופתע אם מישהו יקום ויגיד שכן ))

מקדם המתאם חישבה המרצה הוא מקדם המתאם של פירסון. מקדם מתאם זה נועד למשתנים כמותיים. הוא קשור קשר הדוק למודל הרגרסיה הלינארית, שהצגתי בקצרה ברשימה קודמת. סוף פסוק. לכאורה.

אבל מה שברור לי לא ברור לכל אחד.

הטענה הראשונה שהועלתה כדי להצדיק את החישוב שערכה המרצה הנ"ל היא שאין שום בעיה, והחישוב רק נועד להדגים את חישוב מקדם המתאם.

האמת היא שאין לי מה לומר נגד טיעון כזה. אני חושב שלדברים שעושים צריכה להיות משמעות, בייחוד כאשר מדובר בקורס מבוא לדטה סיינס. דיברתי כאן באריכות לגבי ההבדלים בין מודלים ואלגוריתמים. המרצה הדגימה את הפעלת האלגוריתם בלי להתייחס למודל הסטטיסטי שעמד בבסיסו, ולדעתי זה לא נכון. המרצה אף הוסיפה חטא על פשע כאשר עברה הלאה בלי להתייחס בכלל לתוצאה שהתקבלה ולמשמעות שלה.

הטענה השניה שהועלתה היא שייתכן כי המספר הסידורי טומן בחובו אינפורמציה נוספת. ייתכן למשל, טענו, כי ככל שהמספר הסידורי קטן יותר, אז הסרט ישן יותר. במילים אחרות, נטען כי המספר הסידורי מבטא סדר בין הנתונים, ולא משמש לזיהוי בלבד.

זו בהחלט טענה מתוחכמת יותר ואכן יש מקרים שבהם מספר מזהה מייצג גם סדר, לפחות חלקי. דוגמאות אפשריות הם מספרי תעודת הזהות, מספרים אישיים בצה"ל, ואלי גם מספרי רישוי של מכוניות (( ככה זה היה בישראל, לפחות, עד סוף שנות ה-70 של המאה ה-20 ))

לכך יש לי שתי תשובות. ראשית, גם אם מספרי הזיהוי מכילים בתוכם אינפורמציה על סדר, הם עדיין לא משתנים כמותיים, ולכן השימוש במקדם המתאם של פירסון שגוי. יש מקדמי מתאם שפותחו עבור משתנים סודרים, הידוע שבהם הוא מקדם המתאם של ספירמן (( חבילת התכנה NumPy של פייתון לא מאפשרת לערוך חישוב כה מתוחכם ))

אבל לפני שרצים לחישוב מקדם מתאם, אפילו זה של ספירמן, צריך לבדוק האם ההנחה כי המספר המזהה של הסרט מכיל אינפורמציה על סדר היא נכונה. (( ואני לא רואה שום סיבה הגיונית להניח את זה מלכתחילה )) סטטיסטיקאי טוב אמור לבדוק את ההנחות, וגם דטה סיינטיסט (להבדיל מדטה-טכנאי) אמור לעשות את זה. לבדוק את הטענה זה קל. הנה הקישור לקובץ הנתונים (קובץ zip). מי שממש רוצה להיות בטוח יפתח מתוך הזיפ את הקובץ movies.csv. סרט מספר 1 הוא Toy story, משנת 1995. סרט מספר 80827 הוא Brown of Harvard משנת 1926. סרט מספר 131262 הוא Innocence משנת 2014. ולא צריך לעבוד קשה כדי לגלות את זה. אפשר לעשות את זה בכמה שורות בפייתון, אם רוצים. אבל לא צריך לעבוד כל כך קשה. כל מה שצריך זה לקרוא את readme.txt.

הטענה השלישית היא כנראה החזקה מכולן. אצטט אותה כלשונה:

חישוב מתאם עם מספר סידורי במאגר כלשהו יכול להיות דווקא מועיל בשני היבטים שונים:
1. גילוי קשר עם סדר הרישום במאגר שלא היה ידוע.
2. במקרה שלא אמור להיות קשר עם הסדר, מספק אמדן די טוב לגובה המתאם שלא צריך לייחס לו משמעות, אפילו אם יצא מובהק.

במילים אחרות, חישוב מקדם המתאם של המספר הסידורי עם משתנה כלשהו, יכול להועיל בכך שהחישוב יראה אם יש או אין אינפורמציה על סדר (או על משהו אחר) במספר הסידורי. כך נדע האם הטענה לפיה במספר הסידורי יש גם אינפורמציה על סדר כלשהו (כפי שטענו אחדים) אכן נכונה. זו אכן היוריסטיקה שעובדת. בקובץ נתוני הסרטים, מקדם המתאם בין שנת היציאה לאור של הסרט ובין המספר הסידורי שלו הוא, דרך אגב, 0.019.

אבל לדעתי אין בהיוריסטיקה הזו הרבה תועלת. למה לבדוק אם המספר הסידורי מכיל אינפורמציה על שנת היציאה לאור, אם כבר יש לנו את הנתון של שנת היציאה לאור? הרי יש שתי אפשרויות: אפשרות אחת היא שנמצא שאין מתאם, ואז אין תועלת במספר הסידורי מעבר להיותו מזהה של תצפיות. אפשרות שניה היא שנמצא שיש מתאם, אבל זה לא יקדם אותנו לשום מקום. למה להשתמש במספר הסידורי שמכיל אינפורמציה חלקית (בהנחה הסבירה שהמתאם קטן מ-1), כאשר יש לנו משתנה עם האינפורמציה המלאה?

לסיכום: חישוב מקדם המתאם בין משתנה של מספר סידורי (ובכלל משתנה שמי כלשהו) הוא גם שגוי וגם חסר תועלת, ומהווה סימן אזהרה לסטטיסטיקה רעה.

לאחרונה השתתפתי בכמה דיונים בפייסבוק שהגיעו למבוי סתום. ניסיתי להבין למה זה קורה ולבסוף הבנתי: אני דיברתי על מודלים והם דיברו על אלגוריתמים.

לכאורה לא צריכה להיות שום בעיה. מודל זה דבר אחד, אלגוריתם זה דבר אחר. אם תחפשו בגוגל מודל, לא תמצאו שום מקום שיטען כי מודל הוא אלגוריתם. גם ההיפך נכון. אז מה קורה כאן?

כדי להסביר למה אני מתכוון, יש צורך במספר שלבים. תחילה אתן הסבר קצר וכללי (ויש יאמרו: פשטני) מהו מודל ומהו אלגוריתם. אחר כך אסביר ביותר פירוט מהו מודל סטטיסטי, ואיך הוא מתקשר למושג האלגוריתם. לבסוף אסביר מנין נובע הבלבול בין שני המושגים, לפחות בהקשר הסטטיסטי, ואצביע על בעיה העולה מכך.

מהו מודל?

מודל הוא תיאור תיאורטי של תופעה מציאותית. המציאות היא בדרך כלל מורכבת, והמודל מנסה להתרכז בגורמים החשובים שבעזרתם אפשר לתאר את התופעה, לאפיין אותה, ובעיקר לחקור אותה. המודל כמובן אינו תיאור מדוייק לגמרי של המציאות, אבל הוא מספיק טוב כדי לתת תשובה אמינה לשאלות מעניינות. כל מודל מתבסס על הנחות. מודל טוב מסוגל להסביר תצפיות על המציאות ולחזות תצפיות עתידיות. מודל צריך להיות ניתן לפירוש, כלומר אינו קופסה שחורה. מודל טוב הינו חסכוני – כלומר פשוט ככל האפשר. מודל יכול להיות פיזי, למשל חלקיק הטס לו בתוך מאיץ חלקיקים, או עכבר – במדעי החיים או ברפואה. יש מודלים המבוטאים על ידי משוואות מתמטיות.

מהו אלגוריתם?

אלגוריתם הוא סדרה של הוראות לביצוע משימה מסויימת, כך שהמשימה תסתיים במספר סופי של צעדים. מתכון להכנת עוגה הוא אלגוריתם. כאשר למדתם בבית הספר (או ניסיתם ללמוד) חילוק ארוך, למדתם אלגוריתם. לכל אלגוריתם יש קלט. במקרה של הכנת עוגה, אלה החומרים שמשמים להכנתה: קמח, ביצים וכולי. אולם כאשר הדברים על אלגוריתמים מדברים בדרך כלל על אלגוריתמים מתמטיים, והקלט שלהם הוא בדרך כלל מספרים/נתונים. התוצר של האלגוריתם נקרא פלט. פלט יכול להיות למשל מנה של עוגה, או המנה המתקבלת כתוצאה של חילוק ארוך. כמו למודל, גם לאלגוריתמים יש הנחות, ויש גם תכונות, ואני לא אכנס כאן לפירוט מכיוון שידיעותיי בנושא מוגבלות.

מהו מודל סטטיסטי?

מודל סטטיסטי הוא מודל מתמטי הכולל בתוכו אלמנט מקרי. בדרך כלל המודל עוסק במדגם מתוך אוכלוסייה, ומתאר תכונות של האוכלוסייה וקשרים אפשריים ביניהם.

אתן כאן דוגמה למודל סטטיסטי פשוט, מודל הרגרסיה הלינארית. זהו אחד המודלים הפשוטים ביותר בסטטיסטיקה. יהיו נוסחאות, אך לא צריך להיבהל מהן. אלה רק אותיות וסימנים מתמטיים כמו חיבור וכפל. אסביר בדיוק ובפשטות מה זה כל דבר. הנה המודל:

מה רואים כאן?

בשורה/נוסחה הראשונה יש אותיות לטיניות גדולות: X ו-Y. אלה הם המשתנים של המודל. המודל מנסה להסביר את הקשר בין המשתנים. X יכול להיות למשל המשקל של אדם, ו-Y יכול להיות הגובה שלו. אפנה את תשומת ליבכם לכך שהמודל מניח כי X ו-Y הם משתנים כמותיים ורציפים, למרות שזה לא כתוב במפורש בנוסחה. X ו-Y יכולים להיות משקל, גובה, גובה המשכורת, דברים כאלה, אבל לא מספר ההתקפים שהיו לחולה במשך שנה, לא מספר נעליים, ובטח לא מספר קו האוטובוס שעובר בשכונה.

נמשיך בהסבר: בנוסחאות יש גם אותיות יווניות קטנות: אלפא, ביתא, וגם סיגמה. אלה הם הפרמטרים של המודל. הם מתארים את הקשר בין המשתנים X ו-Y.

בעולם מושלם, אלפא וביתא לבדם היו מספיקים לתאר את הקשר בין X ל-Y. קח את המשקל של אדם בקילוגרמים (X), תכפיל אותו ב-0.5, תוסיף 136, ותקבל את הגובה שלו בסנטימטרים. (( את הערכים המספריים שנתתי כאן לאלפא וביתא חישבתי על פי קובץ הנתונים body, בו השתמשתי גם ברשימה על ה-PCA )) קשר כזה בין המשתנים נקרא "קשר לינארי". זוהי ההנחה השניה של המודל: בעולם מושלם, הקשר בין X ל-Y הוא לינארי.

אבל העולם אינו מושלם. בעולם מושלם הייתי צריך להתנשא לגובה של 188 ס"מ, אבל גובהי רק 180. האות e מבטאת את ההבדל בין העולם המושלם והעולם האמיתי – במקרה שלי 8 ס"מ.

אם יש לכם קובץ עם הרבה נתונים של משקל וגובה, יהיו לכם גם הרבה ערכים של e. המודל מניח כי אם תציירו גרף של כל הערכים של e תקבלו צורת פעמון – התפלגות הערכים של e היא נורמלית. ההנחה הזו – השלישית במודל שלנו, מתוארת בשורה השניה על ידי הסימן ~ והאות N. המודל מניח עוד הנחה על הפעמון: המרכז שלו, הממוצע של כל הערכים של e, נמצא ב-0. יהיו ערכים חיוביים של e, יהיו גם ערכים שליליים, והם יקזזו אחד את השני. הפרמטר סיגמה מבטא את צורת הפעמון. אם לסיגמה יש ערך גבוה יחסית, נקבל פעמון נמוך ורחב. זה אומר שיש הרבה ערכים של סיגמה שרחוקים מאפס. יש הרבה טעויות גדולות, לשני הכיוונים. אם לסיגמה יש ערך נמוך, הפעמון הוא גבוה וצר, כלומר רוב הטעויות הן קטנות וקרובות יחסית לאפס. ככל שסיגמה קרוב יותר לאפס, העולם "יותר מושלם". אם סיגמה שווה לאפס – זה אומר שאנחנו באמת בעולם מושלם (לא יקרה).

אציין שיש למודל הזה עוד הנחה אחת, אך היא יותר טכנית במהותה ולא אתאר אותה כאן.

עד כאן תיאור המודל.

נניח עכשיו כי יש לנו קובץ, ובו יש לנו נתונים על גובהם ומשקלם של מדגם של אנשים. אנחנו יכולים לשאול הרבה שאלות מעניינות. למשל: האם המודל של רגרסיה לינארית מתאים לנתונים? האם ההנחות של המודל מתקיימות? האם הקשר בין הגובה למשקל הוא לינארי? ואם לא, עד כמה הקשר קרוב לקשר לינארי? מהם הערכים של אלפא, ביתא וסיגמה? ועד כמה הם שונים באופן מובהק מאפס? ועוד הרבה שאלות אחרות. יש דרכים לקבל תשובות לשאלות האלה, כמובן לא בוודאות מלאה, שהרי מדובר כאן במדגם.

לערכים של אלפא ביתא וסיגמה, למשל, אפשר לקבל אומדנים. מייד יופיעו כאן נוסחאות לחישוב האומדנים לאלפא ולביתא. לא להיבהל, הן ממש לא חשובות לדיון שלנו, אני מציג אותן רק למקרה שמישהו יפקפק בקיומן. תסתכלו להן בעיניים ותעברו הלאה:

למודל. (כשהייתי בשנה ב', כתבתי בעצמי תכנית מחשב כזו, בשפת פורטרן).

מה שחשוב כאן זה להבין שהנוסחאות האלה מסבירות איך לקחת את הנתונים, שמסומנים על ידי x ו-y, ולבצע איתם חישובים שיתנו לנו אמדנים לערכים של אלפא וביתא. הנוסחאות האלה מגדירות אלגוריתם. הנתונים הם הקלט, האמדנים הם הפלט. אפשר לכתוב תכנית מחשב שתבצע את החישובים האלה עבורכם, ועוד הרבה חישובים אחרים, שיענו לשאלות אחרות שאפשר לשאול בקשר למודל. (כשהייתי בשנה ב', כתבתי בעצמי תכנית מחשב כזו, בשפת פורטרן).

ככלל, לכל מודל סטטיסטי מתלווים כמה אלגוריתמים, שמגדירים כיצד למצוא את התשובות לשאלות שאפשר לשאול על המודל.

מה בקשר להיפך? האם לכל אלגוריתם יש מודל שעומד בבסיסו (לא בהכרח סטטיסטי)? האמת היא שאני לא בטוח בתשובה. אני מזמין את מי שיודע (או חושב שהוא יודע) לענות לשאלה מעניינת זו.

אז מה הבעיה?

הבעיה הגדולה היא שהאלגוריתם עיוור למודל. הנוסחאות שהצגתי לחישוב האומדנים לאלפא וביתא "לא יודעות" שהן נובעות מהמודל, ולא איכפת להן אם ההנחות של המודל מתקיימות או לא. אתם יכולים, למשל, לקחת קובץ נתונים על שחקני כדורסל, להחליט ש-x הוא מספר הנעליים של שחקן, ו-y הוא מספר החולצה שלו. הנוסחאות יעבדו. תכנית המחשב לא תוציא הודעת שגיאה. פייתון לא יקרוס.

וזה נכון גם לאלגוריתמים אחרים. אתם יכולים גם לחשב את מקדם המתאם בין מספרי הנעליים של השחקנים ומספרי החולצה שלהם. או לחשב לכל שחקן את הממוצע של מספר החולצה ומספר הנעליים. נשמע מופרך? בפורום סטטיסטיקה והסתברות בפייסבוק היו כאלה חשבו שלחשב את מקדם המתאם בין המספר הסידורי של סרט בדטהבייס ובין הרייטינג הממוצע שלו זה בסדר גמור. ובפורום ML הסבירו לי שאין שום בעיה לשקלל את משקלו של אדם עם מנת המשכל שלו (אם רק עושים סקיילינג. אל תשכחו לעשות סקיילינג!). וכשטענתי שאין משמעות לשקלול של משקל הגוף ומנת המשכל, ענה לי סניור דטה סיינטיסט אחד כי "המשמעות אינה חשובה".

נכון שאפשר להריץ את כל האלגוריתמים האלה בלי להבין את המתמטיקה שעומדת בבסיסם. אפשר "לבנות מודל" – זאת אומרת, לבנות איזשהו אלגוריתם קצת יותר מסובך מאבני בניין של אלגוריתמים יותר פשוטים. אפשר לקחת את כל הנתונים ולזרוק אותם ל-xgboost . אני יודע שיש אנשים שעושים את זה, ומה איכפת להם? אם זה יביא לחברה שלהם עוד 30,000 דולר, זה מה שחשוב, ואני לא אומר שזה לא חשוב.

אני חושב שהמשמעות חשובה. אני חושב שאם אתה משתמש במודל, אתה צריך להבין מה הפירוש של המודל, לדעת מה ההנחות שעומדות בבסיסו, וכן, גם לדעת מה המגבלות שלו. ומי שלא מבין, ולא יודע, ולא איכפת לו, הוא מהנדס במקרה הטוב, טכנאי במקרה הפחות טוב, ובשום אופן לא מדען. במה שהוא עושה יש אכן הרבה דטה, אבל מעט מאוד סיינס. וצריך להכיר בזה. וכל אחד צריך לשאול את עצמו מה הוא באמת.

בשנת 2004 פירסם משרד האוצר מחקר על "שכר המינימום ונזקיו", ובו הזהירו חכמי המשרד מפני הקטסטרופה הכלכלית שתתרחש אם יועלה שכר המינימום. נזכרתי בעובדה הזו בעקבות ציוץ מתבדח בטוויטר . המחקר ההוא היה מופת של סטטיסטיקה רעה: "מדגם" מוטה בכוונה תחילה – נבחרו רק הנתונים שהתאימו לאג'נדה, בלבול בין מתאם לסיבתיות, שימוש במדדים בעייתיים, זריקת מספרים חסרי ביסוס והצגה מעוותת של הנתונים (המעוותים). תוכלו לחזור ולקרוא את כל הביקורת שלי על המחקר ההוא.

13 שנים מאוחר יותר, אני סבור שהקטסטרופה הכלכלית לא התרחשה. עסקים לא פשטו רגל בהמוניהם, האבטלה לא עלתה (ראש הממשלה מתגאה באבטלה הנמוכה), ובכלל הכלכלה "במצב מצויין" לפחות בנתוני המקרו (במיקרו זה כנראה סיפור אחר, אבל נעזוב את זה כרגע).

האם במבט לאחור אנשי משרד האוצר סבורים שמסקנות המחקר היו בעייתיות לכל הפחות? כן ולא.

מצד אחד, המחקר ההוא נגנז. בפוסט שלי מ-2004 היה לינק למחקר. הנה הוא שוב: http://www.mof.gov.il/research/skiraframe.htm. אל תטרחו ללחוץ. הלינק הזה מוביל עכשיו להודעת שגיאה. ניסיתי לחפש אותו בגוגל. אמנם לא מצאתי אותו, אבל כן מצאתי מחקר חדש! משנת 2016! "השפעת השינויים בשכר המינימום על התעסוקה והשכר
בישראל"! (קישור לקובץ pdf). קראתי (לא בעיון רב, אני מודה).  ((עדכון: המחקר המקורי התגלה בארכיון הרשת: https://web.archive.org/web/20051103080421/http://mof.gov.il:80/research/skira11_2004/skira11_2004.pdf . תודה לאייל בר חיים! ))

מה מתברר?

המחקר חדש, השטיקים אותם שטיקים. שוב המדגם המוטה, שוב בלבול בין מתאם וסיבתיות, שוב שימוש במדדים בעיתיים, שוב הצגה מעוותת של הנתונים, ושוב אותה מסקנה. הקטסטרופה בדרך.

מה אין במחקר החדש? נכון מאוד – אין התייחסות למחקר הישן, וזה מאוד נוח, כי כך אין צורך להתייחס אליו ולדון בשאלות מטרידות, כמו למשל האם התחזיות של המחקר ההוא התממשו (הן לא).

סיכום בשתי מילים: זאב זאב

הסרטון הבא לקוח מקורס מקוון ל-data science באמצעות תכנות פייתון של אוניברסיטת סן דייגו.

המרצה, פרופסור למדעי המחשב ממרכז ה-data science באוניברסיטה, רוצה להדגים איך מחשבים מקדם מתאם. את ההדגמה היא מבצעת על קובץ נתונים שמכיל פרטים על סרטים שונים לאורך השנים. בלי להתבלבל, היא לוקחת את המספר הסידורי של הסרט בקובץ הנתונים, movieId, ומחשבת את מקדם המתאם בינו ובין average_rating, הדירוג הממוצע של הסרט. (( whatever it means )) .

צפו:

רק לפני כשבועיים כתבתי כאן שיש להקפיד על כך שהתוצאות של ניתוחים סטטיסטיים צריכות להיות לא רק מובהקות, אלא גם משמעותיות. הדוגמאות שנתתי שם היו מלאכותיות. למרבה הצער, יש גם דוגמאות אמיתיות לכך, והרבה. מייד אציג דוגמא כזו.

לפני כשבוע קראתי מאמר שכותרתו Methods to increase reproducibility in differential gene expression via meta-analysis  שהתפרסם בכתב העת Nucleic Acids Research בראשית 2017. לדעתי זה מאמר מאוד בעייתי מבחינת השימוש בשיטות סטטיסטיות והאינטרפרטציה של התוצאות שהתקבלו. יותר מכך, לדעתי אין במאמר ערך מוסף מדעי וראוי היה שלא יתפרסם כלל. אבל אני בוחר להתרכז רק בפרט אחד מתוך המאמר, למרות שיש בו די חומר לכמה רשימות.

בגדול, המאמר מנסה להשוות בין שיטות שונות לביצוע מטה-אנליזה, וכמו כן הכותבים מנסים לזהות גורמים המשפיעים על איכות המטה אנליזה. כדי להבין את מה שאכתוב כאן, מספיק לדעת שמטה-אנליזה היא דרך סטטיסטית  לצרף כמה מחקרים ביחד, כדי להגיע למסקנה כללית המאגדת בתוכה את המסקנות של המחקרים שנכללים באנליזה. (( למעשה יש הרבה שיטות סטטיסטיות למטה-אנליזה. השיטה הספציפית בה השתמשו כותבי המאמר לא רלוונטית לדיון. ))

בשלב מסויים הכותבים התייחסו לקבוצה של 14 מחקרים, וניסו ללמוד איך מספר המחקרים הנכללים במטה-אנליזה (שמסומן באות K) וגודל המדגם הכולל (סך מספר התצפיות בכל המחקרים הנכללים) המסומן באות N, משפיעים על רמת הדיוק (accuracy) של המטה-אנליזה.

לשם כך הם ביצעו את התרגיל הבא: הם בחרו תת קבוצה של 14 מחקרים (נניח מחקרים מספר 1, 2, 5, 7 ו-13) על פי קריטריונים שקבעו מראש, ביצעו מטה-אנליזה שתאגד את התוצאות של חמשת המחקרים, חישבו את רמת הדיוק, ורשמו את מספר המדגמים K, את גודל המדגם הכללי N, ואת רמת הדיוק שהתקבלה. אח"כ בחרו תת קבוצה אחרת של המחקרים (נניח מחקרים מספר 3, 6, 8, 9, 11, ו-14), ביצעו עוד מטה-אנליזה שאיגדה את התוצאות של ששת המחקרים האלה, ורשמו שוב את K, N, ואת רמת הדיוק. הם חזרו על התרגיל הזה בערך 7000 פעמים, על כל התת קבוצות האפשריות (( התרגיל הזה הוא הכללה של שיטה סטטיסטית הידועה בשם JackKnife )) .

כעת, כשהיו ידיהם נתונים על K, N, ורמת הדיוק של כל אחת מ-7000 המטה-אנליזות שביצעו, הם הריצו מודל רגרסיה שבו K ו-N הם המשתנים המסבירים, ורמת הדיוק היא המשתנה המוסבר.

הם ביצעו את כל הפרוצדורה ל-3 קבוצות של מחקרים שעסקו בשלוש מחלות שונות.

תוצאות הרגרסיה סוכמו בטבלה נאה. אני מביא כאן רק חלק מהטבלה, המתייחס למחקרים שעסקו בסרטן הריאה ((Lung adenocarcinoma  )) :

בעיה ראשונה: רמת הדיוק היא מספר בין 0 ל-1, ולכן אחת ההנחות הבסיסיות של מודל הרגרסיה אינה מתקיימת. זה לא אומר, אגב, שההנחות האחרות כן מתקיימות. הם לא טרחו לדווח האם בדקו את ההנחות, ואם בדקו, הם לא דיווחו לאיזה מסקנה הגיעו.

התוצאות שמוצגות בטבלה הזו, וגם בשתי הטבלאות הנוספות מאוד משמחות לכאורה. כל ה-p-values "מאוד" מובהקים: הם קטנים מ-0.0000000000000002!. הטבלה הוצגה במאמר, הכותבים ציינו כי כל הערכים מובהקים ועברו הלאה.

בואו ננסה להבין מה אומרות התוצאות.

נסתכל תחילה בערכו (Estimate) של החותך (או האיבר החופשי של המודל) – ה- Intercept. ערכו הוא 0.564. זה הערך שינבא המודל אם N שווה ל-0 וגם K שווה ל-0. אם N ו-K שווים שניהם ל-0, פירוש הדבר שכלל לא נערכה מטה-אנליזה. כלומר, לפי המודל, אפשר להגיע לרמת דיוק של 56.4% בלי נתונים כלל. אולי אני חוטא קצת באקסטרפולציה, אבל לפי המוסבר במאמר נכללו באנליזה גם N-ים ו-K-ים קטנים מאוד, כך שלחותך בהחלט יש משמעות.

נעבור כעת למקדם של K. ערכו 0.0449. המשמעות שלו: אם נגדיל את K ב-1, רמת הדיוק תגדל ב-4.5% בערך. זה נשמע סביר.

מה קורה עם המקדם של N? ערכו הוא -0.000222. שימו לב שהמקדם שלילי, כלומר, אם גודל המדגם יגדל, רמת הדיוק תקטן. לא יודע מה קורה אצלכם, אבל זה הרגע בו אמורים להישרף לכם הפיוזים. בסך הכל היו בחקרי סרטן הריאה כ-1300 תצפיות. לפי המודל, התצפיות האלה הורידו את רמת הדיוק שלה המטה-אנליזה ב-29%.

מה קרה כאן? זה מה שקורה כשמשתמשים בשיטה הסטטיסטית הלא נכונה בלי להקדיש לכך מחשבה ובלי לבדוק אם ההנחות שבבסיס השיטה מתקיימות. אחת ההנחות של מודל הרגרסיה הלינארית היא שלמשתנה המוסבר יש התפלגות נורמלית, לפחות בקירוב. זה בבירור לא מתקיים כאן – רמת הדיוק נעה בין 0 ל-1. הנחה נוספת שצריכה להתקיים היא שיש קשר לינארי בין המשתנה המוסבר והמשתנים המסבירים. שימו לב כי בתחתית הטבלה מופיע מקדם המתאם המשוקלל של הרגרסיה (Adjusted R-square). ערכו הוא 0.34, לכל הדעות ערך נמוך המבטא קשר לינארי מאוד רופף בין המשתנים. יש עוד שתי הנחות שצריכות להתקיים, אם כי בשלב הזה כבר לא משנה אם הן התקיימו או לא.

והמסקנה הרגילה: אין להשתמש בשיטות סטטיסטיות אם לא מבינים היטב את הרעיון העומד מאחוריהן.

בכל מחקר כמותי בו נערך ניתוח סטטיסטי של הנתונים, מגיע הרגע הנכסף בו מחושב ה-P-value הנכסף. האם הוא קטן מ-0.05? שואל החוקר את עצמו בהתרגשות. אם כן – הידד! אפשר לפרסם את המאמר, או לרוץ ל-FDA להגיש לאישור תרופה חדשה, או להכניס מוצר חדש ל-production.

אבל, לפני שרצים, יש שאלה נוספת שצריך לשאול: האם התוצאה משמעותית?

נניח שערכנו ניסוי בו השתתפו 1000 איש, מחציתם נשים ומחציתם גברים. ערכנו לכל אחד ואחת מנבדקים מבחן IQ. התברר כי ה-IQ הממוצע של הנשים הוא 100, בעוד שה-IQ הממוצע של הגברים הוא 99. התוצאה מובהקת, עם פי-ואליו של 0.0016.  (( בהסטיית התקן של כל קבוצה היא 5.  תבדקו בעצמכם  )) . לפני שתרוצו לפרסם מאמר סנסציוני בכתב העת המדעי החביב עליכם ((למשל Nature או סיינטיפיק טמקא)) ראוי שתעצרו ותשאלו את עצמכם: אז מה? ההבדל הוא כל כך קטן, האם יש לו משמעות? אם אתם חושבים שלהבדל יש משמעות, עליכם לנמק זאת.

בואו ניקח דוגמה קצת יותר מציאותית. מדען בילה ימים ולילות במעבדה, ופיתח תרופה חדשה לטיפול בטרשת נפוצה  התקפית (( Relapsing Remitting Multiple Sclerosis )). התרופה מקטינה את תדירות ההתקפים ב-10%. הוא רושם פטנט, ומנסה למכור את התרופה לחברת תרופות. הסטטיסטיקאי של חברת התרופות יכול בקלות לתכנן ניסוי קליני, שיזהה את האפקט של התרופה בעוצמה של 90% ((כלומר ההסתברות לתוצאת False Negative  תהיה 10%)) או אפילו 95% או 99%. האם החברה תקנה את התרופה ותפתח אותה? לא ולא. יש כבר תרופות לטיפול בטרשת נפוצה התקפית שמקטינות את תדירות ההתקפים ב-30, 40, ואפילו ב-50%. במצב זה, לתרופה עם אפקט של 10% אין משמעות, לא קלינית ולא מסחרית.

דוגמה שלישית: למשפחה נולד בשעה טובה בן בכור. האם הסיכוי כי הילד השני במשפחה זו יהיה (אם וכאשר יוולד) גם הוא בן, גדל? הנה מאמר שטוען שייתכן שכן. עיקרי הדברים: בדנמרק נאספו נתונים לגבי סדר הלידה ויחס המינים של כ-1.4 מיליון ילדים, בכ-700 אלף משפחות, במשך תקופה של כ-35 שנה. 51.2% מהבכורים היו בנים. בקרב המשפחות שבהן היו 3 בנים, והיה הבן ילד רביעי, 52.4% מקרב הילדים הרביעיים היו בנים. ההבדל מובהק, כמובן (p=0.009). בואו נתעלם מ-cherry picking אפשרי (( מה קרה במשפחות בנות שני ילדים? ומשפחות בנות 3 ילדים? למה זה לא מדווח? אם זה לא באבסטרקט של המאמר, כנראה שזה לא היה מובהק )). כמה משפחות בנות 4 ילדים יש בדנמרק? מחיפוש ראשוני שערכתי עולה כי מדובר בפחות מ-10%מהמשפחות. בואו נניח שזה 10%. אז עכשיו אנחנו מדברים על 70 אלף משפחות בנות 4 ילדים. ההסתברות ששלושת הילדים הראשונים הם בנים היא בעךך 0.013. נעגל את זה ל-0.02. זה מותיר לנו 1400 משפחות בנות ארבעה ילדים שבהן שלושת הילדים הראשונים הם בנים. 51.2% מקרב הילדים הצעירים היו "צריכים" להיות בנים, בפועל היו 52.4% – הפרש של 1.2%.  1.2% מ-1400 זה , 16.8, בואו נעגל ל-17, וזאת בתקופת זמן של 35 שנה, כלומר כל שנה נולדו 0.48 יותר בנים ממה שהיה "צריך" להיות. מי חושב שזה משמעותי?

דוגמה רביעית: חברת אינטרנט עושה AB testing, בה היא בודקת את השפעתו של פיצ'ר חדש במוצר שלה על ההסתברות שלקוח המשתמש במוצר יקנה את גירסת ה-PRO, בתשלום. מסתבר כי אחוז המשלמים יגדל מ-24.6% ל-24.8%, והתוצאה מובהקת  (( כדי לזהות הבדל כזה כמובהק, יש צורך בגודל מדגם של כ-728000 נבדקים, אבל נעזוב את זה כרגע )). האם זה משמעותי? (( נתקלתי בחברה שמעדכנת גירסת תכנה כאשר ביצועי הגירסה החדשה גבוהים נומינלית ב-0.2% מביצועי הגירסה הישנה, על סמך מדגם בגודל 1000, כמובן בלי בדיקת מובהקות )) ובכן, אם נניח שהתשלום לגירסת הפרו הוא 5$ ויש 100000 משתמשים, הרי שמדובר בתוספת הכנסות של 100$. שווה? אם לעומת זאת יש מיליון משתמשים והתשלום הוא 50$, מדובר בתוספת הכנסה של 10000 דולר. 30 מיליון משתמשים ותשלום של 500$ יביאו את תוספת ההכנסות ל-3 מיליון דולר, וזה בהחלט משמעותי. תגידו: אם כבר השקענו את הכסף בפיתוח, אז ניקח את מה שיצא. יש בזה משהו. אבל אני מקווה שעושים קודם כל הערכה של עלויות הפיתוח ושל ההכנסות הצפויות מהפיצ'ר החדש. (( אפשר למשל לערוך סקר משתמשים, או לכנס focus group ))

נחזור לרגע לגודל המדגם הדרוש, כ-728 אלף נבדקים. אולי ענקית כמו גוגל יכולה להרשות לעצמה מדגם כזה. אני מניח שחברות קטנות יותר צריכות להסתפק בגודל מדגם קטן יותר. הן עומדות לכן בפני הברירה הבאה: אפשרות אחת היא לערוך מבחן סטטיסטי ואז רוב הסיכויים הם שאפקט כזה (ואפילו אפקט גדול יותר) לא יזוהה כמובהק. הן כמובן יכולות לשחק בסוגי הטעות, ולאפשר טעות מסוג ראשון (false positive) גבוהה יותר כדי להשיג עוצמה גבוהה יותר. אפשרות אחרת היא לוותר מראש על בדיקת המובהקות, ולסמוך ידיהם על האפקט הנומינלי. יש לכך תומכים, הבולט בהם הוא הסטטיסטיקאי אנדרו גלמן מאוניברסיטת קולומביה. (( אני מתכוון לסקור את הגישה של גלמן ואת הגישה הנגדית, שמוביל ג'ון יואנידיס ברשימה קרובה ))

מסקנות: לפני שרצים לחקור, צריך להעריך מראש איזה תוצאה תיחשב למשמעותית, ולחשוב מה דרוש לעשות כדי לבדוק האם התוצאה אכן מתקיימת. יש להעריך מראש מה ההסתברות לכל אחת משתי הטעויות האפשריות, שכן ההסתברויות האלה קיימות וחיוביות גם אם לא משתמשים במבחנים סטטיסטיים.

פייסבוק, כידוע, מהווה נדבך מרכזי בפוליטיקה החדשה שהפציעה במקומותינו. מדי כמה ימים הארץ סוערת בעקבות פוסט כזה או אחר של שר האוצר יאיר לפיד, וגם שר החינוך שי פירון זכה לכמה דקות תהילה מפוקפקת בעקבות טעות משעשעת (אך נטולת חשיבות אמיתית) בסטטוס שפירסם. הסטטוסים של שרת הבריאות יעל גרמן, לעומת זאת, עוברים עד כה מתחת לרדר הציבורי. זה גם מה שקרה לסטטוס שלה מתאריך 2.4.13, שעסק בהבדלי תוחלת החיים בין גברים ונשים. הוא לא זכה להתייחסות מחוץ לרשתות החברתיות, למרות 367 לייקים, 22 שיתופים ו-96 תגובות, נכון לרגע כתיבת שורות אלה.

כדי להבין למה נזעקתי לכתוב רשימה על הפוסט הזה תיאלצו לקרוא עד הסוף (או לדלג לסוף, אם כי אני לא ממליץ על כך). אני רוצה להתייחס קודם לפוסט עצמו, בו נאמרו הדברים הבאים:

מה הפוסט של גרמן מכיל? נתונים, פרשנות לנתונים, מקור מידע, וציון מטרה לפעולה.

נתחיל בנתונים: "תוחלת החיים של גברים בישראל (לשנת 2010), היא במקום השני בעולם, בעוד שתוחלת החיים של נשים בישראל היא במקום שמיני בעולם".

לפי נתוני הלשכה המרכזית לסטטיסטיקה, תוחלת החיים של גברים בישראל (מרגע לידתם) היא 79.0 שנים, והנתון המקביל לנשים הוא 82.8 שנים (הקישורים – לקבצי pdf). ב-2011 כבר עלו הנתונים ל-80.0 ו-83.6, בהתאמה).

איך הנתונים האלה מתייחסים לנתונים במדינות אחרות? על השאלה הזו מעט יותר קשה לענות. מקור ראשוני לחיפוש הוא ויקיפדיה. הערך על תוחלת חיים ויקיפדיה הוביל אותי לשני מקורות: המחלקה לכלכלה ועניינים חברתיים של האו"ם, וכן ה-CIA שלא סומך על האו"ם ומפרסם נתונים משלו. חברי  דובי הפנה אותי בטוויטר למקור שלישי, אתר בשם World Life Expectany .

הנה כל הנתונים מרוכזים בטבלה

הלמ"ס לא מפרסמת דירוג, אלא השוואה לנתוני ה-OECD (קישור לקובץ pdf) ומספר מדינות נבחרות נוספות.

ובכן, הנתונים של גרמן לא ממש מדוייקים, אבל גם לא רחוקים כל כך מהאמת. הבה לא נהיה קטנוניים בנושא. נעבור לפרשנות של הנתונים.

אפשר ללמוד מטבלה זו הרבה דברים, אבל המסר החשוב לצורך הדיון הוא שהקשר בין הדירוג העולמי ובין המצב הבריאותי כפי שהוא מתבטא בתוחלת החיים רופף ביותר. באיזה מדינה מעדיפה גרמן לחיות: בישראל של ה-CIA, בה תוחלת החיים לנשים היא 83.2 אבל מדורגת במקום ה-21 בעולם? או בישראל שבה תוחלת החיים לנשים נמוכה יותר ועומדת על 82.8 שנים, אבל מדורגת במקום "יוקרתי יותר", נניח מקום שמיני?

מה עוד אפשר ללמוד על ההבדל בין רמת הטיפול הרפואי לגברים ולנשים מהנתונים האלה? ראשית, ניתן להצביע על העובדה שתוחלת החיים של נשים בישראל, לא משנה על איזה מארבעת המקורות מסתמכים, גבוהה מתוחלת החיים של הגברים בכל מדינה אחרת בעולם, פרט לנסיכות מונקו (המדינה השניה בדירוג תוחלת החיים לגברים של ה-CIA היא המושבה הפורטוגזית/סינית מקאו, שם תוחלת החיים לגברים היא 81.5 שנים).

מעניין יותר להתבונן בהפרשים בין תוחלות החיים, לגברים ונשים, בין ישראל ובין המדינות שמדורגות מעליה. אם מתעלמים מהמדינות הזערוריות כמו אנדורה, סן מרינו, מונקו ודומותיהן מגלים כי בסך הכל ההפרשים דומים. בישראל יש לנשים יתרון של 3-4 שנים בתוחלת החיים על פני הגברים, ומצב דומה יש בשוויץ (כ-5 שנים), אוסטרליה (כ-4 שנים), איטליה (כ-5 שנים), שוודיה (כ-3 שנים) וקנדה (כ-4 שנים). יוצאת הדופן היא יפן, המדינה הגדולה ביותר בצמרת דירוג תוחלות החיים, עם יתרון של 7 שנים לנשים על פני הגברים. מכיוון שבאופן כללי תוחלת החיים של נשים גבוה יותר מזו של גברים (רק במספר מדינות אפריקניות לגברים יש תוחלת חיים גבוהה יותר), ניתן להסיק כי אין הבדלים משמעותיים ברמת הטיפול הרפואי לגברים ונשים בישראל. מעניין לציין כי יש מדינות בהן תוחלת החיים של נשים גבוהה באופן יוצא דופן לעומת הגברים, למשל: רוסיה (74 לנשים, 61.6 לגברים) או עירק (71.7 לנשים, 63.4 לגברים). אני מקווה ששרת הבריאות לא תשאף להגיע למצב כזה גם במדינתנו.

אם רוצה גברת גרמן, חברת מרץ עד לא מזמן, חומר למחשבה המבוסס על תוחלת חיים, אולי עדיף שתעיין בלוח תוחלת חיים לפי מין, דת וקבוצת אוכלוסייה (קישור לקובץ pdf). שם תגלה כי תוחלת החיים של גברים יהודים בישראל היא 80.7 שנים, ושל גברים ערבים רק 76.5. תוחלת החיים של נשים יהודיות היא 83.9, של נשים ערביות רק 80.9. הייתי שמח לו הלמ"ס פירסמה גם נתוני תוחלת חיים בישראל לפי חלוקה גיאוגרפית, כפי שהיא מפרסמת מדדים בריאותיים אחרים (לידות חי, פטירות ופטירות תינוקות, לפי מחוז ונפה, קבוצת אוכלוסייה ודת – קישור לקובץ pdf). אולי גרמן תוכל להשיג אותם וללמוד מהם משהו. רצוי גם שתתייעץ עם הסטטיסטיקאים המצויינים שעובדים במשרדה לגבי פרשנות הנתונים.

נעבור לנושא הבא: מהו מקור המידע של גרמן בקשר לנתונים הנ"ל? גרמן מציינת אותו: "דנה ויינברג כתבה לי מכתב גלוי בנושא". מיהי דנה ויינברג? ובכן, דנה ויינברג היא מייסדת ומנכ"לית עמותת "נשים לגופן". המכתב הגלוי שלה לשרת הבריאות החדשה פורסם באתר סלונה (תודה לחברתי שרון שהפנתה אותי אליו). אין בו התייחסות לנושא הבדלי דירוג תוחלת החיים, אך אני חייב לציין כי בהרצאה ששמעתי לפני כשנה מפי פעילה אחרת בעמותה זו, טל תמיר, הטיעון הזה הועלה גם הועלה. דנה ויינברג כן מביאה במכתבה, ללא כל הפניות למקורות, מבחר של נתונים סטטיסטיים אחרים, וטענה כי "שיעורי התחלואה והתמותה של נשים בישראל גבוהים ביחס לנשים במדינות המערב". אני מצטט טיעון זה כיוון שהוא עומד בסתירה גמורה לנתוני תוחלת החיים שהבאתי כאן. לגבי הטיעונים האחרים של ווינברג, כל שאני יכול לומר הוא שיש לבדוק אותם היטב ולראות האם יש להם ביסוס. לאחר שפירטה את כל טענותיה, מביאה ווינברג בפני השרה מספר המלצות שיישומן יביא לקידום בריאותן של נשים ונערות. קראתי את ההמלצות, אני ממליץ גם לכם לקרוא אותן בעיון. אני מסכים עם כל המלצה והמלצה, וסבור כי רוב הקוראים יסכימו כי אלה המלצות חשובות שיש ליישם, כיוון שיישומן יביא לשיפור במצב הבריאותי של כלל האוכלוסיה, נשים וגברים. אז למה, דנה, למה להביא נתונים סטטיסטיים תמוהים ולתת להם פרשנות שגויה? למה לשקר בעזרת סטטיסטיקה כשבכלל אין צורך בכך?

הרשימה תסתיים בהבעת דיעה אישית/פוליטית: מדוע נזעקתי לכתוב רשימה על כל הדברים האלה באיחור של כמעט שבועיים? גרמן כתבה בסוף הפוסט שלה כי תפעל לשפר את הבריאות של הנשים בארץ. אני לא מתנגד לכך באופן עקרוני, אם כי לא ברור כלל האם אכן הטיפול בבריאות הנשים בארץ אכן לקוי לעומת הטיפול בבריאות הגברים. אבל גרמן ראתה נתונים לא ברורים עם פרשנות מטעה, החליטה, ותפעל. האם מדובר במקרה חד פעמי או בתופעה? ביום חמישי אחר הצהריים פורסמו שתי ידיעות שדיווחו על פעולות של שרת הבריאות. באחת דווח כי שרת בריאות החליטה להפסיק את הפלרת מי השתיה, בניגוד לדעת אנשי מקצוע במשרדה. בשניה דווח כי החליטה להקים צוות חשיבה שיבחן דרכים לחיזוק הרפואה הציבורית – כולל אפשרות של הפעלת שר"פ (שירותי רפואה פרטית) בבתי חולים ציבוריים. סביר למדי שועדה שהשרה ממנה ומבקשת ממנה לבחון אפשרות של הפעלת שר"פ תמליץ על הפעלת שר"פ. לא ברור לי על סמך מה קיבלה גרמן את ההחלטות האלו. אני לא מטיל ספק בזכותה לקבל החלטות אלה מתוקף תפקידה, וכן, זכותה גם לקבל את ההחלטות מתוך האידיאולוגיה בה היא תומכת. בעניין ההפלרה, לא ברור לי איזה אידיאולוגיה מנחה אותה בנושא שלכל היותר שנוי במחלוקת מדעית, אם כי, ככל הידוע לי, יש רוב בקהילה המדעית לתומכי ההפלרה. אני תוהה מי הזין את השרה (עוד בהיותה ראש עירית הרצליה מטעם מרצ) בנתונים אודות הפלרת מי השתיה, מה היו הנתונים האלה ועד כמה הם היו מבוססים. וכן, אני גם מקווה שאותו פוסט בפייסבוק לא משקף את תהליך קבלת ההחלטות שלה השרה.

רק שנהיה בריאים.

נפלא, פשוט נפלא. ותודה לרון קנת שהעביר לי את זה.

לחצו על התמונה לצפיה בגודל מלא.