אלוהים משחק ביקום בקוביות
כבר הסברתי כאן באריכות מהו ה-p-value, ומה הוא לא. לא אחזור כאן על כל הפרשנויות המוטעות למשמעותו של ה-p-value, אך אציין את המובן מאליו – פרשנות לא נכונה של ה-p-value והתרכזות בלעדית בשאלה האם תוצאה היא מובהקת או לא, מהווה סטטיסטיקה רעה שעלולה להביא לתוצאות חמורות. האיגוד האמריקני לסטטיסטיקה (ASA) פירסם בראשית 2016 הצהרה בדבר…
יש הרבה דרכים לעשות סטטיסטיקה רעה, אבל גם סטטיסטיקה רעה אפשר לעשות באופן רע יותר. אני לא חושב שמישהו מת כתוצאה מדיאגרמת עוגה תלת מימדית, אבל סטטיסטיקה רעה באמת עשויה להיות הרת אסון. קבלו את שבעת החטאים של הסטטיסטיקה. ((לא בסדר מסויים)) כל קישור יוביל אתכם לסקירה מורחבת על הנושא. פרשנות לא נכונה של ה-p-value…
לפני כשבועיים הבאתי כאן דוגמה לסטטיסטיקה רעה, בה מרצה בקורס Data Science הדגימה כיצד מחשבים בפייתון מקדם מתאם. היא השתמשה בקובץ שהכיל נתונים על סרטים, וחישבה את מקדם המתאם בין המספר הסידורי של הסרט בבסיס הנתונים ובין הרייטינג הממוצע שלו. (( הרייטינג הממוצע הוא בעצמו יצור בעייתי מבחינה סטטיסטית, ואקדיש לו רשימה אחרת )) לי…
Read More “למה זה לא רעיון טוב לחשב מתאם בין מספר סידורי לכל דבר בעצם” »
לאחרונה השתתפתי בכמה דיונים בפייסבוק שהגיעו למבוי סתום. ניסיתי להבין למה זה קורה ולבסוף הבנתי: אני דיברתי על מודלים והם דיברו על אלגוריתמים. לכאורה לא צריכה להיות שום בעיה. מודל זה דבר אחד, אלגוריתם זה דבר אחר. אם תחפשו בגוגל מודל, לא תמצאו שום מקום שיטען כי מודל הוא אלגוריתם. גם ההיפך נכון. אז מה…
בשנת 2004 פירסם משרד האוצר מחקר על “שכר המינימום ונזקיו”, ובו הזהירו חכמי המשרד מפני הקטסטרופה הכלכלית שתתרחש אם יועלה שכר המינימום. נזכרתי בעובדה הזו בעקבות ציוץ מתבדח בטוויטר . המחקר ההוא היה מופת של סטטיסטיקה רעה: “מדגם” מוטה בכוונה תחילה – נבחרו רק הנתונים שהתאימו לאג’נדה, בלבול בין מתאם לסיבתיות, שימוש במדדים בעייתיים, זריקת…
Read More “מחקר האוצר על “שכר המינימום ונזקיו” – 13 שנים מאוחר יותר” »
ב-28.11.2017 הופיע בכתב העת Nature מאמר שנשא את הכותרת הפרובוקטיבית Five ways to fix statistics. המאמר נכתב לאור “משבר השחזוריות” (reproducibility crisis) בו חשים היום חוקרים מתחומים רבים, כלומר הקושי ההולך וגובר לשחזר תוצאות מחקריות במחקר נוסף בלתי תלוי. יש הטוענים כי אחת הסיבות למשבר הזה הוא שימוש לא נכון בסטטיסטיקה. עורכי Nature פנו לחמישה…
הסרטון הבא לקוח מקורס מקוון ל-data science באמצעות תכנות פייתון של אוניברסיטת סן דייגו. המרצה, פרופסור למדעי המחשב ממרכז ה-data science באוניברסיטה, רוצה להדגים איך מחשבים מקדם מתאם. את ההדגמה היא מבצעת על קובץ נתונים שמכיל פרטים על סרטים שונים לאורך השנים. בלי להתבלבל, היא לוקחת את המספר הסידורי של הסרט בקובץ הנתונים, movieId, ומחשבת את…
רק לפני כשבועיים כתבתי כאן שיש להקפיד על כך שהתוצאות של ניתוחים סטטיסטיים צריכות להיות לא רק מובהקות, אלא גם משמעותיות. הדוגמאות שנתתי שם היו מלאכותיות. למרבה הצער, יש גם דוגמאות אמיתיות לכך, והרבה. מייד אציג דוגמא כזו. לפני כשבוע קראתי מאמר שכותרתו Methods to increase reproducibility in differential gene expression via meta-analysis שהתפרסם בכתב…
בכל מחקר כמותי בו נערך ניתוח סטטיסטי של הנתונים, מגיע הרגע הנכסף בו מחושב ה-P-value הנכסף. האם הוא קטן מ-0.05? שואל החוקר את עצמו בהתרגשות. אם כן – הידד! אפשר לפרסם את המאמר, או לרוץ ל-FDA להגיש לאישור תרופה חדשה, או להכניס מוצר חדש ל-production. אבל, לפני שרצים, יש שאלה נוספת שצריך לשאול: האם התוצאה…
פייסבוק, כידוע, מהווה נדבך מרכזי בפוליטיקה החדשה שהפציעה במקומותינו. מדי כמה ימים הארץ סוערת בעקבות פוסט כזה או אחר של שר האוצר יאיר לפיד, וגם שר החינוך שי פירון זכה לכמה דקות תהילה מפוקפקת בעקבות טעות משעשעת (אך נטולת חשיבות אמיתית) בסטטוס שפירסם. הסטטוסים של שרת הבריאות יעל גרמן, לעומת זאת, עוברים עד כה מתחת…
Read More “הערות על הבדלי תוחלת חיים ותהליך קבלת ההחלטות של שרת הבריאות” »