אלוהים משחק ביקום בקוביות
ב-28.11.2017 הופיע בכתב העת Nature מאמר שנשא את הכותרת הפרובוקטיבית Five ways to fix statistics. המאמר נכתב לאור “משבר השחזוריות” (reproducibility crisis) בו חשים היום חוקרים מתחומים רבים, כלומר הקושי ההולך וגובר לשחזר תוצאות מחקריות במחקר נוסף בלתי תלוי. יש הטוענים כי אחת הסיבות למשבר הזה הוא שימוש לא נכון בסטטיסטיקה. עורכי Nature פנו לחמישה…
הסרטון הבא לקוח מקורס מקוון ל-data science באמצעות תכנות פייתון של אוניברסיטת סן דייגו. המרצה, פרופסור למדעי המחשב ממרכז ה-data science באוניברסיטה, רוצה להדגים איך מחשבים מקדם מתאם. את ההדגמה היא מבצעת על קובץ נתונים שמכיל פרטים על סרטים שונים לאורך השנים. בלי להתבלבל, היא לוקחת את המספר הסידורי של הסרט בקובץ הנתונים, movieId, ומחשבת את…
רק לפני כשבועיים כתבתי כאן שיש להקפיד על כך שהתוצאות של ניתוחים סטטיסטיים צריכות להיות לא רק מובהקות, אלא גם משמעותיות. הדוגמאות שנתתי שם היו מלאכותיות. למרבה הצער, יש גם דוגמאות אמיתיות לכך, והרבה. מייד אציג דוגמא כזו. לפני כשבוע קראתי מאמר שכותרתו Methods to increase reproducibility in differential gene expression via meta-analysis שהתפרסם בכתב…
ברשימה זאת אתן הסבר אינטואיטיבי ולא מתמטי אודות שיטת ה-PCA, ואסביר כיצד להשתמש בה בצורה נכונה. למה להשתמש ב-PCA? PCA, או בעברית ניתוח מרכיבים ראשיים, היא שיטה סטטיסטית פופולרית בקרב Data Scientists. כאשר יש קובץ נתונים ובו מספר גדול של משתנים, מעוניינים לצמצם את מספר המשתנים כדי להקל על החישובים. יש מספר דרכים לעשות זאת,…
אוכלוסיית ישראל גדולה בערך פי 2 מאוכלוסיית ניו זילנד. כדי לאמוד את מספר התומכים בראש הממשלה בישראל (עם טעות דגימה של כ-3%, וברמת סמך של כ-80%) דרוש מדגם מייצג בגודל של כ-500 איש (( המספר המדוייק הוא 457 )). מה צריך להיות גודלו של מדגם מייצג בסקר דומה בניו זילנד? שאלתי את השאלה הזו בסקר…
בקבוצת Machine & Deep learning Israel בפייסבוק מישהו שאל את השאלה הבאה: I have a feature matrix of about 4000 samples and 180,000 features. Naturally, I want to reduce its dimensions for applying a machine learning algorithm on the reduced matrix. How do I handle such a big matrix in python for calculations (pandas, other?)…
איך להמר (אם אתה מוכרח) אתם חייבים 100 אלף דולר לשוק האפור, אבל יש לכם רק 50 אלף, וצריך לשלם בערב. זה לא משנה אם יהיו לכם 50 אלף דולר, או 90 אלף, או 99,999. כל סכום קטן מ-100 אלף יגרום לתוצאות הרות אסון. הסיכוי היחיד שלכם נמצא בקזינו. אתם ניגשים לשולחן הרולטה, שם אפשר…
בכל מחקר כמותי בו נערך ניתוח סטטיסטי של הנתונים, מגיע הרגע הנכסף בו מחושב ה-P-value הנכסף. האם הוא קטן מ-0.05? שואל החוקר את עצמו בהתרגשות. אם כן – הידד! אפשר לפרסם את המאמר, או לרוץ ל-FDA להגיש לאישור תרופה חדשה, או להכניס מוצר חדש ל-production. אבל, לפני שרצים, יש שאלה נוספת שצריך לשאול: האם התוצאה…
השבוע שוב פרסמתי בטוויטר חידה הסתברותית: לבנאדם יש המון מטריות, חלקן בבית וחלק במשרד. אם יורד גשם הוא לוקח איתו מטריה מהמלאי. אם לא, הוא הולך לדרכו בלי לקחת מטריה. האם הוא יירטב? מספר המשיבים היה קטן יחסית, אבל רובם ידעו את התשובה הנכונה: בסופו של דבר הוא יירטב. פתרון החידה מתבסס על מודל הסתברותי…
לפני יומיים ערכתי סקר בטוויטר. שאלת הסקר הייתה: במשפחה יש שני ילדים. אחד מהם הוא בן. מה הסיכויים שגם הילד האחר הוא בן? הוצעו 4 תשובות אפשריות: חצי, רבע, שליש, או שאף תשובה אינה נכונה. בסקר השתתפו 205 צייצנים (שבשום אופן אינם מדגם מייצג), ולהלן התוצאות: לאחר…