חיפוש באתר

קישורים

עמודים

קטגוריות

ארכיב עבור תגית p-value

סטטיסטיקה רעה: p-Hacking

p-hacking[1] היא הפרקטיקה של חתירה לתוצאה מובהקת, ובאמירה פופולרית "לענות את הנתונים עד שיודו". לעיתים הדבר נעשה מחוסר מודעות, ולעיתים בכוונה תחילה.

יש הרבה דרכים להגיע לתוצאה מובהקת. אפשר לנסות לנתח את הנתונים בכל מיני שיטות סטטיסטיות. אפשר לאסוף נתונים, לנתח אותם, ואז לפרסם אם מתקבלת תוצאה מובהקת, ואם לא, לאסוף עוד נתונים בתקווה שהתוצאה תהפוך למובהקת. אפשר לבדוק הרבה השערות, בייחוד אם אוספים נתונים על הרבה משתנים. ככל שבודקים יותר השערות, עולה הסיכוי כי לפחות אחת מהן תהיה מובהקת. אם משתמשים במודל רגרסיה כלשהו אפשר להוסיף למודל משתנים מסבירים (covariates) או להסיר אותם, עד שמתקבלת תוצאה מובהקת. אפשר לנסות מספר טרנספורמציות של המשתנים בתקווה שתתקבל תוצאה מובהקת. אפשר גם לזרוק מהנתונים תצפיות "לא מתאימות", לאחר הניתוח הראשוני של הנתונים. אפשר כמובן, לצרף כמה שיטות יחד, ואף לנסות את כולן. [...] 

קראו עוד

הערות
  1. אשמח להצעות לתרגום לעברית []

סטטיסטיקה רעה: פרשנות לא נכונה של ה-p-value ואי הבחנה בין תוצאות מובהקות לתוצאות משמעותיות

כבר הסברתי כאן באריכות מהו ה-p-value, ומה הוא לא. לא אחזור כאן על כל הפרשנויות המוטעות למשמעותו של ה-p-value, אך אציין את המובן מאליו – פרשנות לא נכונה של ה-p-value והתרכזות בלעדית בשאלה האם תוצאה היא מובהקת או לא, מהווה סטטיסטיקה רעה שעלולה להביא לתוצאות חמורות.

האיגוד האמריקני לסטטיסטיקה (ASA) פירסם בראשית 2016 הצהרה בדבר המובהקות הסטטיסטית ו-p-values ,[1] ובה מפורטים שישה עקרונות שישפרו את הביצוע והפרשנות של מחקרים כמותיים. ASA מציינים כי ה-p-value אמנם מספק הערכה עד כמה הנתונים אינם עולים בקנה אחד עם מודל סטטיסטי ספציפי, אך אינו מודד את ההסתברות כי השערת האפס נכונה[2] או את ההסתברות כי התוצאות התקבלו במקרה. ASA מבהירים כי אין להסיק מסקנות מדעיות, או לקבל החלטות עסקיות או החלטות בדבר מדיניות על סמך ה-p-value בלבד. ה-p-value  לכשעצמו אינו מדד טוב של ראיות (evidence) בעד או נגד השערה או מודל. וכמובן, מובהקות סטטיסטית אינה מעידה או מודדת את גודלו של האפקט הנצפה או חשיבותו. [...] 

קראו עוד

הערות
  1. קישור לקובץ pdf []
  2. אין דבר כזה []

חמש דרכים לתקן את הסטטיסטיקה

ב-28.11.2017 הופיע בכתב העת Nature מאמר שנשא את הכותרת הפרובוקטיבית Five ways to fix statistics.

המאמר נכתב לאור "משבר השחזוריות" (reproducibility crisis) בו חשים היום חוקרים מתחומים רבים, כלומר הקושי ההולך וגובר לשחזר תוצאות מחקריות במחקר נוסף בלתי תלוי. יש הטוענים כי אחת הסיבות למשבר הזה הוא שימוש לא נכון בסטטיסטיקה. עורכי Nature פנו לחמישה סטטיסטיקאים מובילים[1] וביקשו מכל אחד מהם להמליץ של שינוי אחד בפרקטיקה הסטטיסטית שיוכל לשפר את המחקר המדעי. באופן לא מפתיע, הייתה הסכמה בין כולם כי הבעיה אינה בסטטיסטיקה עצמה, אלא באופן השימוש בה. [...] 

קראו עוד

הערות
  1. למעשה שישה []

מה ה-P-value הוא לא?

ברשימה קודמת הסברתי מהו ה-p-value, אותו ערך מיסטי שאיש כמדומה אינו יכול לחיות חיים שלמים בלעדיו. אחזור ואומר, לטובת מי שלא זוכר, כי בניסוי מבוקר המלווה בבדיקת השערות סטטיסטיות, הp-value הוא ההסתברות כי בניסוי חוזר תתקבל עדות לדחיית השערת האפס שהינה משכנעת לפחות כמו העדות שהתקבלה בניסוי הנוכחי, וכל זאת תחת ההנחה כי השערת האפס נכונה. [...] 

קראו עוד

מהו p-value?

מדענים אובססיביים כלפיו. עורכי כתבי עת לא יפרסמו מאמרים אם הוא לא יופיע בהם. החלטות של מאות מיליוני דולרים מתקבלות על פיו. ובכל זאת, רק מתי מעט מבינים אותו. זהו ה-"p-value". אותו מספר קסם חורץ גורלות המתלווה כמעט לכל ניתוח סטטיסטי.

הזכרתי אותו ברשימה שכתבתי על הניסוי הקליני לחיסון נגד נגיף ה-HIV. ה-p-value, איך לא, היה הנתון העיקרי שפורסם בהודעה הראשונה על תוצאות אותו ניסוי. הוא הגיע עד לוול-סטריט גו'רנל. הוול סטריט ג'ורנל ציין, בכתבה על אותו הניסוי. כי ה-p-value  הוא "ההסתברות כי התוצאה התקבלה במקרה" ("Probability that the result is due to chance ")  . זה לא נכון. בהמשך אסביר כיצד לחשב את ההסתברות הזו, אבל לפני כן אנסה להסביר מהו באמת אותו p-value, ומהי משמעותו. [...] 

קראו עוד