מה (למשל) יכול להיות בעייתי במטה-אנליזה
מטה-אנליזה היא טכניקה סטטיסטית בה לוקחים תוצאות סופיות ממספר ניסויים/מחקרים, ומסנתזים אותם למסקנה כוללת אחת. לדעתי האישית זוהי טכניקה בעייתית למדי (למרות שבחלק הדיונים על סקרי הבחירות שנערכו כאן הפנו אותי קוראים נלהבים אל אתרים שביצעו מטה-אנליזה לתוצאות הסקרים שנערכו לקראת הבחירות לנשיאות ארה"ב).
היום, כשקראתי את העדכון האחרון של chance news, ראיתי שם הפניה לקריקטורה ישנה מהניו-יורקר שמדגימה את הבעייתיות בנושא:
ומתברר שגם לבדיחה הזו יש מימוש במציאות (בעיירה ניו-קויאמה שבקליפורניה):
(בויקיפדיה אומרים שהשלט הומוריסטי, אני מקווה שזה נכון).
נשלח: 23 בפברואר, 2009 נושאים: אותי זה מצחיק.
תגובות: 4
| טראקבק
תגובה מאת גיל
תאריך 23 בפברואר 2009 20:16
אני לא חושב שיש משהו יותר בעייתי במטא-אנליזה מטכניקות סטטיסטיות אחרות. כשהיא נעשית בצורה נכונה היא יכולה להוות כלי רב עוצמה. הבעייה העיקרית שלה היא סינון המחקרים. במה משתמשים ובמה לא. הבעייה נובעת משני גורמים עיקריים: אחד, אין גישה לכל המחקרים שנתפרסמו על נושא מסוים, בעיקר כאלו שלא התפרסמו או עם תוצאות שליליות. השנייה, הסלקציה של המאמרים עצמם שיכולה להיות מאוד מוטה כך שתתאים למה שאתה רוצה להראות. כבר יצא לי לראות מטא-אנליזות באותו נושא שמגיעות לתוצאות הפוכות בגלל שהשתמשו במחקרים שונים.
בעייה נוספת שלא ממש קשורה היא שלוקח המון המון זמן לכתוב מאמר כזה.
תגובה מאת יוסי לוי
תאריך 24 בפברואר 2009 10:38
תודה, גיל, על ההבהרות. כל מילה נכונה. (אני רק התכוונתי לשעשע).
רק לפני חודשיים וחצי הייתי בקורס של יומיים על מטה-אנליזה שנתן אחד המובילים בתחום, בימל סינה מאוניברסיטת מרילנד. המסר שלקחתי הבייתה – מטה-אנליזה זה דבר מסובך, והתוצאות תמיד בעייתיות בגלל אותו selection bias שהזכרת (כולל ה-publication bias).
אני לא מזלזל במטא-אנליזה. רק צריך לזכור שכמו כל שיטה סטטיסטית אחרת (וכמו לכל שיטה מדעית בכל תחום, בעצם), גם לשיטה הזו יש מגבלות, ואם המבצע לא מספיק מקצועי הטעויות מובטחות.
תגובה מאת גיל
תאריך 24 בפברואר 2009 18:42
כן, אני יודע שהתכוונת לשעשע. רק להוסיף למה שאמרת, זה באמת הרבה יותר מסובך ממה שזה נראה. זה הרבה יותר מסתם לאסוף מחקרים ולהשוות גודל אפקטים. אני לא מתמצא בנושא לגמרי אבל יש פריחה של מחקר בתחום ויש הרבה ספרים שמוקדשים רק לא. בהרבה כתבי עת זה הסטנדרט היום בעוד בעבר נהגו לעשות מה שנקרא סקירה איכותית של מחקרים (כלומר, להשוות מחקרים על סמך תוקף נראה בלי שום סטטיסטיקות).
תגובה מאת tamar medina
תאריך 1 ביולי 2010 10:21
רציתי לדעת איפה אפשר ללמוד מטה אנליזה בארץ או אונליין. אשמח בעברית, אבל אם יש רק באנגלית- נסתדר. תמר 052-3851278