מטה-אנליזה היא טכניקה סטטיסטית בה לוקחים תוצאות סופיות ממספר ניסויים/מחקרים, ומסנתזים אותם למסקנה כוללת אחת. לדעתי האישית זוהי טכניקה בעייתית למדי (למרות שבחלק הדיונים על סקרי הבחירות שנערכו כאן הפנו אותי קוראים נלהבים אל אתרים שביצעו מטה-אנליזה לתוצאות הסקרים שנערכו לקראת הבחירות לנשיאות ארה”ב).
היום, כשקראתי את העדכון האחרון של chance news, ראיתי שם הפניה לקריקטורה ישנה מהניו-יורקר שמדגימה את הבעייתיות בנושא:
ומתברר שגם לבדיחה הזו יש מימוש במציאות (בעיירה ניו-קויאמה שבקליפורניה):
(בויקיפדיה אומרים שהשלט הומוריסטי, אני מקווה שזה נכון).
אני לא חושב שיש משהו יותר בעייתי במטא-אנליזה מטכניקות סטטיסטיות אחרות. כשהיא נעשית בצורה נכונה היא יכולה להוות כלי רב עוצמה. הבעייה העיקרית שלה היא סינון המחקרים. במה משתמשים ובמה לא. הבעייה נובעת משני גורמים עיקריים: אחד, אין גישה לכל המחקרים שנתפרסמו על נושא מסוים, בעיקר כאלו שלא התפרסמו או עם תוצאות שליליות. השנייה, הסלקציה של המאמרים עצמם שיכולה להיות מאוד מוטה כך שתתאים למה שאתה רוצה להראות. כבר יצא לי לראות מטא-אנליזות באותו נושא שמגיעות לתוצאות הפוכות בגלל שהשתמשו במחקרים שונים.
בעייה נוספת שלא ממש קשורה היא שלוקח המון המון זמן לכתוב מאמר כזה.
תודה, גיל, על ההבהרות. כל מילה נכונה. (אני רק התכוונתי לשעשע).
רק לפני חודשיים וחצי הייתי בקורס של יומיים על מטה-אנליזה שנתן אחד המובילים בתחום, בימל סינה מאוניברסיטת מרילנד. המסר שלקחתי הבייתה – מטה-אנליזה זה דבר מסובך, והתוצאות תמיד בעייתיות בגלל אותו selection bias שהזכרת (כולל ה-publication bias).
אני לא מזלזל במטא-אנליזה. רק צריך לזכור שכמו כל שיטה סטטיסטית אחרת (וכמו לכל שיטה מדעית בכל תחום, בעצם), גם לשיטה הזו יש מגבלות, ואם המבצע לא מספיק מקצועי הטעויות מובטחות.
כן, אני יודע שהתכוונת לשעשע. רק להוסיף למה שאמרת, זה באמת הרבה יותר מסובך ממה שזה נראה. זה הרבה יותר מסתם לאסוף מחקרים ולהשוות גודל אפקטים. אני לא מתמצא בנושא לגמרי אבל יש פריחה של מחקר בתחום ויש הרבה ספרים שמוקדשים רק לא. בהרבה כתבי עת זה הסטנדרט היום בעוד בעבר נהגו לעשות מה שנקרא סקירה איכותית של מחקרים (כלומר, להשוות מחקרים על סמך תוקף נראה בלי שום סטטיסטיקות).
רציתי לדעת איפה אפשר ללמוד מטה אנליזה בארץ או אונליין. אשמח בעברית, אבל אם יש רק באנגלית- נסתדר. תמר 052-3851278
שלום!
אני יודעת שעברו כמה שנים מאז כתיבת הפוסט הזה ומכתיבת התגובה שמעלי, אבל גם אני זקוקה למידע בנושא מטא-אנליזה, אשמח מאוד לדעת אם קיים קורס כזה באחת האוניברסיטאות, תודה,
תמר
לא ידוע לי על קורס כזה. מצד שני, זה לא נורא מסובך, ואפשר להשתלט על הבסיס בקלות יחסית. הערך בויקיפדיה האנגלית נותן סקירה טובה מאוד, וגם הפניות לקריאה נוספת. http://en.wikipedia.org/wiki/Meta-analysis
תודה.