חיפוש באתר

קישורים

RSS סטטיסטיקה ברשת

עמודים

קטגוריות

תגיות

איך סופרים את המתים

בתחילת אוגוסט 2014 השתתפתי בכנס האיגוד האמריקני לסטטיסטיקה בבוסטון, שם נכחתי בשני מושבים שעסקו בנושא של אמידת מספר הנפגעים/הרוגים בסכסוכים אלימים. רשימה זו מבוססת על ההרצאות ששמעתי.

בערך של ויקיפדיה על הסכסוך/מלחמת אזרחים בקולומביה מצויין כי נהרגו בסכסוך (נכון לעד מתי?) 4286 חיילים ושוטרים, וכן 13197 מבין חברי שני הארגונים הנאבקים בכוחות הממשלה. איך הם הגיעו למספרים האלה? וברמת דיוק כל כך גבוהה? מספר ההרוגים הכללי בסכסוך, על פי המקורות שויקיפדיה מצטטת, הוא הרבה יותר ערטילאי: בין 50 ל-200 אלף. האם ניתן להגיע למספר מדוייק יותר?

נתוני מספר ההרוגים בסכסוך בקולומביה כפי שהם מוצגים בויקיפדיה

 

שאלות דומות עולות בכל סכסוך. עד כמה מדוייקים מספרי ההרוגים המתפרסמים בדבר מלחמת האזרחים בסוריה? או בעירק? כמה אזרחים נהרגו בסכסוך האחרון בעזה? מדובר בבעיה סטטיסטית לא פשוטה. אנסה להסביר בקצרה ובפשטות את הבעיה ואת הגישות להתמודדות איתה.

מתברר שבל סכסוך אלים יש אנשים וארגונים העוסקים בתיעוד מקרי המוות (כמו ד"ר אשרף אל-קודרה בעזה). במקרה של הסכסוך בקולומביה, ד"ר שירה מיטשל מאוניברסיטת הארווארד הציגה נתונים שנאספו על ידי שישה ארגונים שונים, שלושה מהם ממשלתיים, לאורך תקופות זמן משתנות. בסוריה, לפי ד"ר מגאן פרייס מה-Human Rights Data Analysis Group, יש כחמישה ארגונים האוספים את נתוני ההרוגים, ואילו ד"ר דניאל מנריק-ואלייר מאוניברסיטת אינדיאנה אמד את מספר ההרוגים במלחמת האזרחים בקוסובו על סמך דיווחים של ארבעה ארגונים שונים. בכל מקרה, הדיווחים הם רשימות של שמות ההרוגים, לעיתים בתוספת מידע נוסף אודות ההרוגים (למשל גיל, מין, מקום מגורים) או נסיבות מותה (כמו לדוגמה הפצצה או הוצאה להורג).

נתוני ארבע רשימות הרוגים מממלחמת האזרחים בקוסובו, כפי שהוצגו על ידי דניאל מנריק-ואלייר בכנס JSM2014

 

בפני הסטטיסטיקאים המנסים לאמוד את סך ההרוגים הכללי בסכסוך עומדות שתי בעיות. הבעיה הראשונה היא לזהות אנשים שמותם מתועד יותר מפעם אחת. ייתכן כי מותו של אדם מסויים מופיע בשתי רשימות (או יותר) שהכינו ארגונים שונים, או אפילו מופיע פעמיים (או יותר) באותה רשימה. בשלב הראשון יש לעבור על כל הרשומות שבכל הרשימות, ולהשוות כל זוג רשומות כדי לקבוע האם מדובר באותו אדם או בשני אנשים שונים. האם יוסי לוי ויוסף לוי הם אותו אדם? מה בקשר לשני שמות פחות דומים אך יותר נדירים, לגביהם מקום המוות, זמנו ונסיבותיו זהות? צריך לבדוק כל מקרה (למעשה כל זוג מקרים) לגופו. זה לוקח זמן. אם בסך כל הרשימות יש 1000 רשומות של מקרי מוות, יש לנו כמעט חצי מיליון זוגות שצריך להשוות. כאשר מדובר ב-100,000 רשומות (וזה לא מספר דמיוני, בסוריה מדובר עד כה על כ-170 אלף הרוגים, ואם מדובר ב-5 רשימות אזי מספר הרשומות יכול להגיע בקלות לחצי מיליון), יש כבר 50 מיליון זוגות של רשומות שצריך להשוות. אין שום סיכוי לבצע את העבודה הזו באופן ידני, ויש להסתמך על עזרת המחשב והסטטיסטיקה. הרעיון הוא לבדוק מספר מצומצם של זוגות רשומות ובאופן ידני (כמה אלפים בדרך כלל) ולסווג אותן כמתארות אותו אדם או שני אנשים שונים. בעזרת הסיווג הידני והנתונים הנלווים לכל שם בונים מודל סטטיסטי שמחשב לכל זוג רשומות את ההסתברות כי הן מתארות בעצם את אותו האדם. בעזרת הפרמטרים של המודל הסטטיסטי אפשר לתכנת כעת אלגוריתם שישווה באופן אוטומטי את כל הזוגות ויקבע לכל אחד מהם האם מדובר באותו אדם (אם ההסתברות המחושבת גבוהה מסף מסויים) או לא. תהליך זה נקרא למידה סטטיסטית.[1]

לאחר שמסתיים תהליך ההשוואה וזיהוי הרשומות הכפולות, אנו נותרים למעשה עם נתונים מזוקקים, האומרים לנו כמה הרוגים נספרו רק ברשימה הראשונה, כמה ברשימה הראשונה והשניה, כמה ברשימה הראשונה והשלישית, וכך הלאה, עד מספר ההרוגים ששמם הופיע בכל הרשימות. מנתונים אלה אנחנו יכולים לקבל הערכת רצפה של מספר ההרוגים – זהו סך כל מספר הרשומות השונות בכל הרשימות. וכאן מופיעה הבעיה הסטטיסטית השניה: איך נדע מהו מספר האנשים שנהרגו אך שמם לא הופיע אף לא ברשימה אחת? סביר להניח כי יש גם כאלה. השיטה הסטטיסטית להתמודדות עם הבעיה הזו ידועה בשם "תפוש ותפוש שוב" ("capture – recapture") ואנסה לתאר אותה בפשטות בפסקאות הבאות.

נניח שאנחנו רוצים לדעת כמה דגים יש באגם מסויים. אפשר לאמוד מספרם בצורה הבאה: תופסים מספר מסויים של דגים, נניח 1000, מסמנים כל אחד מהם בנקודה אדומה, ומחזירים אותם לאגם. כעת באגם יש X  דגים, 1000 מתוכם מסומנים. ממתינים זמן מה כדי שהדגים המסומנים יתפזרו ברחבי האגם ויתערבבו עם חבריהם, ואז תופסים שוב 1000 דגים, ובודקים כמה מתוכם מסומנים בנקודה אדומה. אם 50 מתוך האלף מסומנים, מסיקים כי פרופורציית הדגים המסומנים באגם היא 5%, ומכיוון שידוע לנו כי יש באגם 1000 דגים מסומנים המהווים 5% מכלל הדגים באגם, ולכן אמדן של סך כל מספר הדגים באגם הוא 20,000.

מקרה ספירת המתים דומה. הדג המסומן בנקודה אדומה הוא המשל, ההרוג במלחמה הוא הנמשל. אבל יש כאן כמה בעיות. ראשית, במקרה של ספירת ההרוגים, בניגוד לספירת הדגים, אנחנו לא באמת יודעים כמה דגים מסומנים יש באגם. שנית, מה קורה אם מי שביצע את התפיסה השניה של הדגים היה רשלן, ודיווח אמנם כי תפס 50 דגים המסומנים בנקודה אדומה, אך שכח לספור ולכן לא דיווח כמה דגים תפס בסך הכל, מסומנים ולא מסומנים? לא נוכל לבצע את התרגיל הפשוט שביצענו קודם. נוכל כמובן לשלוח אותו לבצע שוב את המשימה, בתקווה שיבצע אותה טוב יותר, אך במקרה של ספירת ההרוגים, אין דרך מעשית לדגום קבוצה של אנשים ולבדוק מי מהם נהרג במלחמה ומי לא. הנתונים הטובים ביותר שנוכל לקבל הן הרשימות, כאשר חלק מהאנשים מופיעים ביותר מרשימה אחת.

הבעיה השלישית היא הקשה ביותר: בסיפור של הדגים, המתנו בין התפיסה הראשונה והשניה, כדי שהדגים יתערבבו בינם לבין עצמם ותיווצר אי תלות סטטיסטית בין המדגם הראשון למדגם השני. אין שום סיבה להניח כי אי תלות כזו קיימת בין רשימות ההרוגים השונות, אדרבא. כאן דרושה עזרתו של הסטטיסטיקאי, שיבנה מודל (או מספר מודלים) למבנה התלות בין הרשימות השונות. ייתכן מאוד כי מודלים שונים יתנו תוצאות שונות, ולסטטיסטיקה יש גם כלים להשוואה בין מודלים ובחירה במודל "הטוב ביותר" לפי קריטריון כזה או אחר.

אז בפעם הבאה שאתם רואים הערכות שונות למספר ההרוגים בסכסוך מסויים (ובעצם הערכות שונות לספירה כמותית של פרטים או פריטים כלשהם), התייחסו למספרים בספקנות. שאלו אולי לגבי השיטות הסטטיסטיות שבהן נעשה שימוש. התעקשו על קבלת מדד למידת אי הודאות שבאמדן (סטיית תקן, רווח סמך וכדומה). ואל תכעסו אם אתם נתקלים בשני אמדנים שונים. מדובר בבעיה סטטיסטית קשה, וגישות שונות לפתרונה יביאו ככל הנראה לתוצאות שונות.

 

מקורות (הרצאות בכנס JSM, בוסטון, אוגוסט 2014):

* Global Impact: Statistical Analyses of Conflict Data in Syria, Guatemala, and Colombia — Shira Mitchell, Harvard ; Al Ozonoff, Harvard ; Kristian Lum, Virginia Tech ; Alan M. Zaslavsky, Harvard ; Brent Coull, Harvard School of Public Health

* Estimating Undocumented Deaths During the Syrian Conflict — Patrick Ball, Human Rights Data Analysis Group ; Anita Gohdes, Human Rights Data Analysis Group ; Megan Price, Human Rights Data Analysis Group

* Record Linkage and Capture-Recapture in the the Analysis of Genocide in Guatemala — Patrick Ball, Human Rights Data Analysis Group

* Large-Scale Clustering Approaches for Identifying Unique Human Rights Violations — Samuel Ventura, Carnegie Mellon

* Bayesian Multiple-Recapture Estimation of Casualties in Armed Conflicts Using Nonparametric Mixtures — Daniel Manrique-Vallier, Indiana University


הערות
  1. 1. אנשים מתחום מדעי המחשב מעדיפים לכנות תחום זה בשם "למידה ממוכנת". []

מבט להיסטוריה של הניסויים הקליניים

רשימה זו נכתבה בעקבות המפגש האחרון של קבוצת הדיון בהיסטוריה של הסטטיסטיקה שעסקה בניסויים קליניים. אציין כי אני הוא שהעלה את הנושא לדיון, והייתי אחראי לאיסוף והפצת חומר הקריאה למפגש. חלק מהחומרים שנקראו כבר סקרתי בעבר בהרצאה "מהלימון ועד הקופקסון" שנתתי במסגרת "ספקנים בפאב" (ואפשר לצפות בהקלטתה על ידי לחיצה על הקישור). רשימה זו כוללת סקירה היסטורית קצרה של חמשת הניסויים הקליניים שנדונו.לאחר הסקירה ההיסטורית שנתתי נערך דיון מעניין שעסק בהיסטוריה ובפילוסופיה של המדע, ובהשפעות של בייקון ומיל על התפתחות השיטה המדעית והשתקפותם בתהליך התפתחות הניסויים הקליניים. למרבה הצער, לא הצלחתי לארגן את ההערות שרשמתי לעצמי בזמן הדיון לטקסט קוהרנטי שאני יכול לפרסם כאן.

הניסוי הראשון הוא ניסוי הצפדינה של ג'יימס לינד, שנחשב בעיני רבים לנקודת ההתחלה של הרפואה המודרנית. זהו הניסוי הקליני המבוקר המתועד הראשון[1]. לינד ערך ניסוי לבדיקת טיפולים אפשריים למחלת הצפדינה, גורם המוות העיקרי בקרב מלחים עד סוף המאה ה-18.[2]. בניסוי שנערך בהפלגה קצרה יחסית בים התיכון בשנת 1749, חילק לינד את 12 המלחים שחלו בעת ההפלגה לשש קבוצות שוות. כולם שוכנו באותו מקום בספינה וקיבלו תפריט זהה, שנבדל רק בטיפול הניסיוני שניתן להם. הטיפולים היו: שתיית ליטר סיידר ביום, שתיית 25 טיפות חומצה גופרתית 3 פעמים ביום, שתיית שתי כפות חומץ 3 פעמים ביום, שתיית חצי ליטר מי ים ביום, משחה שהוכנה משום, חרדל, צנון ושרף, או  אכילת שני תפוזים ולימון ביום. המטופלים בפירות הדר החלימו כליל, ובמצבם של המטופלים בסיידר חל שיפור קל. ההשוואה בין הקבוצות אפשרה ללינד להעריך את יעילותו של כל טיפול ביחס לאלטרנטיבות הטיפוליות האחרות.

ציון הדרך הבא הוא סדרת הניסויים של וויליאם ווטסון לבחינת טיפולים להפחתת הסיכון במחלת האבעבועות השחורות. כבר במאה ה-11 היה ידוע כי מי שחלה במחלה זו ושרד לא יחלה בה שוב. עקב כך התפתחה פרקטיקה של מעין חיסון למחלה על ידי "הדבקה קלה" של אנשים בריאים במחלה. עם זאת, בין הרופאים היו מחלוקות בדבר אופן ההדבקה האופטימלי ובדבר טיפול נלווה להדבקה. ווטסון ערך סדרה של שלושה ניסויים קליניים בבית החולים לילדים בלונדון בשנת 1767[3]. המתודולוגיה שלו הייתה דומה לזו של לינד: הילדים המשתתפים בכל ניסוי חולקו לקבוצות, ובכל קבוצה בוצעה בנבדקים "הדבקה מבוקרת" על ידי שימוש בשלפוחית משלב מוקדם של המחלה. לכל קבוצה ניתן טיפול נלווה אחר שהיה אמור להפחית את הסיכון בהדבקה. בתכנון הניסויים של ווטסון יש מספר חידושים לעומת הניסוי של לינד. ווטסון דאג כי בכל קבוצת טיפול יהיה מספר שווה של בנים ובנות, כדי למנוע הטיה אפשרית למקרה שהתגובה לטיפול שונה בין המינים. כמו כן, קבוצה אחת בכל ניסוי לא קיבלה טיפול נלווה אלא שימשה כקבוצת ביקורת. והחשוב מכל: ווטסון היה הראשון שהנהיג מדידה כמותית של התוצאות. המדד להצלחת הטיפול היה מספר האבעבועות שהופיעו בכל ילד שהשתתף בניסוי. הוא אף ערך ניתוח סטטיסטי בסיסי ופרסם את ממוצע מספר השלפוחיות לילד בכל קבוצה. מסקנתו של ווטסון הייתה כי הטיפולים המקובלים להפחתת הסיכון, שכללו כספית, צמחים שונים ומיני משלשלים, לא הביאו להקלה בחומרת ההדבקה בהשוואה למודבקים שלא קיבלו טיפול נלווה.

נקודת הציון המשמעותית הבאה היא ניסוי החלב במחוז לאנרקשיר בסקוטלנד בראשית המאה ה-20[4]. מטרת הניסויים היה לבדוק האם הזנה יומית בחלב משפרת את הגדילה של ילדים (וילדות) בהשוואה לילדים שלא שתו חלב על בסיס יומי, וכן לבדוק האם יש הבדל בשיעורי הגדילה בין ילדים שהוזנו בחלב טרי ובין אלה שהוזנו בחלב מפוסטר. הניסוי, שנערך ב-1930 היה רחב היקף וכלל בסך הכל כעשרים אלף ילדים בגילאי 6-12, שלמדו ב-67 בתי ספר. כ-5000 הוזנו בחלב טרי, כ-5000 בחלב מפוסטר, וכ-10000 ילדים שויכו לקבוצת הביקורת. גובהם ומשקלם של הילדים נמדדו בתחילת הניסוי (פברואר 1930) ובסופו (יוני 1930). המסקנה הייתה כי תזונה יומית של חלב משפרת את גדילת הילדים, וכי אין הבדל משמעותי בין חלב טרי לחלב מפוסטר. כמו כן הסיקו החוקרים כי אין השפעה לגיל הילדים על האפקט של קצב הגדילה.

ניסוי זה נכנס לרשימה שלי דוקא בשל הביקורת שהוטחה בו. עם המבקרים נמנו פישר ובארטלט, אולם את הביקורת המקיפה ביותר הטיח "סטודנט", הלא הוא ויליאם סילי גוסט. במאמר שפרסם בכתב העת ביומטריקה[5] קבע למעשה סטודנט כללים שקיומם הכרחי להבטחת התקפות של ניסוי קליני:

  • סטודנט מעיר כי בכל בית ספר בניסוי הוזנו הילדים המטופלים בחלב טרי או בחלב מפוסטר, אך לא הייתה נציגות לשתי הקבוצות יחד באף בית ספר. עקב כך, אין אפשרות להשוות באופן ישיר בין חלב טרי ומפוסטר, עקב הבדלים בין בתי הספר השונים.
  • שיוך התלמידים בניסוי לקבוצת הטיפול (הזנה בחלב או ביקורת) נקבע על ידי המורים בכל כיתה ולא באופן רנדומלי. עקב כך, נוצר מצב בו התלמידים בקבוצת הביקורת היו גדולים יותר במימדי גופם לעומת התלמידים בקבוצות הטיפול.
  • המדידות נערכו בפברואר ויוני. בגדי חורף הינם כבדים יותר מבגדי אביב/קיץ, והבדל המשקל בין הבגדים קיזז את ההבדלים במשקל האמיתי. החוקרים הניחו כי ההבדל במשקל הבגדים יהיה דומה בין הקבוצות, אולם סטודנט טען כי יש ההטיה בחלוקת התלמידים לקבוצות מושפעת ממצבם הכלכלי – תלמידים ממשפחות אמידות הוכללו בדרך כלל בקבוצות הביקורת – הביאה לכך שמשקל בגדי החורף של קבוצת הביקורת יהיה גבוה יותר.

סטודנט הסיק לכן כי התוצאות שהתקבלו לא תומכות בטענה כי אין הבדל בין תזונה בחלב טרי ותזונה בחלב מפוסטר, וגם כי אי אפשר להסיק שאין קשר בין הגיל ובין השינוי בקצב הגדילה. הוא מזכיר גם את הניתוח של פישר וברטלט[6] המראה כי לחלב טרי יתרון על חלב מפוסטר באשר לקצב הגדילה.

סטודנט הביא גם מספר המלצות, ובהן הצעה לערוך את הניסוי באוכלוסיה של תאומים, כאשר אחד התאומים יוזן בחלב והשני ישמש כביקורת (או שאחד מהם יוזן בחלב טרי והשני בחלב מפוסטר לצורך השוואה בין שני סוגי החלב). אני סבור כי תכנון כזה לא מקובל בימינו מבחינה אתית, המלצה יותר מעשית היא לנתח מחדש את הנתונים שנאספו כדי לנסות להתגבר על ההטיה שנוצרה בהקצאה הלא רנדומלית לקבוצות טיפול וביקורת. ההמלצה האוטינטיבית שלו היא לערוך מחדש את הניסוי, תוך כדי הקפדה על רנדומיזציה, לקיחה בחשבון של הטיה עקב משקל הבגדים שלובש כל תלמיד, ותכנון הניסוי כך שבכל בית ספר יהיה ייצוג לשלוש קבוצות הטיפול.

ההמלצה העיקרית של סטודנט, להקפיד על הקצאה רנדומלית של המטופלים לקבוצות, לא התקבלה מייד, שכן רעיון זה נתפש בעיני חלק מהקהילה המדעית כ-"לא אתי". יש לציין כי עקרון הרנדומיזציה רק הוצג על ידי פישר ב-1923, ועדיין לא  הייתה הכרה מספקת בחשיבותו. הניסוי הקליני הראשון עם הקצאה רנדומלית לקבוצת טיפול ולקבוצת ביקורת נערך רק ב-1947, והוא הרביעי ברשימה שלי. מדובר בניסוי לבדיקת היעילות של אנטיביוטיקה מסוג סטרפטומיצין לטיפול בדלקת ריאות[7]. עקב המחסור באנטיביוטיקה, לא הייתה ברירה אלא להחליט על ידי ביצוע "הגרלה" בין החולים מי יקבל טיפול ומי לא, וכך התגבר תכנון הניסוי על המחסום האתי. עם זאת, הניסוי לא היה כפול סמיות (Double Blind), ולא נעשה שימוש בפלסבו כטיפול דמה לקבוצת הביקורת,[8] וזאת למרות שכבר היה תקדים לקיום ניסוי כזה: הניסוי הקליני הראשון שנערך בשיטת הסמיות הכפולה נערך כבר בשנת 1943 לבדיקת היעילות של פניצילין כטיפול להצטננות. החולים המטופלים לא ידעו האם הם שויכו לקבוצת טיפול ואכן טופלו בפניצילין, או שמא שויכו לקבוצת הביקורת וטופלו בפלסבו. גם הרופאים שטיפלו בחולים לא ידעו מהו הטיפול שקיבל כל חולה. תכנון כזה מונע הטיה שעלולה לנבוע מדיעה קדומה של הרופאים לגבי יעילות הטיפול, ולמעשה מכריח אותם לתת חוות דעת אובייקטיבית לגבי המצב הרפואי של החולה המטופל. עם זאת, בניסוי זה לא נערכה הקצאה רנדומלית של החולים לטיפול או ביקורת.

הויכוח בדבר חשיבות העקרונות שהתוו סטודנט ופישר הסתיים סופית בניסוי לבדיקת יעילות החיסון של סאלק נגד נגיף הפוליו, שנערך ב-1954[9]. למעשה נערכו שני ניסויים. הניסוי שבראשו עמד הסטטיסטיקאי פול מאייר היה ניסוי כפול סמיות בהקצאה רנדומלית, והוא הראה ירידה של 70% במקרי השיתוק עקב פוליו בקבוצת הטיפול לעומת קבוצת הביקורת. גודל המדגם הגדול (כ-400 אלף ילדים בגילאי 6-8) סייע לביסוס התקפות החיצונית של התוצאות. במקביל נערך ניסוי נוסף, בו הקצאת הטיפול (חיסון או פלסבו) לא הייתה רנדומלית. 725,000 תלמידי כיתות א ו-ג שהשתתפו בניסוי שימשו כקבוצת ביקורת, ואליהם צורפו גם 125,000 ילדים מכיתות ב' שהוריהם סירבו לחיסון. נתוניהם הושוו עם הנתונים של 225,000 תלמידי כיתות ב' שהוריהם הסכימו לחסנם. סה"כ השתתפו בניסוי מעל מליון תלמידים, כמעט פי 3 מגודל הניסוי של מאייר. ניסוי זה הראה ירידה של 44% בלבד בשיעור מקרי השיתוק עקב פוליו, ואולם התברר כי האפקט הוקטן עקב הטיה הקשורה למצב הסוציו-אקונומי של קבוצת הטיפול. ילדי קבוצת הטיפול הגיעה ממשפחות אמידות יותר, ובשכבת אוכלוסיה זו שיעור מקרי השיתוק עקב פוליו היה גבוה יותר מכיוון ששיעור הילדים המחוסנים טבעית (חלו בפוליו באופן קל והחלימו ללא תיעוד) הינו נמוך יותר עקב רמת הסניטציה הגבוהה יותר בסביבתם. המקרה של ניסוי הפוליו הוכיח כי גודל המדגם אינו בהכרח הפרמטר החשוב ביותר בניסוי הקליני[10], וכי רק הקצאה רנדומלית וסמיות כפולה מבטיחים את התקפות הפנימית של הניסוי.


הערות
  1. 1. אם מתעלמים מפרק א' של ספר דניאל []
  2. 2. 2 מתוך כל 3 מלחים לקו במחלה ומתו. במלחמת 7 השנים בין אנגליה לצרפת, 1512 מלחים אנגלים נהרגו בקרבות, כ-100,000 מתו מצפדינה. []
  3. 3. Boylston, A. W. (2002). Clinical investigation of smallpox in 1767.New England Journal of Medicine, 346(17), 1326-1328. []
  4. 4.  Leighton G, McKinlay P (1930). Milk consumption and the growth of school-children. Department of Health forScotland, Edinburgh and London: HM Stationery Office. []
  5. 5. Student (1931). The Lanarkshire Milk Experiment. Biometrika 23:398-406. []
  6. 6. Fisher RA, Bartlett S (1931). Pasteurised and raw milk. Nature 127:591-592.  []
  7. 7. Medical Research Council Streptomycin in Tuberculosis Trials Committee. (1948). Streptomycin treatment for pulmonary tuberculosis. BMJ2, 769-82. []
  8. 8. Hart, P. D. A. (1999). A change in scientific approach: from alternation to randomised allocation in clinical trials in the 1940s.BMJ, 319(7209), 572-573. []
  9. 9. Meier, Paul. "Polio trial: an early efficient clinical trial." Statistics in medicine 9.1‐2 (1990): 13-16.  []
  10. 10. ראו גם את הרשימה בחירות 1936 – המנצח שלא היה, שעסקה במקרה מפורסם אחר בו מדגם גדול לא הצליח לחזות את המנצח בבחירות לנשיאות ארצות הברית עקב הטיה בתכנונו []

כמה הערות על זרעים מהונדסים גנטית

זרעים מהונדסים גנטית מעוררים רגשות עזים בקרב אנשים מסויימים. מתברר שגם אצלי.

לפני כשבוע הופיעה באתר "המקום הכי חם בגיהנום" טור דיעה תחת הכותרת "זרע הפורענות". הכותב, יוסי דורפמן, יוצא נגד הסכם שנחתם לאחרונה בין משרד הכלכלה ותאגיד החקלאות המהונדסת גנטית וחומרי ההדברה מונסנטו. אתר "עבודה שחורה" חזר ופרסם חלק מטורו של דורפמן, ושם הגבתי ביום חמישי האחרון במלים הבאות:

"חשוב מאוד להפריד בין המהות של זרעים מהונדסים גנטית, שצופנים בתוכם תועלת רבה לאנושות, ובין ההתנהלות העסקית של תאגיד מונסנטו, שהיא אכן בעייתית.
הדרך הראויה להתמודדות היא לא להתעלם מההתקדמות המדעית/טכנולוגית שמאפשרת יבולים גדולים יותר ואיכותיים יותר, אלא להשית רגולציה נכונה על התאגיד."

אני חושב שהסברים נוספים מיותרים. זרעים מהונדסים גנטית מניבים יבולים גדולים יותר, ומתוכננים לעמוד בפני מזיקים שונים, שצמחים "רגילים" אינם עמידים אליהם. הם משקפים את היכולות המדעיות והטכנולוגיות אליהם הגיעה האנושות בשנים האחרונות.

אני גם רוצה לחזור ולהדגיש כי ההתנהלות העסקית של תאגיד מונסנטו (בעיקר בנושא תביעות על הפרות פטנטים) היא בעייתית גם בעיני. עם התנהלות זו יש להתמודד באמצעות רגולציה, חקיקה, וגם בעזרת שופטים שיעיפו לכל הרוחות תביעות לא מוצדקות[1] עם הוצאות משפט כבדות. אני בהחלט גם מתנגד לחקיקה ייעודית לטובת תאגידים בכלל ומונסנטו בפרט, לקשרי הון שלטון, לשוחד, ולפעולות פליליות אחרות.

ולאחר כל ההסתייגויות הנ"ל, אני רוצה להפנות את תשומת לב קוראיי לכמה אמירות בעייתיות של דורפמן.

דורפמן כותב כי מונסנטו מחזיקה ב-90% משוק הזרעים המהונדסים גנטית, וזה נכון. הסיבה לכך: מונסנטו מחזיקה ברוב הפטנטים בתחום, והפטנטים עדיין בתוקף. עם זאת, יש לשים לב כי החל ב-2015 יחלו פטנטים רבים לפקוע, וצפויה תחרות גדולה מצד יצרנים גנריים, בדיוק כפי שקורה בתעשיות אחרות, כגון תרופות וחומרי הדברה. לכן צפוי כרסום במונופול. עד אז, יש לזכור כי מונופולים מעצם הגדרתם נתונים לרגולציה (בישראל, על ידי הממונה על ההגבלים העסקיים). אני מקווה שהממונה לא יגלה אזלת יד בנושא זה.

בעניין שימוש חוזר בזרעים: למיטב ידיעתי, הזרעים הצמחים המהונדסים גנטית כלל אינם מניבים זרעים. הסיבה לכך נעוצה בטבע. אם יניבו צמחים אלה זרעים, יופיעו באופן טבעי מוטציות שונות שעשויות/עלולות לשנות את התכונות של הצמחים בדור הבא. אם רוצים להבטיח תכונות מסויימות של זרעים, המוטבעות בהם באופן גנטי, הדרך היחידה להבטיח זאת היא על ידי הנדוס. האם זה הוגן? אפשר להתווכח. אפשר אולי להנדס זרעים כך שתתאפשר הצמחת מספר נוסף של דורות (שנים או שלושה) באופן שההסתברות לסחף גנטי משמעותי היא קטנה דיה. אני מניח שזה גם יתבטא במחיר הזרעים.

עד עכשיו דיברתי על אי דיוקים ועל אי הבנה. עכשיו מגיעים להטעיות.

דורפמן כותב: "מחיר של שקית זרעי תירס בשנות ה-80 בארצות הברית היה כ-70 דולר, ואילו היום עולה שקית זרעי תירס יותר מ-160 דולר". נו באמת. זה הטריק הכי ישן בספר. יכול להיות שדורפמן לא יודע כי כח הקניה של הדולר השתנה מעט מאז שנות ה-80 של המאה העשרים ועד היום? אני מפנה אתכם למחשבון האינפלציה באתר משרד העבודה של ארצות הברית. 70 דולר של שנת 1980 שווים ל-201 דולר של שנת 2014, מה שמשקף ירידה ריאלית של 20% במחיר שקית הזרעים. כן, אני קצת דמגוגי כאן. אולי שנות ה-80 של דורפמן חלו בשנת 1989? 70 דולר של 1989 שווים לכ-134 דולר, וזוהי אכן עליית מחיר ריאלית של 20%[2]. אוקיי, אבל בכל זאת מדובר במוצר שיניב יבול גדול יותר ועשוי להביא רווח גדול יותר לחקלאי.

דורפמן ממשיך, וזועק כי הזרעים המהונדסים גנטית העלו את שיעור ההתאבדויות של איכרים בהודו[3], בלי לבדוק את העובדות, כמובן. כתבתי על כך בהרחבה לא מזמן. הנתונים מראים דווקא את ההיפך: ניתן לקשר את הנהגת השימוש בגידולים מהונדסים גנטית לירידה בשיעורי ההתאבדות בקרב איכרים בהודו (שגם הם נמוכים יחסית ללא-איכרים בהודו בפרט, ולמדינות העולם בכלל). אך דורפמן לא מתעניין, כנראה, בעובדות.

מעניין לציין שקיבלתי תגובה לתגובה שלי ב-"עבודה שחורה"[4]:

"אחשלי אין משהו מתקדם יותר מהטבע וגם ידוע שאתה מקבל כסף על הפוסט הזה ,
וכל המהות של החברה זה לעשות כסף ממה שהטבע עושה בחינם יא גנבים קפיטליסטים )) ספר להם שהזרעים שלכם צריכים ריסוס מתמיד מאסיבי"

כן, אין משהו יותר מתקדם מהטבע. רעידות אדמה, בצורת, נגיפי אבעבועות שחורות ופוליו, הכל טבעי. שיהיה לך לבריאות.


הערות
  1. 1. למשל אם היבול נוצר כתוצאה מהאבקה טבעית באמצעות רוח או ציפורים, שפיזרו את הזרעים בשטח, והגיעו מחקלאי שכן []
  2. 2. מ-70 דולר ב-1989 ל-160 היום []
  3. 3. הוא נותן לינק לכתבה בהארץ, ותוך כדי כך מעוות את הדברים שנאמרו בכתבה []
  4. 4. המגיב הגיבור לא מספיק אמיץ כדי להזדהות בשמו, והוא יודע למה []

על מכבי תל אביב ורוג’ר פדרר

האמת, לא ראיתי את המשחק בין מכבי תל-אביב וצסק"א מוסקבה בפיינל פור 2014 של היורוליג. אני לא צופה במשחקי כדורסל מאז הזכיה האחרונה של שיקגו בולז באליפות ה-NBA, ב-1998. בלי מיקל ג'ורדן, אני פשוט משתעמם. אבל על מה שקרה במשחק של מכביי שמעתי גם שמעתי.

למי שלא שמע: כשקבוצתו בפיגור של 15 נקודות בסוף הרבע השלישי של המשחק, הורה דייויד בלאט,  מאמן מכבי, לשחקניו לנסות ללכת על כל הקופה: לעבור למשחק מהיר, הגנה אגרסיבית, וזריקות לשלוש נקודות, תוך תקווה שהיריבה תעשה יותר טעויות מהרגיל.

במונחי ספורט, אולי זה היה הימור. במונחים סטטיסטיים, בלאט החליט להגדיל את השונות. לאחר 3 הרבעים הראשונים, המשחק כבר לא היה שקול. האסטרטגיה של בלאט הגדילה את ההסתברות לתבוסה: המשחק היה יכול להגמר ב-30 נקודות הפרש לטובת צסק"א, אבל במשחק של הכל או לא כלום, זה באמת לא משנה אם ההפסד הוא בהפרש של 15 נקודות או 30 נקודות. לעומת זאת, לקיחת הסיכון גם אפשרה הסתברות לרבע שייגמר ב-16 נקודות הפרש לטובת מכבי, בניגוד לאסטרטגיות של 3 הרבעים הראשונים במשחק שמהלכם לא היה טוב במיוחד מנקודת הראות של הצהובים.

איך זה קשור לרוג’ר פדרר?

הסבר קצר על משחק הטניס. המשחק הטיפוסי מורכב משלוש מערכות, וכדי לנצח על הזוכה לנצח בשתי מערכות מתוך ה-3[1]. כל מערכה מורכבת ממשחקונים, וכדי לנצח במערכה יש לנצח ב-6 (ולפעמים 7 או יותר) משחקונים. כך יכול להווצר מצב מוזר: שחקן שהפסיד 6:1 במערכה הראשונה (כלומר ניצח במשחקון אחד והפסיד ב-6), וניצח בשתי המערכות הבאות בתוצאה 6:4, זכה המשחק כי ניצח ב-2 מערכות מתוך ה-3, אבל ניצח בסך הכל ב-13 משחקונים, בעוד שיריבו ניצח  ב-14 משחקונים. תופעה זו, המזכירה את פרדוקס סימפסון,  קורה בערך ב-5% ממשחקי הטניס המקצועניים[2]. דבר דומה קרה גם במשחק הכדורסל: צסק"א ניצחה ב-3 מתוך 4 רבעי המשחק, אך הפסידה במשחק כולו.

מסתבר כי אלוף העולם בהפסדים ב-"משחקי סימפסון" בענף הטניס הוא לא אחר מאשר רוג’ר פדרר, אחד מגדולי הטניס בכל הזמנים. הוא שיחק ב-28 משחקים בהם המפסיד זכה ביותר משחקונים מאשר המנצח. המאזן שלו? 24 הפסדים, רק 4 ניצחונות.

מעניין לציין כי השחקן בעל המאזן הטוב ביותר במשחקים כאלה הוא ג'ון אייזנר , עם מאזן של 19 נצחונות ו-5 הפסדים. אייזנר זכור גם כמנצח במשחק הארוך ביותר בהיסטוריה, בטוניר וימבלדון ב-2010, בו ניצח את יריבו בתוצאה 70:68 במערכה החמישית. במשחק הנ"ל, אייזנר זכה ב-24 נקודות פחות מאשר יריבו.[3] אייזנר מבסס את כל משחקו על חבטת הגשה חזקה במיוחד שמותירה את היריב ללא מענה במקרים רבים. כאשר ליריב יש מענה, לאייזנר בדרך כלל אין.

למי שמשחק מול פדרר אין הרבה סיכויים לנצח; פדרר ניצח ביותר מ-80% המשחקים בהם השתתף. מעבר לכך – שיטת הניקוד בטניס מוטה לטובת השחקן הטוב יותר. יתרון קטן על היריב מתורגם על ידי שיטת הניקוד להבדל משמעותי בסיכויי הניצחון במשחק. הדרך הכמעט יחידה לנסות לנצח את פדרר היא להגדיל את הסיכון על ידי משחק אגרסיבי. אתה עלול להפסיד שתי מערכות בתוצאה 6:0, אבל יש לך גם סיכוי להפסיד פחות משחקונים מאשר בדרך כלל, ואם תנצח מספיק משחקונים, אולי זה יספיק לך לנצח בשתי מערכות צמודות, ואז למי איכפת מהמערכה בה פדרר הביס אותך?


הערות
  1. 1. ישנם טורנירים בהם המנצח נקבע בשיטת הטוב מ-5 מערכות []
  2. 2. Wright, B., Rodenberg, R. M., & Sackmann, J. (2013). Incentives in Best of N Contests: Quasi-Simpson's Paradox in Tennis.International Journal of Performance Analysis in Sport13(3), 790-802. []
  3. 3. כדי לנצח במשחקון, יש לצבור יותר נקודות מאשר היריב []

ניסוי קליני מתוכנן היטב לבדיקת תכשיר הומיאופתי – ניתוח מקרה

אני מקווה שרוב קוראיי (כלומר, לפחות ארבעה!) מכירים את הבלוג “חשיבה חדה" שכותב ידידי גלעד דיאמנט, ו/או את קבוצת הפייסבוק הקשורה אליו. אם לא זו ההזדמנות לערוך היכרות. אני פותח המלצה על הבלוג והקבוצה, משום שדיון בקבוצה הוביל אותי לכתיבת הרשימה הנוכחית.

הכל התחיל בלינק לידיעה על יצרנית תכשירים הומיאופתיים שנאלצה לקרוא להחזרת חלק ממוצריה בגלל שהכילו אנטיביוטיקה (אופס). בדיון שהתפתח, כתב אחד מחברי הקבוצה, אור גרשון, כי מישהו הציג לו מחקר קליני שבדק טיפול הומיאופתי לאלרגיה, שהראה כי הטיפול ההומיאופתי יעיל, ותהה כיצד משיבים לטיעון כזה. חבר אחר בקבוצה התנדב לקרוא את המאמרים ולנתח את הכשלים שבהם.

עד כאן הכל טוב ויפה, אולם לאחר שקראתי את הניתוחים בפייסבוק נאלצתי להסתייג מהם. הבטחתי לקרוא את המאמרים, והתחייבתי להגיב גם למאמרים וגם להערות שבדיון במועד מאוחר יותר. אמנם עברו כבר כמה שבועות, ואני אמנם לא בן למשפחת לאניסטר, אבל אעמוד בהתחייבותי, לאחר שקראתי גם את המאמר עצמו, וגם את התגובות למאמר שפורסמו בכתב העת לאחר פרסומו.

אני רוצה להדגיש כי הביקורת שאכתוב מייד על הדברים שכתב הקורא אינה מיועדת להלבין את פניו ברבים, אלא מתוך רצון כן לסייע לו ולקוראים האחרים להבין טוב יותר את הניסוי, תכנונו, והניתוח הסטטיסטי.

כמו כן, אני מוצא את עצמי נאלץ להגן על ניסוי קליני הומיאופתי מפני טענות על כשלים כביכול שהוטחו בו, מכיוון שהטענות אינן נכונות. הניסוי המתואר במאמר הוא לדעתי ניסוי מתוכנן היטב, ומנטרל בצורה טובה מאוד הטיות אפשריות במחקר מסוג זה. למרות זאת, תקפות התוצאה שפורסמה בהבלטה במאמר, המראה יתרון טיפולי להומיאופתיה על פני פלסבו באחד המדדים, מוטלת בספק. רק אחד המבקרים של הניסוי הצליח להצביע על נקודת הכשל.

מדובר המאמר ישן למדי, שפורסם בשנת 2000 בכתב העת BMJ, שבהחלט אינו כתב עת זניח. המאמר[1] תיאר, כאמור, ניסוי קליני בו נבדק טיפול הומיאופתי ל- perennial allergic rhinitis (דלקת/נזלת בחלל האף הנגרמת עקב אלרגיה לא עונתית). הניסוי המתואר פשוט מאוד. המועמדים/מתנדבים להשתתפות בניסוי עברו תהליך סינון, בו נבדק האם מצבם הרפואי מתאים לטיפול, נעשתה הערכה של האלרגנים שגרמו למצבם, ולכולם ניתן טיפול ראשוני. לכל החולים בשלב זה ניתן פלסבו, אך נאמר להם כי הם קיבלו טיפול הומיאופתי מותאם למצבם. במשך שבועיים המועמדים היו מטופלים בפלסבו שחשבו כי הוא טיפול הומיאופתי, וניהלו רישום יומי של מצבם. לתקופת מעבר זו, בה החולים אינם מטופלים אך חושבים כי קיבלו טיפול הומיאופתי, יש שתי מטרות: איסוף נתוני בסיס, וניטרול אפקט פלסבו אפשרי. לאחר תקופת המעבר, חולקו החולים בהקצאה רנדומלית לשתי קבוצות. קבוצה אחת קיבלה טיפול הומיאופתי, השניה המשיכה לקבל פלסבו. החלוקה נעשתה בסמיות כפולה; לא החולים ולא הרופאים/חוקרים ידעו איזה סוג של טיפול קיבל כל חולה. החולים המשיכו לערוך רישום של מצבם במשך ארבעה שבועות נוספים. בסיום הניסוי, נערכה השוואה של השינוי הממוצע מהבסיס לסיום הטיפול בין שתי הקבוצות. החוקרים חישבו כי כדי לשמור על רמת מובהקות (הסתברות לתוצאה חיובית שלילית – false positive) של 5%, ובמקביל להשיג עוצמה (הסתברות לתוצאה חיובית כאשר יש אפקט טיפולי  - true positive) של 80%,  יש צורך במדגם בגודל 120 חולים (60 בכל קבוצה). בפועל הצליחו החוקרים לגייס לניסוי רק 51 חולים. עד כמה זה קריטי? אתייחס לכך בהמשך.

תוצאת הניסוי: נצפה הבדל מובהק סטטיסטית בין הקבוצות, המראה יתרון לטיפול ההומיאופתי במדד Nasal inspiratory peak flow, עם זאת, במדד Visual analogue scale (VAS), לא נצפה אפקט טיפולי. המדד הראשון, בו התקבלה תוצאה מובהקת סטטיסטית נחשב למדד אובייקטיבי, ואילו המדד השני נחשב לסובייקטיבי. החוקרים גם מציינים כי ההבדל המובהק במדד הראשון נחשב משמעותי מבחינה קלינית.

בהמשך סוקרים החוקרים תוצאות של שלושה ניסויים אחרים שקדמו לניסוי זה, ועורכים ניתוח מאוחד (pooled  analysis) המסכם יחדיו את תוצאותיהם. ברשימה זו לא אתייחס לחלק זה של המאמר/

כצפוי, המחקר עורר סערה, ובמערכת כתב העת התקבלו מספר תגובות המבקרות את המחקר וממצאיו[2]. הנה סקירה של חלק מהתגובות (הקשורות לתחומים שאני מבין בהם משהו) והתייחסותי.

בארי מילר, רופא מרדים במקצועו, טוען כי הניתוח הסטטיסטי לקוי, מכיוון שגודל המדגם בפועל היה רק 51 חולים, ולא 120 כפי שתוכנן. לכן עוצמת הניסוי הייתה, לפי חישוביו, רק 43% ולא 80% (לא בדקתי את החישוב). אומר בעדינות כי הטענה הזו מראה חוסר הבנה בסטטיסטיקה ובמתודולוגיה של ניסויים קליניים. ניתן לטעון, אולי, כי אין זה אתי לבצע ניסוי קליני שעוצמתו נמוכה, אבל מה זה קשור לניתוח הסטטיסטי? החוקרים משיבים לו כראוי, ומסבירים כי הסיכון הנובע מעוצמה נמוכה הוא הסתברות גבוהה יותר להחמצה של תגלית – false negative. במלים אחרות, כאשר העוצמה נמוכה, ייתכן שהניסוי לא יצליח לגלות את קיומו של אפקט אמיתי, אם הוא קיים. רמת המובהקות של הניסוי, ההסתברות לתגלית שגויה – false positive, כלומר מצב בו נראה כאילו יש אפקט טיפולי כאשר בפועל אין אפקט כזה, אינה תלויה בגודל המדגם. החוקרים עוד מגדילים לעשות, ומשערים כי ייתכן והתוצאה השלילית שהתקבלה במדד הסובייקטיבי VAS נבעה מגודל המדגם הקטן והעוצמה הנמוכה. במובן הזה, הביקורת של ד"ר מילר הייתה סוג של גול עצמי.

בריאן ליפוורת', פרופסור לאלרגיה ורפואה נשימתית, מעיר בין היתר כי היה רצוי וראוי לבצע ניסוי המשווה את הטיפול ההומיאופתי לטיפול הרפואי המקובל (כגון סטרואידים או אנטיהיסטמינים), הידוע כיעיל לטווח ארוך. הצדק עימו.

ד"ר יורגן וינדלר, ראש המחלקה לרפואה מבוססת ראיות במכון המחקר MDS באסן, גרמניה, מעלה טענה חזקה: חישובי גודל המדגם נעשו על פי מדד VAS, ועל סמך התוצאות שהתקבלו בשלושת הניסויים הקודמים. במדד זה הניסוי נכשל. כלומר, הניסוי לא הצליח לשחזר את התוצאות של הניסויים הקודמים. לדעתי זהו הכשל העיקרי בניסוי זה. מכיוון שחישובי גודל המדגם נעשו על פי מדד זה, הרי שבפועל זהו משתנה המחקר הראשי (primary endpoint) של הניסוי,[3] ועל פי הכללים המקובלים בניסויים קליניים, כשלון במשתנה המחקר הראשי הוא כשלון הניסוי כולו. התייחסות להצלחה במשתנה מחקר משני לאחר כשלון במשתנה המחקר הראשי משמעותה ניפוח ההסתברות לטעות מסוג ראשון – false positive – של המחקר, והיא גדולה מ-5%, בניגוד למה שהוצהר.[4] ד"ר וינדלר מתייחס בהמשך גם לניתוח המאוחד של תוצאות כל ארבעת הניסויים, ומעיר מספר הערות נכונות לגבי ניתוח זה.

שתי תגובות נוספות הן של ה. מורו בראון, מומחה לאלרגיה, התוהה האם החולים סבלו מלכתחילה מדלקת אלרגית לא עונתית), ומייקל דין, סטודנט לדוקטורט בבריאות הציבור מאוניברסיטת יורק, שטען כי פרסום מחקר ברמה גבוהה המראה תוצאות חיוביות בטיפול הומיאופתי רק מבליט את הסטנדרט הכפול בהתייחסות של הממסד הרפואי להומיאופתיה.

מכאן אעבור להערות של הקורא בקבוצת הפייסבוק. הוא התייחס בתחילה דווקא לתגובות הקוראים למחקר, ובטעות ייחס אותן לעורכי כתב העת. כך הוא כותב , למשל (תיקנתי כמה טעויות כתיב/הקלדה):  "המאמר המצורף מתחיל בהערה מאת המפרסם: ‘Statistics in study were flawed’-סטטיסטיקות במחקר לוקות בחסר. מה זה אומר? זה אומר שהעורכים המקצועיים (שהם אנשי מקצוע לפני היותם עורכים מדעיים) עבור על הנתונים (שחייב כל מפרסם מאמר לספק יחד עם המאמר) ומצעו בו פגמים/כשלים בתחום הסטטיסטי."

ובכן, ההערה היא למעשה הכותרת שנתנו עורכי כתב העת לתגובתו של בארי מילר, וכבר הסברתי את הבעייתיות שבה. הקורא מצטט גם חלק מתגובתו של ד"ר וינדלר, ומייחס אותה לעורכי כתב העת, ולאחר מכן שוב חוזר לטענה לפיה המחקר פגום בגלל גודל המדגם הנמוך מהמתוכנן, וכותב: "החוקרים בסופו של דבר גייסו רק 51 נבדקים, אבל ניתחו את הנתונים כאילו היו להם כל ה120!". זה חוסר הבנה של הניתוח שבוצע במחקר. החוקרים ניתחו נתונים של 51 חולים, כי אלה הנתונים שהצליחו לאסוף. מספר החולים בכל קבוצה אכן נלקח בחשבון בעת ביצוע המבחן הסטטיסטי (מבחן t בניסוי הספציפי הזה). האם הקורא טוען כי החוקרים הציבו בנוסחאות גדלי קבוצות השווים ל-60, במקום 24 ו-27 כפי שהיה בפועל? זוהי האשמה חמורה ביותר, כיוון שמעשה כזה הוא רמאות לכל דבר. אני מתקשה להאמין שזה מה שקרה. כפי שהסברתי, גודל המדגם הנמוך פוגע אמנם בעוצמה הסטטיסטית של הניסוי, אך לא בתקפות הסטטיסטית שלו.

בהערה הבאה שלו בדיון, מתייחס הקורא למאמר המתאר את המחקר עצמו (וזה אינו המאמר "בצורה לא ערוכה" כפי שחשב בטעות). תחילה טוען הקורא כי "51 חולים אינה נחשבת קבוצת מדגם רחבה דיה". מדוע? האם זה נכון תמיד? לא ולא! גודל המדגם נקבע על פי שלושה גורמים: ההתפלגות הצפויה של הנתונים שייאספו בניסוי, גודל האפקט הטיפולי שמבקשים החוקרים לזהות, והעוצמה הסטטיסטית שהם מבקשים לעצמם (וזאת בהנחה שרמת המובהקות חייבת להיות 5%, הסטנדרט המקובל במחקר). לכל מחקר גודל המדגם המתאים לו. אפשר בקלות לבנות דוגמה בה גודל מדגם של 50, 40 או אפילו פחות מכך יהיה מספיק בהחלט.

הקורא טוען גם כי העובדה ש המשתתפים בניסוי הכירו את עקרונות ההומיאופתיה יצרה הטיה מחשבתית כלפי התרופה הנבדקת. אז מה? והאם בניסוי "רגיל", בו בודקים למשל את ההשפעה הטיפולית של אנטיביוטיקה לעומת פלסבו אין "הטיה מחשבתית"? בדיוק לשם כך עורכים ניסוי כפול סמיות. החולים לא ידעו אם טופלו בפלסבו או בתכשיר הומיאופתי, וגם החוקרים לא ידעו זאת. זהו סטנדרט הזהב לניסוי קליני. במאמר מסבירים החוקרים בפירוט את הנוהלים בעזרתם נשמרה הסמיות הכפולה.

הקורא ממשיך וטוען כי בגלל שבזמן הניסוי (אם כי לא בתקופת הסינון) הותר לחולים לקחת תרופות נוספות, אזי כל טענה שעולה מהמחקר מופרכת לחלוטין. זה בפירוש לא נכון, מכיוון שהחולים בשתי קבוצות הטיפול השתמשו בתרופות נוספות, וההשפעות אמורות להתאזן. אני מסכים שייתכן והיה מקום להגביל את השימוש בתרופות מסויימות, ו/או לתקנן את הניתוח הסטטיסטי על ידי הוספת משתנה מסביר לניתוח, אבל לא חושב שזו נקודה קריטית. הטענה של הקורא כי המחקר חייב להתבצע ב-"ואקום כימי" בו אסור למשתתפים ליטול אף תרופה אחרת היא בפירוש לא נכונה, ודרישה גורפת כזו אינה אתית.

הקורא גם טוען כי החלוקה הלא שווה בין הקבוצות: 27 בקבוצת פלסבו לעומת 24 בקבוצת הטיפול, מעלה תהיות לגבי מהימנות שיטת החלוקה (רנדומיזציה). ובכן, אי אפשר לחלק 51 חולים לשתי קבוצות שוות. הטוב ביותר שאפשר הוא חלוקה של 26-25. נכון, כאן החלוקה קצת פחות טובה: 24-27. אם תקחו מטבע ותטילו 51 פעמים, מה ההסתברות כי תקבלו בדיוק 26 הטלות של עץ ו-25 הטלות של פלי?[5] אם תקבלו 27 עץ ו-24 פלי, האם תחשדו כי המטבע אינו הוגן?[6]

הקורא חוזר לפרוצדורות של הניסוי: במאמר הוסבר כי הותאם תכשיר הומאופתי לכל משתמש בנפרד, על בסיס האלרגן שאליו הייתה לו התגובה הכי חמורה במבחן עור, ושבמקרה של אי ודאות נעשתה התייעצות עם רופא מנוסה בהומיאופתיה. מכאן מסיק הקורא, לא ברור לי על סמך מה, כי "המחקר כולו מבולגן ע"פ אנשים שונים עם אלרגיות שונות לאלרגנים שונים. כל אחד מהם מקבל תכשיר הומיאופתי שונה". אחת הטענות עיקריות של הומיאופתים בבואם להסביר מדוע לא ניתן לבחון טיפול הומיאופתי בניסויים קליניים, היא בדיוק הטענה הזו – לכל חולה יש צורך להתאים טיפול ייחודי. זהו עקרון בסיסי בהומיאופתיה. החוקרים עקפו את הבעיה הזו בצורה נהדרת: לכל חולה הותאם התכשיר ההומיאופתי המתאים לו, לדעת הרופא/הומיאופת המטפל. לאחר מכן הלך החולה לבית המרקחת, וקיבל שם או את התכשיר הומיאפתי שהותאם לו, או פלסבו, לפי תכנית הרנדומיזציה! החולה לא ידע אם קיבל תכשיר הומיאופתי או פלסבו, וגם לא הרופא המטפל. כך נשמרה הסמיות הכפולה. התהליך הוסבר במפורט במאמר, ולדעתי אין בכך כל פגם, אם כללי הפרוטוקול נשמרו.

הקורא ממשיך וכותב: "כמו גם מצוין כי ‘although the researchers were not blinded.’ – החוקרים לא היו 'בעיוורון', כלומר המחקר אינו באמת בסמיות כפולה.". זו הערה גרועה במיוחד מצידו של הקורא, המראה כי לקה בקריאה סלקטיבית והוציא דברים מהקשרם. החוקרים ידעו כי נתנו לחולים פלסבו ובכל זאת אמרו לחולים כי קיבלו תכשיר הומיאופתי בתחילת תהליך הסינון, אשר התרחש שבועיים לפני הרנדומיזציה עצמה. כפי שהסברתי קודם, המטרה הייתה לגרום לחולים לחשוב כי הם מקבלים טיפול הומיאופתי כדי לנטרל את אפקט הפלסבו, ובאותו זמן להחזיק אותם שבועיים ללא טיפול הומיאופתי, כדי לייצר נתוני בסיס נקיים מהשפעה אפשרית של הטיפול. תכנון מבריק.

לסיכום: רוב ה"כשלים" בניסוי עליהם הצביעו מבקריו אינם כשלים כלל וכלל. הבעיה העיקרית בניסוי היא הבעיה עליה הצביע ד"ר וינדלר: מתיאור הניסוי עולה כי הוא תוכנן כדי לזהות אפקט במדד מסויים – VAS, ונכשל לזהות את האפקט במדד הזה, ש/הוא משתנה המחקר הראשי (בפועל). אמנם נצפה אפקט במשתנה אחר, אבל מדובר במשתנה מחקר משני, והסיכוי לתוצאת false positive במשתנה המשני גבוהה יותר מ-5% אם לא נצפה אפקט במשתנה הראשי.


הערות
  1. 1. Taylor, M. A., Reilly, D., Llewellyn-Jones, R. H., McSharry, C., & Aitchison, T. C. (2000). Randomised controlled trial of homoeopathy versus placebo in perennial allergic rhinitis with overview of four trial seriesBMJ: British Medical Journal,321(7259), 471. []
  2. 2. Homoeopathy versus placebo in perennial allergic rhinitis. BMJ: British Medical Journal, 2001; 322(7279): 169. []
  3. 3. לא ברור לי מהקריאה במאמר האם בפרוטוקול הניסוי הוגדר מראש משתנה מחקר ראשי, ואם כן, מהו. []
  4. 4. לו נתנו החוקרים את דעתם על כך מראש, היו יכולים להגדיר את שני המשתנים כראשיים, ולהגדיר תיקון סטטיסטי שהיה מאפשר תוצאה מובהקת למשתנה השני גם כאשר הראשון אינו מובהק. ברור שלא עשו כן, אחרת היו מציינים זאת במאמר. []
  5. 5. רק 11%, כלומר יש הסתברות של 89% כי התוצאה לא תהיה 25-26. []
  6. 6. לא. אם תבדקו את ההשערה כי ההסתברות של המטבע ליפול על עץ היא 0.5 תקבלו ערך-p של 0.6683. []