חיפוש באתר

קישורים

RSS סטטיסטיקה ברשת

עמודים

קטגוריות

תגיות

ארכיב עבור תגית ביוסטטיסטיקה

מבט להיסטוריה של הניסויים הקליניים

רשימה זו נכתבה בעקבות המפגש האחרון של קבוצת הדיון בהיסטוריה של הסטטיסטיקה שעסקה בניסויים קליניים. אציין כי אני הוא שהעלה את הנושא לדיון, והייתי אחראי לאיסוף והפצת חומר הקריאה למפגש. חלק מהחומרים שנקראו כבר סקרתי בעבר בהרצאה "מהלימון ועד הקופקסון" שנתתי במסגרת "ספקנים בפאב" (ואפשר לצפות בהקלטתה על ידי לחיצה על הקישור). רשימה זו כוללת סקירה היסטורית קצרה של חמשת הניסויים הקליניים שנדונו.לאחר הסקירה ההיסטורית שנתתי נערך דיון מעניין שעסק בהיסטוריה ובפילוסופיה של המדע, ובהשפעות של בייקון ומיל על התפתחות השיטה המדעית והשתקפותם בתהליך התפתחות הניסויים הקליניים. למרבה הצער, לא הצלחתי לארגן את ההערות שרשמתי לעצמי בזמן הדיון לטקסט קוהרנטי שאני יכול לפרסם כאן.

הניסוי הראשון הוא ניסוי הצפדינה של ג'יימס לינד, שנחשב בעיני רבים לנקודת ההתחלה של הרפואה המודרנית. זהו הניסוי הקליני המבוקר המתועד הראשון[1]. לינד ערך ניסוי לבדיקת טיפולים אפשריים למחלת הצפדינה, גורם המוות העיקרי בקרב מלחים עד סוף המאה ה-18.[2]. בניסוי שנערך בהפלגה קצרה יחסית בים התיכון בשנת 1749, חילק לינד את 12 המלחים שחלו בעת ההפלגה לשש קבוצות שוות. כולם שוכנו באותו מקום בספינה וקיבלו תפריט זהה, שנבדל רק בטיפול הניסיוני שניתן להם. הטיפולים היו: שתיית ליטר סיידר ביום, שתיית 25 טיפות חומצה גופרתית 3 פעמים ביום, שתיית שתי כפות חומץ 3 פעמים ביום, שתיית חצי ליטר מי ים ביום, משחה שהוכנה משום, חרדל, צנון ושרף, או  אכילת שני תפוזים ולימון ביום. המטופלים בפירות הדר החלימו כליל, ובמצבם של המטופלים בסיידר חל שיפור קל. ההשוואה בין הקבוצות אפשרה ללינד להעריך את יעילותו של כל טיפול ביחס לאלטרנטיבות הטיפוליות האחרות.

ציון הדרך הבא הוא סדרת הניסויים של וויליאם ווטסון לבחינת טיפולים להפחתת הסיכון במחלת האבעבועות השחורות. כבר במאה ה-11 היה ידוע כי מי שחלה במחלה זו ושרד לא יחלה בה שוב. עקב כך התפתחה פרקטיקה של מעין חיסון למחלה על ידי "הדבקה קלה" של אנשים בריאים במחלה. עם זאת, בין הרופאים היו מחלוקות בדבר אופן ההדבקה האופטימלי ובדבר טיפול נלווה להדבקה. ווטסון ערך סדרה של שלושה ניסויים קליניים בבית החולים לילדים בלונדון בשנת 1767[3]. המתודולוגיה שלו הייתה דומה לזו של לינד: הילדים המשתתפים בכל ניסוי חולקו לקבוצות, ובכל קבוצה בוצעה בנבדקים "הדבקה מבוקרת" על ידי שימוש בשלפוחית משלב מוקדם של המחלה. לכל קבוצה ניתן טיפול נלווה אחר שהיה אמור להפחית את הסיכון בהדבקה. בתכנון הניסויים של ווטסון יש מספר חידושים לעומת הניסוי של לינד. ווטסון דאג כי בכל קבוצת טיפול יהיה מספר שווה של בנים ובנות, כדי למנוע הטיה אפשרית למקרה שהתגובה לטיפול שונה בין המינים. כמו כן, קבוצה אחת בכל ניסוי לא קיבלה טיפול נלווה אלא שימשה כקבוצת ביקורת. והחשוב מכל: ווטסון היה הראשון שהנהיג מדידה כמותית של התוצאות. המדד להצלחת הטיפול היה מספר האבעבועות שהופיעו בכל ילד שהשתתף בניסוי. הוא אף ערך ניתוח סטטיסטי בסיסי ופרסם את ממוצע מספר השלפוחיות לילד בכל קבוצה. מסקנתו של ווטסון הייתה כי הטיפולים המקובלים להפחתת הסיכון, שכללו כספית, צמחים שונים ומיני משלשלים, לא הביאו להקלה בחומרת ההדבקה בהשוואה למודבקים שלא קיבלו טיפול נלווה.

נקודת הציון המשמעותית הבאה היא ניסוי החלב במחוז לאנרקשיר בסקוטלנד בראשית המאה ה-20[4]. מטרת הניסויים היה לבדוק האם הזנה יומית בחלב משפרת את הגדילה של ילדים (וילדות) בהשוואה לילדים שלא שתו חלב על בסיס יומי, וכן לבדוק האם יש הבדל בשיעורי הגדילה בין ילדים שהוזנו בחלב טרי ובין אלה שהוזנו בחלב מפוסטר. הניסוי, שנערך ב-1930 היה רחב היקף וכלל בסך הכל כעשרים אלף ילדים בגילאי 6-12, שלמדו ב-67 בתי ספר. כ-5000 הוזנו בחלב טרי, כ-5000 בחלב מפוסטר, וכ-10000 ילדים שויכו לקבוצת הביקורת. גובהם ומשקלם של הילדים נמדדו בתחילת הניסוי (פברואר 1930) ובסופו (יוני 1930). המסקנה הייתה כי תזונה יומית של חלב משפרת את גדילת הילדים, וכי אין הבדל משמעותי בין חלב טרי לחלב מפוסטר. כמו כן הסיקו החוקרים כי אין השפעה לגיל הילדים על האפקט של קצב הגדילה.

ניסוי זה נכנס לרשימה שלי דוקא בשל הביקורת שהוטחה בו. עם המבקרים נמנו פישר ובארטלט, אולם את הביקורת המקיפה ביותר הטיח "סטודנט", הלא הוא ויליאם סילי גוסט. במאמר שפרסם בכתב העת ביומטריקה[5] קבע למעשה סטודנט כללים שקיומם הכרחי להבטחת התקפות של ניסוי קליני:

  • סטודנט מעיר כי בכל בית ספר בניסוי הוזנו הילדים המטופלים בחלב טרי או בחלב מפוסטר, אך לא הייתה נציגות לשתי הקבוצות יחד באף בית ספר. עקב כך, אין אפשרות להשוות באופן ישיר בין חלב טרי ומפוסטר, עקב הבדלים בין בתי הספר השונים.
  • שיוך התלמידים בניסוי לקבוצת הטיפול (הזנה בחלב או ביקורת) נקבע על ידי המורים בכל כיתה ולא באופן רנדומלי. עקב כך, נוצר מצב בו התלמידים בקבוצת הביקורת היו גדולים יותר במימדי גופם לעומת התלמידים בקבוצות הטיפול.
  • המדידות נערכו בפברואר ויוני. בגדי חורף הינם כבדים יותר מבגדי אביב/קיץ, והבדל המשקל בין הבגדים קיזז את ההבדלים במשקל האמיתי. החוקרים הניחו כי ההבדל במשקל הבגדים יהיה דומה בין הקבוצות, אולם סטודנט טען כי יש ההטיה בחלוקת התלמידים לקבוצות מושפעת ממצבם הכלכלי – תלמידים ממשפחות אמידות הוכללו בדרך כלל בקבוצות הביקורת – הביאה לכך שמשקל בגדי החורף של קבוצת הביקורת יהיה גבוה יותר.

סטודנט הסיק לכן כי התוצאות שהתקבלו לא תומכות בטענה כי אין הבדל בין תזונה בחלב טרי ותזונה בחלב מפוסטר, וגם כי אי אפשר להסיק שאין קשר בין הגיל ובין השינוי בקצב הגדילה. הוא מזכיר גם את הניתוח של פישר וברטלט[6] המראה כי לחלב טרי יתרון על חלב מפוסטר באשר לקצב הגדילה.

סטודנט הביא גם מספר המלצות, ובהן הצעה לערוך את הניסוי באוכלוסיה של תאומים, כאשר אחד התאומים יוזן בחלב והשני ישמש כביקורת (או שאחד מהם יוזן בחלב טרי והשני בחלב מפוסטר לצורך השוואה בין שני סוגי החלב). אני סבור כי תכנון כזה לא מקובל בימינו מבחינה אתית, המלצה יותר מעשית היא לנתח מחדש את הנתונים שנאספו כדי לנסות להתגבר על ההטיה שנוצרה בהקצאה הלא רנדומלית לקבוצות טיפול וביקורת. ההמלצה האוטינטיבית שלו היא לערוך מחדש את הניסוי, תוך כדי הקפדה על רנדומיזציה, לקיחה בחשבון של הטיה עקב משקל הבגדים שלובש כל תלמיד, ותכנון הניסוי כך שבכל בית ספר יהיה ייצוג לשלוש קבוצות הטיפול.

ההמלצה העיקרית של סטודנט, להקפיד על הקצאה רנדומלית של המטופלים לקבוצות, לא התקבלה מייד, שכן רעיון זה נתפש בעיני חלק מהקהילה המדעית כ-"לא אתי". יש לציין כי עקרון הרנדומיזציה רק הוצג על ידי פישר ב-1923, ועדיין לא  הייתה הכרה מספקת בחשיבותו. הניסוי הקליני הראשון עם הקצאה רנדומלית לקבוצת טיפול ולקבוצת ביקורת נערך רק ב-1947, והוא הרביעי ברשימה שלי. מדובר בניסוי לבדיקת היעילות של אנטיביוטיקה מסוג סטרפטומיצין לטיפול בדלקת ריאות[7]. עקב המחסור באנטיביוטיקה, לא הייתה ברירה אלא להחליט על ידי ביצוע "הגרלה" בין החולים מי יקבל טיפול ומי לא, וכך התגבר תכנון הניסוי על המחסום האתי. עם זאת, הניסוי לא היה כפול סמיות (Double Blind), ולא נעשה שימוש בפלסבו כטיפול דמה לקבוצת הביקורת,[8] וזאת למרות שכבר היה תקדים לקיום ניסוי כזה: הניסוי הקליני הראשון שנערך בשיטת הסמיות הכפולה נערך כבר בשנת 1943 לבדיקת היעילות של פניצילין כטיפול להצטננות. החולים המטופלים לא ידעו האם הם שויכו לקבוצת טיפול ואכן טופלו בפניצילין, או שמא שויכו לקבוצת הביקורת וטופלו בפלסבו. גם הרופאים שטיפלו בחולים לא ידעו מהו הטיפול שקיבל כל חולה. תכנון כזה מונע הטיה שעלולה לנבוע מדיעה קדומה של הרופאים לגבי יעילות הטיפול, ולמעשה מכריח אותם לתת חוות דעת אובייקטיבית לגבי המצב הרפואי של החולה המטופל. עם זאת, בניסוי זה לא נערכה הקצאה רנדומלית של החולים לטיפול או ביקורת.

הויכוח בדבר חשיבות העקרונות שהתוו סטודנט ופישר הסתיים סופית בניסוי לבדיקת יעילות החיסון של סאלק נגד נגיף הפוליו, שנערך ב-1954[9]. למעשה נערכו שני ניסויים. הניסוי שבראשו עמד הסטטיסטיקאי פול מאייר היה ניסוי כפול סמיות בהקצאה רנדומלית, והוא הראה ירידה של 70% במקרי השיתוק עקב פוליו בקבוצת הטיפול לעומת קבוצת הביקורת. גודל המדגם הגדול (כ-400 אלף ילדים בגילאי 6-8) סייע לביסוס התקפות החיצונית של התוצאות. במקביל נערך ניסוי נוסף, בו הקצאת הטיפול (חיסון או פלסבו) לא הייתה רנדומלית. 725,000 תלמידי כיתות א ו-ג שהשתתפו בניסוי שימשו כקבוצת ביקורת, ואליהם צורפו גם 125,000 ילדים מכיתות ב' שהוריהם סירבו לחיסון. נתוניהם הושוו עם הנתונים של 225,000 תלמידי כיתות ב' שהוריהם הסכימו לחסנם. סה"כ השתתפו בניסוי מעל מליון תלמידים, כמעט פי 3 מגודל הניסוי של מאייר. ניסוי זה הראה ירידה של 44% בלבד בשיעור מקרי השיתוק עקב פוליו, ואולם התברר כי האפקט הוקטן עקב הטיה הקשורה למצב הסוציו-אקונומי של קבוצת הטיפול. ילדי קבוצת הטיפול הגיעה ממשפחות אמידות יותר, ובשכבת אוכלוסיה זו שיעור מקרי השיתוק עקב פוליו היה גבוה יותר מכיוון ששיעור הילדים המחוסנים טבעית (חלו בפוליו באופן קל והחלימו ללא תיעוד) הינו נמוך יותר עקב רמת הסניטציה הגבוהה יותר בסביבתם. המקרה של ניסוי הפוליו הוכיח כי גודל המדגם אינו בהכרח הפרמטר החשוב ביותר בניסוי הקליני[10], וכי רק הקצאה רנדומלית וסמיות כפולה מבטיחים את התקפות הפנימית של הניסוי.


הערות
  1. 1. אם מתעלמים מפרק א' של ספר דניאל []
  2. 2. 2 מתוך כל 3 מלחים לקו במחלה ומתו. במלחמת 7 השנים בין אנגליה לצרפת, 1512 מלחים אנגלים נהרגו בקרבות, כ-100,000 מתו מצפדינה. []
  3. 3. Boylston, A. W. (2002). Clinical investigation of smallpox in 1767.New England Journal of Medicine, 346(17), 1326-1328. []
  4. 4.  Leighton G, McKinlay P (1930). Milk consumption and the growth of school-children. Department of Health forScotland, Edinburgh and London: HM Stationery Office. []
  5. 5. Student (1931). The Lanarkshire Milk Experiment. Biometrika 23:398-406. []
  6. 6. Fisher RA, Bartlett S (1931). Pasteurised and raw milk. Nature 127:591-592.  []
  7. 7. Medical Research Council Streptomycin in Tuberculosis Trials Committee. (1948). Streptomycin treatment for pulmonary tuberculosis. BMJ2, 769-82. []
  8. 8. Hart, P. D. A. (1999). A change in scientific approach: from alternation to randomised allocation in clinical trials in the 1940s.BMJ, 319(7209), 572-573. []
  9. 9. Meier, Paul. "Polio trial: an early efficient clinical trial." Statistics in medicine 9.1‐2 (1990): 13-16.  []
  10. 10. ראו גם את הרשימה בחירות 1936 – המנצח שלא היה, שעסקה במקרה מפורסם אחר בו מדגם גדול לא הצליח לחזות את המנצח בבחירות לנשיאות ארצות הברית עקב הטיה בתכנונו []

ניסוי קליני מתוכנן היטב לבדיקת תכשיר הומיאופתי – ניתוח מקרה

אני מקווה שרוב קוראיי (כלומר, לפחות ארבעה!) מכירים את הבלוג “חשיבה חדה" שכותב ידידי גלעד דיאמנט, ו/או את קבוצת הפייסבוק הקשורה אליו. אם לא זו ההזדמנות לערוך היכרות. אני פותח המלצה על הבלוג והקבוצה, משום שדיון בקבוצה הוביל אותי לכתיבת הרשימה הנוכחית.

הכל התחיל בלינק לידיעה על יצרנית תכשירים הומיאופתיים שנאלצה לקרוא להחזרת חלק ממוצריה בגלל שהכילו אנטיביוטיקה (אופס). בדיון שהתפתח, כתב אחד מחברי הקבוצה, אור גרשון, כי מישהו הציג לו מחקר קליני שבדק טיפול הומיאופתי לאלרגיה, שהראה כי הטיפול ההומיאופתי יעיל, ותהה כיצד משיבים לטיעון כזה. חבר אחר בקבוצה התנדב לקרוא את המאמרים ולנתח את הכשלים שבהם.

עד כאן הכל טוב ויפה, אולם לאחר שקראתי את הניתוחים בפייסבוק נאלצתי להסתייג מהם. הבטחתי לקרוא את המאמרים, והתחייבתי להגיב גם למאמרים וגם להערות שבדיון במועד מאוחר יותר. אמנם עברו כבר כמה שבועות, ואני אמנם לא בן למשפחת לאניסטר, אבל אעמוד בהתחייבותי, לאחר שקראתי גם את המאמר עצמו, וגם את התגובות למאמר שפורסמו בכתב העת לאחר פרסומו.

אני רוצה להדגיש כי הביקורת שאכתוב מייד על הדברים שכתב הקורא אינה מיועדת להלבין את פניו ברבים, אלא מתוך רצון כן לסייע לו ולקוראים האחרים להבין טוב יותר את הניסוי, תכנונו, והניתוח הסטטיסטי.

כמו כן, אני מוצא את עצמי נאלץ להגן על ניסוי קליני הומיאופתי מפני טענות על כשלים כביכול שהוטחו בו, מכיוון שהטענות אינן נכונות. הניסוי המתואר במאמר הוא לדעתי ניסוי מתוכנן היטב, ומנטרל בצורה טובה מאוד הטיות אפשריות במחקר מסוג זה. למרות זאת, תקפות התוצאה שפורסמה בהבלטה במאמר, המראה יתרון טיפולי להומיאופתיה על פני פלסבו באחד המדדים, מוטלת בספק. רק אחד המבקרים של הניסוי הצליח להצביע על נקודת הכשל.

מדובר המאמר ישן למדי, שפורסם בשנת 2000 בכתב העת BMJ, שבהחלט אינו כתב עת זניח. המאמר[1] תיאר, כאמור, ניסוי קליני בו נבדק טיפול הומיאופתי ל- perennial allergic rhinitis (דלקת/נזלת בחלל האף הנגרמת עקב אלרגיה לא עונתית). הניסוי המתואר פשוט מאוד. המועמדים/מתנדבים להשתתפות בניסוי עברו תהליך סינון, בו נבדק האם מצבם הרפואי מתאים לטיפול, נעשתה הערכה של האלרגנים שגרמו למצבם, ולכולם ניתן טיפול ראשוני. לכל החולים בשלב זה ניתן פלסבו, אך נאמר להם כי הם קיבלו טיפול הומיאופתי מותאם למצבם. במשך שבועיים המועמדים היו מטופלים בפלסבו שחשבו כי הוא טיפול הומיאופתי, וניהלו רישום יומי של מצבם. לתקופת מעבר זו, בה החולים אינם מטופלים אך חושבים כי קיבלו טיפול הומיאופתי, יש שתי מטרות: איסוף נתוני בסיס, וניטרול אפקט פלסבו אפשרי. לאחר תקופת המעבר, חולקו החולים בהקצאה רנדומלית לשתי קבוצות. קבוצה אחת קיבלה טיפול הומיאופתי, השניה המשיכה לקבל פלסבו. החלוקה נעשתה בסמיות כפולה; לא החולים ולא הרופאים/חוקרים ידעו איזה סוג של טיפול קיבל כל חולה. החולים המשיכו לערוך רישום של מצבם במשך ארבעה שבועות נוספים. בסיום הניסוי, נערכה השוואה של השינוי הממוצע מהבסיס לסיום הטיפול בין שתי הקבוצות. החוקרים חישבו כי כדי לשמור על רמת מובהקות (הסתברות לתוצאה חיובית שלילית – false positive) של 5%, ובמקביל להשיג עוצמה (הסתברות לתוצאה חיובית כאשר יש אפקט טיפולי  – true positive) של 80%,  יש צורך במדגם בגודל 120 חולים (60 בכל קבוצה). בפועל הצליחו החוקרים לגייס לניסוי רק 51 חולים. עד כמה זה קריטי? אתייחס לכך בהמשך.

תוצאת הניסוי: נצפה הבדל מובהק סטטיסטית בין הקבוצות, המראה יתרון לטיפול ההומיאופתי במדד Nasal inspiratory peak flow, עם זאת, במדד Visual analogue scale (VAS), לא נצפה אפקט טיפולי. המדד הראשון, בו התקבלה תוצאה מובהקת סטטיסטית נחשב למדד אובייקטיבי, ואילו המדד השני נחשב לסובייקטיבי. החוקרים גם מציינים כי ההבדל המובהק במדד הראשון נחשב משמעותי מבחינה קלינית.

בהמשך סוקרים החוקרים תוצאות של שלושה ניסויים אחרים שקדמו לניסוי זה, ועורכים ניתוח מאוחד (pooled  analysis) המסכם יחדיו את תוצאותיהם. ברשימה זו לא אתייחס לחלק זה של המאמר/

כצפוי, המחקר עורר סערה, ובמערכת כתב העת התקבלו מספר תגובות המבקרות את המחקר וממצאיו[2]. הנה סקירה של חלק מהתגובות (הקשורות לתחומים שאני מבין בהם משהו) והתייחסותי.

בארי מילר, רופא מרדים במקצועו, טוען כי הניתוח הסטטיסטי לקוי, מכיוון שגודל המדגם בפועל היה רק 51 חולים, ולא 120 כפי שתוכנן. לכן עוצמת הניסוי הייתה, לפי חישוביו, רק 43% ולא 80% (לא בדקתי את החישוב). אומר בעדינות כי הטענה הזו מראה חוסר הבנה בסטטיסטיקה ובמתודולוגיה של ניסויים קליניים. ניתן לטעון, אולי, כי אין זה אתי לבצע ניסוי קליני שעוצמתו נמוכה, אבל מה זה קשור לניתוח הסטטיסטי? החוקרים משיבים לו כראוי, ומסבירים כי הסיכון הנובע מעוצמה נמוכה הוא הסתברות גבוהה יותר להחמצה של תגלית – false negative. במלים אחרות, כאשר העוצמה נמוכה, ייתכן שהניסוי לא יצליח לגלות את קיומו של אפקט אמיתי, אם הוא קיים. רמת המובהקות של הניסוי, ההסתברות לתגלית שגויה – false positive, כלומר מצב בו נראה כאילו יש אפקט טיפולי כאשר בפועל אין אפקט כזה, אינה תלויה בגודל המדגם. החוקרים עוד מגדילים לעשות, ומשערים כי ייתכן והתוצאה השלילית שהתקבלה במדד הסובייקטיבי VAS נבעה מגודל המדגם הקטן והעוצמה הנמוכה. במובן הזה, הביקורת של ד"ר מילר הייתה סוג של גול עצמי.

בריאן ליפוורת', פרופסור לאלרגיה ורפואה נשימתית, מעיר בין היתר כי היה רצוי וראוי לבצע ניסוי המשווה את הטיפול ההומיאופתי לטיפול הרפואי המקובל (כגון סטרואידים או אנטיהיסטמינים), הידוע כיעיל לטווח ארוך. הצדק עימו.

ד"ר יורגן וינדלר, ראש המחלקה לרפואה מבוססת ראיות במכון המחקר MDS באסן, גרמניה, מעלה טענה חזקה: חישובי גודל המדגם נעשו על פי מדד VAS, ועל סמך התוצאות שהתקבלו בשלושת הניסויים הקודמים. במדד זה הניסוי נכשל. כלומר, הניסוי לא הצליח לשחזר את התוצאות של הניסויים הקודמים. לדעתי זהו הכשל העיקרי בניסוי זה. מכיוון שחישובי גודל המדגם נעשו על פי מדד זה, הרי שבפועל זהו משתנה המחקר הראשי (primary endpoint) של הניסוי,[3] ועל פי הכללים המקובלים בניסויים קליניים, כשלון במשתנה המחקר הראשי הוא כשלון הניסוי כולו. התייחסות להצלחה במשתנה מחקר משני לאחר כשלון במשתנה המחקר הראשי משמעותה ניפוח ההסתברות לטעות מסוג ראשון – false positive – של המחקר, והיא גדולה מ-5%, בניגוד למה שהוצהר.[4] ד"ר וינדלר מתייחס בהמשך גם לניתוח המאוחד של תוצאות כל ארבעת הניסויים, ומעיר מספר הערות נכונות לגבי ניתוח זה.

שתי תגובות נוספות הן של ה. מורו בראון, מומחה לאלרגיה, התוהה האם החולים סבלו מלכתחילה מדלקת אלרגית לא עונתית), ומייקל דין, סטודנט לדוקטורט בבריאות הציבור מאוניברסיטת יורק, שטען כי פרסום מחקר ברמה גבוהה המראה תוצאות חיוביות בטיפול הומיאופתי רק מבליט את הסטנדרט הכפול בהתייחסות של הממסד הרפואי להומיאופתיה.

מכאן אעבור להערות של הקורא בקבוצת הפייסבוק. הוא התייחס בתחילה דווקא לתגובות הקוראים למחקר, ובטעות ייחס אותן לעורכי כתב העת. כך הוא כותב , למשל (תיקנתי כמה טעויות כתיב/הקלדה):  "המאמר המצורף מתחיל בהערה מאת המפרסם: ‘Statistics in study were flawed’-סטטיסטיקות במחקר לוקות בחסר. מה זה אומר? זה אומר שהעורכים המקצועיים (שהם אנשי מקצוע לפני היותם עורכים מדעיים) עבור על הנתונים (שחייב כל מפרסם מאמר לספק יחד עם המאמר) ומצעו בו פגמים/כשלים בתחום הסטטיסטי."

ובכן, ההערה היא למעשה הכותרת שנתנו עורכי כתב העת לתגובתו של בארי מילר, וכבר הסברתי את הבעייתיות שבה. הקורא מצטט גם חלק מתגובתו של ד"ר וינדלר, ומייחס אותה לעורכי כתב העת, ולאחר מכן שוב חוזר לטענה לפיה המחקר פגום בגלל גודל המדגם הנמוך מהמתוכנן, וכותב: "החוקרים בסופו של דבר גייסו רק 51 נבדקים, אבל ניתחו את הנתונים כאילו היו להם כל ה120!". זה חוסר הבנה של הניתוח שבוצע במחקר. החוקרים ניתחו נתונים של 51 חולים, כי אלה הנתונים שהצליחו לאסוף. מספר החולים בכל קבוצה אכן נלקח בחשבון בעת ביצוע המבחן הסטטיסטי (מבחן t בניסוי הספציפי הזה). האם הקורא טוען כי החוקרים הציבו בנוסחאות גדלי קבוצות השווים ל-60, במקום 24 ו-27 כפי שהיה בפועל? זוהי האשמה חמורה ביותר, כיוון שמעשה כזה הוא רמאות לכל דבר. אני מתקשה להאמין שזה מה שקרה. כפי שהסברתי, גודל המדגם הנמוך פוגע אמנם בעוצמה הסטטיסטית של הניסוי, אך לא בתקפות הסטטיסטית שלו.

בהערה הבאה שלו בדיון, מתייחס הקורא למאמר המתאר את המחקר עצמו (וזה אינו המאמר "בצורה לא ערוכה" כפי שחשב בטעות). תחילה טוען הקורא כי "51 חולים אינה נחשבת קבוצת מדגם רחבה דיה". מדוע? האם זה נכון תמיד? לא ולא! גודל המדגם נקבע על פי שלושה גורמים: ההתפלגות הצפויה של הנתונים שייאספו בניסוי, גודל האפקט הטיפולי שמבקשים החוקרים לזהות, והעוצמה הסטטיסטית שהם מבקשים לעצמם (וזאת בהנחה שרמת המובהקות חייבת להיות 5%, הסטנדרט המקובל במחקר). לכל מחקר גודל המדגם המתאים לו. אפשר בקלות לבנות דוגמה בה גודל מדגם של 50, 40 או אפילו פחות מכך יהיה מספיק בהחלט.

הקורא טוען גם כי העובדה ש המשתתפים בניסוי הכירו את עקרונות ההומיאופתיה יצרה הטיה מחשבתית כלפי התרופה הנבדקת. אז מה? והאם בניסוי "רגיל", בו בודקים למשל את ההשפעה הטיפולית של אנטיביוטיקה לעומת פלסבו אין "הטיה מחשבתית"? בדיוק לשם כך עורכים ניסוי כפול סמיות. החולים לא ידעו אם טופלו בפלסבו או בתכשיר הומיאופתי, וגם החוקרים לא ידעו זאת. זהו סטנדרט הזהב לניסוי קליני. במאמר מסבירים החוקרים בפירוט את הנוהלים בעזרתם נשמרה הסמיות הכפולה.

הקורא ממשיך וטוען כי בגלל שבזמן הניסוי (אם כי לא בתקופת הסינון) הותר לחולים לקחת תרופות נוספות, אזי כל טענה שעולה מהמחקר מופרכת לחלוטין. זה בפירוש לא נכון, מכיוון שהחולים בשתי קבוצות הטיפול השתמשו בתרופות נוספות, וההשפעות אמורות להתאזן. אני מסכים שייתכן והיה מקום להגביל את השימוש בתרופות מסויימות, ו/או לתקנן את הניתוח הסטטיסטי על ידי הוספת משתנה מסביר לניתוח, אבל לא חושב שזו נקודה קריטית. הטענה של הקורא כי המחקר חייב להתבצע ב-"ואקום כימי" בו אסור למשתתפים ליטול אף תרופה אחרת היא בפירוש לא נכונה, ודרישה גורפת כזו אינה אתית.

הקורא גם טוען כי החלוקה הלא שווה בין הקבוצות: 27 בקבוצת פלסבו לעומת 24 בקבוצת הטיפול, מעלה תהיות לגבי מהימנות שיטת החלוקה (רנדומיזציה). ובכן, אי אפשר לחלק 51 חולים לשתי קבוצות שוות. הטוב ביותר שאפשר הוא חלוקה של 26-25. נכון, כאן החלוקה קצת פחות טובה: 24-27. אם תקחו מטבע ותטילו 51 פעמים, מה ההסתברות כי תקבלו בדיוק 26 הטלות של עץ ו-25 הטלות של פלי?[5] אם תקבלו 27 עץ ו-24 פלי, האם תחשדו כי המטבע אינו הוגן?[6]

הקורא חוזר לפרוצדורות של הניסוי: במאמר הוסבר כי הותאם תכשיר הומאופתי לכל משתמש בנפרד, על בסיס האלרגן שאליו הייתה לו התגובה הכי חמורה במבחן עור, ושבמקרה של אי ודאות נעשתה התייעצות עם רופא מנוסה בהומיאופתיה. מכאן מסיק הקורא, לא ברור לי על סמך מה, כי "המחקר כולו מבולגן ע"פ אנשים שונים עם אלרגיות שונות לאלרגנים שונים. כל אחד מהם מקבל תכשיר הומיאופתי שונה". אחת הטענות עיקריות של הומיאופתים בבואם להסביר מדוע לא ניתן לבחון טיפול הומיאופתי בניסויים קליניים, היא בדיוק הטענה הזו – לכל חולה יש צורך להתאים טיפול ייחודי. זהו עקרון בסיסי בהומיאופתיה. החוקרים עקפו את הבעיה הזו בצורה נהדרת: לכל חולה הותאם התכשיר ההומיאופתי המתאים לו, לדעת הרופא/הומיאופת המטפל. לאחר מכן הלך החולה לבית המרקחת, וקיבל שם או את התכשיר הומיאפתי שהותאם לו, או פלסבו, לפי תכנית הרנדומיזציה! החולה לא ידע אם קיבל תכשיר הומיאופתי או פלסבו, וגם לא הרופא המטפל. כך נשמרה הסמיות הכפולה. התהליך הוסבר במפורט במאמר, ולדעתי אין בכך כל פגם, אם כללי הפרוטוקול נשמרו.

הקורא ממשיך וכותב: "כמו גם מצוין כי ‘although the researchers were not blinded.’ – החוקרים לא היו 'בעיוורון', כלומר המחקר אינו באמת בסמיות כפולה.". זו הערה גרועה במיוחד מצידו של הקורא, המראה כי לקה בקריאה סלקטיבית והוציא דברים מהקשרם. החוקרים ידעו כי נתנו לחולים פלסבו ובכל זאת אמרו לחולים כי קיבלו תכשיר הומיאופתי בתחילת תהליך הסינון, אשר התרחש שבועיים לפני הרנדומיזציה עצמה. כפי שהסברתי קודם, המטרה הייתה לגרום לחולים לחשוב כי הם מקבלים טיפול הומיאופתי כדי לנטרל את אפקט הפלסבו, ובאותו זמן להחזיק אותם שבועיים ללא טיפול הומיאופתי, כדי לייצר נתוני בסיס נקיים מהשפעה אפשרית של הטיפול. תכנון מבריק.

לסיכום: רוב ה"כשלים" בניסוי עליהם הצביעו מבקריו אינם כשלים כלל וכלל. הבעיה העיקרית בניסוי היא הבעיה עליה הצביע ד"ר וינדלר: מתיאור הניסוי עולה כי הוא תוכנן כדי לזהות אפקט במדד מסויים – VAS, ונכשל לזהות את האפקט במדד הזה, ש/הוא משתנה המחקר הראשי (בפועל). אמנם נצפה אפקט במשתנה אחר, אבל מדובר במשתנה מחקר משני, והסיכוי לתוצאת false positive במשתנה המשני גבוהה יותר מ-5% אם לא נצפה אפקט במשתנה הראשי.


הערות
  1. 1. Taylor, M. A., Reilly, D., Llewellyn-Jones, R. H., McSharry, C., & Aitchison, T. C. (2000). Randomised controlled trial of homoeopathy versus placebo in perennial allergic rhinitis with overview of four trial seriesBMJ: British Medical Journal,321(7259), 471. []
  2. 2. Homoeopathy versus placebo in perennial allergic rhinitis. BMJ: British Medical Journal, 2001; 322(7279): 169. []
  3. 3. לא ברור לי מהקריאה במאמר האם בפרוטוקול הניסוי הוגדר מראש משתנה מחקר ראשי, ואם כן, מהו. []
  4. 4. לו נתנו החוקרים את דעתם על כך מראש, היו יכולים להגדיר את שני המשתנים כראשיים, ולהגדיר תיקון סטטיסטי שהיה מאפשר תוצאה מובהקת למשתנה השני גם כאשר הראשון אינו מובהק. ברור שלא עשו כן, אחרת היו מציינים זאת במאמר. []
  5. 5. רק 11%, כלומר יש הסתברות של 89% כי התוצאה לא תהיה 25-26. []
  6. 6. לא. אם תבדקו את ההשערה כי ההסתברות של המטבע ליפול על עץ היא 0.5 תקבלו ערך-p של 0.6683. []

בריאות – זה אצלי בגנים: המסע לגילוי רפואה מותאמת אישית

גם השנה נתתי הרצאה במסגרת פסטיבל אייקון.

מאחר ונושא הפסטיבל השנה היה "זהות", בחרתי להרצות על הדרך בה ניתן לרתום את היכולת למיפוי הגנום האנושי, הקובע את הזהות היסודית של כל אחד מאיתנו, לצורך פיתוח רפואה מותאמת אישית – כל חולה יוכל לקבל תרופה ייחודית המתאימה לו בדיוק. כל זאת, מנקודת המבט של סטטיסטיקאי העוסק בפיתוח קליני של תרופות.

להורדת מצגת ההרצאה,  אליה צירפתי הערות קצרות, לחצו כאן.

על מתאם וסיבתיות, או האם צמחונות גורמת לאנורקסיה

אני מניח שרוב הקוראים כבר שמעו על גרי יורופסקי ועל הטענה (המגוחכת לכשעצמה) כי ההרצאה שלו היא ההרצאה הכי טובה שתשמעו אי פעם. למי שלא יודע, יורופסקי הוא טבעוני קיצוני המטיף לטבעונות קיצונית והטמעתה בשיטות קיצוניות. אני לא מתכוון לדון בהרצאה שלו ובטיעוניו (וגם לא לתת לינק), כיוון שרוב הטיעונים (לשני הצדדים) כבר הושמעו.

אני מתכוון להתייחס כאן לטענה אחת בלבד שהועלתה על ידי הבלוגר (המומלץ) המכנה את עצמו "קנקן התה" וכותב את הבלוג "חשיבה חופשית". קנקן התה טוען כי מעבר לנזקים בריאותיים מיידיים (כגון אנמיה), ההטפה לצמחונות/טבעונות של יורופסקי ומרעיו עלולה לגרום להתפתחות של אנורקסיה נרבוזה.

זו האשמה חמורה. אני מצטט כאן את קנקן התה, שמצטט מצידו כתבה שפורסמה ב"מעריב":

על פי מחקר שבוצע במרכז הרפואי "רמב"ם", 96 אחוז מהנערות הישראליות שמפתחות אנורקסיה נרבוזה נמנעות מאכילת בשר אדום ו-75 אחוז נמנעות מאכילת עוף ובשר לבן – פי עשרה יותר משיעור הצמחונים בקרב המבוגרים הבריאים. "בבולימיה אנו מוצאים מגמה דומה, אם כי לא בטוטליות כזו".

"לקשר בין צמחונות להפרעות אכילה יש הסבר גופני", מבהירה ד"ר יעל לצר, מנהלת המרפאה להפרעות אכילה ברמב"ם. "בגיל ההתבגרות מובילה אי אכילת בשר למחסור באבץ, שמשמש רכיב חיוני לתהליך הצמיחה והגדילה. הפחתת כמות האבץ מובילה לעיתים לחוסר תיאבון, וכך מתפתח מעגל קסמים שמוביל להפחתת המזון ובהמשך להפרעת אכילה".

כשפרסמתי את הלינק לפוסט של קנקן התה בדף הפייסבוק של "ספקנים בפאב" המופעל על ידי ארגון הספקנים בישראל (שאני בין מייסדיו), התקבלו כמובן תגובות מעורבות, כצפוי בכל העלאה של נושא כה קונטרוברסלי. כאן אתייחס רק לתגובה של עפרה מהודר, שתמיד שואלת שאלות טובות: "אוי, יוסי, אני מתפלאת עליך. בתור סטטיסטיקאי, שקופץ כל כך בקלות ממתאם לסיבתיות. אם הרבה מהאנורקטיות הן טבעוניות, זה לא אומר שבהכרח הטבעונות גרמה לאנורקסיה. אולי, כמו שאמרו בכתבה, לנערות האלה יש צורך חזק בשליטה, וזה מתבטא במשטרים תזונתיים שונים."

עפרה צודקת, כמובן. הנתון לפיו 96% מהנערות הישראליות שמפתחות אנורקסיה הן צמחוניות מעיד על מתאם בין שתי התופעות. מתאם לא בהכרח מעיד על אינו מהווה ראיה מספיקה לקביעת סיבתיות. (תיקנתי את הטקסט ב-21.10.2012. רוצים לדעת מדוע? כי מתאם כן מעיד על סיבתיות.)

אבל רגע. גם רונלד פישר בשעתו גייס טענה זו כדי לשכנע את עצמו כי עישון אינו גורם לסרטן, אך ניתוחים סטטיסטיים מעמיקים יותר שנעשו על יד ג'רום קורנפילד ועמיתיו העמידו אותו על טעותו. כלומר – הטיעון כי מתאם אינו בהכרח מעיד על סיבתיות הינו נכון אך כללי מדי, ויש לבחון נתונים נוספים. יש לזכור כי כאשר יש מתאם ייתכן כי יש סיבתיות, מלאה או חלקית. וכמובן, מתאם יכול בהחלט לנבוע מסיבתיות. יותר מכך – סיבתיות מובילה תמיד למתאם. מנגנון אפשרי לסיבתיות שכזו תיארה ד"ר יעל לצר, מנהלת המרפאה להפרעות אכילה בבית החולים רמב"ם (ראו את הציטוט מהפוסט של קנקן התה לפני שלוש פסקאות). יש לנו מתאם, ומנגנון סיבתי. זה כבר יותר מאשר סתם מתאם.

ויש עוד. יש גם נתונים לגבי שיעור הצמחונים (והצמחוניות) באוכלוסיה ולגבי שיעור החולות באנורקסיה, שמאפשרים לשים את אותם 96% שהוזכרו בקונטקסט הנכון. בעזרת הנתונים הנוספים ניתן לחשב עד כמה גדול הסיכון לאנורקסיה בקרב נערות צמחוניות בהשוואה לחברותיהן הלא צמחוניות. הניתוח שאביא כאן הינו כמובן פשטני לעין ערוך מעבודתו ההיסטורית של קורנפילד, אך לדעתי מבהיר היטב את הנקודה.

לפי הכתבה במעריב שתיארה את המחקר של ד"ר לצר, 11.6% מהמתבגרות מגדירות עצמן כצמחוניות. לפי אתר אנונימוס, המצטט מחקר של הלשכה המרכזית לסטטיסטיקה, 9.8% מהנשים בישראל הן צמחוניות ושיעור הצמחונות באוכלוסייה עולה קלות עם הגיל, כלומר, בקרב נערות בגיל הסיכון לאנורקסיה שיעור הצמחוניות הוא נמוך יותר. לצורך החישובים אשתמש בערך 10%.

על פי ויקיפדיה, בחברה המערבית אחוז החולות במחלה נע בין 0.5% ל-1%. (0.2% מהמתגייסות לצה"ל לקו באנורקסיה, אך סביר להניח כי חולות רבות לא גויסו כלל). לפי מאמר של מיטרני ועמיתיה מ-1995 יש בישראל 29 מקרים חדשים של אנורקסיה לכל 100,000 נערות בגיל 12-18 כל שנה, וזה מוביל אותנו לבערך 0.5% חולות בסך הכל בקבוצת הגיל הנ"ל. דו"ח שהוגש לועדה לזכויות הילד של הכנסת ב-2004 (קישור לקובץ pdf) נוקב בשכיחות של 1%, בהתחשב בזמן שעבר מאז המחקר של מיטרני, ובהנחה ששיעור הסובלים מהפרעות אכילה שונות בישראל עלה באופן דומה לעלייתו בארצות מערביות אחרות. לכן אשתמש בחישובים שאציג מייד בערך של 1%.

ומכיוון שכאמור לפיו 96% מהנערות הישראליות החולות באנורקסיה הן צמחוניות, הרי ש-0.96% (96% מ-1) מהנערות הינן צמחוניות וגם חולות באנורקסיה.

בואו נשרטט לנו טבלה קטנה. שלושת נתוני הבסיס מסומנים באדום (כמו בטקסט). שאר הנתונים נקבעים על ידי נתוני הבסיס:

צמחונות

סה"כ

כן

לא

אנורקסיה

כן

0.96%

0.04%

1.00%

לא

9.04%

89.96%

99.00%

סה"כ

10.00%

90.00%

100.00%

בעזרת הטבלה אפשר לחשב הסתברויות מותנות:

מה ההסתברות כי נערה צמחונית חולה באנורקסיה? 10% מהנערות הינן צמחוניות, 0.96% הינן גם צמחוניות וגם חולות באנורקסיה, ולכן התשובה היא 0.96 חלקי 10, כלומר 0.096.

מה ההסתברות כי נערה שאינה צמחונית חולה באנורקסיה? 90% מהנערות אינן צמחוניות, 0.04% אינן צמחוניות וגם חולות באנורקסיה, ולכן התשובה היא 0.04 חלקי 90, כלומר 0.000444.

ההסתברות כי נערה צמחונית חולה באנורקסיה גבוהה פי 216 מההסתברות כי נערה שאינה צמחונית חולה באנורקסיה. בשפת הסטטיסטיקה והאפידמיולוגיה אומרים כי הסיכון היחסי לאנורקסיה המקושר לצמחונות הוא 216. זה מראה קשר חזק מאוד בין שתי התופעות, וזה כבר יותר מסתם מתאם.

מדד מקובל יותר לחוזק הקשר הוא ה-Odds Ratio (אין לי מושג איך לתרגם זאת לעברית. Odds הוא יחס הסתברויות, ולכן Odds Ratio הוא יחס של יחסי הסתברויות). החישוב הוא כדלקמן:

בקרב הצמחוניות, הסיכוי לחלות באנורקסיה הוא 0.96/10 כלומר 0.096 והסיכוי לא לחלות הוא לכן 0.904. היחס בין הסיכוי לחלות לבין הסיכוי לא לחלות, ה-Odds, הוא לכן 0.096 חלקי 0.904, כלומר 0.1062.

חישוב דומה מראה כי היחס בין הסיכוי לחלות באנורקסיה לבין הסיכוי לא לחלות בקרב הלא הצמחוניות הוא 0.000445.

ה-Odds Ratio, היחס בין  0.1062 ל-0.000445 שווה לכן ל-238.8 ומשמעותו כי הסיכון לאנורקסיה בקרב נערות צמחוניות גדול כמעט פי 239 מהסיכון בקרב נערות לא צמחוניות.

זה מספר עצום. לשם השוואה, תרופה בה ה-Odds Ratio להתרחשות אירוע קליני של מחלת הטרשת הנפוצה קרוב ל-2 (הסיכון ללא טיפול גדול פי  קצת פחות מ-2 מהסיכון תחת טיפול תרופתי) נמכרת במיליארדי דולרים כל שנה.

מסקנות

האם צמחונות גורמת לאנורקסיה? ודאי שלא. הרי יש נערות צמחוניות רבות (בערך 9 מתוך כל 10) שאינן חולות באנורקסיה.

האם יש מנגנון סיבתי המסביר כיצד אנורקסיה יכולה להתפתח מצמחונות? בהחלט כן.

האם הסיכון לחלות באנורקסיה גבוה באופן משמעותי עבור נערות צמחוניות? בהחלט כן. גבוה מאוד, אפילו. צמחונות היא גורם סיכון לאנורקסיה.

מכאן שאמנם אורח חיים צמחוני לכשעצמו לא בהכרח גורם לאנורקסיה, אך בשילוב עם גורמי סיכון נוספים המחלה עלולה להתפתח.

האם הורים לבת עשרה שהחליטה להיות צמחונית צריכים להיכנס לפאניקה? בהחלט לא, אבל הם צריכים להיות קשובים לביתם, למצוקות אפשריות אותן היא חווה, להיות עם אצבע על הדופק, ולוודא שאין סימנים אחרים המעידים על התפתחות מחלה קשה זו. המלצות אלה נכונות כמובן תמיד, לכל הורה, וכמובן גם להורים לבנים, וגם אם הבן או הבת אינם צמחונים.

האם צמחונות לכשעצמה היא דבר רע? אני לא חושב שמישהו העלה את הטענה הזו ברצינות. אני בודאי לא טוען זאת (אם כי איני צמחוני).

רק בריאות.

מה עושה סטטיסטיקאי מסויים: פרמקוגנטיקה

מוקירי זכרי, קרובי משפחתי ועוקביי בטוויטר יודעים כי מזה כשבוע אני מסתובב בעולם (שורות אלה נכתבות בניו-יורק, כאשר בעוד שעתיים אני יוצא לנמל התעופה בדרכי הבייתה). מטרת שיטוטיי בעולם: השתתפות בשתי פגישות מומחים שעסקו בנושא הפרמקוגנטיקה של טיפול בטרשת נפוצה. כן.

בשנים האחרונות חלק ניכר מזמני מושקע בפרוייקט הפרמקוגנטיקה של טיפול בטרשת נפוצה. מקום העבודה שלי הוא היצרן של הטיפול הנפוץ בעולם לטרשת נפוצה, ואני חלק מצוות המנסה לגלות האם ניתן לאפיין את החולים המגיבים לטיפול זה (כי לא כולם מגיבים) באופן גנטי. או, בשפה של עיתונים יומיים נפוצים – האם יש גן האחראי לתגובה לטרשת נפוצה. מאחר וקיימנו שתי פגישות מומחים השבוע, אתם יכולים להבין כי גילינו תגליות משמעותיות ואנו קרובים מאוד למתן תשובה חיובית לשאלה שנשאלה לפני כמה שנים – האם יש בסיס גנטי לתגובה לטיפול בקופקסון.

איך מגיעים לתשובה הזו? ומה תפקיד הסטטיסטיקה בתהליך? על כך, ועל כמה דברים נוספים הקשורים לנושא, שוחחתי לפני זמן לא רב עם דפנה שיזף, העורכת ומגישה את פודקאסט "הכוורת – רדיו רעיונות". אני מזמין אתכם להקשיב לשיחתנו באתר הכוורת, ולאחר מכן תוכלו גם להאזין לשאר התכניות בפודקאסט המרתק הזה. תיהנו.