לא ברור.
מתברר שבתאילנד נערך לאחרונה ניסוי קליני שנועד לבדוק את יעילותו של חיסון אפשרי נגד איידס. לי נודע כל הסיפור מהניוזלטר המצויין “Chance News” (זה כבר בכלל אתר ויקי), שהביא שני אייטמים בנושא בגליון האחרון שלו (הנה הראשון והנה השני). צ’אנס ניוז דיווח על ידיעה בוול סטריט ג’ורנל, וידיעה בסיינס מגזין. כמו כן מצאתי ראיון עם פרופ’ ויקטור דה-גרוטולה, יו”ר המחלקה לביוסטטיסטיקה בביה”ס לבריאות הציבור באוניברסיטת הארוורד. הראיון נערך בעקבות הפרסום על תוצאות הניסוי הנ”ל, ועסק בעיקר במושג ה-p-value ומשמעותו – נושא שאדון בו ברשימה אחרת בעתיד. ברשימה הזו אתרכז בניסוי הקליני ומשמעות התוצאות.
נתחיל בתיאור הניסוי. תכנון הניסוי הוא קלאסי: המשתתפים בניסוי מחולקים באופן אקראי לשתי קבוצות. קבוצה אחת מקבלת את החיסון הנסיוני. לחברי הקבוצה השניה מוזרק חיסון דמה – מי מלח. כעבור 3 שנים, בודקים לכמה מהמשתתפים בכל קבוצה יש תוצאה חיובית בבדיקת HIV. מדובר בניסוי גדול למדי (לפחות במושגים שלי) – סה”כ השתתפו בו כ-16,000 איש, כולם בתאילנד. עם זאת, איני יודע מה גודל המדגם הדרוש לניסוי כזה, כיוון שאיני יודע מהו שיעור ההדבקות באיידס בתאילנד. עם זאת אציין כי בניסוי הקליני שבדק את החיסון של סאלק נגד מחלת הפוליו, שנערך בארה”ב ב-1954, היו כ-400,000 משתתפים (את הפרט הזה מצאתי בעותק הישן שלי של ספרו של להמן, אני מניח שניתן למצוא אותם אי-שם ברשת).
והנה התוצאות שפורסמו: מבין 8197 מתנדבים שקיבלו את החיסון הנסיוני, 51 בכל זאת הראו תוצאה חיובית בבדיקת HIV, כלומר כ-0.6%. לעומת זאת, מבין 8198 מתנדבים שקיבלו את חיסון הדמה, 74 הראו תוצאה חיובית בבדיקת HIV, כ-0.9%. מכאן, שהחיסון הנסיוני הקטין את שיעור ההדבקות בכשליש. האם זו תוצאה משמעותית מבחינה קלינית? האם ייתכן כי רק במקרה התקבלה תוצאה כזו, ואין קשר בין הטיפול שקיבלו החולים (חיסון נסיוני או פלסבו) לבין ההדבקות או אי-הדבקות באיידס?
לשם כך נערך מבחן סטטיסטי, ובסיינס מגזין (וגם בוול סטריט ג’ורנל) פורסמה השורה התחתונה שלו: p=0.039. ה-p (הידוע גם בשם p-value) הוא ההסתברות כי בניסוי דומה יתקבלו תוצאות “משכנעות” יותר אם החיסון לא יעיל במניעת ההדבקות*. מכיוון שמקובל לראות בערכי p הנמוכים מ-0.05 ערכים מובהקים סטטיסטית, הרי שהשורה התחתונה אומרת כי התוצאה שהתקבלה מובהקת סטטיסטית, והניסוי מספק עדות ליעילותו של החיסון הנסיוני. הסטטיסטיקאי פול אלפר, שכתב את הידיעה בצ’אנס ניוז, חישב אמנם כי ערך ה-p, על פי מבחן פישר, הוא דווקא 0.048 (לפי החישוב שלי, הערך 0.039 התקבל ממבחן חי-בריבוע, וערכתי את דף הויקי בצ’אנס ניוז בהתאם – אני אחראי לפלט תכנת SAS המופיע שם, ועוד), אבל גם ערך זה נמוך ממספר הקסם 0.05, כלומר גם לפי אלפר התוצאות מובהקות סטטיסטית.
הבעיה היא שאי אפשר לרוץ ל-FDA רק עם p-value. יש צורך בניתוחים נוספים.
הנתונים שהובאו עד כה מכונים בז’ארגון המקצועי “נתוני ITT”. ITT פירושו “Intent To Treat”. נתונים אלה כוללים את התוצאות של כל המתנדבים שנכללו בניסוי, כולל אלה שלא עמדו בכל התנאים של הניסוי (למשל, לא קיבלו את כל הזריקות שהיו אמורים לקבל, לא הופיעו לחלק מבדיקות המעקב, נטלו תרופות אסורות במהלך הניסוי, וכדומה). אם “זורקים” את הנתונים של המתנדבים האלה מהאנליזה, נשארים רק המתונים של החולים שעמדו בכל התנאים של פרוטוקול הניסוי – “נתוני PP” (כאשר PP פירושו Per Protocol). בעוד שבנתוני ה-ITT היו בסך הכל 125 זיהומי HIV (51+74), הרי שבקרב המתנדבים שעמדו בתנאי הפרוטוקול (כלומר בנתוני ה-PP) היו 86 זיהומים בלבד. בשאלות לדיון פול אלפר טען (בשאלה לדיון מספר 1) כי ניתן לבצע חישוב לאחור (reverse engineering) ולמצוא כי בקבוצת הניסוי היו 36 זיהומים ובקבוצת הפלסבו היו 50 זיהומים, אך הוא הניח (מבלי לציין במפורש, אני ערכתי את השאלה לדיון) כי בשתי קבוצות הטיפול היה אותו מספר של חולים גם בנתוני ה-PP. אולם, במקרה כזה ה- p-valueשמתקבל הוא 0.13 ולא 0.16. לכן, המסקנה היא כי באוכלוסיית ה-PP לא היו גדלי הקבוצות שווים.
העובדה כי תוצאות ה-PP אינן מובהקות סטטיסטית לא צריכה להטריד. התוצאות הקובעות הן תוצאות ה-ITT, ותוצאות ה-PP רק צריכות להראות אפקט דומה לזה שנצפה בנתוני ה-ITT. השאלה המעניינת היא האם אפקט של 26% הוא מספיק “דומה” לאפקט של 31.2%. (למה תוצאות ה-ITT הן הקובעות ולא תוצאות ה-PP? שאלה מצוינת. התשובה אולי תבוא ברשימה אחרת אי שם בעתיד).
מה כן צריך להטריד בתוצאות הניסוי הזה? הפרטים שלא פורסמו, מן הסתם. למשל: אנו יודעים כי המתנדבים שלא עמדו בתנאי פרוטוקול הניסוי לא התחלקו שווה בשווה בין הקבוצות. כמה מתנדבים בכלל לא עמדו בתנאי הפרוטוקול? מדוע? מה הייתה החלוקה בין הקבוצות? מה גרם לחלוקה הלא שווה? האם היו תופעות לוואי משמעותיות בקרב המתנדבים שקיבלו את החיסון הנסיוני? האם שיעור תופעות הלוואי בקבוצת הניסוי גבוה משמעותית משיעורן בקבוצת הפלסבו? ניתוח של תופעות הלוואי יאפשר לקבוע האם התועלת שבחיסון הנסיוני עולה על הנזק האפשרי שהוא עלול לגרום.
וכמובן, השאלה שיש לשאול בכל מחקר מדעי: האם תוצאת הניסוי הזה ניתנת לשחזור? כדי לענות על כך, יש צורך לערוך ניסוי קליני נוסף. זוהי דרישה בסיסית של ה-FDA מכל חברת תרופות המבקשת לאשר טיפול רפואי חדש.
אני לא יודע את התשובות לכל השאלות האלה. לכן, אני לא יכול לקבוע האם התוצאות שפורסמו נותנות תקווה כי בעתיד הקרוב יהיה חיסון נגד נגיף ה-HIV. כתבתי את הרשימה הזו בחשש מה. ייתכן מאוד שמתנגדי החיסונים למיניהם ינסו לאמץ את הדברים שכתבתי כ”הוכחה” לאי-יעילות החיסונים, אינטרסים של חברות התרופות וכל הבלה בלה הרגיל. כדי להסיר ספק, אני מדגיש כאן כי זו לא כוונתי. לשאלות שנשארו פתוחות בעקבות הקריאה של הידיעה הראשונית אודות תוצאות הניסוי הזה יש תשובות, ואני בטוח כי אם התוצאות יוגשו ל-FDA כדי לרשום את החיסון, הן יישאלו וייענו (ה-FDA ישאל את עורכי הניסוי עוד הרבה שאלות קשות אחרות, תאמינו לי).
* הוול סטריט ג’ורנל ציין כי ה-p-value הוא “ההסתברות כי התוצאה התקבלה במקרה” (“Probability that the result is due to chance “). זה לא נכון. אני מתכוון להסביר את הנושא ברשימה בעתיד הקרוב.
אבל מחיסון, בניגוד לתרופה, מצפים להצלחה הרבה יותר גדולה. האם מישהו בעולם יסכים לקבל חיסון ש-51 איש מתוך 8,200 שקיבלו אותו חלו בכל זאת?
חזרתי הבייתה ובדקתי את המספרים של הניסוי הקליני לחיסון סאלק נגד פוליו. שם היו כ-200000 נבדקים בקבוצה, והיו בסך הכל 148 מקרי פוליו (מתוך 400000). בקבוצת הטיפול היו 33 מקרים, ובקבוצת הפלסבו 115. האפקט הוא לכן כ-71%.
שאלה טובה.
אני לא יודע מה התשובה.
בכל מקרה, אני יכול לומר כי אין חיסון שמספק הגנה של 100%, ולכן לא צריך להיות מופתעים מכך שהיו בכל זאת כאלה שחוסנו ונדבקו.
אני לא מצפה למאה אחוז, אבל למשהו מאוד קרוב אליו. כי אחרת אפשר להמשיך להשתמש בקונדום או להתנזר. נראה לי שאחוזי ההצלחה שלהם גבוהים יותר (בהנחה שכל מנות הדם שניתנות לחולים נקיות).
אני חושב שאחוז ההגנה הוא גבוה למדי. מתוך 8000 מחוסנים רק 50 נדבקו בנגיף, וזה אומר שאחוז ההגנה הוא 99.4% (רק 0.6% נדבקו).
זה ממש ממש חוסר הבנה לומר שאם מ-8000 מתחסנים רק 50 נדבקו זה 99.4% הגנה – סימן שלא קראת את המאמר עצמו. צריך להבין שבשתי הקבוצות (החיסון והפלצבו) הקפידו החוקרים להדריך היטב לגבי דרכי הגנה והימנעות מהדבקה, ובפירוש המליצו עליהם למשתתפים בניסוי. לכן – מיעוט מה- 8000 שחוסנו אכן נחשפו לאיידס. מסיבות אתיות ברורות לא ניתן לבצע ניסוי שבו מחסנים בני אדם וחושפים אותם במתכוון לנגיף ובודקים כמה החיסון מגן. בניסויים שכן נערכים – מחנכים להגנה בשתי הקבוצות, ומתוך הנחה שאחוז מסויים (קטן) ימשיך להיחשף למרות אותו חינוך משווים כמה נדבקים עם וללא חיסון. זו גם הסיבה שתמיד ניסויים כאלה נערכים באזורי עולם שלישי שם נפיצות הזיהום גבוהה יחסית באוכלוסיה הכללית ולכן סיכוי גבוה יותר למקרי הדבקה שיאפשרו השוואה בין שתי הקבוצות
תודה על התגובה המפורטת.
ברשותך, אגיב למספר נקודות שהעלית.
קודם כל, דווקא כן טרחתי לקרוא את המאמר.
שנית, אני מודע בהחלט לכל מה שהסברת באשר לפרוטוקול של הניסוי. אמנם לא הרחבתי על כך את הדיבור, ואני מודה לך על שטרחת וכתבת את ההסבר.
לגבי “אחוז ההגנה” וערכו – זו כבר שאלה של אינטרפרטציה. אני חושב שתסכים איתי כי אכן 99.4% מהנבדקים בקבוצת הטיפול לא נדבקו. מה האינטרפרטציה לכך – האם זהו “אחוז הגנה”, או שמא משהו אחר – אפשר לדון בכך, אבל זו כבר לא שאלה סטטיסטית.
יוסי, אין חיסון שמספק 100% הגנה, אבל כמה חיסונים אתה מכיר שמספקים רק 33% הגנה? במיוחד לאור הסכנה שאנשים מחוסנים יוותרו על דרכים אחרות ויעילות יותר להגן על עצמם מאיידס, ואז יתגלה שבעצם אחוז החולים באיידס יעלה בקרב המחוסנים…
דובי,
אתה מתבלבל בין אחוז ההגנה לבין האפקט הקליני (ראה תשובתי למיכלי למעלה).
בכל מקרה, שני הפרמטרים האלה הם לא העיקר. מה שיקבע אם באמת יצא מכאן חיסון זה המשמעות הקלינית, יחס הנזק/תועלת, וכמובן היכולת לשחזר את התוצאות.